Stappenplan vragenlijst

Terug: Onderzoeken hoe vragenlijst op te stellen

Een vragenlijst is een van de waardevolste en meest effectieve manieren om informatie te verzamelen over hoe (een groep) mensen denken over een bepaald onderwerp.

Om bruikbare informatie te verzamelen is het zaak dat de gestelde vragen representatief zijn binnen de onderzoeksvraag, en dus binnen het gestelde onderzoek. Daarnaast is het nodig dat de gestelde vragen geenszins bevooroordeeld zijn, of dat er door de vraagstelling richting een bepaald antwoord gepusht wordt. Er moet ten alle tijden voor gezorgd worden dat een vragenlijst dus volledig relevant is, en de vragenlijst moet stuk voor stuk onbevooroordeelde, neutrale vragen bevatten.

Er wordt onderscheid gemaakt tussen drie verschillende soorten vragenlijsten:

• Case Study Surveys: Deze soort legt de vragenlijst voor aan een aantal mensen uit een bepaalde groep, of onderdeel van een groep. Deze soort is NIET representatief voor een grotere doelgroep.
• Sampled Surveys: Deze soort legt de vragenlijst voor aan een deel van de volledige doelgroep, en de resultaten zijn, mits goed uitgevoerd, representatief voor de volledige doelgroep.
• Census Surveys: Deze soort ondervraagt iedereen waarvoor de vragenlijst relevant is. Dit zorgt ervoor dat deze soort alleen haalbaar is voor kleine groepen, aangezien het bijvoorbeeld niet haalbaar is om een volledige stad, of alle klanten van een groot bedrijf, te ondervragen.

In ons geval gaat het om een 'Sampled Survey', we proberen een representatieve groep te vinden die voldoet aan onze doelgroep, en we zorgen dat deze resultaten ook geldig zijn voor de gehele doelgroep (binnen een bepaalde foutmarge, zie ook steekproefomvang).

Stap 1: Doel bepalen

Voordat je ook maar kan gaan denken aan het beginnen met de vragenlijst opstellen moet je jezelf een doel stellen. Elke vraag die je wil stellen in je vragenlijst moet naar dit doel terug te voeren zijn. Zorg hierbij dat je een niet al te breed, maar ook zeker niet een te nauw doel formuleert. Een te breed doel heeft te veel vragen nodig om tot relevante informatie te komen, en dan gaat de deelnemer aan de vragenlijst zich vervelen of irriteren (en dat moet je kostte wat het kost voorkomen). En bij een te klein doel wordt er te weinig, en niet diep genoeg onderzocht.

In ons geval is het doel: Onderzoeken hoe acceptatie van robots verhoogd kan worden door uiterlijke kenmerken te variëren. Dit doel is aan de brede kant, wat er voor zorgt dat er waarschijnlijk een relatief groot aantal vragen nodig is om tot een goede, sluitende conclusie te komen, er zijn immers ontzettend veel 'uiterlijke kenmerken'.

Stap 2: Bepalen doelgroep en steekproefomvang

De uiteindelijke vragen in een vragenlijst zullen moeten worden aangepast aan de doelgroep die je voor ogen hebt. Als je kinderen gaat ondervragen moet je andere vragen stellen, en op een andere manier vragen stellen dan bij volwassenen om een goed resultaat te verkrijgen. Zorg er dus voor dat je voor het formuleren van de vragen voor de vragenlijst altijd duidelijk hebt voor welke doelgroep de vragenlijst is bedoeld.

In ons geval is de doelgroep: Werkend Nederland; mensen van 20 tot 60 jaar. Deze groep is mentaal volgroeid, zodat ze op een vergelijkbare manier over bepaalde onderwerpen nadenken. Daarnaast is het een brede groep, wat er voor zorgt dat we niet al te veel moeite zullen hoeven doen om de (hieronder beschreven) steekproefomvang te behalen. Als laatste voordeel heeft deze groep een relatief grote kans om met robots te maken te krijgen, aangezien er steeds meer robots worden ingezet in het bedrijfsleven en op de werkvloer. (zie doelgroup)

Naast de doelgroep moet ook de steekproefomvang bepaald worden. De steekproefomvang is niet gerelateerd aan de doelgroep, maar bepaalt wel hoeveel mensen er ondervraagd moeten worden voordat de resultaten relevant en significant genoemd mogen worden. Meer over de precieze berekening van deze steekproefomvang: steekproefomvang. Er is nog een belangrijke pitfall om rekening mee te houden bij het bepalen van de steekproefomvang. Als de vragenlijst via het internet verspreid word, dan worden de mensen die er op reageren 'self-selected' genoemd, dit omdat ze zelf er voor hebben gekozen om de vragenlijst in te vullen, in plaats van dat ze specifiek zijn gevraagd. Het kan hierdoor zo zijn dat de mensen die de questionnaire hebben beantwoord al van tevoren een mening hadden over het onderwerp, of met een bepaalde voorbedachte rade de enquête in gaan vullen, wat kan leiden tot niet representatieve resultaten. Een manier om dit te vermijden is door een willekeurige selectie te maken uit de ingevulde enquêtes, en alleen deze selectie te gebruiken voor de uiteindelijke resultaten.

In ons geval hebben we een beoogde doelgroep van 100.000+ mensen. Om een foutmarge van 5%, en een betrouwbaarheid van 95% te bereiken, moeten we 400 responsies ontvangen. Om dit aantal responsies te bereiken, moeten er natuurlijk iets meer mensen gevraagd worden, aangezien niet iedereen zal reageren. We gaan er hierdoor van uit dat we ten minste 2000 mensen moeten vragen om de vragenlijst te beantwoorden.

Stap 3: Bepalen hoe de vragenlijst wordt afgenomen

Ook van belang voor het formuleren van de vragen is de manier van afname. Er is een groot aantal manieren waarop een vragenlijst afgenomen kan worden, zo kan de vragenlijst via internet afgenomen worden, of je gaat de straat op en 1-op-1 een aantal vragen stellen, daarnaast kan je natuurlijk ook vragenlijsten maken, uitprinten en opsturen naar mensen, en er zijn natuurlijk nog veel meer manieren. Zorg er bij het bepalen van de afnamevorm voor dat duidelijk is wie de doelgroep is, en wat het doel van de enquête is. Sommige doelgroepen zijn veel gemakkelijker te bereiken met een bepaalde afname methode dan andere groepen, dus hier moet je ook rekening mee houden. Ga bijvoorbeeld bejaarde mensen niet een online vragenlijst geven, aangezien een groot deel van de bejaarden geen idee heeft hoe ze iets moeten doen op het internet. In het geval dat het een groot aantal persoonlijke vragen betreft, dan vind men het vaak makkelijker om anoniem, via de post of het internet antwoorden te geven dan 1-op-1. 1-op-1 ondervragen is wel persoonlijker, waardoor mensen sneller een oprecht antwoord zullen geven, en waardoor je sneller kan bepalen wanneer mensen de vragenlijst niet serieus nemen. In de regel kan je er van uit gaan dat hoe persoonlijker de manier van afname is, hoe meer mensen erop zullen reageren.

In ons geval hebben we gekozen voor de online aanpak. We gebruiken een enquête website (Survio.com). We hebben voor de online aanpak gekozen niet omdat onze vragenlijst veel persoonlijke vragen zal bevatten, maar omdat het op deze manier veel makkelijker is om afbeeldingen en andere media te verwerken in de vragenlijst, die onze gestelde vragen duidelijker zullen maken. Aangezien onze manier van verspreiding (het internet) nogal onpersoonlijk is, zullen we een groot aantal enquêtes moeten versturen voordat we er redelijk zeker van kunnen zijn dat we ook echt het beoogde aantal van 400 responsies bereiken.

Stap 4: Motivatie

Zorg er bij een vragenlijst altijd voor dat je mensen probeert te motiveren om de enquête volledig in te vullen. Een van de manieren waarop je dit kan doen is het bijvoegen van een inleiding. Vertel in de inleiding een klein beetje over jezelf, over het onderzoek, over wat er met de resultaten gaat gebeuren en waar contact mee opgenomen kan worden mochten er vragen zijn.

Een andere, minstens zo belangrijke, manier om de motivatie erin te houden is ervoor zorgen dat de vragenlijst een duidelijke, en goede opzet heeft. Zorg ervoor dat de questionnaire zo kort mogelijk is, zodat de mensen zich niet gaan vervelen, en niet de concentratie verliezen. Als er veel vragen zijn, dan zijn multiple-choice vragen aan te raden, zodat de deelnemer niet al te veel tijd kwijt is met het beantwoorden van elke vraag. Zorg ook voor een goede opbouw in de vragen. Begin met algemene vragen, daarna de specifiekere vragen, en als laatste de simpele achtergrondvragen, zoals naam, geboortedatum en opleiding. Als je deze volgorde aanhoudt zullen mensen door de simpele achtergrondvragen aan het eind het gevoel hebben dat de hele enquête makkelijk was.

Stap 5: Soort vragen bepalen

Nu is het eindelijk tijd om bijna te beginnen met het formuleren van de vragen, waar het uiteindelijk natuurlijk om te doen is. Voordat we de daadwerkelijke vragen kunnen gaan bedenken moet er echter nog één ding gebeuren, er moet namelijk besloten worden wat voor soort vragen er gesteld gaan worden. In grote lijnen zijn er drie verschillende soorten vragen. Allereerst de multiple-choice vragen. Deze vragen zijn vliegensvlug te analyseren, en worden aangeraden als er veel vragen zijn, of als er veel enquêtes ingevuld gaan worden, aangezien dit de verwerking vergemakkelijkt. Daarnaast zijn er de 'ranking' vragen ('Likert scale'). Hier word een aantal mogelijkheden gepresenteerd, en word de deelnemer gevraagd om ofwel een bepaald aantal punten te verdelen tussen deze mogelijkheden, ofwel de deelnemer wordt gevraagd om de mogelijkheden op volgorde van voorkeur te zetten. Als laatste zijn er natuurlijk ook altijd nog de open vragen.

In ons geval hebben we er voor gekozen om multiple-choice vragen te gebruiken. Dit omdat we verwachten veel vragen te moeten gaan stellen, aangezien er veel 'uiterlijke kenmerken' zijn, en omdat er minstens 400 vragenlijsten ingevuld moeten gaan worden, en al die vragenlijsten stuk voor stuk behandelen is niet haalbaar.

Stap 6: Vragen formuleren

Eindelijk! We hebben het grootste gedoe gehad! De voorbereidingen zijn nu allemaal afgerond, en we hebben alle informatie die we nodig hebben om een awesome vragenlijst te maken. Nu komt het leuke werk: de vragen formuleren! Zelfs hier zijn echter dingen waar je op moet letten. Zorg ervoor dat vragen altijd neutraal gesteld worden, en altijd te linken zijn aan de onderzoeksvraag. Een vraag als 'Veel mensen denken ..., wat denk jij?', is natuurlijk volledig verkeerd, aangezien er een waardeoordeel verscholen zit in de vraag. Door dit soort vragen zullen mensen eerder geneigd zijn om mee te gaan in wat 'veel mensen' denken, omdat dat wel 'normaal' zal zijn. Ga dus bij elke vraag na of de vraag wel neutraal is. Probeer ook (mogelijk) kwetsende, té persoonlijke of anderszins demotiverende vragen te vermijden, aangezien dit de deelnemers irriteert, wat zorgt voor minder oprechte antwoorden, of simpelweg het stoppen van de enquête voor het einde. Test voor het verspreiden de vragen op een kleine groep mensen uit de doelgroep.

Zorg er boven alles ook voor dat een vraag van geen kanten ambigu is. Een anekdote uit het boek 'Asking Questions' geeft een mooi voorbeeld van hoe een fout in een klein hoekje zit.

Een collega van een van de schrijvers wil graag een nieuw blad voor zijn aanrecht. De collega kon het nieuwe blad alleen op de zaterdag voor Labor Day ophalen, dus hij belde de winkel van tevoren om zeker te zijn dat de winkel die zaterdag open was. Toen hij echter dat weekend op zaterdag voor de winkel stond, werd hij begroet met het bordje 'Gesloten voor het Labor Day weekeind'. Toen de auteur zijn collega vroeg of hij zich nog precies kon herinneren hoe hij de vraag had gesteld of de winkel open zou zijn antwoordde de collega: 'Hoe laat zijn jullie op zaterdag open?' Als antwoord kreeg hij 'Van negen tot vijf.'

Hoewel het een verschrikkelijk subtiel 'probleem' is hier, kan zo'n simpele vraag dus toch al voor problemen zorgen. De collega bedoelde te vragen hoe laat de winkel aankomende zaterdag open was, maar de persoon aan de andere kant van de telefoonlijn vertond de vraag hoe laat de winkel op een normale zaterdag open is.

Moraal van het verhaal; zorg er altijd voor dat je een volledig niet-ambigue vraag stelt, anders is er een kans dat het verkeerd geïnterpreteerd word, en dat zorgt voor irrelevante antwoorden op je vragen.

Nog een ander mooi voorbeeld uit Asking Questions:

Two priests, a Dominican and a Jesuit, are discussing whether it is a sin to smoke and pray at the same time. After failing to reach a conclusion, each goes off to consult his respective superior. The next week they meet again. The Dominican says, "Well, what did your superior say?"

The Jesuit responds, "He said it was all right."

"That's funny," the Dominican replies. "My superior said it was a sin."

The Jesuid says, "What did you ask him?"

The Dominican replies, "I asked him if it was all right to smoke while praying."

"Oh," says the Jesuit. "I asked my superior if it was all right to pray while smoking."

In ons geval is het vooral zaak dat we de geformuleerde hypothesen gaan omzetten in vragen.

Stap 7: Vragenlijst afnemen

Nu kan het luieren bijna beginnen. De vragen zijn opgesteld, de doelgroep is bepaald, de steekproefgrootte is bepaald. Nu moet je de vragen nog invoeren en dan is het een kwestie van wachten totdat de deelnemers de questionnaire hebben ingevuld. Met het invoeren van de vragen wordt bedoeld de volgorde bepalen en alles netjes uitwerken tot een volwaardige vragenlijst. Zoals al eerder genoemd (bij stap 4) is het zaak om te beginnen met de algemene (en meestal relatief makkelijke) vragen over het onderwerp. Daarna verder gaan met de specifiekere vragen en als laatste de makkelijkste vragen, namelijk persoonsinformatie om de resultaten te kunnen verwerken. Zorg er ook altijd voor dat er een logische opbouw in de vragenlijst zit, en dat vergelijkbare vragen bij elkaar in de buurt staan, zodat mensen niet de hele tijd over verschillende dingen na hoeven te denken.

Een belangrijk aspect bij het afnemen van een vragenlijst is ook het moment van versturen. Bij een verkeerde timing krijg je mogelijk andere antwoorden, of helemaal geen antwoorden. Als je twijfelt aan het 'juiste moment' kan je het best over een hele week enquêtes verzamelen, zodat je een groot aantal verschillende momenten hebt verzameld, waarvan de meerderheid relevant en bruikbaar zal zijn.

Hierna is het zaak om de vragenlijst af te nemen op de manier die is bepaald bij stap 3.

In ons geval is het nu een kwestie van de vragen invullen op Survio, en de vragenlijst de wereld in sturen.

Stap 8: Resultaten verwerken

Als eenmaal genoeg resultaten binnen zijn, dan kan het verwerken beginnen. Zorg ervoor dat je bij het verwerken van de resultaten altijd weer rekening houdt met het oorspronkelijke doel. Als er is gekozen voor een open vraagstelling moeten alle uitwerkingen worden gelezen, en moet er een 'ranking' bepaald worden voor deze antwoorden, voordat je deze antwoorden kan gaan verwerken. Zorg er in deze stap voor dat alle resultaten binnen zijn, dat eventuele open vragen (en bijbehorende antwoorden) getoetst kunnen worden, zodat er een 'waarde' uit komt, waaraan een conclusie kan worden verbonden, en dat alle informatie duidelijk en overzichtelijk verzameld is voor de laatste stap.

Stap 9: Conclusies

Nu de resultaten verwerkt zijn, hoeft alleen deze stap nog maar doorlopen te worden. In deze stap is het de bedoeling dat de hypothesen getoetst worden aan de hand van de resultaten, en dat hieraan de conclusies worden verbonden. Deze conclusies moeten dan duidelijk worden geformuleerd, en overzichtelijk neergezet worden.

In ons geval is het het doel om een 'checklist' te maken waar mensen/bedrijven naar kunnen kijken om te bepalen welke uiterlijke kenmerken een robot nodig heeft om makkelijker geaccepteerd te worden in de samenleving. Onze resultaten moeten dus omgezet worden in deze checklist in de laatste, concluderende stap.

Alternatieve manieren

Total Design Method

Een van de grootste problemen die je tegen komt bij het afnemen van een vragenlijst is het feit dat vaak lang niet alle personen aan wie gevraagd word de enquête te beantwoorden ook daadwerkelijk reageren. Zelfs vragenlijsten die persoonlijk via de post worden verzonden hebben resulteren vaak in nog geen 30% daadwerkelijke responsies. Om het procentuele aantal responsies omhoog te helpen heeft Don Dillman van de Washington State University de Total Design Method bedacht, welke een gemiddelde aantal retours van 73% weet te realiseren. Hieronder de punten waar een vragenlijst volgens de Total Design Method aan moet voldoen:

• Verstuur de vragenlijsten in enveloppen, en print de vragenlijsten op briefpapier, vouw deze dubbel en stop de lijst in de enveloppe. Deze post word meestal niet als spam of reclame gezien, en word daarom meer geopend dan vragenlijsten die worden opgestuurd zonder hun ware identiteit te 'verstoppen'.
• Zorg er voor dat er geen vragen staan aan de voor- of achterkant van het de dubbelgevouwen vragenlijst.
• De allereerste vraag moet simpel te beantwoorden zijn, en direct gerelateerd aan het onderwerp van de vragenlijst. (Mogelijk) kwetsende vragen nooit bij elkaar in de buurt, en nooit mee openen, maar verspreiden door de vragenlijst.
• Vermijd het samenproppen van te veel vragen, gebruik liever een extra papiertje en wat extra witruimte. NOOIT vragen over meerdere pagina's laten lopen, altijd vragen beginnen en afronden op dezelfde kant van hetzelfde papier.
• Volledige questionnaire maximaal 125 vragen of 12 pagina's
• Voeg een goed geschreven, motiverende inleiding bij die uitlegt wat je verwacht en waarom je dat verwacht, maar ook welke doelgroep je probeert te bereiken en wat er met de resultaten gaat gebeuren.
• Direct op de enveloppe geprinte n.a.w. gegevens en professionele postverspreiders leveren meer responsies op.
• Stuur een week later de mensen die niet hebben gereageerd een reminder, twee weken later een nieuwe vragenlijst, en 4 weken later een nieuwe vragenlijst met gecertificeerde post, en het bericht dat de reactie van die persoon erg belangrijk is.

Deze stappen zijn natuurlijk niet allemaal waardevol voor ons eigen onderzoek, maar als je 'post' met 'mail' vervangt, dan is toch de overgrote meerderheid van de punten wél relevant voor onze vragenlijst via het internet.

Referenties

Algemene referenties:

• Survey Research Design
• Hoe Maak Ik Een Goede Vragenlijst Of Enquête
• Conducting Surveys
• Asking Questions

Specifieke referenties: