Stappenplan vragenlijst
Terug: Onderzoeken hoe vragenlijst op te stellen
Een vragenlijst is een van de waardevolste en meest effectieve manieren om informatie te verzamelen over hoe (een groep) mensen denken over een bepaald onderwerp.
Om bruikbare informatie te verzamelen is het zaak dat de gestelde vragen representatief zijn binnen de onderzoeksvraag, en dus binnen het gestelde onderzoek. Daarnaast is het nodig dat de gestelde vragen geenszins bevooroordeeld zijn, of dat er door de vraagstelling richting een bepaald antwoord gepusht wordt. Er moet ten alle tijden voor gezorgd worden dat een vragenlijst dus volledig relevant is, en de vragenlijst moet stuk voor stuk onbevooroordeelde, neutrale vragen bevatten.
Er wordt onderscheid gemaakt tussen drie verschillende soorten vragenlijsten[1]:
- Case Study Surveys: Deze soort legt de vragenlijst voor aan een aantal mensen uit een bepaalde groep, of onderdeel van een groep. Deze soort is NIET representatief voor een grotere doelgroep.
- Sampled Surveys: Deze soort legt de vragenlijst voor aan een deel van de volledige doelgroep, en de resultaten zijn, mits goed uitgevoerd, representatief voor de volledige doelgroep.
- Census Surveys: Deze soort ondervraagt iedereen waarvoor de vragenlijst relevant is. Dit zorgt ervoor dat deze soort alleen haalbaar is voor kleine groepen, aangezien het bijvoorbeeld niet haalbaar is om een volledige stad, of alle klanten van een groot bedrijf, te ondervragen.
In ons geval gaat het om een 'Sampled Survey', we proberen een representatieve groep te vinden die voldoet aan onze doelgroep, en we zorgen dat deze resultaten ook geldig zijn voor de gehele doelgroep (binnen een bepaalde foutmarge, zie ook steekproefomvang).
Stap 1: Doel bepalen[2]
Voordat je ook maar kan gaan denken aan het beginnen met de vragenlijst opstellen moet je jezelf een doel stellen. Elke vraag die je wil stellen in je vragenlijst moet naar dit doel terug te voeren zijn. Zorg hierbij dat je een niet al te breed, maar ook zeker niet een te nauw doel formuleert. Een te breed doel heeft te veel vragen nodig om tot relevante informatie te komen, en dan gaat de deelnemer aan de vragenlijst zich vervelen of irriteren (en dat moet je kostte wat het kost voorkomen). En bij een te klein doel wordt er te weinig, en niet diep genoeg onderzocht.
In ons geval is het doel: Onderzoeken hoe acceptatie van robots verhoogd kan worden door uiterlijke kenmerken te variëren. Dit doel is aan de brede kant, wat er voor zorgt dat er waarschijnlijk een relatief groot aantal vragen nodig is om tot een goede, sluitende conclusie te komen, er zijn immers ontzettend veel 'uiterlijke kenmerken'.
Stap 2: Bepalen doelgroep en steekproefomvang[3]
De uiteindelijke vragen in een vragenlijst zullen moeten worden aangepast aan de doelgroep die je voor ogen hebt. Als je kinderen gaat ondervragen moet je andere vragen stellen, en op een andere manier vragen stellen dan bij volwassenen om een goed resultaat te verkrijgen. Zorg er dus voor dat je voor het formuleren van de vragen voor de vragenlijst altijd duidelijk hebt voor welke doelgroep de vragenlijst is bedoeld.
In ons geval is de doelgroep: Werkend Nederland; mensen van 20 tot 60 jaar. Deze groep is mentaal volgroeid, zodat ze op een vergelijkbare manier over bepaalde onderwerpen nadenken. Daarnaast is het een brede groep, wat er voor zorgt dat we niet al te veel moeite zullen hoeven doen om de (hieronder beschreven) steekproefomvang te behalen. Als laatste voordeel heeft deze groep een relatief grote kans om met robots te maken te krijgen, aangezien er steeds meer robots worden ingezet in het bedrijfsleven en op de werkvloer. (zie doelgroup)
Naast de doelgroep moet ook de steekproefomvang bepaald worden. De steekproefomvang is niet gerelateerd aan de doelgroep, maar bepaalt wel hoeveel mensen er ondervraagd moeten worden voordat de resultaten relevant en significant genoemd mogen worden. Meer over de precieze berekening van deze steekproefomvang: steekproefomvang. Er is nog een belangrijke pitfall om rekening mee te houden bij het bepalen van de steekproefomvang. Als de vragenlijst via het internet verspreid word, dan worden de mensen die er op reageren 'self-selected' genoemd, dit omdat ze zelf er voor hebben gekozen om de vragenlijst in te vullen, in plaats van dat ze specifiek zijn gevraagd. Het kan hierdoor zo zijn dat de mensen die de questionnaire hebben beantwoord al van tevoren een mening hadden over het onderwerp, of met een bepaalde voorbedachte rade de enquête in gaan vullen, wat kan leiden tot niet representatieve resultaten. Een manier om dit te vermijden is door een willekeurige selectie te maken uit de ingevulde enquêtes, en alleen deze selectie te gebruiken voor de uiteindelijke resultaten.
In ons geval hebben we een beoogde doelgroep van 1.000.000+ mensen. Om een foutmarge van 5%, en een betrouwbaarheid van 95% te bereiken, moeten we 386 responsies ontvangen. Om dit aantal responsies te bereiken, moeten er natuurlijk iets meer mensen gevraagd worden, aangezien niet iedereen zal reageren. We gaan er hierdoor van uit dat we ten minste 500 mensen moeten vragen om de vragenlijst te beantwoorden.
Stap 3: Bepalen hoe de vragenlijst wordt afgenomen
Ook van belang voor het formuleren van de vragen is de manier van afname. Er is een groot aantal manieren waarop een vragenlijst afgenomen kan worden, zo kan de vragenlijst via internet afgenomen worden, of je gaat de straat op en 1-op-1 een aantal vragen stellen, daarnaast kan je natuurlijk ook vragenlijsten maken, uitprinten en opsturen naar mensen, en er zijn natuurlijk nog veel meer manieren. Zorg er bij het bepalen van de afnamevorm voor dat duidelijk is wie de doelgroep is, en wat het doel van de enquête is. In het geval dat het een groot aantal persoonlijke vragen betreft, dan vind men het vaak makkelijker om anoniem, via de post of het internet antwoorden te geven dan 1-op-1. 1-op-1 ondervragen is wel persoonlijker, waardoor mensen sneller een oprecht antwoord zullen geven, en waardoor je sneller kan bepalen wanneer mensen de vragenlijst niet serieus nemen.
In ons geval hebben we gekozen voor de online aanpak. We gebruiken een enquête website (Survio.com[4]). We hebben voor de online aanpak gekozen niet omdat onze vragenlijst veel persoonlijke vragen zal bevatten, maar omdat het op deze manier veel makkelijker is om afbeeldingen en andere media te verwerken in de vragenlijst, die onze gestelde vragen duidelijker zullen maken.
Stap 4: Motivatie
Zorg er bij een vragenlijst altijd voor dat je mensen probeert te motiveren om de enquête volledig in te vullen. Een van de manieren waarop je dit kan doen is het bijvoegen van een inleiding. Vertel in de inleiding een klein beetje over jezelf, over het onderzoek, over wat er met de resultaten gaat gebeuren en waar contact mee opgenomen kan worden mochten er vragen zijn.
Een andere, minstens zo belangrijke, manier om de motivatie erin te houden is ervoor zorgen dat de vragenlijst een duidelijke, en goede opzet heeft. Zorg ervoor dat de questionnaire zo kort mogelijk is, zodat de mensen zich niet gaan vervelen, en niet de concentratie verliezen. Als er veel vragen zijn, dan zijn multiple-choice vragen aan te raden, zodat de deelnemer niet al te veel tijd kwijt is met het beantwoorden van elke vraag. Zorg ook voor een goede opbouw in de vragen. Begin met algemene vragen, daarna de specifiekere vragen, en als laatste de simpele achtergrondvragen, zoals naam, geboortedatum en opleiding. Als je deze volgorde aanhoudt zullen mensen door de simpele achtergrondvragen aan het eind het gevoel hebben dat de hele enquête makkelijk was[5].
Stap 5: Soort vragen bepalen
Nu is het eindelijk tijd om bijna te beginnen met het formuleren van de vragen, waar het uiteindelijk natuurlijk om te doen is. Voordat we de daadwerkelijke vragen kunnen gaan bedenken moet er echter nog één ding gebeuren, er moet namelijk besloten worden wat voor soort vragen er gesteld gaan worden. In grote lijnen zijn er drie verschillende soorten vragen. Allereerst de multiple-choice vragen. Deze vragen zijn vliegensvlug te analyseren, en worden aangeraden als er veel vragen zijn, of als er veel enquêtes ingevuld gaan worden, aangezien dit de verwerking vergemakkelijkt. Daarnaast zijn er de 'ranking' vragen. Hier word een aantal mogelijkheden gepresenteerd, en word de deelnemer gevraagd om ofwel een bepaald aantal punten te verdelen tussen deze mogelijkheden, ofwel de deelnemer wordt gevraagd om de mogelijkheden op volgorde van voorkeur te zetten. Als laatste zijn er natuurlijk ook altijd nog de open vragen.
In ons geval hebben we er voor gekozen om multiple-choice vragen te gebruiken. Dit omdat we verwachten veel vragen te moeten gaan stellen, aangezien er veel 'uiterlijke kenmerken' zijn, en omdat er minstens 386 vragenlijsten ingevuld moeten gaan worden, en al die vragenlijsten stuk voor stuk behandelen is niet haalbaar.
Stap 6: Vragen formuleren
Eindelijk! We hebben het grootste gedoe gehad! De voorbereidingen zijn nu allemaal afgerond, en we hebben alle informatie die we nodig hebben om een awesome vragenlijst te maken. Nu komt het leuke werk: de vragen formuleren! Zelfs hier zijn echter dingen waar je op moet letten. Zorg ervoor dat vragen altijd neutraal gesteld worden, en altijd te linken zijn aan de onderzoeksvraag. Een vraag als 'Veel mensen denken ..., wat denk jij?', is natuurlijk volledig verkeerd, aangezien er een waardeoordeel verscholen zit in de vraag. Door dit soort vragen zullen mensen eerder geneigd zijn om mee te gaan in wat 'veel mensen' denken, omdat dat wel 'normaal' zal zijn. Ga dus bij elke vraag na of de vraag wel neutraal is. Probeer ook (mogelijk) kwetsende, té persoonlijke of anderszins demotiverende vragen te vermijden, aangezien dit de deelnemers irriteert, wat zorgt voor minder oprechte antwoorden, of simpelweg het stoppen van de enquête voor het einde.
In ons geval is het vooral zaak dat we de geformuleerde hypothesen gaan omzetten in vragen.
Stap 7: Vragenlijst afnemen
Nu kan het luieren beginnen. De vragen zijn opgesteld, de doelgroep is bepaald, de steekproefgrootte is bepaald, en het is nu een kwestie van wachten totdat de deelnemers de questionnaire hebben ingevuld. Als je bij stap 3 hebt gekozen voor het 1-op-1 afnemen moet je natuurlijk nog wel de straat op en mensen gaan interviewen, maar het zwaarste werk is nu over.
In ons geval is het nu een kwestie van de vragen invullen op Survio, en de vragenlijst de wereld in sturen.
Stap 8: Resultaten verwerken
Als eenmaal genoeg resultaten binnen zijn, dan kan het verwerken beginnen. Zorg ervoor dat je bij het verwerken van de resultaten altijd weer rekening houdt met het oorspronkelijke doel. Als er is gekozen voor een open vraagstelling moeten alle uitwerkingen worden gelezen, en moet er een 'ranking' bepaald worden voor deze antwoorden, voordat je deze antwoorden kan gaan verwerken. Zorg er in deze stap voor dat alle resultaten binnen zijn, dat eventuele open vragen (en bijbehorende antwoorden) getoetst kunnen worden, zodat er een 'waarde' uit komt, waaraan een conclusie kan worden verbonden, en dat alle informatie duidelijk en overzichtelijk verzameld is voor de laatste stap.
Stap 9: Conclusies
Nu de resultaten verwerkt zijn, hoeft alleen deze stap nog maar doorlopen te worden. In deze stap is het de bedoeling dat de hypothesen getoetst worden aan de hand van de resultaten, en dat hieraan de conclusies worden verbonden. Deze conclusies moeten dan duidelijk worden geformuleerd, en overzichtelijk neergezet worden.
In ons geval is het het doel om een 'checklist' te maken waar mensen/bedrijven naar kunnen kijken om te bepalen welke uiterlijke kenmerken een robot nodig heeft om makkelijker geaccepteerd te worden in de samenleving. Onze resultaten moeten dus omgezet worden in deze checklist in de laatste, concluderende stap.
Referenties
Algemene referenties:
Specifieke referenties: