Sprint 3: Reflectie onderzoeksopzet en onderzoeksrollen

Criterium:

“Je kunt op je eigen onderzoek reflecteren zodanig dat je de sterke en zwakke punten van het onderzoek en jouw rol daarin duidelijk maakt.”

Terugblik zwakke punten

In de sprint 2 blogpost keken we terug op het onderzoek, en trokken we hier conclusies uit. Hieruit kwamen de volgende zwakke punten naar voren:

Speelveld simuleert de realiteit onvoldoende;
- Een groter speelveld met foto’s en beelden van een luchthaven.
Deelnemers ervaren geen tijdsdruk;
- Een grote aftellende klok toonbaar te maken en de deelnemer aan te sporen door hen te herinneren aan de sluitingstijd van de gate.
Manier van navigeren is niet goed relateerbaar aan werkelijkheid;
- Naast het speelveld beter relateerbaar te maken met een vliegveld, hebben we gekozen voor een andere manier van navigeren d.m.v. de companion app zoals is te lezen in BLOGPOST CONCEPT ITERATIE.
Onvoldoende verdeling van gedragstypen;
- Door mensen te vragen mee te doen aan het experiment, kunnen we de gedragstype test vooraf afnemen. Hiermee kunnen we dan een selectie maken die meer representatief is.
Scoreformulier is onvoldoende toereikend om comfort te meten;
- Formulier is reeds aangepast (zie blogpost sprint 2).

Statement cards zwakke punten

Deze week hebben we tijdens de specialize me les gebruik gemaakt van statement cards. Op basis hiervan hebben we clusters gevormd en deze geanalyseerd om zo tot een conclusie per cluster te komen. De uitwerking hiervan is te vinden in de blogpost “Statement cards analyse”. Hieruit zijn de volgende zwakke punten naar voren gekomen:

Interactie met de app is onhandig en onoverzichtelijk. Realiseert niet het doel om het process comfortabeler te maken;
Doordat de focus op de mobiel wordt gelegd, en automatisch veel aandacht vraagt is de informatie overweldigend en kun je lastig om je heen kijken;
De app zorgt ervoor dat gebruikers het overzicht kwijtraken, hierdoor weten ze niet precies waar ze zijn;
De werking van de borden, gebruikt tijdens het experiment (blaadjes op de grond) zijn onduidelijk;
Het proces, zonder app, kan soms moeilijk te volgen zijn;
De omgeving is niet realistisch ten opzichte van een echt vliegveld, hierdoor is de sturing te specifiek en niet 1-op-1 uit te rollen in het echt;

Onderzoeksrollen

Tijdens het afnemen van het experiment merkte we dat we handen tekort kwamen. Zo zijn we zo druk in de weer geweest dat we geen tijd hebben gehad om zelf rond te kijken! Ook merkte we dat, doordat we geen vast draaiboek hadden, onze verhalen richting de deelnemers niet altijd consistent waren. Hierdoor vergaten we soms te vermelden dat de deelnemer hardop zijn gedachtenproces moest uitleggen (thinking-aloud).

Tevens was per deelnemer één persoon verantwoordelijk voor het aansturen, bijhouden van de tijd, de thinking-aloud opmerkingen en het invullen van het scoreformulier. Dit is, zo bleek, teveel voor één persoon om te doen, hierdoor zijn sommige opmerkingen zeer beperkt, of niet als citaat maar als interpretatie opgeschreven. We merkte dat we hierdoor informatie miste. Gelukkig hebben we alles opgenomen en konden we de meeste opmerkingen alsnog gebruiken door terug te kijken in de opname.

Sterke punten

Naast de bovengenoemde verbeterpunten zijn er natuurlijk ook sterke punten te benoemen.

Uit de peer reviews en de statement cards kwamen als kleine greep de volgende punten naar boven:

Het gamification element van ons experiment wordt als leuk gezien (“Dit is vet!”);
Het systeem voelt geautomatiseerd; de pijlen geven een duidelijke sturing waardoor je het proces makkelijk doorloopt;
Door relatief veel deelnemers en meerdere meetinstrumenten hebben we veel data;

Peer reviews

De peer reviews van de specialize me les zijn gebruikt in dit document. De ruwe documenten zijn ingescand en hier te vinden.

(op klikken voor vergrootte versie)

Conclusies & aanbevelingen

Om het speelveld beter relateerbaar te maken aan een vliegveld zullen we opschalen naar een groter speelveld van 8 x 8 meter. Dit betekent echter wel dat we dit niet kunnen doen in een normaal klas lokaal. We zullen dan ook proberen de collegezaal op de 5de verdieping hiervoor te reserveren. Als dit niet kan zullen we op zoek gaan naar een andere ruimte die groot genoeg is (minstens 10 x 10 meter);
Naast het grotere speelveld zullen we proberen het vliegveld gevoel meer op te wekken door:
- Foto’s van vertrekhallen en andere locaties op een luchthaven duidelijk in de ruimte te plaatsen (A3 formaat);
- Het vertrekbord digitaliseren en duidelijker maken;
- ‘Vliegveld geluid’ af te spelen;
- Om te roepen wanneer de gate sluit, om zo tijdsdruk meer aanwezig te maken;
- Een grote digitale klok op het scherm met de resterende tijd (dit wordt geüpdatet volgens de spelregels, lopen per vak kost tijd);
Door het vooraf afnemen van de persoonlijkheidstest hebben we een extra groepslid beschikbaar. We hebben dan ook gekozen om per deelnemer, twee groepsleden te hebben. Zo zal het eerste groepslid verantwoordelijk zijn voor het registreren van de thinking-aloud opmerkingen en aansturen/instrueren van de deelnemer. Het tweede groepslid zal verantwoordelijk zijn voor het invullen van het scoreformulier en bijhouden van de tijd;
Het interview achteraf zal duidelijker de vorm krijgen van een enquête zodat hier geen groepslid bij hoeft te zijn. Op deze manier hebben we in totaal vier groepsleden voor de bovengenoemde taken. Zo kunnen we per keer twee deelnemers tegelijk begeleiden en toch alles goed registreren;
Het maken vaan een draaiboek vooraf zorgt er voor dat ons verhaal/instructie richting de deelnemer consistent zijn, en we geen dingen vergeten;