PRE Groep3

Leden

• Eusebio Edua-Mensah
• Jordie Kolkman
• Rachel Loop
• Margot Neggers
• Joey Verhoeven

Week 1

We hebben besloten om Emilia’s aanbod aan te nemen en iets te doen gerelateerd aan de NAO-robot en autisme. We hebben symptomen van autisme opgezocht en een ervan sprak ons aan, de moeite voor autisten om gesticulatie bij hun spraak te gebruiken. Daarom willen wij de NAO-robot gebruiken om autistische kinderen te leren en te trainen om non-verbale communicatie te gebruiken om hun spraak te verduidelijken. We zijn langsgegaan bij het kantoor van Emilia, zij heeft ons wat uitleg gegeven over wat zij doet en ze heeft ons de robot laten zien. Vrijdag spreken we weer af om verder te werken.

Doelstellingen:

- het leren van natuurlijke gesticulatie aan autistische kinderen dmv robots.

- onderzoeken of de nao-robot een significante rol kan spelen in de ontwikkeling van de gesticulatie van het autistische kind.

- zorgen dat ons project goed aansluit op het grote project betreffende nao-robots die omgaan met autistische kinderen.

- onderzoeken welke methode we het beste kunnen gebruiken om de gesticulatie over te brengen naar de kinderen (spelvorm/verhaalvorm).

Vragen

-Emilia heeft verteld over een therapeute waar we vragen aan zouden kunnen stellen. We gaan vragen of we deze kunnen ontmoeten.

-Wanneer kunnen we de nao-robot gebruiken voor installatie en het testen van functies zoals spraak en gesticulatie?

-Of het mogelijk is om met deze nao-robot onderzoek te doen met autistische kinderen en of wij dit zomaar mogen.

-Hoeveel tijd het programmeren van gesticulatie ongeveer kost.

-Wat kunnen we het beste gebruiken om gesticulatie over te brengen naar een autistisch kind?

Week 2

Deze week hebben we verschillende personen gemaild om afspraken te regelen voor interviews. We hebben voor de maandag in week 3 een interview gepland met Iris Smeekens van het Radboudumc. Zij is een therapeute waar we onze vragen over autisme en gesticulatieproblemen aan kunnen stellen. Verder hebben we een moeder van 3 autistische kinderen (Marleen) gemaild; zij heeft al eerder studenten geholpen met het maken van op technologie-gebaseerde training applicaties.

Voor de komende weken houden we ons aan de volgende planning

Week 3 meeting/interview met mensen van het project waar wij voor werken. (iedereen) interviews voorbereiden met Marleen en Bas. (Eusebio en Jordie) Interactief verhaal maken en kijken welke gebaren hierin moeten (Margot en Joey) Nao programma testen (Rachel)

Week 4 Verhaal+gebaren afmaken (met iedereen discussieren en verbeteren) nao programmeren (Rachel) Via tutor regelen autistische kinderen om nao te testen (al mee bezig)

Week 5 Testen met kinderen of het werkt, regelen of we het testen op mogen nemen testanalyse

Week 6 Verbeteringen toepassen (iedereen) presentatie voorbereiden

Week 3

Maandag: Na de presentaties hebben wij een interview gehad met Iris Smeekens (die ook meewerkt aan het project om kinderen sociale vaardigheden aan te leren).

bovendien hebben we data afgesproken voor een interview met Marleen van der Vorst, een moeder van 3 autistische kinderen die veel studenten met projecten over autisme heeft geholpen, en Bas Kamer & Katja Daamen, hoofd ICT afdeling en communicatie deskundige bij kentalis (een bedrijf wat o.a. autistische kinderen helpt leren communiceren).

We hebben deze week een interview gehouden met Iris; deze is te vinden door op de link onderaan de pagina te klikken.

Conclusies: Het idee om een verhaal te gebruiken lijkt een passende aanpak. Ook is er duidelijk sprake van een achterstand bij het gebruik van gebaren door autistische kinderen, niet alle autisten hebben hier last van en één gebruikt juist te veel of te grote gebaren terwijl de ander er geen gebruikt dit verschilt per kind.

Vanwege de korte tijd voor dit project hebben we besloten ons te focussen op kinderen die te weinig of geen gebaren gebruiken, bovendien is dit beter te controleren of dit helpt(makkelijker om te zien of een kind wel/geen gebaren gebruikt dan hoe gepast de gebaren zijn die zij gebruiken).

Het idee om ouders thuis met de kinderen nog te laten oefenen lijkt een goed idee en realiseerbaar omdat bij de PRT aanpak dit ook al gebeurt. De ouders zijn dus al gewend buiten de therapie om bepaalde oefeningen te doen met hen kinderen.

Nog een punt waar wij hiervoor niet aan gedacht hadden was wat de feedback moest zijn wanneer het kind de beweging van nao niet imiteert, door de informatie die Iris ons gaf weten we nu wat de verschillende gradaties van hulp zijn die we kunnen toe passen om het kind te helpen het toch te leren

Week 4

Op maandag hebben we een interview gehad met Marleen, moeder van 3 autistische kinderen. De notulen van het interview staan in de link hieronder.

Belangrijkste punten interview:

Uit het interview nemen we op dat de gebaren zeker nuttig zijn voor autistische kinderen, het maakt gesprekken volgen makkelijker vanwege het visuele aspect. Het duurt wel lang voordat de kinderen een vaardigheid als spraakondersteunende gebaren hebben aangeleerd, en daarom kunnen wij waarschijnlijk niet meer testen of dit echt werkt.

Voordat het kind een verhaaltje gaat volgen van een NAO-robot moet er eerst een korte, duidelijke uitleg worden gegeven door een persoon, anders gaat het kind geen gebaren van de robot nadoen.

De aandacht span een kind met autisme is lang als het verhaal leuk is. Thema's die ons werden aangeraden zijn fantasy en dieren.

De NAO-robot reageert nog traag, wat ervoor zorgt dat de kinderen sneller afgeleid worden. Hier moeten we dus nog wel iets aan doen; we gaan er in ieder geval voor zorgen dat spraak en gebaren van de robot tegelijk wordt uitgevoerd.

Uiteindelijk zijn het wel mensen die moeten helpen om kinderen deze vaardigheid aan te leren, maar de robot kan een goed hulpmiddel zijn.

We hebben er nu voor gekozen om onze doelgroep in leeftijd te definiëren, maar misschien is het beter om de doelgroep te definiëren op niveau van autisme.

Verder gaat het goed met het programmeren van de NAO-robot. We hebben nu een paar simpele gebaren die samengaan met de spraak van de robot. Ook hebben we al een eerste versie van een verhaal die ook onder in een link te vinden is.

Week 5

Aan de hand van een aantal gesprekken met experts lijkt het ons handiger om de kinderen de laatste zin van de robot te laten herhalen terwijl ze het gebaar uitvoeren zodat de link tussen gebaar en taal ook beter tot stand kan komen bij hun. Daarom stopt de robot na zijn gebaar en wacht tot de kinderen het nadoen en nazeggen. Als dat gebeurt is tikt de bijstander de robot op het hoofd zodat hij verder gaat in zijn verhaal.

Het is handig om de robot op een tik te laten reageren in plaats van hem zelf gedurende een voorgeprogrammeerde tijd te laten wachten zodat het direct door kan lopen als de kinderen doen wat gevraagd wordt. Er kan dan ook makkelijker bepaald worden iets langer of iets korter te wachten als er iets mis gaat of als een kind iets niet begrijpt. Er kan dan zelf door de bijstander nog wat extra uitleg worden geboden voordat er verder wordt gegaan.

Er moet nog een informatie stukje geschreven worden dat vooraf gaat aan het verhaal. Margot gaat dit mogelijk schrijven. In dit stukje wordt aan de kinderen uitgelegd wat ze moeten doen, wat ze kunnen verwachten en wat er van hen verwacht wordt. Dit moet duidelijk zijn en er moet rekening worden gehouden met autisme en hoe de kinderen dus op die info reageren. We moeten nog bepalen wie de informatie uiteindelijk gaat geven, de robot, de leraar, of de bijstander(een van ons groepje).

We gaan er tijdens de test met 2 mensen heen, nieuwe mensen hebben meestal een negatief effect op autistische kinderen en daarom met zo weinig als mogelijk. Een staat bij de robot de ander maakt een filmpje en notities.

We moeten bepalen wat we gaan testen, Emilia noemde 2 dingen waarop we mogelijk kunnen testen: - robot die stil staat t.o.v. robot met ademhalingen beweging etc. - verhaaltje over draak t.o.v. verhaaltje over mens of robot

Een robot die stilstaat kan misschien beter zijn omdat die minder afleidt met beweging en lichaamstaal en dat is sowieso het grootste pluspunt van een robot gebruiken i.p.v. een mens. Maar een ademende robot komt natuurlijker over en maakt de overstap naar interactie met een mens weer een stuk kleiner.

Een verhaaltje van een mens of zelfs een robot kan misschien makkelijker zijn voor de kinderen om te begrijpen omdat hun verbeeldingsvermogen minder is.

We moeten met de lerares bespreken wat het beste idee is, want het kan te zwaar zijn voor de kinderen om überhaupt 2 tests uit te voeren. Te veel nieuwe indrukken. Twee keer hetzelfde verhaal met alleen ademhalen als verschil kan misschien saai zijn en zorgen dat kinderen interesse verliezen.

De invloed van de robot zijn gedrag testen is misschien waardevoller voor het vak.

Er moeten 2 vragenlijsten komen, een voor de kinderen en een voor de lerares/ ouders. Van kinderen willen we weten wat ze ervan vinden, wat ze leuk, niet leuk vinden, wat ze beangstigd of ze er enthousiast van worden en of ze het vaker willen doen.

Van ouders en lerares willen we de mening over wat ze denken dat de invloed van dit soort therapie zal zijn op hun kind, hoe ze denken dat het beter kan, of ze andere dingen nog opmerken. De vragenlijsten zullen door Jordie worden gemaakt.

We moeten beslissen of we voor de duidelijkheid plaatjes laten zien. Expert vertelde dat kinderen met autisme niet zo een verbeeldingsvermogen hebben als anderen en dingen uit een verhaal niet voor zich kunnen zien, plaatjes kunnen helpen.

als we die gaan gebruiken moeten ze gezocht worden en geprint etc. > Eusebio verantwoordelijk voor. er moet een filmpje gemaakt worden op de dag zelf, dat moet ook naar de ouders gestuurd worden, in expert-gesprek over gehad. Rachel vraagt rond voor een camera met statief.

Met de lerares moeten we bespreken hoe we er een lesje omheen kunnen maken. Kwam ook uit expert gesprek naar voren.

Joey gaat het gesprek met de lerares voorbereiden.

Verder is het programmeren nu zo goed als af.

Week 6

Deze week hebben we met een user test gedaan met studenten om te kijken hoe zij erop reageren. Het viel ons op dat de studenten bij sommige gebaren niet helemaal begrepen wat ze moesten doen.

Bij het 'kom' gebaar staken sommigen studenten alleen hun hand op met 2 vingers. Dit komt waarschijnlijk omdat de arm bij het gebaar niet heen en weer beweegt en omdat de robots maar 3 vingers heeft. We hebben het daarom aangepast door de arm wel te laten bewegen, en we gaan kijken hoe hier op wordt gereageerd bij de volgende test.

Bij het 'huil' gebaar gaat de robot zitten van te voren. Een aantal studenten keken ons aan terwijl de robot ging zitten. De studenten wisten ook niet zeker of ze hierbij op de grond of op de bank moesten gaan zitten en twijfelden hier erg bij. Omdat autistische kinderen alles letterlijk nemen, halen we het zitten er voor nu uit, en houden we het huilen.

Op het eind van het verhaal maakt de robot een 'juichend' gebaar. Hierbij roept de robot 'jeej'. De studenten vonden dit sarcastisch klinken. Omdat we de intonatie nu niet konden veranderen, hebben we er 'hoera' van gemaakt, wat voor ons in ieder geval al wat enthousiaster klinkt.

Aan het van de tests hebben de users ook gevraagd wat ze ervan vonden en wat verbetert zou kunnen worden. Hier uit kwam dat de users het bij sommige zinnen moeilijk vonden om ze te herhalen, omdat het bijvoorbeeld een lange zin zou zijn. Ook werd er gezegd dat het verhaal geen spanningsboog heeft, maar omdat we nu alleen een verhaal gebruiken dat aansluit op de gebaren gaan we daar nu niet verder op in en is dit meer realiseerbaar voor een opvolging van het project. Als laatste werd er nog gezegd dat je bij het luisteren naar het verhaal meer let op wat je moet doen, en minder aandacht besteed aan wat er precies verteld wordt. Dit willen we ook gaan testen bij de kinderen door te vragen of ze kunnen vertellen waar het verhaal precies over gaat.

Verder hebben we deze week 2 afspraken gemaakt voor volgende week. We gaan naar de openbare basisschool Ekenrooi in Waarle om eerst te testen hoe niet-autistische kinderen reageren op de robot, en daarna gaan we naar De Horst, een speciaal onderwijs voor kinderen met hoor-, spraak-, en/of taalproblemen, om te kijken hoe autistische kinderen op de robot reageren. Om dit voor te bereiden hebben we een NAO geregeld om mee te nemen, een uitleg voor de kinderen gemaakt en een toestemmingsformulier voor de ouders gemaakt.

Week 7

In week 7 hebben we twee tests gedaan, eentje bij een normale basisschool, en eentje bij een speciale basisschool voor kinderen met een spraak/taalprobleem.

De normale basisschool waar we hebben getest was de Ekenrooi in Waalre. We hebben getest in groep 3, met 23 kinderen. In groepjes van 4 kwamen ze naar ons en de robot om het testje mee te doen. Tijdens het onderzoek merkten we dat de kinderen als ze een gebaar na moesten doen eerst afwachtten wat hun klasgenoten deden. Zodra er dan één 'leider' begon met het gebaar deed de rest mee. Ook merkten we dat ze pas na het derde gebaar echt goed snapten wat de bedoeling was en daarna ging het dan ook allemaal wat soepeler. Achteraf hebben we de kinderen gevraagd wat ze ervan vonden. Alle kinderen vonden het erg leuk, ze vonden de robot leuk en ze vonden het ook leuk om de gebaren na te doen. Op deze normale basisschool zeiden de kinderen ook dat ze alle gebaren al wel kenden en zelf soms ook gebruikten. Ze hebben ons ook veel ideeën gegeven voor wat voor soort verhalen ze leuk zouden vinden, hier kwamen vooral spannende griezelverhalen uit.

Basisschool de Horst is onderdeel van de taalbrug en is speciaal voor kinderen met een taal/spraakprobleem. Hier hebben wij onze tweede test gedaan. We hebben getest met een groep kinderen die qua ontwikkeling in groep drie zit, ze zijn dus ouder dan onze vorige groep maar gedragen zich niet zo.

De opzet van de test was hetzelfde zoals bij de vorige groep, in een kleine ruimte hadden we de robot neergezet en telkens kwamen er kinderen in groepjes van vier langs om het verhaaltje van de robot mee te doen. Daarna werden nog een aantal vragen aan de kinderen gesteld.

Opmerkelijk was dat de autistische kinderen hun aandacht beter bij het verhaal konden houden en minder om zich heen keken. Daarnaast deden ze de gebaren beter na dan we verwacht hadden; niet te letterlijk. Verder waren ze nog enthousiaster over de technologie dan de kinderen op de normale school; ze hadden allerlei vragen over de robot en wilden zien wat hij kan.

Zelf hadden we verwacht dat er kinderen tussen zouden zitten die bang zouden zijn voor de robot maar dit was helemaal niet het geval. Ze vonden de robot aardig en wilden hem vaker zien.

Wat wel binnen de verwachtingen viel is dat de autistische kinderen aangaven dat ze zelf de gebaren niet vaak gebruikten, en dat was bij de normale kinderen wel het geval.

Ook hebben uitbreidingen gedacht voor als het project door zou gaan.

Links

interviews

verhaaltjes

programmeren

uitleg voor de kinderen

toestemmingsformulier

uitbreidingen

Literatuur

Huskens, B., Verschuur, R., Gillesen, J., Didden, R., and Barakova, E., Promoting question-asking in school-aged children with autism spectrum disorders: Effectiveness of a robot intervention compared to a human-trainer intervention. Journal of Developmental Neurorehabilitation, 16(5): 345�356, October 2013; ( conversations with the robots; there are videos from the experiments in Dorwerth - we can watch them only there!)

J. C. J. Brok, E. I. Barakova Engaging autistic children in imitation and turn-taking games with multiagent system of interactive lighting blocks >in H.S. Yang et al. (Eds.): ICEC 2010, ., LNCS 6243, pp. 115�126, 2010. [pdf] ( modelling principle is used - the children are shown behaviors and when these are modelled in the same way the children learn them better).

Emilia I. Barakova and Tino Lourens Expressing and interpreting emotional movements in social games with robots. Personal and Ubiquitous Computing, (2010) 14:457�467. ( emotional movements and gestural expressions may come close)

M. Dimitrova, N. Vegt, and E. Barakova, "Designing a system of interactive robots for training collaborative skills to autistic children" in Interactive Collaborative Learning (ICL), 2012 15th International Conference on, 2012, pp. 1-8. [pdf]

Sowden, H., Perkins, M., & Clegg, J. (2008). The co-development of speech and gesture in children with autism. Clinical linguistics & phonetics, 22(10-11), 804-813.

de Marchena, A., & Eigsti, I. M. (2010). Conversational gestures in autism spectrum disorders: Asynchrony but not decreased frequency. Autism research, 3(6), 311-322.

Jansen, E. HTI research project: The effect of natural head and iconic hand gestures on message recall in human-robot interaction

Dean, J.(2014). Autism Explained: Simple New Theory Links Confusing Array of Symptoms. Geraadpleegd op 20 september 2014 via http://www.spring.org.uk/2014/10/autism-explained-simple-new-theory-links-confusing-array-of-symptoms.php

Alberto Gruarin, Michel A. Westenberg, and Emilia I. Barakova, StepByStep: Design of an Interactive Pictorial Activity Game for Teaching Generalization Skills to Children with Autism, LNCS 8215,, pp. 87-92, 2013.

E. I. Barakova, J. Gillessen, and L. Feijs Social training of autistic children with interactive intelligent agents Journal of Integrative Neuroscience, 8(1):23-34, 2009.

Horwitz, E. H., & Ketelaars, C. E. J. (2004). Autisme Spectrum Stoornissen bij normaal begaafde volwassenen. Uitgeverij Van Gorcum.

Van Rijn, H. (2012). Meaningful encounters: Explorative studies about designers learning from children with autism. Dcotoral Thesis.

Gillesen, J. C. C., Barakova, E. I., Huskens, B. E. B. M., & Feijs, L. M. G. (2011, June). From training to robot behavior: Towards custom scenarios for robotics in training programs for ASD. In Rehabilitation Robotics (ICORR), 2011 IEEE International Conference on (pp. 1-7). IEEE.

Koegel, R. L., Bradshaw, J. L., Ashbaugh, K., & Koegel, L. K. (2014). Improving Question-Asking Initiations in Young Children with Autism Using Pivotal Response Treatment. Journal of autism and developmental disorders, 44(4), 816-827.

Schothorst P.H., Engeland, H. van, Gaag R.J. van der, Minderaa, R.B., Stockmann, A.P.A.M., Westermann, G.M.A., & Floor-Siebelink, H.A. (2009). Richtlijn diagnostiek en behandeling autismespectrumstoornissen bij kinderen en jeugdigen. Utrecht: De Tijdstroom.