Bordschrijfrobot

Terug: PRE2015 1 Groep4

Probleemstelling

Momenteel is de werkloosheid in Nederland een groot maatschappelijk probleem. Het feit is dat de Nederlandse maatschappij aan het vergrijzen is. Het draagvlak voor uitkeringen die dit probleem met zich meebrengt zal alleen hierdoor al verder afnemen, terwijl de kosten toenemen. Robotica-techniek bied in onze ogen een oplossing. Natuurlijk zijn de juiste instelling, opleidingsniveau (kennis) en vaardigheden voor een baan van essentieel belang. Hierop wordt normaal dan ook gescreend tijdens een sollicitatiegesprek. Helaas is er ook ruim één miljoen mensen met een arbeidsbeperking. Deze groep mensen heeft woon/werkaanpassingen (groot of klein) nodig om hun werkzaamheden goed uit te kunnen voeren. De diversiteit van deze grote groep maakt het moeilijk om een passende oplossing te vinden. Verschil in leeftijd, beperking, belangen en educatie vragen allen om maatwerk. Een technologische oplossing werkt dan vaak ook slechts op kleine schaal voor specifieke doeleinden. Een algemenere oplossing vraagt dan ook om een sterke AI. Om een meer op de hedendaagse mogelijkheden beruste techniek te ontwikkelen, hebben wij besloten onze focus te richten tot blinden en/of slechtzienden. Natuurlijk zijn er verschillende stakeholders, met allen hun eigen visie op wat de requirements van deze technologische oplossing moeten zijn.

Succesvol werken met een visuele beperking vergt mobiliteit, het kunnen compenseren van verminderd zicht met hulpmiddelen en in staat zijn een positief beeld neer te zetten van jezelf. Momenteel worden visueel beperkten vaak slecht geïnformeerd over hulpmiddelen tijdens studie en werk. Slechts 75% volgt regulier onderwijs en hierdoor loopt men al (vroeg) in de ontwikkeling tegen extra uitdagingen aan. Hier is ruimte in te winnen. Natuurlijk zijn er verschillende belangenorganisaties die de benodigde kennis in huis hebben, maar het initiatief van het verkrijgen van deze informatie ligt vaak bij de visueel beperkten zelf. Als wij onze technologie succesvol op de markt willen zetten moet eerst een betere samenwerking met deze groep worden gerealiseerd. Op het internet zijn al veel technologische oplossingen voor blinden te vinden. De hoge prijzen van deze hulpmiddelen, de mindere financiële draagkracht van deze groep in combinatie met de beperkte vergoedingen van zorgverzekeraar en UWV, hebben tot gevolg dat je deze technologieën niet veel terugvind in de maatschappij. Bijkomend probleem is dat deze technologieën nog niet optimaal werken, omdat door deze lage afzet de kinderziektes nooit uit de producten gehaald kunnen worden. Visueel beperkten moeten “blind” kunnen vertrouwen op technologieën. Deze groep wacht eerst af voordat ze tot aanschaf overgaan. Zij wachten op positieve ervaringen/reacties van andere gebruikers. Zij kunnen namelijk alleen maar onafhankelijk zijn met producten die gegarandeerd werken.

Aangepaste werkplekken voor deze groep zijn er te weinig. Ook hier is gebrek aan kennis bij de werkgevers een grote oorzaak. Werkgevers zijn vaak niet op de hoogte van subsidies en andere voorzieningen die onder andere door het UWV en/of gemeenten verstrekt worden. De lagere overheid doet na intreding van de Participatiewet veel moeite met het zoeken naar of het creëren van aangepaste werkplekken. Ook is het maatschappelijk draagvlak aan het groeien, immers iedereen participeert mee in onze samenleving. De meerderheid van onze focusgroep deelt deze instelling en wil héél graag werken. Werkgevers onderschatten het aanpassingsproces, maar als dit obstakel overwonnen is zijn ze content met het resultaat. Visueel beperkten hebben in het algemeen een goed CV, zijn makkelijk om mee te werken en zijn vaak zelf in staat om aan te geven wat ze willen/kunnen en wat ze nodig hebben om dit te bereiken. Natuurlijk kost werken met een beperking extra energie en is de toenaderingsdrempel in de sociale werkgerichte cirkel tussen ‘normale’ werknemers in het begin hoog. Maar door juiste regelaanpassingen in combinatie met hulpmiddelen en oplossingen voor verminderde flexibiliteit zal de samenwerking tussen werknemers goed zijn.

Technologie ontwikkelt zich snel. Een technologische oplossing kan alleen worden geïntegreerd in de maatschappij als de grote meerderheid dit accepteert. Tot vandaag de dag is de ontwikkeling van een AI een groot moreel dilemma. Het is een toekomstdroom voor sommigen en een nachtmerrie voor anderen. Daarom hebben we gekozen voor een ‘veilige’ oplossing, een robot assistent voor onder andere de functie docent, namelijk een bordschrijver/veger. Deze technologische oplossing heeft een zwakke tot matige AI, het is een systeem met enige vorm van autonomie dat herbruikbaar is. Het zal onbeperkte mogelijkheden terugdringen tot een paar goede opties in een beslissingsframe en dit frame met keuzemogelijkheden aan gebruiker aanbieden. Daarnaast zal het sommige handelingen automatisch of zonder veel aansturing uitvoeren. Maar de uiteindelijke uitvoering wordt bepaald door de gebruiker.

Requirements

Speech to text

De robot zet de gesproken woorden van de docent om in geschreven tekst op het bord. Om er voor te zorgen dat niet elk geluid (bijvoorbeeld studenten met een vraag) wordt omgezet tot tekst, maakt de docent gebruik van een microfoontje. Zo blijft de tekst beperkt tot wat de docent zegt en daarnaast worden de woorden van de docent duidelijk gedetecteerd. Dit microfoontje werkt zo dat het ook gebruikt kan worden als microfoontje voor de collegezaal of klaslokaal. Dit voorkomt dat de docent twee microfoontjes moet dragen.

Vegen

De docent weet niet waar er op het bord geschreven is en kan dus ook niet bepalen wat er weggeveegd moet worden. Bovendien is het vinden van een borstel een probleem voor een blinde (zelfs niet-blinde docenten hebben hier soms moeite mee, omdat ze op willekeurige plekken worden teruggelegd). Het is dus van belang dat de robot dit zelf kan. Het vegen moet met genoeg kracht gebeuren om de tekst te verwijderen en er mogen geen veegresten achterblijven. Daarnaast is het belangrijk dat de robot zo op het bord is bevestigd dat het aantekeningen niet beschadigd of uitveegt wanneer de robot over het bord beweegt. Bovendien moet de docent aan de robot duidelijk kunnen maken wat er weggehaald moet worden en wat mag blijven staan.

Tekst, grafieken, tabellen en wiskundige functies

Naast tekst is het ook van belang dat de docent grafieken, tabellen en functies kan gebruiken om zijn stof goed over te kunnen brengen naar de studenten. De robot moet dus beschikken over een grote wiskundedatabase om allerlei functies te kunnen plotten.

Communicatie

Natuurlijk hoeft niet alles wat de docent zegt op het bord te komen staan. Er moet dus een systeem worden ontwikkeld dat de docent in staat stelt om aan te duiden wat er moet worden opgeschreven. Dit kan zijn een variatie aan stemcommando’s voor bijvoorbeeld schrijven, vegen of grafieken of een apparaat dat door de docent in de hand wordt gehouden met knoppen voor eerder genoemde voorbeelden. Een andere oplossing zou zijn om een algoritme te gebruiken dat zelf uit de context bepaald wat er op het bord moet worden opgeschreven. Dit zou ook voor de docent fijner zijn, omdat hij zijn verhaal dan zo natuurlijk mogelijk kan vertellen. Deze oplossing is software gezien heel moeilijk te implementeren en zal iets zijn voor volgende generatie bordschrijfrobots.

Universeel

Een klaslokaal of collegezaal kan zowel whiteboards als blackboards hebben. De robot moet zich hier zonder al te veel moeite op kunnen aanpassen. Hiermee wordt bedoeld dat de robot zonder tussenkomen van een mens moet kunnen overstappen van een whiteboard naar een blackboard. Dit betekent ook dat de robot zowel stiften als krijt moet kunnen gebruiken. Het is belangrijk dat de robot alle veelgebruikte merken stiften en krijt kan gebruiken om te voorkomen dat er speciaal op maat gemaakte stiften of krijt moet worden gemaakt.

Geluidsproductie

Vanzelfsprekend moet de robot ook stil (genoeg) zijn. De docent zou zijn stemniveau niet hoeven te verhogen om boven het geluid van de bewegende robot uit te komen. Daarnaast is het voor de studenten ook van belang dat de robot niet te veel geluid maakt. Een te luide robot zou kunnen leiden tot een verlaagde concentratie en dus een afname van kennisopname.

Voorraad- en detectiesysteem

Om de robot zo efficiënt mogelijk te maken, is het belangrijk dat de robot een voorraad aan stiften en krijt heeft. Dit voorkomt dat de docent iets hoeft te vervangen tijdens de les. Als het toch voorkomt dat de robot zonder krijt of stiften komt te zitten is het van belang dat dit op tijd wordt gedetecteerd door de robot. Dit moet ook weer doorgegeven worden aan de docent zodat hij de voorraad weer kan bijvullen.

Afmetingen

De afmetingen van de robot zijn uitermate belangrijk vanuit meerdere punten. Ten eerste mag de robot niet te groot zijn vanwege het zicht. Een te grote robot betekent dat delen van zinnen of grafieken bedekt zullen worden door de robot wat voor irritatie zorgt bij de studenten. Ten tweede zal de docent de robot mee moeten nemen. Hoe groter de robot is, hoe lomper en zwaarder het zal zijn. De robot zal dus klein genoeg moeten zijn om comfortabel mee te kunnen nemen. Dit kan door bijvoorbeeld een tas te ontwerpen waar de robot in past en veilig is voor stoten en botsingen. Bovendien moet er niet vergeten worden dat de docent blind is en zijn handen dus al nodig heeft voor het navigeren door de omgeving.

Geheugen

De robot heeft om meerdere redenen een geheugen nodig. Ten eerste moet de robot beschikking hebben tot een groot wiskundig database (zoals Mathematica) om grafieken te kunnen plotten en wiskundige functies te kunnen interpreteren. Ten tweede is het belangrijk dat de robot bijhoud hoeveel er is opgeschreven, waar dit is opgeschreven en hoeveel ruimte er nog is op het bord (zie procesbeschrijving voor meer details). Een bijkomend voordeel van deze data is dat de robot na het college een overzicht heeft van alles wat er is opgeschreven. Veel docenten sturen na de les de slides van het college naar de studenten of plaatsen het op een online leeromgeving zoals oase. De docent zou dit overzicht beschikbaar kunnen maken voor de studenten.

Snelheid

De snelheid van zowel de robot als de docent is van essentieel belang voor een goed college. Te snel en de studenten hebben geen tijd om het goed op te schrijven. Een te langzame robot en het college zal niet meer synchroon lopen. Beide situaties zal voor onduidelijkheid bij de studenten zorgen en moet dus zo goed mogelijk vermeden worden. De snelheid is afhankelijk van meerdere factoren zoals de rekenkracht van de robot, de schrijfsnelheid van de robot en de communicatie tussen de robot en de docent (in andere woorden, het gemak van de commando’s/seintjes).

Design

Specifications

rev 1

Category	Details	Notes
Remote	Microphone	For imput of commands.
	Battery	Probably AA (rechargable)
	Buttons	For clearing all. Selecting certain areas of the board. Saving all data on the board. And push to talk.
Robot	Magnets	To keep the robot attached to the board. Not too tight so it is hard to move but should never fall off.
	Computer	To manage position, commands, drawing, calibration etc.
	Connection	With the remote, probably Wifi or Bluetooth depending on the battery lifetime.
	Omni Wheels	Can move in all directions. Should not interfere with the already written text.
	Battery	Should cover about 8 hours.
	Markers and wiper	Since printing on the board is not an option we need a various selection markers and a wiper.

Category	Part	Elaboration
Markers	Black whiteboard marker	Easy restockable markers for whiteboards.
	Red whiteboard marker	The markers are installed on the side of the robot so it can be read faster. The ones not in use are not against the board and capped.
	Blue whiteboard marker
	White chalk marker	Chalk markers for blackboards. These should be able to spin to make dots.
Wiper	Board wiper	Also place on a side and can just like the markers be lifted from the board when not needed.
	Whiteboard cleaner	Could be added to help clean the board better.
Computer	Speech to text	To translate the users sentences into text and to receive commands for actions.
	Software	Plot, draw amd callibrate equations, diagrams, graphs and other mathmetical functions.
	Memory	Store previous work for fast repetitive access.

rev 2

rev 2 of the specifications of the robot.

Category	Part	Elaboration
Robot	Grootte	24x24x8 cm (LxWxH)
	Handvaten	2 handvaten met een hoogte van 3 cm en een balk aan de bovenkant om te helpen bij de oriëntatie
	Magneten	Een veelvoud van 4, Neodymium magneten, langs de randen geplaatst. Grootte en aantal is afhankelijk van de benodigde kracht.
	Wheels	2 sets van 2 omni wheels. Elke set is diagonaal tegenover elkaar geplaatst 90 graden gedraaid ten opzichte van de andere set. Op deze manier kan een set van 2 diagonaal geplaatste omniwheels gebruikt worden om in 1 richting te rijden terwijl de rollers op de andere wielen meerollen. Andersom kan in de andere richting bewogen worden. Door beide sets aan te drijven zijn ook diagonale verplaatsingen mogelijk.
	Motors	Ieder wiel wordt aangedreven door een stepper motor die precieze bewegingen mogelijk maken en de voortverplaatsingen kunnen bijhouden.
	Scrijver	Een stepper motor wordt gebruikt om een as met schroefdraad te aan te drijven om de penhouder te verplaatsen in een 1 dimensionale richting. 2 extra assen worden gebruikt om de het de penhouder blok in goede banen te houden.
	Pen houder	De houder is licht gekanteld en heeft meerdere schachten om pennen in vast te houden. De schachten in de houder kunnen gedraaid worden zodat een andere stift gekozen kan worden. In het blok zit een servo om de roterende schijf te draaien.
	Accu	De robot wordt gevoed door 12 18650 Li-ion accu's. Voor nu gaan we er van uit dat ze geconfigureerd zijn in 3S4P (3 serial, 4 parallel) om het benodigde voltage capaciteit te realiseren.

Tekening

De requirements voor de bordschrijfrobot en hoe ze verwerkt zijn:

• Universeel: de robot is uitgerust met een roterend voorraadsysteem voor stiften of krijt.
• Geluidsproductie: vanuit een tekening is dit moeilijk te beoordelen, er zou isolatie kunnen worden aangebracht aan de binnenkant van de behuizing maar aangezien de behuizing niet dicht is heeft dit maar beperkte invloed.
• Voorraad- en detectiesysteem: Er zitten meerdere pen/krijthouders aan een roterende schijf die aangedreven kan worden waardoor de robot een schrijfmiddel kan selecteren of van het papier af kan halen.
• Afmetingen: om makkelijk mee te nemen te zijn hebben we de robot zo klein mogelijk gehouden, maar wel groot genoeg om de pen over de lengte van een letter te kunnen laten bewegen zonder de robot zelf verticaal te moeten voortbewegen.
• Snelheid: de maximale snelheid is afhankelijk van de stappenmotoren, maar kan binnen een bepaalde range bepaald worden.

Designkeuzes:

• Grootte: Om het formaat beperkt te houden maar alles er in te kunnen passen is gekozen voor een formaat van 24x24x8 cm (LxWxH)
• Handvatten: Er is gekozen voor 2 handvatten en een balk aan de bovenkant zodat de robot makkelijk van het bord afgepakt kan worden.
• Magneten: Om er voor te zorgen dat de robot over het bord kan rijden is er voor sterke magneten gekozen.
• Wielen: Om het aantal wielen en de complexiteit en benodigde ruimte van de aandrijving beperkt te houden is er gekozen voor omniwheels, welke in 2 richtingen kunnen voortbewegen.
• Motors: Om precieze bewegingen mogelijk te maken en de voortbewogen afstand bij te kunnen houden is er gekozen voor stepper motors.
• Scrijver: Om de schrijver simpel te houden wordt er een schroefdraad aandrijving gebruikt om het blok met de penhouder heen en weer te bewegen.
• Pen houder: 1 pen moet tegelijk op het bord staan, daarom is er gekozen om de houder te kantelen, en tussen de pennen kan gewisseld worden door de draaischijf draaien.
• Accu: Omdat er relatief weinig ruimte is en het gewicht beperkt moet blijven is er gekozen voor 18650 Li-ion accu's. Deze hebben een hoge lading dichtheid en zijn makkelijk beschikbaar.

De App

De app moet volledig functioneel zijn via voice commands door gebruik te maken van goed functionerende speech to tekst software. Taakbalk

De taakbalk blijft altijd hetzelfde, is altijd statisch gepositioneerd en bestaat uit:

1. Een knop terug naar de hoofdpagina (het bord).

2. Een knop die leid naar het geheugen van de robot.

3. Een knop voor de instellingen.

4. Een knop voor help.

De taakbalk zal altijd op dezelfde plek blijven staan en de volgorde van knoppen zal ook niet veranderen. Dit is gedaan om de app gebruiksvriendelijker en consistenter te maken. We hebben eraan gedacht om de knoppen verschillende felle kleuren te geven, maar dit wordt of niet goed gezien door de gebruiker of zou alleen maar voor irritatie zorgen bij de gebruiker. Het is nuttiger om de consistentie te hebben in het menu, zodat de gebruiker bekend wordt met de locatie van de verschillende knoppen en zo altijd zijn weg door de app kan vinden.

Hoofdpagina

De hoofdpagina is een reproductie van het bord met daarop precies wat er ook op het bord staat. Vanuit hier kunnen specifieke delen van het bord zoals woorden, zinnen, grafieken of formules geselecteerd en aangepast worden. Het idee is dat de visueel beperkte gebruiker voornamelijk met het bord interacteert via voice commands. In het geval dat de gebruiker iets wil aanpassen op het bord kan dit ook altijd worden gedaan via de app op de smartphone of tablet.

Geheugen

De pagina is ingedeeld in drie subcategorieën; tekst, grafieken en formules. De maakt het makkelijker voor visueel beperkten om te vinden waar ze naar zochten. Aannemend dat de visueel beperkte gebruiker een goed geheugen heeft, kan hij het juiste bestand oproepen via het voice command systeem.

Instellingen

In de instellingen kan men verschillende functies van de robot aanpassen, zoals het lettertype, de lettergrootte, de kleur van de gebruikte marker (dit kan variëren bij bijvoorbeeld grafieken) en algemene instellingen zoals taal, updates, geluid, etc.

Help

De helpfunctie kan gebruikt worden om oplossingen voor problemen te vinden, uitleg over allerlei onderdelen van de app, informatie over de voice commands, etc.

Gebruik

We raden een volledige training voor de app aan om grip te krijgen op alle functionaliteiten en voordelen van de app. Het kan even duren om gewend te raken aan de instellingen, menu’s en knoppen dus wij raden aan dat de app wordt gedemonstreerd en uitgelegd door een expert. Wanneer alle functies bekend en vertrouwd zijn, kan de gebruiker de app effectief zelfstandig gebruiken. Sinds het systeem voornamelijk bestuurd wordt via voice commands, moet het gemakkelijk zijn voor de gebruiker om met de robot te communiceren.

Werking

Voordat de bordschrijfrobot in gebruik kan worden genomen, moet eerst de grootte van het bord (black/white) door de robot worden geregistreerd m.a.w. het kalibreren van de positiesensor(en). Dit wordt gedaan door de robot linksonder op het bord te zetten, waarna hij vervolgens een rondje maakt langs de randen van het bord om voor zichzelf een zogenaamd ‘grid’ te vormen en zijn positie verder in het proces nauwkeurig(er) te kunnen bepalen. Daarnaast is het belangrijk dat er een bluetooth verbinding is gevormd met de telefoon/tablet van de betreffende gebruiker voorzien van de bijbehorende applicatie én een microfoontje is aangesloten.

Eenmaal de bordschrijfrobot ge-initialiseerd/gekalibreerd, kan deze in gebruik worden genomen. Spraak in de microfoon, komend van de gebruiker, wordt door de applicatie op de mobiele telefoon verwerkt en omgezet naar tekst/symbolen (speech to tekst). Vervolgens vind er signaalverwerking plaats om deze informatie via bluetooth naar de bordschrijfrobot te sturen. De bordschrijfrobot zet de ontvangen informatie om in commando’s voor de motoren en actuatoren, die er samen voor zorgen dat de juiste tekst/symbolen op het bord verschijnt/verschijnen.

Scenario

Een ethicus is universitair docent en geeft in 2018 het vak USE Base op de Technische Universiteit Eindhoven. Ze is geheel blind. Als ze ’s ochtends plaatsneemt aan haar bureau, heeft ze nog twee uur om haar college voor te bereiden. Ze haalt haar tablet uit haar tas en een bordschrijfrobot en bijbehorende bediening uit een lade. De speech-to-text software op haar tablet helpt haar de bordschrijfrobotapp snel te vinden. Ze staat op en bevestigt de bordschrijfrobot op het whiteboard in haar kantoor. Ze zet de robot aan en deze maakt eerst een rondje over het bord. Als de robot hier klaar mee is neemt het plaats op de linkerbovenhoek van het bord. De docent gaat zitten en neemt de afstandsbediening in haar hand. Ze houdt de dicteerknop ingedrukt en zegt: “USE Base college 3”. De bordschrijfrobot schrijft dit met whiteboard-stift op de linkerbovenhoek van het bord en op haar tablet verschijnt dezelfde tekst op dezelfde plek. Op dezelfde manier dicteert ze alle belangrijke onderwerpen van haar college. Als ze tevreden is met de opbouw gaat ze chronologisch de regels tekst af. Elke regel tikt ze op haar scherm aan. Het scherm vertelt haar op welke tekst haar vinger rust. Als ze bij de eerste regel is drukt ze met de andere hand de opslagknop in en zegt: “USE 3 1”. De tweede regel slaat ze op als “USE 3 2” enzovoorts. Als alles opgeslagen laat ze de bordschrijfrobot alles wissen met de verwijderknop.

Een tijdje later is ze met haar blindengeleidenstok in de collegezaal aangekomen. Ze heeft haar tablet, bordschrijfrobot en afstandsbediening in haar tas meegenomen. Ze vindt het bord en plaatst de bordschrijfrobot weer op het bord, ditmaal een blackboard. De robot maakt wederom een ronde over het bord. Ze legt de tablet op de tafel voorin in de collegezaal en neemt de afstandsbediening in de hand. Ze richt zich tot de zaal: “Ik wil graag beginnen.” Ze houdt de laadknop ingedrukt en zegt: ”USE 3 1”. De robot schrijft met krijt de tekst “USE Base college 3” op het bord. In de zaal schrijven een aantal van de studenten mee. Een deel weet echter dat wat er op het bord verschijnt aan het eind van het college naar de van website op OASE wordt geüpload.