Control: Difference between revisions

From Control Systems Technology Group
Jump to navigation Jump to search
 
(12 intermediate revisions by the same user not shown)
Line 1: Line 1:
De robotscheidsrechter krijgt zijn fysieke voorstelling in de vorm van een [[drone]]. Deze zal autonoom het spel in de gaten houden en beslissingen nemen gebaseerd op eigen waarnemingen en camera's.
De robotscheidsrechter krijgt zijn fysieke voorstelling in de vorm van een [[drone]]. Deze zal autonoom het spel in de gaten houden en beslissingen nemen gebaseerd op eigen waarnemingen en camera's.
== Recente update ==
vlucht:<br>
[[File:drone.gif]] <br>
<br>
besturing met behulp van matlab: <br>
[[File:dronecontrol.gif]] <br>
<br>
Door middel van een MatLabscript hebben we de drone kunnen laten vliegen. Deze besturing geschied nog aan de hand van de pijltjestoetsen voor rotaties, stijgen en dalen, en WASD voor de horizontale translaties. <br>
Met een camera onder de drone bevestigd is getest of deze autonoom kan vliegen met behulp van het geschreven matlab-script. <br>
[[File:autonoomvliegen_1.gif]] <br>
<br>
[[File:autonomous_rotation.gif]]<br>


== Positiebepaling ==
== Positiebepaling ==


Om de essentie van het doel aan te grijpen en het realiseerbaar te houden is er gekozen voor de opstelling te zien in onderstaande figuur. <br>
De positiebepaling van de drone gebeurt door middel van verschillende perspectieven. <br>
 
Allereerst is er de '''lokale camera''' die op de drone gemonteerd zit. Daarnaast is er ook een '''[[topcam]]''' die het gehele veld van boven overziet. <br>
Camera 1, 'C1', en camera 2, 'C2', zullen respectievelijk het linker- en rechterdeel van het veld in de gaten houden. <br>
Hierbij zal de topcam zich vooral focussen op de volgende dingen: <br>
Hierbij zullen ze vooral focussen op de zijlijnen en de bal. <br>
* Uitbaldetectie<br>
* Als de bal de zijlijnen passeert, zullen ze dit aan de scheids doorgeven zodat deze daar adequaat naar kan handelen. <br>
* Doelpuntdetectie<br>
* Als de bal naar het andere cameraveld beweegt zullen de camera's een signaal uitwisselen
* De positie van de bal<br>  
* De positie van de bal wordt aan de drone doorgegeven. <br>  
* De positie van de drone<br>
* Als de bal uit is wordt dit aan de drone doorgegeven. <br>
Bovenstaand proces van interactie tussen de camera's en de drone wordt ook wel '[[multi-camera netwerking]]' genoemd.


De doorgegeven positie wordt aan de hand van x,y coördinaten gedaan. De camera's zijn een gefixeerd punt in de ruimte. Dit stelt ons in staat een oorsprong te definiëren en de ruimte in coördinaten te beschrijven. <br>
In onderstaand stuk wordt vooral gefocussed op op de positiebepaling van de bal en de drone.<br>
De hoek linksonder in het veld is het (0,0) punt. De drone ontvangt van de camera's de positie van de bal en kan zo aan de eis voldoen dat de drone boven de bal moet blijven vliegen. De camera van de drone kan, mits in het bereik, ook de positie van de bal spotten. De drone zal zichzelf oriënteren aan de hand van C1 en C2. De drone heeft een eigen X,Y-assenstelsel op zijn camera met (0,0) het middelpunt van het beeld. In een wedstrijd kan voor de drone twee situaties voorkomen. Een waarbij de drone de bal zelf kan 'zien' en een waarbij de bal buiten het beeld van de drone is. <br>
Er zijn twee situaties te onderscheiden.


=== Situatie 1 ===
=== Situatie 1 ===
Dit is de situatie waarbij de camera van de drone zelf de bal kan waarnemen. Het camerabeeld van de drone heeft een assenstelsel <math>(x_{db},y_{db})</math> met (0,0) in het midden van het beeld. Door middel van videotracking kan de bal worden waargenomen door de camera met een bepaalde positie. Deze positie heeft een <math>(x,y)</math> waarde ten opzichte van middelpunt. Door deze te vergelijken kan een richtingsvector worden opgesteld: <math>r_{d1}^T=[x,y]</math>. Door de drone nu een bepaalde snelheid v in deze richting te geven zal de drone de bal volgen. <br>
Dit is de situatie waarbij de camera van de drone zelf de bal kan waarnemen. De camera staat onder een hoek van 45 graden. Zo heeft de drone goed zicht over het veld. Dit geeft een voordeel ten opzichte van de camera die naar beneden kijkt, omdat situaties van andere hoeken bekeken kan worden. De drone kan namelijk 360 graden om de bal heen draaien. Vanuit de camera komen verschillende waarden binnen, namelijk <math style="font-size:18px">(x_{db},y_{db},d_{db})</math>. De <math style="font-size:18px">x_{db}</math> en <math style="font-size:18px">y_{db}</math> staan voor de positie ten opzichte van het middelpunt van het camerabeeld. Hiermee kan dus de draairichting van de drone worden bepaald. De <math style="font-size:18px">d_{db}</math> is de diameter van de bal in het beeld. Deze wordt gedefinieerd als een aantal pixels in het scherm. Met deze informatie kan de afstand tot de bal worden berekent als de camera goed gekalibreerd is. Als de diameter kleiner wordt zou de drone dus naar voren moeten vliegen, omdat de bal wegrolt, en vice versa. Een ander voordeel van deze camerahoek is dat het zijaanzicht van de turtles op het veld goed te waarnemen is. Dat kan gebruikt worden bij het nemen van de juiste beslissing in het geval van botsen.<br>
[[File:Positie_bepaling_situatie2.png]] <br>
[[File:Positie_bepaling_situatie3.png]] <br>


=== Situatie 2 ===
=== Situatie 2 ===
In deze situatie kan de drone zelf de bal niet 'zien'. Dit kan voorkomen als de bal sneller wegrolt dan de drone kan vliegen. Hier worden de drone en de bal door middel van de camera's boven het veld waargenomen met een positie voor de bal <math>(x_b,y_b)</math> en voor de drone <math>(x_d,y_d)</math>. Door het verschil van deze twee posities kan weer een richtingsvector worden opgesteld: <math>r_{d2}^T=[(x_d-x_b),(y_d-y_b)]</math>. De drone zal weer met een bepaalde snelheid in deze richting gaan vliegen. <br>
In deze situatie kan de drone zelf de bal niet detecteren. Dit kan voorkomen als de bal sneller wegrolt dan de drone kan vliegen. Dan wordt overgeschakeld naar data vanuit de topcam. Via de topcam worden de drone en de bal waargenomen en voor elk object de positie bepaald. Het signaal dat naar de drone gestuurd wordt, zijn de coördinaten voor de bal <math style="font-size:18px">(x_b,y_b)</math> en voor de drone <math style="font-size:18px">(x_d,y_d)</math>. Door het verschil van deze twee posities kan wederom een richtingsvector worden opgesteld: <math style="font-size:18px">r_{d2}^T=[(x_d-x_b),(y_d-y_b)]</math>. De drone zal weer met een bepaalde snelheid in deze richting gaan vliegen. <br>
[[File:Positie_bepaling_situatie1.png]] <br>
[[File:Positie_bepaling_situatie1.png]] <br>


<br>
<br>
Om een goed vliegende drone te hebben moeten de bovenstaande situaties 1 en 2 goed worden onderscheiden. Zo zijn er enkele voorwaarden waar het vliegen aan moet voldoen. Allereerst moet de drone een vaste hoogt proberen aan te houden. Deze is gesteld op 2 meter zodat de drone de spelers niet in de weg loopt en hoog genoeg is om niet geraakt te worden door hoog vliegende ballen. De volgende voorwaarde is dat als de drone de bal kan zien dat deze op eigen informatie handelt en de binnenkomende informatie van de vaste camera's negeert. Zodra de drone de bal niet meer waarneemt zal deze reageren op de informatie van de vaste camera's, totdat de drone zelf de bal weer kan zien en overschakelt op eigen informatie. <br>
Om een goed vliegende drone te hebben moeten de bovenstaande situaties 1 en 2 goed worden onderscheiden. Allereerst moet de drone een vaste hoogt proberen aan te houden. Deze is gesteld op 1.5 meter zodat de drone de spelers niet in de weg loopt en hoog genoeg is om niet geraakt te worden door hoog vliegende ballen. De volgende voorwaarde is dat als de drone de bal kan zien dat deze op eigen input data handelt en de binnenkomende informatie van de vaste camera negeert. Zodra de drone de bal niet meer waarneemt zal deze reageren op de informatie van de vaste camera, totdat de drone zelf de bal weer kan zien en overschakelt op eigen input. <br>
<br>
De camera van de drone kan echter meer toevoegen aan het systeem als deze de situatie van de een ander perspectief dan boven bekijkt, omdat de vaste camera's boven het veld hetzelfde kunnen zien. Daarom wordt er eerst geëxperimenteerd met een camera op de drone aan de voorkant. Op deze manier kan de drone overtredingen en dergelijke vanuit een ander perspectief zien en zo mogelijk een beter besluit nemen over een overtreding. Dit leidt tot een nieuwe situatie '3'. Deze situatie gaat nog steeds vóór situatie 2 waar de positie door de top-camera wordt bepaald. De drone zal eerst reageren op situatie 3 en dan op situatie 2. Situatie 1 wordt hier genegeerd, omdat deze vrij weinig toevoegt. Mocht het voor ons niet lukken om de camera aan de voorkant werkend te krijgen, zullen we terug gaan naar de camera op de drone die omlaag kijkt. <br>
<br>


=== Situatie 3 ===
=== Veiligheid en nauwkeurigheid ===
Bij deze situatie zal de drone de bal zien in de richting van de horizon. Dit geeft een voordeel ten opzichte van de camera die naar beneden kijkt, omdat situaties van andere hoeken bekeken kan worden. De drone kan namelijk 360 graden om de bal heen draaien. Vanuit de camera komen weer verschillende variabelen voor. Nu namelijk <math>(x_{db},y_{db},d_{db})</math>. De <math>x_{db}</math> en <math>y_{db}</math> staan voor de positie ten opzichte van het middelpunt van het camerabeeld. Hiermee kan dus de draairichting van de drone worden bepaald. De <math>d_{db}</math> is de diameter van de bal in het beeld. Deze wordt gedefinieerd als een aantal pixels in het scherm. Met deze informatie kan de afstand tot de bal worden berekent als de camera goed gekalibreerd is. Als de diameter kleiner wordt zou de drone dus naar voren moeten vliegen, omdat de bal wegrolt. <br>
Rondom een veld zitten allemaal supporters, teamleden en andere toeschouwers. Om de veiligheid te garanderen zal de drone, als deze dicht bij de lijn in de buurt komt, <br>
[[File:Positie_bepaling_situatie3.png]] <br>
een korte negatieve versnelling genereren om van de lijn af te bewegen. Hierdoor zal de drone boven het veld blijven. Dit heeft geen zwaar gevolg op de richting van de drone. <br>
Deze draait namelijk zo om de bal om deze weer in het midden van zijn beeld te krijgen.  


== Matlab ==
De nauwkeurigheid van de drone zit verpakt in de snelheid. Om zo stabiel mogelijk de bal in het centrum van het beeld te krijgen, maar er wel snel naartoe te bewegen, <br>
In eerste instantie is geprobeerd om de drone te besturen met JavaScript en Node.js. Deze besturing lukte goed, maar het zou makkelijker zijn om de drone te kunnen besturen met matlab. Op 26/11/15 is het gelukt om de drone te besturen met behulp van een matlab script. Door het script uit te voeren start de connectie van de computer met de drone. Met behulp van toetsen op het toetsenbord kon de drone bestuurd worden. De verbinding van matlab met de drone maakt het proces gemakkelijker, omdat er geen link hoeft te worden gelegd tussen verschillende programma's. Dit is omdat het videotracking wordt gedaan met behulp van matlab. Omdat de besturing met matlab gedaan kan worden, wordt er een script geschreven zodat de robot autonoom zal gaan vliegen aan de hand van de balpositie.
is er een kwadratische functie geïmplementeerd. Met andere woorden, Hoe verder de drone zich van de gewenste positie bevindt, des te sneller hij beweegt.


=== survey ===
=== [[Testlog drone]] ===
Er is een testlog van de drone bijgehouden waarop de vooruitgang in stappen te zien is


Om de drone naar de fans, de spelers en het publiek, is er een [[enquête]] opgesteld waarbij we graag willen weten hoe de Society graag wilt dat de drone communiceert. <br>
== Matlab ==
Hierbij wordt de survey voorgelegd aan een zo breed mogelijk publiek.
In eerste instantie is geprobeerd om de drone te besturen met JavaScript en Node.js. Deze besturing lukte goed, maar het is makkelijker om de drone te kunnen besturen met Matlab. Dat is succesvol. Een voordeel aan het matlabscript is dat de drone manueel te besturen is, zodat er gemakkelijk getest kan worden. Een tweede groot voordeel, is dat het een prima omgeving is om in te coderen en meerdere functies aan elkaar te linken. Zo is de topcam en de videotracking software in Matlab. Daarbij helpt het dat op de TU veel in Matlab gedaan is.  


== Testlog drone ==
Alles is uiteindelijk geanalyseerd in Matlab, waarbij de scripts voor beide situaties geschreven zijn:
* Situatie 1 ([[Matlabscript DroneCamera]])
* Situatie 2 ([[Matlabscript TopCamera]])


* 19/11/15 Drone opgehaald bij Lambèr Royakkers. Accu was leeg en daardoor geen tests kunnen doen. Accu wordt opgeladen voor de volgende keer.
* 23/11/15 We hebben de drone kunnen laten opstijgen en dalen.
* 26/11/15 De eerste volledige vlucht is uitgevoerd. Weliswaar zat hij nog aan manuele controle met MatLab.
* 3/12/15 Voor het eerst heeft de drone autonoom gevlogen, de rotatie d.m.v. baldetectie werkte redelijk.
----
----


Terug naar: [[PRE2015_2_Groep2]]
Terug naar: [[PRE2015_2_Groep2]]

Latest revision as of 14:46, 13 January 2016

De robotscheidsrechter krijgt zijn fysieke voorstelling in de vorm van een drone. Deze zal autonoom het spel in de gaten houden en beslissingen nemen gebaseerd op eigen waarnemingen en camera's.

Positiebepaling

De positiebepaling van de drone gebeurt door middel van verschillende perspectieven.
Allereerst is er de lokale camera die op de drone gemonteerd zit. Daarnaast is er ook een topcam die het gehele veld van boven overziet.
Hierbij zal de topcam zich vooral focussen op de volgende dingen:

  • Uitbaldetectie
  • Doelpuntdetectie
  • De positie van de bal
  • De positie van de drone

In onderstaand stuk wordt vooral gefocussed op op de positiebepaling van de bal en de drone.
Er zijn twee situaties te onderscheiden.

Situatie 1

Dit is de situatie waarbij de camera van de drone zelf de bal kan waarnemen. De camera staat onder een hoek van 45 graden. Zo heeft de drone goed zicht over het veld. Dit geeft een voordeel ten opzichte van de camera die naar beneden kijkt, omdat situaties van andere hoeken bekeken kan worden. De drone kan namelijk 360 graden om de bal heen draaien. Vanuit de camera komen verschillende waarden binnen, namelijk [math]\displaystyle{ (x_{db},y_{db},d_{db}) }[/math]. De [math]\displaystyle{ x_{db} }[/math] en [math]\displaystyle{ y_{db} }[/math] staan voor de positie ten opzichte van het middelpunt van het camerabeeld. Hiermee kan dus de draairichting van de drone worden bepaald. De [math]\displaystyle{ d_{db} }[/math] is de diameter van de bal in het beeld. Deze wordt gedefinieerd als een aantal pixels in het scherm. Met deze informatie kan de afstand tot de bal worden berekent als de camera goed gekalibreerd is. Als de diameter kleiner wordt zou de drone dus naar voren moeten vliegen, omdat de bal wegrolt, en vice versa. Een ander voordeel van deze camerahoek is dat het zijaanzicht van de turtles op het veld goed te waarnemen is. Dat kan gebruikt worden bij het nemen van de juiste beslissing in het geval van botsen.
Positie bepaling situatie3.png

Situatie 2

In deze situatie kan de drone zelf de bal niet detecteren. Dit kan voorkomen als de bal sneller wegrolt dan de drone kan vliegen. Dan wordt overgeschakeld naar data vanuit de topcam. Via de topcam worden de drone en de bal waargenomen en voor elk object de positie bepaald. Het signaal dat naar de drone gestuurd wordt, zijn de coördinaten voor de bal [math]\displaystyle{ (x_b,y_b) }[/math] en voor de drone [math]\displaystyle{ (x_d,y_d) }[/math]. Door het verschil van deze twee posities kan wederom een richtingsvector worden opgesteld: [math]\displaystyle{ r_{d2}^T=[(x_d-x_b),(y_d-y_b)] }[/math]. De drone zal weer met een bepaalde snelheid in deze richting gaan vliegen.
Positie bepaling situatie1.png


Om een goed vliegende drone te hebben moeten de bovenstaande situaties 1 en 2 goed worden onderscheiden. Allereerst moet de drone een vaste hoogt proberen aan te houden. Deze is gesteld op 1.5 meter zodat de drone de spelers niet in de weg loopt en hoog genoeg is om niet geraakt te worden door hoog vliegende ballen. De volgende voorwaarde is dat als de drone de bal kan zien dat deze op eigen input data handelt en de binnenkomende informatie van de vaste camera negeert. Zodra de drone de bal niet meer waarneemt zal deze reageren op de informatie van de vaste camera, totdat de drone zelf de bal weer kan zien en overschakelt op eigen input.

Veiligheid en nauwkeurigheid

Rondom een veld zitten allemaal supporters, teamleden en andere toeschouwers. Om de veiligheid te garanderen zal de drone, als deze dicht bij de lijn in de buurt komt,
een korte negatieve versnelling genereren om van de lijn af te bewegen. Hierdoor zal de drone boven het veld blijven. Dit heeft geen zwaar gevolg op de richting van de drone.
Deze draait namelijk zo om de bal om deze weer in het midden van zijn beeld te krijgen.

De nauwkeurigheid van de drone zit verpakt in de snelheid. Om zo stabiel mogelijk de bal in het centrum van het beeld te krijgen, maar er wel snel naartoe te bewegen,
is er een kwadratische functie geïmplementeerd. Met andere woorden, Hoe verder de drone zich van de gewenste positie bevindt, des te sneller hij beweegt.

Testlog drone

Er is een testlog van de drone bijgehouden waarop de vooruitgang in stappen te zien is

Matlab

In eerste instantie is geprobeerd om de drone te besturen met JavaScript en Node.js. Deze besturing lukte goed, maar het is makkelijker om de drone te kunnen besturen met Matlab. Dat is succesvol. Een voordeel aan het matlabscript is dat de drone manueel te besturen is, zodat er gemakkelijk getest kan worden. Een tweede groot voordeel, is dat het een prima omgeving is om in te coderen en meerdere functies aan elkaar te linken. Zo is de topcam en de videotracking software in Matlab. Daarbij helpt het dat op de TU veel in Matlab gedaan is.

Alles is uiteindelijk geanalyseerd in Matlab, waarbij de scripts voor beide situaties geschreven zijn:

Terug naar: PRE2015_2_Groep2

Retrieved from "https://dsdwiki.wtb.tue.nl/index.php?title=Control&oldid=23637"