project update

Ik heb een programmaatje in matlab geschreven waarin ik een simpele omgeving kan nabootsen voor het autootje en kan kiezen uit verschillende controllers. Dit programma stelt mij in staat om snel aanpassingen te doen aan het algoritme en meteen te zien wat voor invloed het heeft. Ook kan ik makkelijk allerlei data realtime laten plotten wat een boel inzicht geeft van wat er precies wanneer gebeurt.

Wat ook een groot voordeel van simuleren is dat je de tijd sneller kunt laten gaan. wat in het echt een kwartier zou duren hoeft met een simulatie maar secondes te duren. Daardoor kan ik makkelijk heel veel data verzamelen en middelen om zo de 'gemiddelde invloed' van het aanpassen van de vele parameters te bepalen en kijken welk algoritme met welke parameters de robot in staat stelt het snelst te leren. Het 'winnende' algoritme zal ik dan uiteindelijk proberen te implementeren.

In de printscreen hierboven kun je zien dat de robot aanvankelijk nog geen flauw idee heeft van goed en fout en recht op de muur afrijdt. Na 1 keer tegen de muur gereden te zijn en een 'pijn' signaal gekregen te hebben weet hij al heel aardig het verband tussen zijn acties en de gevolgen daarvan zodat hij al in staat is zijn weg te vinden door de rotonde. Dit algoritme is echter nogal rekenintensief en zal niet gaan passen in dat kleine chippie. Het zoeken is dus naar het meest compacter algoritme met dezelfde snel-lerende eigenschappen.

PS: het algoritme is heel wat meer dan slechts het aanleren van een reflex. De robot leert zelf op basis van zijn waarnemingen een functie aan om lange termijn prognoses te doen van reward/punishment. Op basis van deze functie,zijn waarnemingen en voorgaande acties is het in staat om een tweede functie aan te leren waarmee de robot in het vervolg steeds betere acties weet te kiezen.