Computer Vision zur visuellen Steuerung eines Roboters erfordert oft eine hohen Anteil von händischem Feature Engineering wie Kantendetektion, Suche nach gleichfarbigen Objekten, etc. Viele dieser visuellen Features lassen sich durch eine einfache mathematische Operation, die Faltung, ausdrücken. Durch steigende Rechenleistung und einige mathematische Tricks lassen sich mittlerweile tiefe neuronale Netze trainieren, die end-to-end vom Kamerabild bis zu den Kontrollanweisungen für den Roboter im selben Trainingsprozess optimiert werden. Bei visuellen Anwendungen besteht ein Teil dieser tiefen Netze häufig aus sogenannten Convolutional Neural Networks (CNN) die Faltungskerne zur Extraktion der oben genannten Features komplett datengetrieben (ohne händisches Feature Engineering) lernen können.

Ziel dieser Arbeit soll es sein ein solches neuronales Netz mit einem der geläufigen Frameworks (Caffee, DL4J, Tensorflow, etc) zu implementieren, dass Steueranweisungen zur zielgerichteten Bewegung eines Roboterarmes ausgehend von einem rohen Kamerabildes generiert. Zielvorgaben für das System sind z.B. ein auf einem Tisch liegendes Objekt auf eine bestimmte Art zu bewegen. Hierfür muss das System das Objekt optisch lokalisieren können und einen guten Kontaktpunkt zu finden um das Objekt z.B. an eine bestimmte Position auf dem Tisch zu schieben.

Im Rahmen der Arbeit sollen verschiedene Heuristiken für das automatische Trainieren der Bewegungssteuerung evaluiert werden. Als Voraussetzungen sind Kenntnisse in maschinellem Lernen hilfreich sowie sicherer Umgang mit einer der den Frameworks zugrunde liegenden Programmiersprachen (C++, Java, Python).