Robotics and Biology Laboratory

Tracking of objects with particle-like substructure by a moving observer

People

Pia Bideau

Oliver Brock

Motivation

Starre Körper können mithilfe ihrer bekannten Form oder physikalischen Einschränkungen zwischen beweglichen Teilen optisch verfolgt werden. Andererseits gibt es auch Objekte, welche sich frei verformen können, weil sie aus vielen kleineren frei beweglichen Komponenten (in diesem Zusammenhang auch Partikel genannt) bestehen. Diese Objekte mit partikelähnlicher Substruktur können stark in Form und Größe variieren, weil es keine physikalischen Einschränkungen zwischen den Komponenten gibt. Diese Abschlussarbeit befasst sich mit der Entwicklung eines Algorithmus' zur optischen Verfolgung von Objekten mit partikelähnlicher Substruktur. Der Algorithmus wird an Videos von Fischschwärmen, welche von Raubfischen attackiert werden, demonstriert. Diese Videos werden von einer über dem Wasser fliegenden Drone aufgenommen. Die Ergebnisse bringen interessante Erkenntnisse für das SCIoI Projekt "Shepherding Behaviour in Predator-Prey Interactions": https://www.scienceofintelligence.de/research/researchprojects/project_33/

Description of work

Mithilfe von DeepLab, einem lernbasierten Algorithmus für Bildsegmentation, wird das zu verfolgende Objekt in jedem Bild des Videos detektiert. Die Kombination der Ergebnisse der Bildsegmentation mit einem Partikelfilter resultiert in einem robusten Verfolgungsalgorithmus, der das Objekt im Bildraum verfolgen kann. Mit einem Kalmanfilter, der die Lokalisierungssenoren (GPS und IMU) der Drone fusioniert, werden die Verfolgungsinformationen im Bildraum genutzt, um eine globale Trajektorie des Objekts zu rekonstruieren.