Robotics and Biology Laboratory

Ph.D Theses

Leveraging Novel Information for Coarse-Grained Prediction of Protein Motion

Ines Putz, 2018

Proteine sind an fast allen Funktionen in unseren Zellen beteiligt, da sie Konformationsbewegungen mit chemischer Spezifität kombinieren können. Daher bieten Informationen über die Bewegungen eines Proteins Einblicke in seine Funktion. Proteine bewegen sich in einer zerklüfteten Energielandschaft mit vielen lokalen Minima, die ihrem hochdimensionalen Konformationsraum auferlegt ist. Die vollständige Erfassung dieses Raums übersteigt die verfügbaren Rechenressourcen für alle außer den kleinsten Proteinen. Daher müssen Berechnungsansätze die potenzielle Energiefunktion und/oder die Auflösung des Modells vereinfachen, indem sie Informationen darüber verwenden, was relevant ist und was ignoriert werden kann. Die Genauigkeit der Approximation hängt von der Genauigkeit der verwendeten Informationen ab. Informationen, die spezifisch für den Problembereich sind, d. h. in unserem Fall die Proteinbewegung, führen in der Regel zu besseren Modellen.

In dieser Arbeit schlage ich ein neuartiges elastisches Netzwerkmodell für gelernte, aufrechterhaltene Kontakte vor, lmcENM. Es erweitert den Bereich der Bewegungen, die durch solche vereinfachten Modelle erfasst werden können, indem es neue Informationen über die Struktur eines Proteins nutzt. Dies verbessert die allgemeine Anwendbarkeit von elastischen Netzwerkmodellen.

Robot grasping by exploiting compliance and environmental constraints

Clemens Eppner, 2018

Greifen ist eine entscheidende Fähigkeit für jedes autonome System, das die physische Welt verändern muss. Die Komplexität des Robotergreifens ergibt sich aus der Tatsache, dass jede Lösung verschiedene Komponenten umfasst: Das Design der Hand, die Steuerung, die Wahrnehmung und die Planung wirken sich alle auf den Erfolg eines Greifvorgangs aus. Abgesehen von der Auswahl von Lösungen für genau definierte industrielle Szenarien ist das Greifen in einer unstrukturierten Umgebung immer noch ein offenes Problem.

Learning Robotic Perception Through Prior Knowledge

Rico Jonschkowski, 2018

Intelligente Roboter müssen in der Lage sein zu lernen; sie müssen in der Lage sein, ihr Verhalten aufgrund von Erfahrungen anzupassen. Eine Verallgemeinerung auf der Grundlage früherer Erfahrungen ist jedoch nur auf der Grundlage von Annahmen oder Vorwissen (kurz: Priors) darüber möglich, wie die Welt funktioniert.

Leveraging problem structure in interactive perception for robot manipulation of constrained mechanisms

Roberto Martín-Martín, 2018

In dieser Arbeit untersuchen wir die Roboterwahrnehmung zur Unterstützung einer bestimmten Art von Manipulationsaufgaben in unstrukturierten Umgebungen, der mechanischen Manipulation von kinematischen Freiheitsgraden. Bei diesen Aufgaben besteht das Ziel des Roboters darin, eine kontrollierte Bewegung zu erzeugen, d.h. die Konfiguration der kinematischen Freiheitsgrade (DoF) der Objekte in der Umgebung zu ändern.

© RBO

Soft Hands For Compliant Grasping

Raphael Deimel, 2017

Raphael Deimel überdenkt in seiner Dissertation das Design von Händen unter dem Gesichtspunkt, dass sie in erster Linie ein robustes und zuverlässiges Greifen ermöglichen, anstatt eine präzise Kontrolle der Körperhaltung und einfache mechanische Modellierbarkeit. Dies führt zu einer grundlegend anderen Manipulator-Hardware, den so genannten Soft Hands, die aus Gummi und Fasern hergestellt werden, was sie sehr anpassungsfähig macht. Seine Dissertation befasst sich nicht nur mit dem Design von Händen, sondern bietet auch eine umfangreiche Sammlung von Methoden für das Design, die Simulation und den schnellen Prototypenbau von weichen Robotern, das so genannte "PneuFlex-Toolkit".

© S. Höfer

On Decomposability in Robot Reinforcement Learning

Sebastian Höfer, 2017

Verstärkungslernen ist ein rechnerischer Rahmen, der es Maschinen ermöglicht, aus der Interaktion mit der Umwelt durch Versuch und Irrtum zu lernen. In den letzten Jahren wurde das verstärkende Lernen erfolgreich auf eine Vielzahl von Problembereichen angewendet, darunter auch die Robotik. Der Erfolg von Anwendungen des Verstärkungslernens in der Robotik hängt jedoch von einer Reihe von Annahmen ab, wie der Verfügbarkeit großer Mengen von Trainingsdaten, hochpräzisen Modellen des Roboters und der Umgebung sowie Vorkenntnissen über die Aufgabe.

Leveraging Novel Information Sources for Protein Structure Prediction

Michael Bohlke-Schneider, 2015

Dreidimensionale Proteinstrukturen sind ein unschätzbarer Schritt zum Verständnis zellulärer Prozesse. Es überrascht nicht, dass die modernsten Methoden zur Strukturvorhersage stark auf Informationen angewiesen sind. Ziel dieser Arbeit ist es, neue Informationsquellen zu erschließen: Physikalisch-chemische Informationen, die in vorhergesagten Strukturmodellen kodiert sind, und experimentelle Daten aus hochdichten Quervernetzungs-/Massenspektrometrie-Experimenten (CLMS). Wir zeigen, dass diese Informationsquellen eine verbesserte Strukturvorhersage und die Rekonstruktion von Domänenstrukturen des menschlichen Serumalbumins aus experimentellen Daten ermöglichen, die in seiner natürlichen Umgebung, dem menschlichen Blutserum, gesammelt wurden.

© RBO

Multimodal human computer interaction in virtual realities based on an exoskeleton

Ingo Kossyk, 2012

Die Hauptmerkmale dieses Systems sind ein hohes Maß an Immersion in die computergenerierte virtuelle Umgebung und ein großes Arbeitsvolumen. Der hohe Grad an Immersion wird durch multimodale Mensch-Exoskelett-Interaktion auf der Grundlage von haptischen Effekten, Audio und dreidimensionaler Visualisierung erreicht. Das große Arbeitsvolumen wird durch eine leichte, tragbare Konstruktion erreicht, die auf dem Rücken des Benutzers getragen werden kann.

Interactive Perception of Articulated Objects for Autonomous Manipulation

Dov Katz, 2011

In dieser Arbeit werden Roboterfähigkeiten für die Handhabung neuartiger gelenkiger Objekte entwickelt. Die Freiheitsgrade eines gelenkigen Objekts beschreiben die Beziehung
zwischen seinen starren Körpern und sind oft für die beabsichtigte Funktion des Objekts relevant.
Funktion. Beispiele für gelenkige Alltagsobjekte sind Scheren, Zangen, Türen, Türgriffe, Bücher und Schubladen. Die autonome Manipulation von
gelenkigen Objekten ist daher eine Voraussetzung für viele Roboteranwendungen in unserer alltäglichen Umgebung.

Adaptive Balancing of Exploitation With Exploration to Improve Protein Structure Prediction

TJ Brunette, 2011

Das größte Hindernis für die Vorhersage von Proteinstrukturen ist die Unzulänglichkeit der Konformationsraumsuche. Der Konformationsraum ist zu groß und die Energielandschaft zu zerklüftet, als dass die vorhandenen Suchmethoden durchgängig nahezu optimale Minima finden könnten. Methoden der Konformationsraumsuche müssen sich daher auf die Erforschung eines kleinen Teils des Suchraums konzentrieren. Die Fähigkeit, geeignete Regionen auszuwählen, d. h. Regionen, die mit hoher Wahrscheinlichkeit den nativen Zustand enthalten, hat einen entscheidenden Einfluss auf die Effektivität der Suche. Für die Entscheidung, wo gesucht werden soll, sind Informationen erforderlich, wobei Informationen höherer Qualität zu einer besseren Auswahl führen. Die meisten aktuellen Suchmethoden sind so konzipiert, dass sie in so vielen Bereichen wie möglich funktionieren, was zu weniger genauen Informationen führt, da sie allgemein gehalten sein müssen. Die meisten Bereiche bieten jedoch einzigartige und genaue Informationen. Um domänenspezifische Informationen optimal zu nutzen, muss die Suche für jede Domäne angepasst werden. Der erste Beitrag dieser Arbeit passt die Suche für die Proteinstrukturvorhersage an, was zu wesentlich genaueren Proteinstrukturvorhersagen führt.

© Markus Rickert

Efficient Motion Planning for Intuitive Task Execution in Modular Manipulation Systems

Markus Rickert, Mai 2011

Eine rechnerisch effiziente Bewegungsplanung muss die erschöpfende Erkundung hochdimensionaler Konfigurationsräume vermeiden, indem sie die in realen Planungsproblemen vorhandene Struktur ausnutzt. Wir argumentieren, dass dies am effektivsten durch eine sorgfältige Abwägung zwischen Erkundung und Ausnutzung erreicht werden kann.

Exploiting Structure: A Guided Approach To Sampling-Based Robot Motion Planning

Brendan Burns, 2007

In dieser Arbeit wird ein neuer nutzungsgeführter Rahmen für die Bewegungsplanung vorgeschlagen, der zuverlässig kollisionsfreie Bewegungen mit der für die Planung in der realen Welt erforderlichen Effizienz berechnen kann. Der nutzungsgeleitete Ansatz beginnt mit der Beobachtung, dass es eine Regelmäßigkeit im Raum der möglichen Bewegungen gibt, die einem Roboter zur Verfügung stehen. Außerdem sind bestimmte Bewegungen für die Berechnung kollisionsfreier Pfade wichtiger als andere. Zusammen bilden diese Beobachtungen
bilden eine Struktur im Raum der möglichen Bewegungen des Roboters.

Diploma / Master Theses

Vision-Based Teleoperation of the Compliant RBO Hand 3

Mithilfe eines handelsüblichen Computer-Vision-Tools werden die Hand- und Handgelenkshaltungen des Benutzers mit mehreren Kameras erfasst und die 3D-Position der Hand anhand eines zugrunde liegenden kinematischen Modells geschätzt, um das Wissen über die menschliche Hand zu nutzen. Beim Wechsel in den Gelenkraum werden die menschlichen Gelenkwinkel auf die RBO Hand 3 abgebildet, zunächst in der Simulation, dann auf der Roboterhand.

Estimating Objectness From Motion and Appearance

Vito Mengers, July 2021

In this thesis, we propose a method to estimate objectness based on crossmodal fusion of information from motion and appearance. Objectness is a property that describes how we can group parts of a visual scene into objects.

Modelling and Understanding Cockatoo's Mechanical Problem Solving Behavior

Lukas Schattenhofer, 2020

Unser übergeordnetes Ziel ist es, ein Modell zu bauen, das unbekannte physikalische Rätsel so gut lösen kann wie Kakadus. Dazu müssen wir wissen, welche Modelle es gibt, welche davon relevant sind und welche sofort in der Simulation angewendet werden sollten. In dieser Arbeit wird eine Taxonomie erstellt, die als Leitfaden für die Auswahl und Erstellung von Modellen dienen soll, die geeignet sind, die Verhaltensdaten von drei Kakadus zu erklären, die versuchen, ein physikalisches Rätsel zu lösen, ein Schließfach

Active Acoustic Sensing

In dieser Arbeit wird ein Kontaktsensor entwickelt und charakterisiert, indem ein bekanntes Geräusch abgespielt und analysiert wird, wie es sich verändert, wenn ein PneuFlex-Aktor ein Objekt auf unterschiedliche Weise berührt.

© RBO

Recurrent State Representation Learning with Robotic Priors

Wir erweitern die Idee der Roboterprioritäten auf nicht markovianische Beobachtungsräume. Zu diesem Zweck trainieren wir ein rekurrentes neuronales Netz auf Trajektorien, so dass das Netz lernt, vergangene Informationen in seinem verborgenen Zustand zu kodieren.

Coordinated Actuation of Wrist and Handin Human Grasping with Robot Hands

Klassische Greifroboter verwenden statische Verhaltensweisen: Zuerst wird die Hand zum Objekt manövriert, dann werden die Finger geschlossen, und schließlich wird die Hand mit dem ergriffenen Objekt aus der Szene zurückgezogen. Im Gegensatz dazu führen Menschen Handgelenkbewegungen gleichzeitig mit dem Schließen der Finger aus. Sie zeigen auch eine höhere Leistung in Bezug auf die Stabilität. Ich stelle daher die Hypothese auf, dass diese Koordination von Hand und Handgelenk ein robustes Greifen mit Robotern ermöglichen würde.

Experimental Validation of Contact Dynamics for Prehensile Pushing

Die meisten Modelle der Kontaktdynamik zeigen ein unrealistisches Verhalten aufgrund von Annahmen, die aus rechnerischen Gründen getroffen wurden. Leider gibt es einen Mangel an experimentellen Arbeiten, um diese Annahmen zu validieren und zu bewerten, wie realistisch diese Kontaktmodellierungsansätze sind, was der Zweck dieser Arbeit ist.

Entropy as an Organizing Principle for Selection in Evolutionary Robotics

In der evolutionären Berechnung ist eine zielbasierte Zielfunktion in der Regel nicht in der Lage, die lokalen Herausforderungen auf dem Weg zu ihrer Erfüllung zu berücksichtigen und neigt dazu, die Suche vorzeitig konvergieren zu lassen. Daher wird in dieser Arbeit vorgeschlagen, Ziele zu verwenden, die durch verschiedene Aspekte der Interaktion eines Individuums mit der Umwelt definiert sind. mit der Umwelt definiert sind, und ein Auswahlverfahren, das die Suchanstrengungen umverteilt, um Konvergenz zu vermeiden. umzuverteilen, um Konvergenz zu vermeiden.

Force-Controlled Action Primitives for Interactive Perception

Die interaktive Wahrnehmung nutzt die Fähigkeiten des Roboters, mit der Umgebung zu interagieren, um verborgene Eigenschaften wie die kinematischen Strukturen von gelenkigen Objekten zu erkennen. Wenn der Roboter jedoch mit einer neuen Umgebung konfrontiert wird, muss er entscheiden, wie er interagieren soll, um den Informationsgewinn auf der Grundlage von Sensordaten zu maximieren, und er muss nachgiebige Steuerungen verwenden, die es dem Gelenk ermöglichen, die Bewegung zu steuern.

© RBO

Increasing the Stifness of a Pneumatic Actuator with Granular and Layer Jamming

Die Flexibilität und Nachgiebigkeit von Soft Robotic Actuators wie dem PneuFlex von Raphael Deimel bieten mehrere Vorteile gegenüber herkömmlichen, starren Mechanismen. Sie sind von Natur aus sicher und leicht, widerstandsfähig gegen Stöße und Kollisionen, haben ein hohes Maß an Nachgiebigkeit, ohne dass eine explizite Steuerung erforderlich ist, und können schnell und kostengünstig entwickelt und gebaut werden.

Es gibt jedoch Situationen, in denen Weichheit und Nachgiebigkeit zum Nachteil werden. Die Nachgiebigkeit des PneuFlex-Aktuators (oder jedes anderen weichen Aktuators) begrenzt die Kraft, die er auf die Umgebung ausüben kann, zum Beispiel beim Heben eines schweren Objekts oder beim Drücken eines Schalters.

Um diese Einschränkung zu überwinden, schlagen wir weiche Aktoren vor, die ihre Steifigkeit durch Verklemmen verändern können.

Grasping using Visual Feedback (Georg Bartels)

This thesis aims at developing the perceptual strategy of the experimenter, i.e. interactive exploration and perception of the object, decision whether it is graspable, selection of the most promising pregrasp configuration of the robot hand, and positioning of the hand with respect to the object.

3D Perception for Grasping (Stefan Schrandt)

Our grasping approach compared with most current ones does not rely on a perfect model. Additionally, the computational cost for the algorithm is signi cantly lower as planning is no longer necessary. The compliance of the hand is used, hence a coarse model that does not need to be perfect is sufficient to compute grasps successfully.

Bachelor Theses

Convolutional Neural Networks for the prediction of breaking contacts during protein motion

Die Arbeit baut auf der Arbeit von Ines Putz auf, die tiefe neuronale Netze aus dem Bereich der Kontaktvorhersage auf die Vorhersage von Bruchkontakten bei Proteinbewegungen anwendet. Elastische Netzwerkmodelle sind nützlich, um die grobkörnige Bewegung von Proteinen zu bestimmen. Während struktureller Übergänge werden bestimmte Rückstandspaare, die räumlich nahe beieinander lagen, getrennt, so genannte Bruchkontakte. Die Einbeziehung dieser Information verbessert die Vorhersage der Proteinbewegung. In dieser Arbeit wollen wir modernste Methoden des maschinellen Lernens auf die Vorhersage von Bruchkontakten anwenden.

Identification of Beneficial Morphological Computation on Soft Hands

Marlon Kupfer, März 2019

Die Nachgiebigkeit weicher Hände kann sich sowohl vorteilhaft als auch nachteilig auf die Funktionalität auswirken. Obwohl neuere Arbeiten die Vorteile der Nachgiebigkeit in Bezug auf die Objekt- und Umgebungsgeometrie gezeigt haben, gibt es nur wenige Arbeiten zur Identifizierung und Vermeidung der negativen Aspekte der Nachgiebigkeit bei der Steuerung weicher Hände. Ein Planer oder ein Feedback-Controller, der die Nachgiebigkeit ausnutzt, sollte jedoch die Bereiche mit nachteiligen morphologischen Berechnungen vermeiden und die Interaktionen auf die günstigen Bereiche lenken.

Erfreulicherweise hat die jüngste Simulationsarbeit vielversprechende Ergebnisse bei der Unterscheidung zwischen vorteilhaften und nachteiligen morphologischen Berechnungen gezeigt. Die Herausforderung besteht nun darin, ob sich diese Ergebnisse auf reale Systeme übertragen lassen. Die Arbeit unseres Labors im Bereich der Handsensorik ist ein mögliches Werkzeug auf diesem Weg.

EET-Based Motion Planning Applied to Protein-Ligand Interactions

Friederike Fischer, April 2017

Für die Entwicklung von Medikamenten ist es wichtig zu wissen, welche Liganden das aktive Zentrum eines Proteins erreichen können. Diese Liganden sind potenzielle Kandidaten, die das betreffende Protein hemmen oder aktivieren und dadurch eine Krankheit heilen können. Wir werden zeigen, wie die auf Stichproben basierende Bewegungsplanung zur Lösung von Protein-Liganden-Demontageproblemen eingesetzt werden kann.

Characterizing PneuFlex Actuator Deformations Using Liquid Metal Strain Sensors

Gabriel Zöller, August 2016

Weiche, nachgiebige Roboterhände passen ihre Form passiv an, um sich bei Greifaufgaben zu bewähren. Ihre Form kann aber auch Aufschluss über die Qualität des Greifens, die Eigenschaften des Objekts und ihre Umgebung geben. Die Wiederherstellung dieser Form ist schwierig, da ihr weiches Material komplexe Verformungen aufweist, wenn es einer äußeren Kraft ausgesetzt ist.

Ziel dieser Arbeit ist es, eine begrenzte Formerfassung des PneuFlex-Aktuators zu ermöglichen, der für die weiche RBO Hand 2 verwendet wird. Komplexe Aktuatorformen werden als Kombinationen einfacher Verformungen identifiziert, die mit Hilfe von maschinellem Lernen aus den Messwerten der Dehnungssensoren vorhersehbar sind. Ein Layout von Dehnungssensoren wird aus den Dehnungsschätzungen während dieser Verformungen erstellt und optimiert, um ein reduziertes Layout von Sensoren zu erzeugen.

Es wird dann gezeigt, dass dieses optimierte Layout diese Verformungen immer noch genau vorhersagt und einen Einblick in die Form des PneuFlex-Aktuators gibt.

Evaluation of Three Sensor Technologies for Use in Soft Robot Fingers

Stefan Schirmeister, March 2016

Die Sensorik für weiche Kontinuumsaktoren hat sich in letzter Zeit mit der Entwicklung so genannter weicher Hände, die die hohe Verformbarkeit weicher Strukturen und Materialien ausnutzen, als notwendige Technologie erwiesen. Leider sind weiche, dehnbare Sensoren, die einer Dehnung von 100 % standhalten können, auf dem Markt nicht erhältlich. Gleichzeitig ist ihre enge Integration in Aktoren erforderlich, um die spezifischen Herausforderungen von sich kontinuierlich verformenden Aktoren zu bewältigen. In dieser Arbeit werden drei potenzielle Sensortechnologien auf ihre Eignung für weiche Hände untersucht. Die Arbeit untersucht ihre Robustheit, Benutzerfreundlichkeit, Langzeitstabilität und Reaktionsfähigkeit im Hinblick auf die beabsichtigte Anwendung in weichen Händen.

Effects of model complexity on speed and accuracy of visual servoing for manipulation

Georg Hieronimus, November 2015

Diese Arbeit nähert sich dem Image Based Visual Servoing (IBVS) unter drei verschiedenen technischen Aspekten, um die Geschwindigkeit und Genauigkeit des Greifens von Robotern zu verbessern. Erhöhung der Genauigkeit beim Verfolgen kinematischer Ketten durch die Erweiterung des Partikelfilters, Erhöhung der Geschwindigkeit durch GPU-Verarbeitung und strategische Nutzung von Encodern, um den Tracker auf wichtige Teile des Eingangsbildes zu setzen.

A Practical Guide to Transformed Predictive State Representations

Niklas Gebauer, September 2015

Prädiktive Zustandsdarstellungen (PSRs) gewinnen in letzter Zeit viel Aufmerksamkeit in der Robotikgemeinschaft, da sie theoretisch ein leistungsfähiges Modell versprechen, das direkt aus Daten gelernt werden kann. Die praktische Anwendung von PSRs bleibt jedoch ein schwieriges Unterfangen. Bisher wurden nur wenige Lernalgorithmen vorgeschlagen, und es gibt nur eine kleine Anzahl erfolgreicher Versuche, PSRs für komplexe Bereiche zu lernen. Mit diesem praktischen Leitfaden wollen wir die praktische Arbeit mit PSRs erleichtern und fördern. Einerseits liefern wir den theoretischen Hintergrund und praktische Anleitungen zu PSRs, andererseits zeigen wir mögliche Fragen auf, die untersucht werden sollten, um ihre praktische Anwendbarkeit zu verbessern. Zu diesem Zweck haben wir einen Algorithmus reimplementiert, der ein PSR einer simulierten mobilen Roboterumgebung lernt. Wir leiten von der Theorie, die zum Verständnis des implementierten Algorithmus erforderlich ist, zur Praxis über und liefern ausführliche Informationen zu allen Teilen unserer Implementierung. In einer Reihe von Experimenten validieren wir nicht nur frühere Ergebnisse, dass die gelernten PSRs genau genug sind, um erfolgreiches Reinforcement Learning zu ermöglichen, sondern untersuchen auch die Qualität der gelernten Modelle und die empirische Leistung des Algorithmus selbst. Dazu wenden wir den Lernalgorithmus auf unterschiedlich komplexe Umgebungen an und untersuchen die praktischen Grenzen des implementierten Ansatzes. Eine der größten Herausforderungen, mit denen wir konfrontiert wurden, war die Abstimmung der Parameter. Wir haben festgestellt, dass eine langwierige, umgebungsspezifische Feinabstimmung erforderlich ist, um zuverlässig genaue Repräsentationen zu lernen, und haben daher den Einfluss der Parameter auf die Qualität der gelernten Repräsentationen in mehreren Experimenten genauer untersucht. Die Ergebnisse sind ein Anhaltspunkt für zukünftige Arbeiten und zeigen mögliche Probleme auf, die angegangen werden müssen, um das PSR-Lernen zu verbessern und es auf komplexe reale Bereiche anwendbar zu machen.

Position-Based Servoing via Probabilistic Part-Based Object Models

Manuel T. Wöllhaf, January 2015

To extend the field of application of robots in unstructured environments it is necessary to develop new techniques of environment perception and interpretation. These methods must give machines the capability to generate sufficient information, which enables them to fulfill their tasks with the aid of their sensors.

© RBO

Three dimensional Joint Detection

Andreas Orthey, December 2010

Kinematic structures are currently one of the most important prerequisites for advanced robot technology.
Grasping objects, painting cars or performing household tasks are just a few examples from the manifold space of possible applications.