Robotics and Biology Laboratory

Entropy as an Organizing Principle for Selection in Evolutionary Robotics

People

Julius Fritz Faber

Paulo Urbano

Joel Lehman

Oliver Brock

Arbeitsbeschreibung

In der evolutionären Berechnung ist eine zielbasierte Zielfunktion in der Regel nicht in der Lage, die lokalen Herausforderungen auf dem Weg zu ihrer Erfüllung zu berücksichtigen und neigt dazu, die Suche vorzeitig konvergieren zu lassen. Daher wird in dieser Arbeit vorgeschlagen, Ziele zu verwenden, die durch verschiedene Aspekte der Interaktion eines Individuums mit der Umwelt definiert sind, sowie ein Auswahlverfahren, das in der Lage ist, die Suchanstrengungen neu zu verteilen, um Konvergenz zu vermeiden. Die Ziele Neugier, Neuheit und Entwicklungsfähigkeit unterscheiden sich in der Zeitskala, auf der sie operieren, und in der Menge der Informationen, die sie über die Problemstruktur enthalten. Das gemeinsame Thema dieser Ziele ist ihre Tendenz, die Vielfalt der Verhaltensweisen zu erhöhen, was als allgemeiner Nutzwert angenommen wird. Das Ziel ist es, die Vorteile der Ziele zu kombinieren, indem Teilmengen von ihnen gleichzeitig mit einer Mehrziel-EA optimiert werden. Entropie wird als vereinheitlichender Rahmen für die Modellierung der Ziele und die Bestimmung, welche ihrer Werte als wünschenswert angesehen werden, verwendet. Die Verwendung der Entropie für den letztgenannten Teil beruht auf der Tatsache, dass degenerierte Verhaltensweisen in Suchräumen weiter verbreitet sind als funktionale. Daher wird bei der Auswahl von Werten mit hoher Entropie die Häufigkeit, mit der ein Verhalten auftritt, implizit als Heuristik für seine Interessantheit betrachtet und die Suchanstrengungen auf die Vielfalt umverteilt. Die Leistung der verschiedenen Ziele und Auswahlmethoden wird durch das Lösen von Aufgaben zur trügerischen Navigation bewertet. Bei einem anspruchsvolleren Experiment zur Fortbewegung von Zweibeinern wurde festgestellt, dass die Entropieauswahl genauso gut oder besser ist als die Optimierung. In Bezug auf die einzelnen Ziele unterstützen die Ergebnisse dieser Arbeit frühere Erkenntnisse, dass Neuartigkeit ein sehr guter Indikator für die Auswahl ist, und zeigen darüber hinaus, dass sie effizient mit Entropie modelliert werden kann. Die Methode der Modellierung von Neuartigkeit mit Entropie ist nachweislich auf viele, möglicherweise höherdimensionale und weniger informative Verhaltenscharakterisierungen gleichzeitig anwendbar, ohne dass die konzeptionelle Einfachheit und die Berechnungseffizienz darunter leiden.
Im Hinblick auf das Ziel der Evolvierbarkeit, das die Fähigkeit zur Diversität und Generalisierung beschreibt, wird in dieser Arbeit untersucht, wie diese anhand der vielen während der Suche verworfenen Individuen geschätzt werden kann, um die vielen zusätzlichen Auswertungen zu vermeiden, die für eine genaue Berechnung erforderlich sind. Außerdem wird in dieser Arbeit vorgeschlagen, wie eine elitäre Mehrziel-EA die Evolvierbarkeit als adaptive Variation interpretieren könnte, ohne sich auf eine spezifische Aufgabe zu beziehen. Insgesamt deuten die negativen Ergebnisse beider Evolvabilitätsschätzungen darauf hin, dass verschiedene Verhaltensweisen ein unterschiedliches Evolvabilitätspotenzial haben können und daher nicht pauschal verglichen werden sollten.

Julius Fritz Faber, Oktober 2016

Publications

Link to Thesis