The Emergence of a „Language“ in an Evolving Population of Neural Networks

Angelo Cangelosi, Domenico Parisi

Überblick

• Pilzwelt

• Sprache

• Diskussion

Pilzwelt

Die Pilzwelt

• Essbare/Giftige Pilze: Fitness-Bonus/-Abzug• Pro Zyklus: 1 Bewegung (inkl. Essen ggf)• Nach 50 Zyklen: neue Pilze• Nach 750 Zyklen: Reproduktion und Tod• Nächste Generation:

Gewichte der Vorfahren (gewichtet nach Fitness) + Mutation (10% der Gewichte zufällig geändert)

Neuronale Netze navigieren durch eine quadratische Welt und essen dabei die Pilze, die sie finden.

+

Die Pilzwelt

Essbarer/GiftigerPilz

Netzarchitektur

00: warten01: rechts drehen10: links drehen11: geradeaus gehen

Riechen(?) HörenSehen

Gehen Sprechen

Denken

Wenn Pilz auf Nachbarfeld:1111100000 (essbar) oder0000011111 (giftig)+ Rauschen (1 bit verändert)

Winkel zum nächsten Pilz (0..1 = 0-360 Grad)

Sprachoutput(010, 110, ...)

Sprachinput(010, 110, ...)

Netzarchitektur

Essbarer Pilz zur Linken

Input: 0.25 1 1 1 1 1 0 0 0 1 0 ? ? ?Evtl.Output: 1 0 ? ? ?

Giftiger Pilz im Rücken

Input: 0.5 0 0 0 0 0 1 1 1 1 0 ? ? ?Evtl.Output: 1 1 ? ? ?

Unbekannter Pilz im Rücken

Input: 0.5 0 0 0 0 0 0 0 0 0 0 ? ? ?Evtl.Output: ???

Sprache

Zusätzlicher Faktor: Sprache

• Wortschatz: 0 0 0 .. 1 1 1 (8 Worte/Laute)

• Keine Syntax

• Genetisch bestimmt, kein Lernen

Eher Ähnlichkeit zu Tierlauten

Fragen

• Wie verändert sich die Leistung der Netze durch Sprache?

• Evolutionärer Druck für Sprachverstehen?

• Evolutionärer Druck für Spracherzeugung?

1. Versuch: keine Sprache

• Sprachinputs bleiben konstant auf .5

• Sprachoutputs werden ignoriert

?

2. Versuch: gegebene Sprache

• Sprachoutput wird ignoriert• Sprachinput durch Experimentatoren

festgelegt:1 0 0 für essbare,0 1 0 für giftige Pilze unabhängig von der Entfernung

• Evolutionsvorteil, falls Signale verstanden werden 1 0 1 !

3. Versuch: evolvierende Sprache

• Sprachinput = Sprachoutput eines anderen Mitglieds der Population, das den Pilz sehen kann

• Selektionsvorteil, falls- Inputs zu richtigem Verhalten führen- Outputs kohärent sind

1 0 1!

Fitness nach 1000 Generationen

• Ohne Sprache:ca. 150 Punkte

• Gegebene Sprache:ca. 250 Punkte

• Eigene Sprache:ca. 250 Punkte (mehr Schwankungen)

?

1 0 1 !

!1 0 1

Diskussion

Fragen

• Wie verändert sich die Leistung der Netze durch Sprache?

• Evolutionärer Druck für Sprachverstehen?

• Evolutionärer Druck für Spracherzeugung?

Fragen

• Wie verändert sich die Leistung der Netze durch Sprache?positiv

• Evolutionärer Druck für Sprachverstehen?

• Evolutionärer Druck für Spracherzeugung?

Fragen

• Wie verändert sich die Leistung der Netze durch Sprache?positiv

• Evolutionärer Druck für Sprachverstehen?Korrekte Interpretation erlaubt effizienteres Pilzesammeln.

• Evolutionärer Druck für Spracherzeugung?

Fragen

• Wie verändert sich die Leistung der Netze durch Sprache?positiv

• Evolutionärer Druck für Sprachverstehen?Korrekte Interpretation erlaubt effizienteres Pilzesammeln.

• Evolutionärer Druck für Spracherzeugung?Noch unklar! Trotzdem scheint eine sinnvolle Sprache zu entstehen.

Warum Spracherzeugung?

• Erzeugung korrekter Signale ist altruistisch, d.h. sie wird nicht direkt belohnt.

• Ein Individuum hat also keinen Selektionsvorteil, wenn es verständliche Signale emittiert.

• Trotzdem scheinen sich (siehe Fitness) sinnvolle Signale durchgesetzt zu haben.

Warum?

Sinnvolle Sprache?

Sprache ist effizient, falls:• Unterschiedliche Kategorien

unterschiedliche Signale erzeugen• Instanzen derselben Kategorie gleiche

Signale erzeugen• Dieselben Signale innerhalb der Population

benutzt werden(Clark 1993: Principle of Contrast)

Ist die erzeugte Sprache effizient?

• Analyse der Sprache: allen Individuen werden giftige und essbare Pilze aus allen Perspektiven gezeigt

• Ergebnis:Konvergenz zu einem Signal für essbar und einem für giftig

• Interessant: Winkel wird korrekt als irrelevant für den Sprachoutput erkannt!

Immer noch: Warum?

Hypothese:

Da sowohl Bewegung als auch Sprachoutput aus dem Hidden Layer gesteuert werden, wirkt sich die Selektion über korrekte Bewegungen indirekt auch positiv auf die Sprachausgabe aus

00: warten01: rechts drehen10: links drehen11: geradeaus gehen

Riechen(?) HörenSehen

Gehen Sprechen

Denken

Wenn Pilz auf Nachbarfeld:1111100000 (essbar) oder0000011111 (giftig)+ Rauschen (1 bit verändert)

Winkel zum nächsten Pilz (0..1 = 0-360 Grad)

Sprachoutput(010, 110, ...)

Sprachinput(010, 110, ...)

Netzarchitektur

Unterstützung für die These

• Die zuvor ignorierten Sprachoutputs der sprachlosen Population werden untersucht.

• Auch dort entstehen konsistente Signale!• Korrekter Sprachoutput entsteht also als

Beiprodukt korrekter Kategorisierung.• Burling 1993: „language has emerged from

cognitive capacities rather than from primate-level communicative behaviour“

Ergebnisse

• Durch genetische Übertragung und Selektion entsteht ein in der Population gemeinsames Repertoire von Signalen.

• Die Signale sind ein Beiprodukt der internen Kategorisierung.

Kritikpunkte

• Erklärung geht direkt aus Netzstruktur hervor

• Erklärung für Überleben der „günstigen“ Gewichte von Hidden Layer zu Sprachneuronen bleibt letztendlich offen

• Sprache entwickelt sich, auch wenn sie nicht muss?

: )