Sollten Sie im linken Frame kein Video sehen, dann haben sie wahrscheinlich noch nicht den Real Player installiert. Unter www.real.com finden Sie den kostenlosen Real-Player Basic (etwas herumsuchen !).

Von der Vorlesung gibt es auch das Audio MP3 File " GenAlg_MP3 " zum Herunterladen. Ein neues Service - nun müssen Sie nur mehr die CD selber machen.

Genetische Algorithmen

Ein anderes Verfahren um die Gewichte korrekt einzustellen, ist der genetischer Algorithmus. Dieser Algorithmus untersucht die Energielandschaft auf eine andere Art. Es wird für viele unterschiedliche Positionen die Energie berechnet. Manche Positionen (x beziehungsweise y sind relativ nahe am Optimum) stellen sich als gut heraus, manche Positionen sind eher schlecht (x beziehungsweise y sind eher weit vom Optimum entfernt, also zu groß oder zu klein). Die guten Positionen haben einige gute Gewichte - Werte, aber auch einige schlechte. Wenn die verschiedenen guten Positionen die unterschiedlichen Gewichte austauschen, dann besteht die Chance, daß sich eine optimale Position mit den besten Gewichten ergibt. Die einzelnen Gewichte ergeben die Positionen. Da die Energiewerte immer besser werden und Informationen ausgetauscht werden, bezeichnet man dieses Verfahren als genetischen Algorithmus - es orientiert sich an der Evolution und nur die am besten angepassten dürfen überleben, also nur die Positionen, die relativ gut sind.

Abbildung: Mit genetische Algorithmen werden gleichzeitig unterschiedliche Bereiche (dunkle Kreise) der Energielandschaft betrachtet. Die Bereiche, die gut sind, dürfen überleben und können sich vermehren. Dabei verringert sich meistens der Abstand zum globalen Maximum.

Die Gewichte aller Neuronen werden als Gencode betrachtet - diese Gewichtskombinationen stellen die aktuellen Positionen dar. Das heißt:

Durch eine optimale Kombination dieser drei Operationen kann relativ einfach das Optimum bestimmt werden. Wichtig ist eine große Anzahl von Positionen beziehungsweise von Individuen. Je mehr Startwerte es gibt, umso leichter kann die gesamte Energielandschaft durchsucht werden - aber das bedeutet auch einen massiv erhöhten Rechenaufwand. Die Menge aller Individuen wird als Population bezeichnet.

Zuerst werden für alle Individuen die jeweiligen Energiewerte (gewünschte Ausgabe minus der tatsächlichen Ausgabe) berechnet. Das entspricht der Fitness des jeweiligen Individuums. Die Individuen, die gute Werte besitzen, dürfen sich "fortpflanzen", das heißt, die drei Operationen - Crossing over, Inversion und Mutation - werden auf diese Individuen angewandt. Somit werden die Gewichte ausgetauscht und möglicherweise besitzen die neuen Individuen bessere Werte als die Elterngeneration. Danach bestimmt man wieder die Fitness der Population und so weiter. Dieses Verfahren ist ziemlich rechenintensiv, es konnten aber schon beeindruckende Ergebnisse für interessante Probleme geliefert werden.

Interessanterweise ist dieses Verfahren für das biologische Lernen relevant, nicht nur weil damit die Evolution nachgebildet werden kann. Während der Entwicklung des Nervensystems und Gehirns wird der genetische Algorithmus angewandt. Am Anfang sind in einem Gebiet alle Neuronen mit allen anderen Neuronen verbunden. Diese Bedingung ist vor allem in den höheren Großhirnrindenarealen erfüllt. In den Bereichen der primären sensorischen Arealen soll aber eine nachbarschaftserhaltende Beziehung hergestellt werden. Viele Synapsen werden in den sensiblen Phasen nicht aktiviert und sterben damit ab, manche werden stark beansprucht und dürfen weiterleben. Dies entspricht, grob verallgemeinernd, einem genetischem Algorithmus..

Bei manchen Tieren ist die synaptische Plastizität nicht gegeben. Zum Beispiel bei Regenwürmer oder Schnecken sind die Synapsen genetisch determiniert. Betrachten wir ein einfaches kleines Beispiel. Ein Tier reagiert auf unterschiedlicher Weise auf die verschiedensten Reize. Manche Reize müssen für das Tier belanglos sein, während andere Reize für das Überleben notwendig sind.

Betrachten wir den ersten Fall unserer Reiz-Reaktionstabelle. Das Tier flieht immer wenn sich etwas bewegt - es verhält sich schüchtern. Das führt aber dazu, daß das Tier keine Nahrung jagen kann, da sich - wahrscheinlich - die Beute auch bewegen wird. Also eine schlechte Strategie. Es sollte jedes Objekt, das sich in der Luft bewegt, klein und in der Nähe ist verfolgt werden. Eine scheinbar gut Strategie. Aber das Streifenmuster hat in der Regel in der Natur eine Bedeutung. Ein gestreiftes Tier ist gefährlich und nicht zum Verspeisen gedacht. Also sollte man, wenn man nicht weiß ob das Tier gestreift ist oder nicht, es nicht verfolgen. Da es sich aber auch um eine potentielle Beute handeln kann, sollte man auch nicht unbedingt fliehen. Also abwarten und beobachten ob das Objekt gestreift ist. Damit ergibt sich die letzte Reiz-Reaktions-Bedingung - die für unser einfaches Modell sinnvoll ist.

Diese Reiz-Reaktionsverknüpfung lässt sich natürlich in einem einfachen technischen neuronalen Netzwerk realisieren (siehe Abb. 5.23). Jeder unterschiedliche Input und jede Reaktion wird durch jeweils ein Neuron dargestellt. Manche unserer virtuellen Tiere hatten vielleicht früher mehr Eingangsreize (zum Beispiel reagierten sie auf langsame beziehungsweise auf schnelle Bewegung) oder es gab auch Tiere, die weniger Eingangsreize verarbeiten konnten. Diese Tiere setzten sich aber im Laufe der Evolution nicht durch, da manche Schlüsselreize nicht verarbeitet werden konnten. Mehr Reize würden aber auch nur einen scheinbaren Vorteil besitzen, da das Netzwerk mehr Zeit benötigt um die Reize zu verarbeiten. Es konnten sich nur die am besten angepassten Tiere durchsetzen.

Abbildung: Ein technisches Netzwerk, das die obige Tabelle umsetzt.

Abbildung: Die Neuronen der Hiddenlayer spannen den Eingaberaum für die 3.Schicht auf.

Bei diesem einfachen Modell lässt sich die letzte Neuronenschicht noch darstellen. Die Neuronen der Hidden-Layer spannen einen Würfel auf und die Ebenen der Neuronen der letzten Schicht trennen die jeweiligen Gebiete.


Lernen auf zellulärer Basis

Wie man bei den technischen neuronalen Netzwerken gesehen haben, sind die Gewichte wesentlich für das Reiz-Reaktionsmuster. Durch entsprechende Lernalgorithmen können diese Gewichte verändert werden. In der Biologie sind diese Gewichte in den Synapsen integriert. Bei jedem Aktionspotential das ausgelöst wird, entsteht an der Postsynapse ein Potential. Diese Potentiale können sich ändern - was gleichbedeutend einer Gewichtsveränderung an einem technischen Neuron ist.

Arten von Gedächtnissen

Wir unterscheiden verschiedene Lernprozesse auf unterschiedlichen Ebenen des Gehirns. Die meisten Menschen glauben, daß Lernen nur bewusste Informationsverarbeitung ist. Natürlich ist das Lernen in der Schule auch ein Prozess, der bestimmte Reiz-Reaktionsketten verändert.

Eine Veränderung einer Verhaltensweise ist ein Lernprozess !

Man muss sich darüber im klaren sein, daß es zwei wesentliche Arten von Gedächtnissen gibt: das explizite und das implizite Gedächtnis.

Man gab Patienten mit einer anterograden Amnesie (die Patienten konnten im klassischen Sinne kognitiv nichts mehr lernen) eine simple Aufgabe. Die Aufgabe bestand darin, eine Figur, meist handelte es sich um einen Stern, innerhalb der Begrenzungslinien nachzuzeichnen (siehe Abb.6.1). Die Aufgabe wurde dadurch erschwert, daß man die Figur und die eigene Hand nur im Spiegel sieht. Bei den ersten Versuchen machten die Probanden natürlich Fehler, aber umso mehr sie übten, umso weniger Fehler wurden gemacht. Patienten mit einer anterograden Amnesie zeigten die selben Ergebnisse - auch sie lernten. Damit war gezeigt, daß es unterschiedliches Gedächtnisformen gibt. Man unterteilte die Gedächtnisformen in das implizite (prozedurales) und in das explizite (semantische) Gedächtnis.

Abbildung: In der linken Graphik ist der Stern mit dem Spiegel dargestellt. In der rechten Abbildung ist die Lernkurve beim Nachzeichnen - dem impliziten Gedächtnis - dargestellt.

Beim impliziten Gedächtnis wird der Inhalt nicht bewusst verarbeitet. Es ist auch schwierig implizite Gedächtnisinhalte zu beschreiben, beziehungsweise diese Gedächtnisinhalte an andere Personen weiterzugeben. Die Inhalte dieser Gedächtnisform können nur durch ständige Übung verbessert werden. Viele motorische Bewegungsabläufe zum Beispiel aus dem Sport sind im impliziten Gedächtnis gespeichert. Oder auch die Muttersprache ist im Gehirn implizit verankert - oder sind sie in der Lage alle Regeln ihrer eigenen Muttersprache einer anderen Personen mitzuteilen ?

Beim expliziten Gedächtnis können wir ganz bewusst auf einzelne Inhalte zugreifen. Unser Schulwissen oder unser konkretes Wissen über unsere Umwelt ist explizit gespeichert. Das heißt wir sind in der Lage anderen Personen in einfacher Weise dieses Wissen mitzuteilen. Oftmaliges Üben ist nicht unbedingt notwendig - wichtiger ist vielmehr daß man sich auf den zukünftigen Gedächtnisinhalt konzentrieren kann - was gleichbedeutend mit einem ausgewogenem Neurotransmitterniveau im Gehirn ist. Für die Einspeicherung ins Gehirn sind einige spezielle Strukturen (Hippocampus, temporaler Schläfenlappen) notwendig. Damit beschäftigen wir uns aber erst im zweiten Teil im Kapitel Gedächtnis.

Reize können auf unterschiedliche Arten verknüpft werden. Zum einen kann etwas über die Eigenschaft eines Reizes gelernt werden, beziehungsweise können zwei Reize beziehungsweise ein Reiz und eine Handlung miteinander verknüpft werden.

So stellt sich die Frage, welche Verhaltensweisen es gibt und wie diese Verhaltensweisen verändert werden können.

Beim nicht-assoziativen Lernen wird ein Reiz bewertet. Wenn der Reiz in der Umwelt wichtig wird, dann kann die damit verknüpfte Reaktion sehr heftig ausfallen, und wenn der Reiz unwesentlich für das Überleben ist, dann soll es keine Reaktion darauf geben. Normalerweise gibt es eine eindeutige Reaktion mittlerer Stärke auf einen Reiz. Durch die Habituation (Abschwächung) kann die Reaktion abgeschwächt, durch die Sensitivierung (Verstärkung) kann die darauf folgende Reaktion verstärkt werden. Für viele Lebewesen ist es wichtig, die einzelnen Reize beurteilen zu können. Manchmal ändert sich im Laufe der Zeit die Beurteilung eines Reizes. Durch diese Lernform kann in geeigneter Weise auf eine veränderte Reiz-Situation, beziehungsweise auf eine veränderte Umwelt reagiert werden.

Abbildung: Ein Experiment zur Habituierung: Wenn drei mal hintereinander ein Reiz gezeigt wird, dann verschwinden die physiologischen Änderungen. Bei einem neuen Reiz treten sie wieder auf.

Bei der Habituation wird die Reaktion auf einen harmlosen Reiz abgeschwächt, bis der Reiz vollständig ignoriert wird. Dies geschieht durch monotone Wiederholung. Zum Beispiel kann man einem Säugling ein rotes Papier zeigen. Die Farbe "ROT" ist dem Säugling unbekannt - es könnte sich theoretisch um einen gefährlichen Reiz handeln. Wenn man das rote Papier dem Säugling noch einmal zeigt, dann wird die Beobachtungsdauer etwas kürzer sein, da es bisher keine negative Reaktion gegeben hat. Nach einigen Versuchen wird, der kleine Proband das rote Papier zwar wahrnehmen, ihm aber keine Bedeutung beimessen. Wenn man den Säugling mit einem blauen Papier konfrontiert, dann setzt die ursprüngliche Reaktion wieder voll ein - bis auch diese Farbe voll habituiert wurde. Dieses einfache Beispiel verdeutlicht sehr schön die Habituierung. Durch mehrmaliges Wiederholen wird etwas über die Qualität des Reizes gelernt. Auch wenn es trivial klingt, aber es wurde gelernt, daß das rote Papier keine Bedeutung für den Säugling hat.

Bei der Sensitivierung handelt es sich um eine Zunahme der Reaktionsbereitschaft eines Tieres auf Reize, die nach schmerzhaften oder schädlichen Reizen auftreten. Mit Hilfe der Sensitivierung lernen Tiere und Menschen ihre Schutzreflexe in Vorbereitung auf Rückzug und Flucht zu schärfen.

Das assoziative Lernen wurde von Iwan Pawlow und Edward Thorndike eingehend untersucht. Sie prägten den Begriff der Konditionierung. Man unterscheidet zwei Arten. Bei der klassischen Konditionierung werden 2 unabhängige Reize miteinander verknüpft. Bei der operanten Konditionierung wird ein Reiz und ein Verhalten verknüpft. Die berühmten Untersuchungen wurden an Hunden durchgeführt. Pawlow stellte fest, daß wenn der Pfleger, der normalerweise immer die Hunde fütterte, ohne Futter die Tiere betreute, erschien, bei den Hunden ein massiver Speichelfluss auftrat. Der ursprüngliche Reiz (unbedingte), der angeboren ist (Speichelfluss beim Fressen) wird in Verbindung mit einem neutralen (zu konditionierenden) Reiz in Verbindung gebracht (Pfleger mit Futter). Dieses Lernverhalten ist extrem langdauernd (bis auf Jahre hinaus).

Bei der operanten Konditionierung wurden Mäuse in einen Käfig mit mehreren Hebeln eingesperrt. Wenn sie den richtigen Hebel drückten, dann bekamen die Mäuse eine kleine Belohnung. Wenn die Mäuse mehrmals auf den Hebel drückten lernten sie, daß diese spezielle Handlung mit der Belohnung verknüpft ist. Wichtig bei diesen Experimenten ist aber der einfache Aufbau. Wenn die auszuführende Handlung zu komplizierte wird, dann ist die Reiz-Reaktionskombination zu kompliziert. Bei einem dieser Experimente hat man einfach jede halbe Stunde eine Belohnung in den Käfig geworfen. Dies führte zu einer interessanten Erkenntnis. Die Tiere begannen die tollsten Kunststücke aufzuführen um eine Belohnung zu erhalten. Aber die Kunststücke hatten keinen Einfluss auf die Belohnung - was die Tiere nicht wussten. Wenn ein Tier im Kreis gelaufen ist und es kam eine Belohnung, dann verknüpfte es das Im-Kreis-Laufen mit der Belohnung. Wenn das Tier später eine Belohnung haben möchte, dann lief es im Kreis. Es gab aber keine Belohnung, also wird das Tier sich in eine Ecke verkriechen oder eine andere Handlung durchführen. Etwas später wird das Tier eine Belohnung bekommen - ohne Grund. Die Handlung, die das Tier gerade zu diesem Zeitpunkt setzt, wird nun mit der Belohnung verknüpft. Aber eine Wiederholung führt wieder nicht zu einer Belohnung. So wird das Tier versuchen, die vorherige Handlung - das im-Kreis-Laufen und die aktuelle Handlung zu kombinieren. Nach einigen Durchläufen mit verschiedenen Handlungen führt dies zu extrem komplexen Handlungen, die absolut irrational sind.



 


Interessante Links:

Leider gibt es keine interessanten Links zu dieser Vorlesung !


Interessante Applets:

Leider gibt es keine interessanten Applets zu dieser Vorlesung !


Fragen die man nach der Vorlesung beantworten können sollte:

Was unterscheidet Back-Propagation vom genetischen Algorithmus ?

Erläutern sie die 3 wesentlichen Operationen beim genetischen Algorithmus ?

Gibt es eine Anwendung des genetischen Algorithmus im Gehirn ?

Vergleiche den Aberglaube mit der Konditionierung.

Was wird im impliziten und im expliziten Gedächtnis verarbeitet ?

Welche Arten von nichtassoziativen Lernen kennen sie ?

Finden sie Beispiele für die Sensitivierung und Habituation.

Welche Arten von Konditionierungen gibt es und wie unterscheiden sie sich ?