Die Natur war schon immer eine Inspiration für unsere Technologie. Die Eigenschaften unseres Gehirns in eine Maschine zu übertragen, ist ein interessantes Problem, das mit Hopfield-Netzwerken untersucht wurde, die bereits Gedächtnis bilden können.
Ein Hopfield-Netzwerk ist eine Art rekursives künstliches neuronales Netzwerk, das für Mustererkennung, Optimierung und assoziatives Gedächtnis verwendet werden kann. Es besteht aus einer Menge von Neuronen, wobei jedes Neuron mit jedem anderen Neuron im Netzwerk verbunden ist. Die Verbindungen zwischen den Neuronen sind als Gewichte bekannt und werden symmetrisch eingestellt, um von den beim Training bereitgestellten Mustern zu lernen.
Während des Trainings lernt das Netzwerk, eine Reihe von Eingabemustern zu speichern, indem es die Gewichte zwischen den Neuronen anpasst. Das Netzwerk kann diese Muster dann abrufen, wenn es mit einer unvollständigen oder verrauschten Version des Eingabemusters konfrontiert wird. Dieser Prozess wird als assoziatives Gedächtnis bezeichnet.
Hopfield-Netzwerke arbeiten, indem sie eine Energie-Funktion minimieren, die durch die Gewichte zwischen den Neuronen definiert wird. Wenn das Netzwerk mit einem unvollständigen oder verrauschten Muster präsentiert wird, aktualisiert es iterativ die Zustände der Neuronen, bis es in einen stabilen Zustand konvergiert. Der stabile Zustand repräsentiert das am nächsten gespeicherte Muster, das mit dem Eingabemuster übereinstimmt.
Hopfield-Netzwerke wurden in einer Vielzahl von Anwendungen wie Bild- und Spracherkennung, kombinatorischen Optimierungsproblemen und Datenkompression eingesetzt.
Der Quellcode für unsere Arbeit ist auf unserem GitHub Repository verfügbar.
Eine Interaktive Demonstration des Netzwerkes ist hier verlinkt.
Ich habe zusammen mit meinem Freund Henricus Bracht ein Papier geschrieben, das das Hopfield-Netzwerk, McCulloch und Pitts, den Beweis für die Energieabnahme und die Auswirkungen verschiedener Systemgrößen und Hyperparameter erläutert.
Du kannst das Papier direkt hier lesen:
Wenn das nicht geht, kann die Datei hier heruntergeladen werden)