Training für neuromorphe Systeme
Grafik: Göltz und Kriener et al. (Heidelberg / Bern)
Auf dem Weg zu Künstlicher Intelligenz gilt die Entwicklung einer „Maschine“, die Informationen so effizient wie das menschliche Gehirn verarbeitet, seit langer Zeit als Forschungsziel. Ein interdisziplinäres Forschungsteam an der Universität Heidelberg und der Universität Bern (Schweiz) unter der Leitung von Dr. Mihai Petrovici arbeitet mit bioinspirierten künstlichen neuronalen Netzen an dieser Fragestellung. Vielversprechend – da leistungsfähig, schnell und mit einem geringen Energiebedarf – sind gepulste neuronale Netze, sogenannte Spiking Neural Networks, die in Aufbau und Funktionsweise einem natürlichen Nervensystem nachempfunden sind. Eine besondere Herausforderung besteht darin, solche komplexen Systeme zu trainieren. Das deutsch-schweizerische Forschungsteam hat jetzt einen Algorithmus entwickelt und erfolgreich implementiert, der ein solches Training ermöglicht.
Die Nervenzellen (oder Neurone) im Gehirn übermitteln Informationen mithilfe von kurzen elektrischen Impulsen, sogenannten Spikes. Diese Spikes werden ausgelöst, wenn eine bestimmte Reizschwelle überschritten wird. Ausschlaggebend für den Informationsaustausch ist sowohl die Häufigkeit, mit der ein einzelnes Neuron solche Spikes ausgibt, als auch die zeitliche Abfolge der individuellen Spikes. „Der Hauptunterschied zu künstlichen neuronalen Netzen besteht bei biologischen, gepulsten Netzen darin, dass sie komplexe Aufgabenstellungen wie in der Bilderkennung und Bildklassifizierung aufgrund der Spike-basierten Verarbeitung von Informationen besonders energieeffizient bewältigen können“, sagt Julian Göltz, Doktorand in der Forschungsgruppe von Dr. Petrovici.
Seine Leistung kann das menschliche Gehirn wie das ihm im Aufbau ähnelnde künstliche gepulste neuronale Netz jedoch nur abrufen, wenn die einzelnen Neuronen richtig miteinander verbunden sind. Aber wie können vom Gehirn inspirierte – das heißt neuromorphe – Systeme so ausgerichtet werden, dass sie die in den Spikes transportierten Informationen korrekt verarbeiten? „Diese Frage ist grundlegend für die Entwicklung von leistungsfähigen künstlichen Netzen nach biologischem Vorbild“, betont Laura Kriener, ebenfalls Mitglied in der Gruppe von Dr. Petrovici. Um zu gewährleisten, dass die Neurone in einem Spiking Neural Network zum richtigen Zeitpunkt feuern, werden spezielle Algorithmen benötigt. Diese Algorithmen justieren die Verbindungen zwischen den Neuronen so, dass das Netzwerk die ihm abverlangte Aufgabe lösen kann, zum Beispiel Bilder mit hoher Präzision zu klassifizieren.
Einen solchen Trainingsalgorithmus hat das Team unter Leitung von Dr. Petrovici entwickelt. „Mit diesem Ansatz können wir gepulste neuronale Netze darauf trainieren, Informationen ausschließlich in einzelnen Spikes zu kodieren und zu übermitteln. Dadurch liefern sie die gewünschten Ergebnisse besonders schnell und effizient“, erklärt Julian Göltz. Darüber hinaus ist es den Wissenschaftlern gelungen, ein mit diesem Algorithmus trainiertes neuronales Netz auf einer physischen Plattform zu implementieren – auf der an der Universität Heidelberg entwickelten neuromorphen Hardwareplattform BrainScaleS-2.
Das BrainScaleS-System verarbeitet Informationen nach Angaben der Forscher bis zu eintausend Mal schneller als das menschliche Gehirn und verbraucht dabei wesentlich weniger Energie als herkömmliche Rechensysteme. Es ist Teil des europäischen Human Brain Project, das Technologien wie das neuromorphe Computing auf einer offenen Plattform – EBRAINS – bündelt. „Unsere Arbeiten sind jedoch nicht nur für das neuromorphe Computing oder biologisch-inspirierte Hardware von Interesse. Sie reagieren auch auf die Nachfrage aus der Wissenschaft, Ansätze des sogenannten Tiefen Lernens auf die Neurowissenschaft zu übertragen, um die Geheimnisse des menschlichen Gehirns weiter zu entschlüsseln“, betont Dr. Petrovici.
Gefördert wurde die Forschung von der Manfred-Stärk-Stiftung sowie vom Human Brain Project – einer von drei europäischen Flagship-Initiativen auf dem Gebiet der neu entstehenden Technologien im „Horizon 2020“-Rahmenprogramm der Europäischen Union. Die Forschungsergebnisse wurden in der Fachzeitschrift „Nature Machine Intelligence“ veröffentlicht.
Originalveröffentlichung:
J. Göltz, L. Kriener, A. Baumbach, S. Billaudelle, O. Breitwieser, B. Cramer, D. Dold, A. F. Kungl, W. Senn, J. Schemmel, K. Meier, M. A. Petrovici: Fast and energy-efficient neuromorphic deep learning with first-spike times, Nature Machine Intelligence (17 September 2021) DOI:10.1038/s42256-021-00388-x
