Neuromorphe Chips (Teil 1)

Grundlagen und Funktionen

Neuromorphe Chips sind eine revolutionäre Neuschöpfung der Computertechnik. Sie unterscheiden sich grundlegend von herkömmlichen Computern, da sie ähnlich arbeiten wie das menschliche Gehirn. Somit sind sie besonders gut geeignet für Aufgaben wie maschinelles Lernen, Bildverarbeitung und autonome Systeme wie selbstfahrende Autos oder lernfähige Roboter. Sie stellen somit einen Paradigmenwechsel in der Informatik dar. Ihr Ziel ist es, die Effizienz und Leistungsfähigkeit von speziellen Rechenoperationen zu verbessern. Dieser Artikel erklärt die Grundlagen dieser Chips, was sie sind, wie sie entworfen werden, wie sie funktionieren und welche Möglichkeiten sie in der Zukunft bieten könnten. In einem zweiten Beitrag wird dann die Anwendung und der praktische Einsatz im Vordergrund stehen.

Ein neues Zeitalter?

In den letzten Jahren hat „Deep Learning“ (dt. „Tiefes Lernen“) enorme Erfolge in Bereichen wie Computer Vision, Verarbeitung natürlicher Sprache, Mensch-Maschine-Spielen und mehr erzielt. Deep Learning ist dabei ein Bereich des maschinellen Lernens, bei dem Computer mithilfe künstlicher neuronaler Netzwerke große Mengen an Daten analysieren und daraus lernen. Diese Netzwerke bestehen aus vielen Schichten (daher „deep“ für engl. „tief“).

Ein besonders eindrucksvolles Beispiel für den Fortschritt im Deep Learning sind sogenannte Large Language Models (LLMs) wie ChatGPT, Copilot oder Mistral. Diese Modelle basieren auf Transformer-Architekturen und wurden mit riesigen Textmengen aus dem Internet trainiert. LLMs zeigen dabei nicht nur beachtliche Leistungen in der Sprachverarbeitung, sondern demonstrieren auch die enormen Anforderungen moderner KI-Systeme an Rechenleistung und Speicher. Die Entwicklung und der Betrieb solcher Modelle sind eng mit der zugrunde liegenden Hardware verknüpft, was den Bedarf an effizienteren Architekturen und innovativen Lösungen weiter verstärkt. Inzwischen kann künstliche Intelligenz (KI) das menschliche Niveau erreichen oder in einigen speziellen Anwendungen sogar bereits übertreffen. Hinter diesen Erfolgen steht jedoch die ernsthafte Herausforderung, dass die zugrunde liegenden Hardware, weitere Entwicklungen der künstlichen Intelligenz behindert.

Während das an sich bemerkenswerte Mooresche Gesetz langsam seine Gültigkeit verliert, ist der Rechenaufwand in KI-Systemen aufgrund des sogenannten Von-Neumann-Flaschenhalses oft nicht mehr umsetzbar. Dieser Von-Neumann-Flaschenhals begrenzt die KI-Performance, weil klassische Computerarchitekturen auf eine strikte Trennung von Speicher (Memory) und Prozessor (CPU/GPU) setzen. Diese Trennung führt zu einer begrenzten Datenübertragungsrate zwischen beiden, was als „Memory Bottleneck“ oder eben Von-Neumann-Flaschenhals bezeichnet wird.

Aktuelle Beschleunigerchips stoßen so zunehmend an ihre Grenzen bei der Verarbeitung riesiger Datenmengen. Diese Herausforderungen treiben die Erforschung neuer Technologien voran. Eine wichtige Weiterentwicklung ist das Überdenken bestehender Computer-Architekturen, da diese den Anforderungen in Bereichen wie Big Data und KI nicht mehr gerecht werden.

Kandidaten für das neue Rechenparadigma umfassen:

• In-Memory-Computing
• Quantencomputing
• neuromorphes Computing

Diese Technologien können einige wichtige Probleme besser lösen als klassische Rechensysteme, auch wenn ihre Anwendungsbereiche noch begrenzt sind. Eine vielversprechende Option ist die Entwicklung neuromorpher Chips, bei welchen Architektur, Algorithmen und Hardware eng miteinander verknüpft sind. In diesem Zusammenhang ist Deep Learning nur der erste Schritt hin zum neuromorphen Computing der Zukunft.

Historische Entwicklung

Bereits vor über fünf Jahrzehnten haben sich Wissenschaftler und Ingenieure vom menschlichen Gehirn inspirieren lassen und das Konzept des neuromorphen Computings vorgeschlagen. Dieser Entwurf nutzt analoge Signale, um die elektrischen Eigenschaften von Synapsen, Neuronen, Axonen und Dendriten nachzuahmen. Diese Bestandteile liefern die Grundlage für das Denkvermögen des menschlichen Gehirns (siehe Bild 1).

Die neuartige Architektur folgt also den vereinfachten Betriebsregeln des Denkens. Das Gehirn verwendet Signalspitzen, sogenannte „Spikes“, um Informationen zu übertragen und zu verarbeiten. Es arbeitet dabei häufig an der Grenze eines chaotischen Verhaltens. Deshalb kann es eine umfassende Dynamik entwickeln und neben den klassischen Intelligenzleistungen wie Sprache oder Mathematik auch so mächtige Fähigkeiten wie Fantasie und Kreativität entwickeln.

Seit der Einführung des neuromorphen Computings wurden viele beeindruckende Entwicklungen wie IBMs TrueNorth und Intels Loihi gestartet. Bislang gibt es jedoch noch keinen breiten Konsens in der Forschung, was genau neuromorphes Computing überhaupt bedeutet.

Aus der technischen Perspektive heraus wird offensichtlich, dass künstliche Synapsen und Neuronen, die aus mehreren Hundert Transistoren bestehen, teuer, aufwendig und komplex sind. Neue Technologien wie Memristoren, welche die Funktionen von Synapsen und Neuronen direkt mit physikalischen Größen nachahmen, besitzen daher ein großes Potenzial für neuromorphe Hardware.

Ein wichtiger Schritt in der Entwicklung neuromorpher Chips war daher die Verwendung von ebendiesen Memristoren – speziellen Bauelementen, die ihren Widerstandswert basierend auf  vorherigen Spannungen speichern und damit die Funktion von Synapsen direkt nachahmen können. Memristoren eröffnen neue Möglichkeiten für die Miniaturisierung von neuromorphen Schaltungen und könnten in Zukunft eine Schlüsselrolle im neuromorphen Computing spielen. Diese neuartige Hardware ist weitgehend mit der aktuellen Halbleitertechnologie kompatibel und kann sowohl für den Bau von Deep-Learning-Beschleunigern als auch von neuromorphen Computingsystemen verwendet werden.

In den letzten Jahren gibt es immer mehr Bestrebungen, neuromorphe Architektur mit Quantencomputing-Technologien zu kombinieren. Diese Kombination könnte sowohl die Energieeffizienz als auch die Rechenleistung neuromorpher Chips erheblich steigern, da Quantenbits eine exponentielle Parallelisierung von Rechenoperationen ermöglichen könnten.

Durch die Fortschritte in der Materialwissenschaft und Nanotechnologie werden neue Materialien entwickelt, die für die Herstellung von neuromorphen Chips verwendet werden können. Dazu gehören neben Memristoren auch andere neuartige Werkstoffe, die noch besser geeignet sind, synaptische Funktionen in neuromorphen Systemen zu simulieren.

Wie lernt das Gehirn?

Das Gehirn lernt durch die Anpassung von neuronalen Verbindungen, ein Prozess, der als neuronale Plastizität bekannt ist. Dabei spielt die Signalübertragung in den Synapsen (s. Bild 1) eine entscheidende Rolle. In diesem Prozess werden die Verbindungen zwischen Neuronen durch häufige Nutzung verstärkt oder durch geringe Aktivität abgeschwächt („vergessen“). Die Signalübertragung zwischen Neuronen erfolgt über Neurotransmitter wie Dopamin, die maßgeblich an Lern- und Erinnerungsprozessen beteiligt sind. Dopamin spielt eine wichtige Rolle bei Motivation und Belohnung und beeinflusst dadurch, welche Informationen als relevant abgespeichert werden. Ein zentraler Mechanismus des Lernens ist die Hebbsche Regel:

 „Neurons that fire together, wire together!“

Das bedeutet, dass sich Verbindungen zwischen Neuronen verstärken, wenn sie gleichzeitig aktiv sind, wodurch sich stabile Netzwerke zur Speicherung von Informationen bilden. Neben der funktionalen Anpassung kommt es auch zu strukturellen Veränderungen im Gehirn. So können sich neue Dendritenverzweigungen bilden, um eine bessere Kommunikation zwischen Nervenzellen zu ermöglichen. In bestimmten Bereichen des Gehirns, wie dem Hippocampus, findet sogar Neurogenese, also die Entstehung neuer Nervenzellen statt.

In diesem Zusammenhang ist es besonders interessant, dass der Nobelpreis für Physik 2024 an John Hopfield und Geoffrey Hinton verliehen wurde. Dabei wurden insbesondere die grundlegenden Entdeckungen und Erfindungen ausgezeichnet, die das maschinelle Lernen mit künstlichen neuronalen Netzen ermöglichen.
​John Hopfield entwickelte bereits 1982 das nach ihm benannte Hopfield-Netzwerk. Dieses Modell ahmt die Funktionsweise von Nervenzellen nach und ermöglicht ein künstliches assoziatives Gedächtnis, das Muster erkennen und vervollständigen kann. Damit wurden auch die wichtigsten Grundlagen für die Entwicklung neuromorpher Chips gelegt.

Was sind neuromorphe Chips?

Neuromorphe Chips sind spezialisierte elektronische Komponenten, die neuronale Netzwerke in Hardware nachbilden und dabei Eigenschaften biologischer Gehirne imitieren. Im Gegensatz zu herkömmlichen Von-Neumann-Architekturen (s. u.), bei denen Speicher und Recheneinheiten getrennt sind, integrieren neuromorphe Chips diese Komponenten in einer Weise, die synaptischen Verbindungen im Gehirn ähnelt.

Die Bezeichnung „neuromorph“ (neuro = Nerv, Nervenzelle/morph = Form, Gestalt) taucht in diesem Zusammenhang erstmals in den 1980er-Jahren auf. Der Ansatz basiert grundsätzlich darauf, elektronische Systeme zu entwickeln, die auf neurobiologischen Prinzipien beruhen anstatt auf herkömmlichen digitalen Logikschaltungen (siehe Bild 2).

Motivation und Vorteile

Auch im Vergleich zu GPUs, die für viele KI-Anwendungen eingesetzt werden, bieten neuromorphe Chips das Potenzial für erhebliche Energieeinsparungen. Dies liegt daran, dass neuromorphe Chips speziell für den Einsatz neuronaler Netze entwickelt wurden. Sie arbeiten daher effizienter als GPUs, die eigentlich für allgemeine Grafikberechnungen optimiert sind.
Die Energieeinsparung durch neuromorphe Chips ist allerdings stark von der Art der Anwendung abhängig. Bei Aufgaben, die von Natur aus hochgradig parallel sind und geringere Präzision erfordern, wie z. B. die Bilderkennung oder die Verarbeitung von Sensordaten, können die Energieeinsparungen besonders hoch sein. Bei anderen Aufgaben, die eine hohe Präzision erfordern, wie z. B. wissenschaftliche Berechnungen oder mathematische Simulationen, sind die Energieeinsparungen möglicherweise geringer.

Neben dem geringeren Energieverbrauch im Vergleich zu herkömmlichen Prozessoren ergeben sich noch weitere wichtige Vorteile:

• Parallele Verarbeitung: gleichzeitiges und simultanes Abarbeiten mehrerer Datenströme, ähnlich wie im Gehirn
• Robustheit: Widerstandsfähigkeit gegenüber Fehlern und Rauschen
• Echtzeitverarbeitung: optimiert für zeitkritische Anwendungen wie Sensordatenverarbeitung
• Lern- und Anpassungsfähigkeit: Neuromorphe Chips sind in der Lage, zu lernen und sich an neue Informationen anzupassen, ähnlich wie das menschliche Gehirn.

Von der Software-KI zur Hardware-KI

Neben der Energieeinsparung ist die Hauptmotivation für die Entwicklung neuromorpher Chips  der Übergang von Software- zu Hardware-basierten Strukturen in der KI. Bisher wurden praktisch alle KI-Systeme in Software realisiert. Das bedeutet, dass die eigentlichen Funktionen der KI durch klassische Programme abgebildet werden, die auf herkömmlichen Rechnerarchitekturen laufen, wie sie seit vielen Jahren bekannt sind.

Allein der Einsatz von Grafikkarten (GPUs) zeigt, dass dies keine endgültige Lösung sein kann. Moderne Grafikkarten werden für spezielle Anwendungen wie Computerspiele oder CAD-Aufgaben entwickelt und verfügen über massive parallele Rechenleistung. Obwohl derartige GPUs eine gewisse Beschleunigung für bestimmte KI-Aufgaben bieten, sind diese Hardware-Komponenten prinzipiell nicht für die Verarbeitung von Daten in neuronalen Netzen optimiert. Sie sind nicht speziell für die Ausführung von Aufgaben in neuronalen Netzstrukturen konzipiert und daher bei KI-Anwendungen häufig ineffizient.

Neuromorphe Chips stellen dagegen einen bedeutenden Fortschritt in Richtung „echter“ KI-Hardware dar. Im Gegensatz zu konventionellen Computern und GPUs sind sie von der Struktur und Funktionsweise her dem menschlichen Gehirn nachempfunden. Genau wie dieses bestehen sie aus vielen miteinander verbundenen „Neuronen“, die Informationen parallel verarbeiten können, ähnlich wie das Gehirn.

Die neuronale Struktur wird hier sozusagen direkt in „Hardware gegossen“. Ein Umweg über Softwarestrukturen, die auf klassischer und für diesen Zweck eigentlich veralteter und ungeeigneter Hardware laufen, ist nicht mehr erforderlich. Allein daraus ergibt sich ein heute noch kaum  abschätzbares Zukunftspotenzial.

Innovative Designprinzipien

Neuromorphe Chips basieren auf drei Hauptkomponenten, die neuronale Strukturen imitieren:

• Künstliche Neuronen: elektronische Einheiten, die Informationen empfangen, verarbeiten und weiterleiten. Sie entsprechen den biologischen Nervenzellen.
• Elektronische Synapsen: Verbindungen zwischen Neuronen, die die Gewichtung von Signalen ändern können. Sie spielen eine Schlüsselrolle beim Lernen.
• Axone und Dendriten: Leitungen, die Signale zwischen Neuronen übertragen, ähnlich wie biologische Axonen und Dendriten in Nervenzellen

Diese Bestandteile können auf verschiedene Art und Weise technisch realisiert werden. Künstliche Neuronen werden durch spezielle elektronische Schaltungen realisiert. Diese Schaltungen sind darauf ausgelegt, die grundlegenden Funktionen biologischer Neuronen nachzubilden, wie das Empfangen, Integrieren und Ausgeben von Signalen. Ein wichtiger Aspekt ist die Fähigkeit, sogenannte „Spikes“ zu erzeugen, die den Aktionspotentialen in biologischen Neuronen entsprechen. Im Gegensatz zu herkömmlichen Computern, die mit kontinuierlichen Werten arbeiten, verwenden neuromorphe Chips oft eine Spike-basierte Kommunikation. Das bedeutet, dass Informationen in Form von kurzen, diskreten Impulsen, den Spikes, übertragen werden. Diese Vorgehensweise ahmt die Art und Weise nach, wie Neuronen im Gehirn miteinander kommunizieren. Diese integrierten Schaltungen sind sehr dicht gepackt, um eine große Anzahl von Neuronen auf einem einzigen Chip zu ermöglichen.

Elektronische Synapsen werden beispielsweise durch Memristoren (Bild 4) verwirklicht. Memristoren sind Bauelemente, die ihren elektrischen Widerstand in Abhängigkeit von der durch sie fließenden Strommenge ändern können. Diese Eigenschaft ermöglicht es Memristoren, Informationen zu speichern und gleichzeitig die Gewichtung von Signalen zu ändern, was der Funktion biologischer Synapsen sehr ähnelt. Die synaptische Gewichtung, also die Stärke der Verbindung zwischen Neuronen, wird durch den Widerstand der Memristoren dargestellt. Durch das Anpassen des Widerstands können die Chips lernen und sich an neue Informationen anpassen. Memristoren werden oft in sogenannten Crossbar-Arrays angeordnet (siehe Bild 4 Mitte), um eine hohe Dichte von Verbindungen zwischen Neuronen zu ermöglichen. Memristoren sind somit gut geeignet, um Synapsen in neuromorphen Chips zu simulieren, da sie eine Art „Gedächtnis“ besitzen und die Lernprozesse von biologischen Synapsen nachahmen können.

Optoelektronische Synapsen stellen eine vielversprechende Alternative zu Memristoren dar. Sie nutzen Licht, um die Verbindung zwischen künstlichen Neuronen zu modulieren, was im Wesentlichen bedeutet, dass die Stärke der Verbindung durch Lichtsignale gesteuert wird. Diese Modulation kann durch verschiedene optische Bauelemente erreicht werden, darunter photonische Kristallwellenleiter und Mikroresonatoren. Photonische Kristallwellenleiter lenken und steuern Licht auf winzigen Skalen, während Mikroresonatoren Licht in winzigen Strukturen einfangen und verstärken können. Der Einsatz von Licht in Synapsen bietet mehrere Vorteile, insbesondere das Potenzial für hohe Geschwindigkeiten und einen geringen Energieverbrauch. Da Lichtsignale sich mit sehr hohen Geschwindigkeiten ausbreiten können, ermöglichen optische Synapsen schnellere Datenübertragungsraten als elektronische Synapsen. Darüber hinaus kann die Verwendung von Licht die Energieeffizienz verbessern, da photonische Bauelemente oftmals mit weniger Energie auskommen als elektronische Bauelemente.

Eine weitere alternative Technologie sind atomare Schalter. Diese Schalter basieren auf der Bewegung einzelner Atome, um elektrische Widerstände zu verändern. Durch die präzise Steuerung der Atompositionen können sehr kleine und energieeffiziente Schalter realisiert werden. Diese Technologie hat das Potenzial, die Miniaturisierung von neuromorphen Chips voranzutreiben und den Energieverbrauch nochmals deutlich zu senken. Die Fähigkeit, einzelne Atome zu bewegen, ermöglicht eine extrem feine Steuerung des elektrischen Widerstands, was für die Realisierung komplexer synaptischer Funktionen von Vorteil ist.

Axonen und Dendriten werden in neuromorphen Chips im einfachsten Fall durch spezielle Leiterbahnen realisiert. Die Übertragung von Signalen zwischen Neuronen erfolgt über Leiterbahnen auf dem Chip, die den Axonen und Dendriten in biologischen Neuronen entsprechen. Diese Leiterbahnen sind so angeordnet, dass sie eine komplexe Vernetzung zwischen den Neuronen ermöglichen. Um sicherzustellen, dass Signale die richtigen Neuronen erreichen, werden Adressierungs- und Routing-Schaltungen verwendet. Diese Schaltungen steuern den Fluss der Signale durch das Netzwerk. Die Vernetzung der Axone und Dendriten ist ein entscheidender Faktor für die Leistungsfähigkeit neuromorpher Chips. Eine hohe Vernetzungsdichte ermöglicht es den Chips, komplexe Muster zu erkennen und Aufgaben zu lösen. 

Rückkehr der Analog-Elektronik?

Neuromorphe Chips können sowohl mit analogen als auch mit digitalen Signalen arbeiten. Besonders interessant ist die Verwendung von analogen Signalpegeln, die nicht auf die digitale Zustände „Null“ und „Eins“ beschränkt sind. Die Informationsübertragung erfolgt dann durch die Spikes, also Pulsfolgen, die eine hohe Ähnlichkeit zu den Aktionspotentialen im Gehirn aufweisen (siehe Bild 5). Sogenannte Spiking Neural Networks (SNNs) arbeiten zeitlich kodiert. Das bedeutet, dass Neuronen nur aktiv sind, wenn sie einen Schwellenwert überschreiten. Dies spart wiederum Energie und beschleunigt die Verarbeitung, da Datenleitungen noch effizienter genutzt werden können. Neuromorphe Chips können damit also sowohl analoge als auch digitale Elemente enthalten, wobei sie oft eine hybride Architektur nutzen, die das Beste aus beiden Welten kombiniert.

Die Vor- und Nachteile der einzelnen Verfahren sind dabei:

• Analoge Elemente können kontinuierliche Prozesse des Gehirns besser abbilden. Dies gilt insbesondere für die Simulation von neuronalen Signalen, wie Spikes, und für die Modellierung von Synapsen.  Sie bieten hohe Effizienz bei der Verarbeitung variabler Datenströme, da sie nur während der Signalverarbeitung aktiv sind.
• Digitale Elemente werden in Bereichen eingesetzt, in denen Genauigkeit und Zuverlässigkeit entscheidend sind. Sie ermöglichen präzise Steuerungen und nutzen etablierte digitale Hardware-Techniken.
• Hybride Architekturen kombinieren die Vorteile der beiden Varianten.

Das Ende der klassischen Programmierung

Aber nicht nur auf der Hardware-Ebene unterscheiden sich neuromorphe Technologien von den klassischen Systemen. Auch die „Programmierung“ erfolgt völlig anders als bei Computern oder Mikroprozessoren. Da die neuen Chips auf massiv paralleler Verarbeitung basieren, erfordert ihre „Programmierung“ den Einsatz von neuronalen Netzen und Machine-Learning-Algorithmen.

An die Stelle der klassischen Programmierarbeit tritt hier die Notwendigkeit, das neuronale Netz für seine Aufgaben zu trainieren. Hierzu wird es mit großen Mengen an Eingabedaten versorgt und die Verbindungen (Synapsen) basierend auf diesen Vorgaben werden angepasst. Ein Vorteil dieser Architektur ist, dass neuromorphe Chips mit der Zeit „intelligenter“ werden und effizienter auf immer neue  Aufgaben reagieren können.

Ein wesentlicher Unterschied zwischen neuromorphen Chips und herkömmlichen Prozessoren liegt also auch in der Art und Weise, wie Informationen verarbeitet und übertragen werden. Während traditionelle Prozessoren Daten als diskrete Einheiten in Form von Bits speichern und sequenziell bearbeiten, arbeiten neuromorphe Chips mit Ereignissen und Zeitmustern. Diese Spikes-Muster sind die elektrischen Impulse, die den neuronalen Aktivierungen im Gehirn entsprechen.

Neuromorphe Chips sind darauf ausgelegt, Lernprozesse nach dem Vorbild des menschlichen Gehirns zu ermöglichen. Dies bedeutet, dass sie in der Lage sein sollen, aus Daten zu lernen und sich an neue Informationen anzupassen. Dieser Lernprozess erfolgt durch die Anpassung der synaptischen Gewichtungen, also der Stärke der Verbindungen zwischen den künstlichen Neuronen. Um diese Anpassungen zu steuern, werden Lernalgorithmen verwendet, die auf Prinzipien des maschinellen Lernens basieren.

Über den Autor
Dr. Günter Spanner ist als Autor zu den Themen Elektronik, Sensortechnik und Mikrocontroller einem weiten Fachpublikum bekannt. Schwerpunkt seiner hauptberuflichen Tätigkeit für verschiedene Großkonzerne wie Siemens und ABB ist die Projektleitung im Bereich Entwicklung und Technologie-Management. Der Dozent für Physik und Elektrotechnik hat zudem zahlreiche Fachartikel und Bücher veröffentlicht sowie Kurse und Lernpakete erstellt.