1

Lernende Netze

Als 13-Jähriger stieß ich in einer Regionalzeitung auf einen Artikel über Schach. Das Spiel zog mich sofort in seinen Bann. Ich wollte alles über Schach wissen, besiegte irgendwann meinen Onkel und trat einem Schachklub bei. Schach war für mich dabei mehr als nur ein Spiel. Es schärfte nicht nur mein logisches und strategisches Denken. Durch das Schachspielen lernte ich auch, mich über lange Zeiträume hinweg auf ein Problem zu konzentrieren - eine Fähigkeit, die mir bei meiner wissenschaftlichen Karriere später entscheidend half.

Ich wuchs auf einem Bauernhof in Bayern auf. Meine Kindheit war geprägt vom Landleben, von Fußball und Skifahren - und eigentlich war mein Weg vorgezeichnet: Als Erstgeborener sollte ich den elterlichen Hof übernehmen. Der Besuch eines Gymnasiums kam nicht in Frage. Doch ich war neugierig, ich wollte lernen. Im Schachklub traf ich auf Gymnasiasten, die mir Bücher über Physik und Mathematik empfahlen. Im Selbststudium eignete ich mir das Mathematikwissen der ersten Universitätssemester an. Ohne Abitur konnte ich zwar nicht Mathematik studieren. Mein Schulabschluss ermöglichte mir aber zumindest eine Studienberechtigung für ein Informatikstudium an der FH München, das dortige Vordiplom wiederum den Zugang zu einem Informatikstudium an der TU München. Diese Mischung aus Mathematik und Technik wurde später zu meinem größten Vorteil.

Als ich Mitte der 1980er-Jahre mein Studium begann, war die Informatik noch ein junges Fach. Von künstlicher Intelligenz war noch nicht viel zu sehen, zumindest nicht in der modernen Form, wie wir sie heute kennen. Es gab erste Ansätze, neuronale Netze zu verstehen und anzuwenden, aber es fühlte sich oft an wie Science-Fiction. Denn diese neue Disziplin versprach etwas, das über die Mathematik hinausging: Maschinen zu entwickeln, die menschliche Probleme lösen können. Die Idee, dass ein Computer nicht nur rechnen, sondern auch lernen und »denken« könnte, übte eine unwiderstehliche Faszination auf mich aus. Schon als Student spürte ich, dass hier etwas grundlegend Neues begann.

Eine neue Art zu denken

In der KI-Forschung gab es damals zwei Welten: die klassische symbolische KI - und das völlig neue, unerschlossene Feld der subsymbolischen KI, der neuronalen Netze also. Symbolische KI arbeitet mit Methoden, die auf klaren Regeln, Formeln und Logik basieren. Subsymbolische KI, wie typischerweise neuronale Netze, lernt hingegen aus Daten und generalisiert auf neue Fälle.

In Europa dominierte in den 80er-Jahren die symbolische KI. Expertensysteme, die mit symbolischem Wissen gefüttert wurden, lieferten damals durchaus beeindruckende Ergebnisse, insbesondere in spezialisierten Bereichen wie der Medizin oder der Ingenieurwissenschaft. Trotz ihrer Erfolge stieß die symbolische KI allerdings an Grenzen. Sie war stark abhängig von vorab definierten Regeln und konnte mit unstrukturierten oder unvollständigen Informationen kaum umgehen. Genau da setzte die subsymbolische KI an, die auf lernenden Systemen wie neuronalen Netzen basiert.

Die heutige KI-Forschung bewegt sich zunehmend in Richtung subsymbolischer Ansätze, da diese in vielen praktischen Anwendungen überlegen sind. Dennoch bleibt die symbolische KI relevant, insbesondere in Bereichen, die hohe Sicherheit und Genauigkeit erfordern.

Expertensysteme, Logiksysteme und andere Ansätze der symbolischen KI fand ich zwar interessant, doch mir fehlte darin die Faszination des Neuen und Unbekannten. Also stürzte ich mich auf das neue, kaum erforschte Gebiet der neuronalen Netze, das sich von der Funktionsweise des menschlichen Gehirns inspirieren ließ. Es war eine völlig neue Herangehensweise, die nicht auf starren Regeln beruhte. Was mich besonders interessierte, war die Fähigkeit neuronaler Netze, aus Beispielen zu lernen. Ein Netz wird mit Daten gefüttert - mit Eingaben und den dazugehörigen Ausgaben - und entwickelt daraus ein Modell, das diese Beziehung beschreibt. Das eröffnete ungeahnte Möglichkeiten, Probleme zu lösen.

Neuronale Netze waren zu dieser Zeit allerdings noch ein Nischenthema. Sie galten als unzuverlässig und schwer verständlich, und es gab kaum praktische Anwendungen. Ich spürte jedoch, dass die neuronalen Netze nicht nur sehr interessant waren, sondern zudem ein großes Potenzial hatten, auch wenn sie damals noch ganz am Anfang standen.

Heute sind neuronale Netze das Herzstück moderner KI-Systeme und haben sich von einem spekulativen Forschungsgebiet zu einer Schlüsseltechnologie entwickelt. Ihre Vielseitigkeit macht sie in zahlreichen Bereichen unverzichtbar, von der Bild-, Text- und Spracherkennung bis hin zu Anwendungen in der Informationstechnologie, der Medizin und der Finanzwelt. Doch was genau macht neuronale Netze so einzigartig?

Ein wesentlicher Vorteil liegt in ihrer Fähigkeit zur Generalisierung. Im Gegensatz zu klassischen regelbasierten Systemen lernen neuronale Netze Muster und Strukturen direkt aus Daten. Diese Herangehensweise ermöglicht es ihnen, auch in komplexen, unvorhersehbaren Situationen zu bestehen, für die keine Regeln bekannt sind. Beispielsweise können sie aus Millionen von Bildern lernen, Hunde von Katzen zu unterscheiden, ohne dass ihnen explizit Regeln vorgegeben werden.

Eine Sackgasse?

Als ich begann, mich intensiv mit KI zu beschäftigen, war vieles an den neuronalen Netzen noch spekulativ. Es gab keine Gewissheit, dass sie wirklich funktionieren würden, und viele Wissenschaftler hielten sie für eine Sackgasse. Ich erinnere mich an Diskussionen, in denen KI-Experten argumentierten, dass neuronale Netze keine Zukunft hätten. Die großen Erfolge, die wir heute mit Deep Learning feiern, waren damals kaum vorstellbar. Es war aber gerade diese Unsicherheit, die mich reizte. Etwas zu erforschen, das viele Möglichkeiten bietet, noch ungelöste Probleme hat, neue Ideen zulässt und noch nicht ausgeforscht ist.

Ich kam über Jürgen Schmidhuber, der an der TU München lehrte, mit neuronalen Netzen in Berührung. Wie gesagt, gehörte ich damals zu einer Minderheit in der KI-Forschung. Unsere Community war überschaubar; wir kannten uns fast alle persönlich. Auf den internationalen Konferenzen waren wir vielleicht 200 bis 300 Teilnehmer, während die symbolische KI die großen Bühnen bespielte. Was uns von den etablierten KI-Forschern unterschied, war nicht nur unser Forschungsthema, sondern auch unser Ansatz. Wir experimentierten, probierten neue Ideen aus. Wir lernten zu akzeptieren, dass vieles nicht funktionierte. Diese Offenheit machte die Arbeit aufregend, aber sie isolierte uns auch von der etablierten KI-Welt.

Zu neuronalen Netzen gab es damals auch wenig Literatur, kaum etablierte Methoden - wir mussten alles selbst herausfinden. Ich erinnere mich, wie ich als Student mit simplen Programmen experimentierte, die uns an der Universität zur Verfügung gestellt wurden. Wir hatten keine großen Modelle mit Milliarden von Parametern, keine Cloud-Infrastruktur, die uns unendliche Rechenleistung bot. Alles war handgemacht, von den Algorithmen bis zu den Experimenten.

Die Konferenz NeurIPS (Neural Information Processing Systems) war das Zentrum dieser Entwicklung, und obwohl sie damals kaum Teilnehmer aus Europa hatte, wurde dort die Zukunft der KI geschrieben. Heute kommen über 15.000 Menschen aus aller Welt zusammen, um die neuesten Entwicklungen zu präsentieren. Konferenzen wie NeurIPS, ICML (International Conference on Machine Learning) oder ICLR (International Conference on Learning Representations) sind der Puls der KI-Forschung - und sie zeigen, wie sehr das Feld gewachsen ist.

Die KI hat sich seither von einer Nischendisziplin zu einem globalen Phänomen entwickelt, das fast jede Branche verändert. Doch die Wurzeln liegen in den bescheidenen Anfängen, in den Tagen, als wir erste neuronale Netze bauten. Rückblickend war ich mittendrin in einer der spannendsten Phasen der KI-Geschichte: in der Zeit, als neuronale Netze zunächst ignoriert, dann belächelt und schließlich gefeiert wurden.

Der Aufbau neuronaler Netze

Neuronale Netze basieren auf einer Analogie zum menschlichen Gehirn. Dieses besteht aus Milliarden von Neuronen, die durch synaptische Verbindungen miteinander kommunizieren. Jedes Neuron kann Signale senden oder empfangen und dadurch andere Neuronen aktivieren oder hemmen. Künstliche neuronale Netze versuchen, diese Struktur nachzuahmen. Sie bestehen aus einer Vielzahl einfacher Verarbeitungseinheiten - Neuronen -, die miteinander vernetzt sind. Diese Netzwerke können durch Anpassung der synaptischen Verbindungen lernen, komplexe Aufgaben zu bewältigen.

Das einfachste neuronale Netz ist das sogenannte »Perzeptron«, das 1943 von Warren McCulloch und Walter Pitts konzipiert wurde. Es besteht aus nur einem einzigen Neuron, das externe Signale verarbeitet, ähnlich wie ein Neuron in der Retina unseres Auges. Doch unser Gehirn ist weit komplexer: Es verfügt über Neuronen, die in Netzwerken organisiert sind und miteinander Signale austauschen.

Ein neuronales Netz besteht aus Eingabeneuronen, die Informationen von außen aufnehmen, und Ausgabeneuronen, die Ergebnisse liefern. Dazwischen liegen oft mehrere Schichten, die die Verarbeitung der Daten ermöglichen. Der Unterschied zwischen verschiedenen Netzen liegt in der Stärke der Verbindungen zwischen den Neuronen. Einige Verbindungen können erregend sein, andere hemmend. Diese Unterschiede bestimmen,...