Schweitzer Fachinformationen
Wenn es um professionelles Wissen geht, ist Schweitzer Fachinformationen wegweisend. Kunden aus Recht und Beratung sowie Unternehmen, öffentliche Verwaltungen und Bibliotheken erhalten komplette Lösungen zum Beschaffen, Verwalten und Nutzen von digitalen und gedruckten Medien.
Niemand hat damit gerechnet - nicht einmal die Entwickler selbst. ChatGPT hat sich als KI entpuppt, die in der Lage ist, überzeugend auf menschlichem Niveau zu schreiben. Aber wie funktioniert das genau? Was geht in dem »Verstand« dieser KI vor?
Der bekannte Wissenschaftler und Pionier Stephen Wolfram liefert in diesem Buch eine lesenswerte fesselnde Erläuterung der Funktionsweise von ChatGPT, die aus seiner jahrzehntelangen Erfahrung in der IT-Forschung schöpft. Mit anschaulichen Schaubildern und realen Beispielen bietet er einen Blick hinter die Kulissen des beliebten Chatbots. Dabei gibt er nicht nur einen leicht verständlichen Einblick in die Arbeitsweise und das Training neuronaler Netze, sondern zeigt auch detailliert, wie die Sprachverarbeitung von ChatGPT funktioniert und welche Rolle Syntax und Semantik der menschlichen Sprache dabei spielen.
Finden Sie heraus, wie ChatGPT die modernste Technologie neuronaler Netze mit grundlegenden Fragen bezüglich der Sprache und des menschlichen Denkens vereint und wie inhaltlich falsche Ausgaben unter Zuhilfenahme von Wolfram|Alpha vermieden werden können.
»Das Buch ist eines für alle, die es ganz genau wissen wollen [..]. Wer sich aber dieser Herausforderung stellt, wird mit einer Erklärung zur Funktionsweise großer Sprachmodelle belohnt, die ebenso fundiert wie tiefschürfend ist.« (12/2024, Linux Magazin) »Der Mathematiker, Informatiker und Physiker Stephen Wolfram erklärt leicht verständlich und in kompakter Form, wie die erstaunlichen Leistungen großer Sprachmodelle zustande kommen.« (Pit Noack, c´t Magazin, 07/24) »Bis dahin wird in kompakter, mit vielen Beispielen durchsetzter und zahlreichen Referenzen untermauerter Form tatsächlich das Geheimnis hinter ChatGPT erläutert« (Michael Müßig, WebsiteBoosting, 12/2023) »In seinem Buch ,,Das Geheimnis hinter ChatGPT" gibt Stephen Wolfram erhellende Einblicke, wie derartige Systeme arbeiten, um diese Aufgabe zu bewältigen« (wdf.new, 12/2023) »Wenn eine Großkoryphäe der Informatik wie Stephen Wolfram ein Buch über ChatGPT schreibt, ist eine Rezension natürlich ein Muss.« (ix, Jürgen Seeger, 11/2023)
Dass ChatGPT automatisch etwas generieren kann, das sich, wenn auch nur oberflächlich betrachtet, wie ein von Menschen geschriebener Text liest, ist bemerkenswert und unerwartet. Aber wie macht es das? Und wieso funktioniert es? Ich möchte Ihnen hier einen groben Überblick darüber verschaffen, was in ChatGPT passiert - und dann untersuchen, warum es so gut darin ist, etwas herzustellen, was man für sinnvollen Text halten könnte. Seien Sie sich bewusst, dass für mich die Betonung hier auf dem Wort »Überblick« liegt - und auch wenn ich einige technische Details erwähne, werde ich nicht allzu detailliert darauf eingehen. (Und im Wesentlichen gilt das, was ich schreibe, nicht nur für ChatGPT, sondern auch für andere aktuelle »?Large Language Models« [?LLMs].)
Zunächst muss man verstehen, dass ChatGPT im Prinzip immer versucht, eine »vernünftige Fortsetzung« desjenigen Textes zu erzeugen, den es bisher vorliegen hat. Dabei bedeutet »vernünftig«, »was man von jemandem erwarten würde, nachdem man gesehen hat, was Menschen auf Milliarden von Webseiten usw. geschrieben haben«.
Nehmen Sie also einmal an, Sie haben den Text »The best thing about AI is its ability to«. Stellen Sie sich vor, Sie überfliegen Milliarden von Seiten mit von Menschen geschriebenem Text (zum Beispiel im Web und in digitalisierten Büchern) und finden alle Vorkommen dieses Textes - und sehen dann, welches Wort in welchem Zeitabstand als Nächstes kommt. ChatGPT macht prinzipiell genau das, allerdings (wie ich bald erklären werde) betrachtet es den Text nicht wortwörtlich. Stattdessen sucht es nach Dingen, die in einem gewissen Sinn »in ihrer Bedeutung passen«. Letztendlich erzeugt es eine ?Rangliste von Wörtern, die folgen könnten, zusammen mit ihren »?Wahrscheinlichkeiten«:
Das Bemerkenswerte ist, dass ChatGPT, wenn es zum Beispiel einen Essay schreibt, im Prinzip immer und immer wieder fragt: »Wie sollte angesichts des Textes, den ich bisher habe, das nächste Wort lauten?« - und immer wieder ein Wort hinzufügt. (Genauer gesagt fügt es, wie ich gleich erklären werde, ein »?Token« hinzu, bei dem es sich auch um einen Teil eines Wortes handeln könnte, weshalb es manchmal »neue Wörter erfindet«.)
Bei jedem Schritt erhält es also eine Wortliste mit Wahrscheinlichkeiten. Welches Wort soll es nun auswählen, um es an den Essay (oder Ähnliches) anzuhängen, den es schreibt? Man könnte annehmen, dass es das Wort mit dem »höchsten Rang« nimmt (d.h. dasjenige, dem die größte Wahrscheinlichkeit zugewiesen wurde). Dies ist allerdings die Stelle, an der ein bisschen gezaubert wird. Denn aus irgendeinem Grund - und man kann sich das vielleicht eines Tages sogar wissenschaftlich erklären - erhält man einen ziemlich »flachen« Essay, der niemals »irgendeine Kreativität zu zeigen« scheint (und sich manchmal sogar Wort für Wort wiederholt), wenn man immer das am höchsten eingestufte Wort wählt. Nimmt man dagegen manchmal (ganz zufällig ausgewählte) Wörter mit niedrigerem Rang, erhält man einen »interessanteren« Essay.
Die Tatsache, dass hier eine gewisse ?Zufälligkeit im Spiel ist, bedeutet, dass Sie wahrscheinlich jedes Mal einen anderen Essay bekommen, selbst wenn Sie mehrmals dasselbe Ausgangsmaterial einsetzen. Und, um bei der Vorstellung von der Zauberei zu bleiben, es gibt einen speziellen sogenannten »?Temperatur«-Parameter, der bestimmt, wie oft Wörter mit niedrigerem Rang benutzt werden. Für die Erstellung von Essays scheint ein »Temperatur«-Wert von 0,8 sich am besten zu eignen. (Ich betone es noch einmal, dass dem Ganzen hier keine »Theorie« zugrunde liegt, sondern dies einfach auf der Erfahrung beruht, was in der Praxis am besten funktioniert. Das Konzept der »Temperatur« gibt es zum Beispiel deshalb, weil ?Exponentialverteilungen benutzt werden, die uns aus der statistischen Physik[1] vertraut sind, auch wenn es keine »physikalische« Verbindung gibt - zumindest soweit wir das wissen.)
Bevor wir weitermachen, sollte ich noch erklären, dass ich zu Darstellungszwecken meist nicht das komplette System in ChatGPT nutze. Stattdessen arbeite ich normalerweise mit einem einfacheren ?GPT-2-System, das die schöne Eigenschaft besitzt, klein genug zu sein, um auf einem einfachen Desktop-Computer zu laufen. Und so kann ich im Prinzip für alles, was ich Ihnen zeige, auch den expliziten ?Code in der Wolfram Language[2] angeben, den Sie dann selbst auf Ihrem Computer ausprobieren können.
So kommen Sie zum Beispiel zu der oben gezeigten Tabelle der Wahrscheinlichkeiten. Zuerst müssen wir das dem »Sprachmodell« zugrunde liegende ?neuronale Netz[3] beziehen:
Später werden wir einen Blick in dieses neuronale Netz werfen und diskutieren, wie es funktioniert. Für den Augenblick wenden wir dieses »Netzmodell« einfach als eine Art Black Box auf unseren bisher erstellten Text an und fragen nach den fünf Wörtern mit der höchsten Wahrscheinlichkeit, die das Modell vorhersagt:
Nun wird das Ergebnis in einen explizit formatierten »Datensatz«[4] umgewandelt:
Folgendes passiert, wenn man wiederholt »das Modell anwendet« - und bei jedem Schritt das Wort hinzufügt, das die höchste Wahrscheinlichkeit hat (angegeben in diesem Code als die »D?ecision«, also die ?Entscheidung des Modells):
Was passiert, wenn das so weitergeht? In diesem Fall (»Temperatur Null«) wird das Ergebnis schnell ziemlich wirr und beginnt, sich zu wiederholen:
Was ist, wenn man nicht immer das »oberste« Wort nimmt, sondern manchmal zufällig Wörter wählt, die »nicht ganz oben« stehen (wobei die »Zufälligkeit« der »Temperatur« von 0,8 entspricht)? Auch hier kann man wieder einen Text aufbauen:
Jedes Mal, wenn man das macht, werden andere Zufallsentscheidungen getroffen, sodass der Text anders ausfällt - wie diese fünf Beispiele beweisen:
Beachten Sie, dass selbst im ersten Schritt bereits eine Menge möglicher »nächster Wörter« zur Auswahl stehen (bei einer Temperatur von 0,8), auch wenn ihre Wahrscheinlichkeiten sehr schnell ziemlich stark abfallen (und ja, die gerade Linie in dieser doppelt logarithmischen Darstellung entspricht einem Potenzabfall von n-1, der typisch ist für die allgemeine Statistik von Sprachen[5]):
Was passiert, wenn das noch weitergeht? Hier ist ein zufälliges Beispiel. Es ist besser als das Ergebnis mit dem obersten Wort (Temperatur Null), aber bleibt dennoch im besten Fall ziemlich seltsam:
(Das Beste an der KI ist ihre Fähigkeit, die Welt um uns herum zu durchschauen und ihren Sinn zu verstehen, anstatt in Panik zu verfallen und sie zu ignorieren. Das bezeichnet man als KI, »die ihren Job erledigt« oder »Wald-und-Wiesen-KI«. Tatsächlich ist es einer der grundlegendsten Prozesse der KI, eine unendliche Anzahl an Schritten zu durchlaufen und eine Maschine zu entwickeln, die in andere Systeme integriert werden kann, oder ein System zu kontrollieren, das wirklich eine Maschine ist. Abgesehen von der Mensch-Maschine-Interaktion war die KI auch ein großer Teil der Kreativität.)
Dies wurde mit dem einfachsten GPT-2-Modell[6] (von 2019) erzeugt. Die neueren und größeren GPT-3-Modelle liefern bessere Ergebnisse. Hier ist der Text, der mit dem jeweils obersten Wort (Temperatur Null) und derselben Ausgangsphrase erzeugt wird, allerdings mit dem größten ?GPT-3-Modell[7]:
Dateiformat: ePUBKopierschutz: Wasserzeichen-DRM (Digital Rights Management)
Systemvoraussetzungen:
Das Dateiformat ePUB ist sehr gut für Romane und Sachbücher geeignet - also für „fließenden” Text ohne komplexes Layout. Bei E-Readern oder Smartphones passt sich der Zeilen- und Seitenumbruch automatisch den kleinen Displays an. Mit Wasserzeichen-DRM wird hier ein „weicher” Kopierschutz verwendet. Daher ist technisch zwar alles möglich – sogar eine unzulässige Weitergabe. Aber an sichtbaren und unsichtbaren Stellen wird der Käufer des E-Books als Wasserzeichen hinterlegt, sodass im Falle eines Missbrauchs die Spur zurückverfolgt werden kann.
Weitere Informationen finden Sie in unserer E-Book Hilfe.
