Einleitung

Dank der rasanten Fortschritte beim Deep Learning haben sich maschinelles Lernen und künstliche Intelligenz in den letzten Jahren erheblich ausgebreitet.

Diese Entwicklung ist spannend, wenn wir davon ausgehen, dass diese Fortschritte neue Branchen schaffen, bestehende Branchen verändern und die Lebensqualität von Menschen auf der ganzen Welt verbessern werden. Andererseits kann das ständige Auftauchen neuer Techniken dazu führen, dass es schwierig und zeitaufwendig ist, mit den neuesten Entwicklungen Schritt zu halten. Dennoch ist es für Fachleute und Organisationen, die diese Technologien nutzen, unerlässlich, auf dem Laufenden zu bleiben.

Ich habe dieses Buch als Ressource für Leser und Praktiker des maschinellen Lernens geschrieben, die ihr Fachwissen auf diesem Gebiet erweitern und mehr über die Techniken erfahren möchten, die ich für nützlich und wichtig erachte, die aber in traditionellen und einführenden Lehrbüchern und Kursen oft übersehen werden. Ich hoffe, dass dieses Buch für Sie eine wertvolle Ressource ist, um neue Einblicke zu gewinnen und neue Techniken zu entdecken, die Sie in Ihrer Arbeit umsetzen können.

An wen richtet sich dieses Buch?

Oft fühlt es sich wie eine Gratwanderung an, sich in der Welt der KI und des maschinellen Lernens zurechtzufinden, da die meisten Bücher an einem der beiden Enden angesiedelt sind: breite Einführungen für Anfänger oder tiefgründige mathematische Abhandlungen. Dieses Buch veranschaulicht und erörtert wichtige Entwicklungen in diesen Bereichen, ist dabei aber leicht verständlich und setzt keine höheren mathematischen oder programmiertechnischen Kenntnisse voraus.

Dieses Buch richtet sich an Personen, die bereits einige Erfahrung mit maschinellem Lernen haben und neue Konzepte und Techniken erlernen möchten. Es ist ideal für diejenigen, die einen Grundkurs in maschinellem Lernen oder Deep Learning absolviert oder ein entsprechendes Einführungsbuch zu diesem Thema gelesen haben. (Im gesamten Buch verwende ich maschinelles Lernen als Oberbegriff für maschinelles Lernen, Deep Learning und KI.)

Was werden Sie von diesem Buch haben?

Dieses Buch ist in einem einzigartigen Frage-und-Antwort-Stil geschrieben, bei dem jedes kurze Kapitel um eine zentrale Frage zu grundlegenden Konzepten des maschinellen Lernens, des Deep Learning und der KI aufgebaut ist. Auf jede Frage folgt eine Erklärung mit mehreren Illustrationen und Abbildungen sowie Übungen, um Ihr Verständnis zu testen. Viele Kapitel enthalten auch Verweise auf weiterführende Literatur. Diese mundgerechten Informationsbrocken bieten einen unterhaltsamen Einstieg auf Ihrem Weg vom Anfänger zum Experten für maschinelles Lernen.

Das Buch deckt ein breites Themenspektrum ab. Es enthält neue Erkenntnisse über etablierte Architekturen, wie zum Beispiel Convolutional Networks (Faltungsnetze), mit denen Sie diese Technologien effektiver nutzen können. Außerdem werden erweiterte Techniken erörtert, wie etwa das Innenleben von großen Sprachmodellen (Large Language Models, LLMs) und Vision Transformers. Selbst erfahrene Forscher und Praktiker im Bereich des maschinellen Lernens werden etwas Neues finden, das sie ihrem Arsenal an Techniken hinzufügen können.

Dieses Buch macht Sie zwar mit neuen Konzepten und Ideen bekannt, ist aber weder ein Mathematik- noch Programmierbuch. Beim Lesen müssen Sie keine Beweise herleiten oder Code ausführen. Mit anderen Worten: Dieses Buch ist ein perfekter Reisebegleiter oder etwas, das Sie auf Ihrem Lieblingslesesessel mit Ihrem Morgenkaffee oder Tee lesen können.

Wie man dieses Buch liest

Die einzelnen Kapitel dieses Buches sind in sich abgeschlossen, sodass Sie nach Belieben zwischen den Themen wechseln können. Wird ein Konzept aus einem Kapitel in einem anderen ausführlicher erklärt, habe ich Kapitelverweise eingefügt, denen Sie folgen können, um Lücken in Ihrem Verständnis zu schließen.

Allerdings sind die Kapitel in einer strategischen Reihenfolge angeordnet. Zum Beispiel bereitet das frühe Kapitel über Einbettungen die Grundlage für spätere Diskussionen über selbstüberwachtes Lernen und Few-Shot Learning. Um die Lektüre so einfach wie möglich zu gestalten und den Inhalt so umfassend wie möglich zu erfassen, empfehle ich, das Buch von Anfang bis Ende zu lesen.

Zu jedem Kapitel gibt es optionale Übungen für Leser, die ihr Verständnis testen wollen, mit einem Antwortschlüssel am Ende des Buches. Darüber hinaus finden Sie für alle Paper, auf die in einem Kapitel verwiesen wird, oder für weiterführende Literatur zum Thema des Kapitels die vollständigen Quellenangaben im Abschnitt »Referenzen« dieses Kapitels.

Das Buch ist in fünf Hauptteile gegliedert, die sich mit den wichtigsten Themen des maschinellen Lernens und der KI in der heutigen Zeit befassen.

Teil I: Neuronale Netze und Deep Learning behandelt Fragen zu tiefen neuronalen Netzen und Deep Learning, die nicht spezifisch für einen bestimmten Teilbereich sind. Zum Beispiel erörtern wir Alternativen zum überwachten Lernen und Techniken, die Überanpassung - ein häufiges Problem bei Modellen für maschinelles Lernen, die auf praktische Probleme mit begrenzter Datenmenge angewendet werden - vermeiden oder reduzieren sollen.

• ■ Kapitel 1: Einbettungen, Latenter Raum und Repräsentationen beschäftigt sich mit den Unterschieden und Ähnlichkeiten zwischen Einbettungsvektoren, latenten Vektoren und Repräsentationen. Es wird verdeutlicht, wie diese Konzepte dazu beitragen, Informationen im Kontext des maschinellen Lernens zu codieren.
• ■ Kapitel 2: Selbstüberwachtes Lernen konzentriert sich auf selbstüberwachtes Lernen, eine Methode, die es neuronalen Netzen ermöglicht, große, nicht gelabelte Datensätze in überwachter Art und Weise zu nutzen.
• ■ Kapitel 3: Few-Shot Learning stellt Few-Shot Learning vor, eine spezialisierte Technik des überwachten Lernens, die auf kleine Trainingsdatensätze zugeschnitten ist.
• ■ Kapitel 4: Die Lotterie-Ticket-Hypothese untersucht die Idee, dass zufällig initialisierte neuronale Netze kleinere, effiziente Teilnetze enthalten.
• ■ Kapitel 5: Überanpassung mit Daten reduzieren setzt sich mit dem Problem der Überanpassung im maschinellen Lernen auseinander und erörtert Strategien, bei denen Datenvermehrung und nicht gelabelte Daten im Mittelpunkt stehen, um Überanpassung zu verhindern.
• ■ Kapitel 6: Überanpassung mit Modellmodifikationen verringern erweitert die Betrachtungen zur Überanpassung und konzentriert sich dabei auf modellbezogene Lösungen wie Regularisierung, die Entscheidung für einfachere Modelle und Ensemble-Techniken.
• ■ Kapitel 7: Multi-GPU-Trainingsparadigmen erläutert verschiedene Trainingsparadigmen für Multi-GPU-Setups inklusive Daten- und Modellparallelität, um das Modelltraining zu beschleunigen.
• ■ Kapitel 8: Der Erfolg der Transformer untersucht die beliebte Transformer-Architektur, wobei es insbesondere um Features wie Attention-Mechanismen, einfache Parallelisierung und hohe Parameteranzahlen geht.
• ■ Kapitel 9: Generative KI-Modelle bietet einen umfassenden Überblick über tiefe generative Modelle, die dafür gedacht sind, verschiedene Medienformen zu erzeugen, darunter Bilder, Text und Audio. Erörtert werden die Stärken und Schwächen der einzelnen Modelltypen.
• ■ Kapitel 10: Quellen des Zufalls behandelt die verschiedenen Quellen des Zufalls beim Training von tiefen neuronalen Netzen, die zu inkonsistenten und nicht reproduzierbaren Ergebnissen sowohl beim Training als auch bei der Inferenz führen können. Während Zufälligkeiten unbeabsichtigt auftreten können, ist es auch möglich, sie vom Konzept her absichtlich einzubringen.

Teil II: Computer Vision konzentriert sich auf Themen, die hauptsächlich mit Deep Learning zu tun haben, aber spezifisch für Computer Vision sind. Viele davon betreffen CNNs und Vision Transformer.

• ■ Kapitel 11: Die Anzahl der Parameter berechnen erläutert das Verfahren, mit dem sich die Parameter in einem CNN bestimmen lassen. Dies ist nützlich, um den Speicherbedarf eines Modells abzuschätzen.
• ■ Kapitel 12: Vollständig verbundene Schichten und Convulutional Layer veranschaulicht die Umstände, unter denen Faltungsschichten nahtlos vollständig verbundene Schichten ersetzen können. Dies ist nützlich, um die Hardware zu optimieren oder Implementierungen zu vereinfachen.
• ■...