
Praxisbuch Large Language Models
Description
Alles über E-Books | Antworten auf Fragen rund um E-Books, Kopierschutz und Dateiformate finden Sie in unserem Info- & Hilfebereich.
More details
Other editions
Additional editions

Persons
Content
- Cover
- Hinweise zur Benutzung
- Stimmen zu: Praxisbuch Large Language Models
- Titel
- Impressum
- Inhalt
- Vorwort
- Teil I: Die Funktionsweise von Sprachmodellen verstehen
- 1 Einführung in Large Language Models
- Was ist Language AI?
- Die jüngsten Entwicklungen im Bereich der Language AI
- Darstellung von Sprache als ein Bag-of-Words
- Verbesserte Vektordarstellungen mit Dense Vector Embeddings
- Arten von Embeddings
- Kontext mit Attention codieren und decodieren
- Attention Is All You Need
- Representation-Modelle - rein Encoder-basierte Modelle (»Encoder-only«)
- Generative Modelle - rein Decoder-basierte Modelle (»Decoder-only«)
- Das Jahr der generativen KI
- Die sich wandelnde Definition von Large Language Models
- Wie sich das Training von Large Language Models im Vergleich zu traditionellen Ansätzen unterscheidet
- Anwendungsmöglichkeiten und Nutzen von Large Language Models
- LLMs verantwortungsvoll entwickeln und nutzen
- Limited Resources Are All You Need - LLMs auch ohne große Rechenressourcen trainieren und verwenden
- Schnittstellen zur Nutzung von LLMs
- Proprietäre, nicht frei zugängliche Modelle
- Frei zugängliche Modelle
- Open-Source-Frameworks
- Ihren ersten Text mit einem LLM generieren
- Zusammenfassung
- 2 Tokns und Embeddings
- Tokenisierung bei LLMs
- Wie Tokenizer die Eingaben für das Sprachmodell aufbereiten
- LLMs herunterladen und ausführen
- Welche Faktoren sind bei der Tokenisierung entscheidend?
- Tokenisierung auf Wort-, Wortteil-, Zeichen- und Byte-Ebene
- Ein Vergleich verschiedener trainierter Tokenizer
- Faktoren, die darüber entscheiden, wie sich ein Tokenizer verhält
- Token-Embeddings
- Sprachmodelle halten Embeddings für das Vokabular ihres Tokenizers vor
- Kontextualisierte Word-Embeddings mit Sprachmodellen erstellen
- Text-Embeddings (für Sätze oder ganze Dokumente)
- Wie Word-Embeddings jenseits von LLMs genutzt werden können
- Vortrainierte Word-Embeddings nutzen
- Der Word2vec-Algorithmus und Training mittels Contrastive Learning
- Empfehlungssysteme aufbauen, die auf Embeddings basieren
- Songs mithilfe von Embeddings empfehlen
- Embedding-Modelle zur Empfehlung von Songs trainieren
- Zusammenfassung
- 3 Ein Blick ins Innere von Large Language Models
- Ein erster Überblick über Transformer-Modelle
- Die Ein- und Ausgaben eines Transformer-basierten LLM
- Die einzelnen Komponenten, die beim Forward-Pass durchlaufen werden
- Auswahl eines einzelnen Tokens anhand einer Wahrscheinlichkeitsverteilung (Sampling/Decodierung)
- Parallele Verarbeitung von Tokens und Kontextlänge
- Schnellere Generierung durch Zwischenspeichern von Schlüsseln und Werten
- Ein Blick ins Innere des Transformer-Blocks
- Verbesserungen an der Transformer-Architektur
- Effizienterer Attention-Mechanismus
- Der Transformer-Block
- Positional-Embeddings (RoPE)
- Weitere Vorschläge und Verbesserungen im Hinblick auf die Architektur
- Zusammenfassung
- Teil II: Vortrainierte Sprachmodelle verwenden
- 4 Textklassifikation
- Sentimentanalyse von Spielfilmrezensionen
- Texte mit Representation-Modellen klassifizieren
- Ein geeignetes Modell auswählen
- Ein aufgabenspezifisches Modell verwenden
- Texte mit Embedding-Modellen klassifizieren
- Überwachte Klassifikation
- Was aber, wenn Ihnen keine gelabelten Daten zur Verfügung stehen?
- Texte mit generativen Modellen klassifizieren
- Texte mit T5-(Text-to-Text-Transfer-Transformer-)Modellen klassifizieren
- Texte mit ChatGPT klassifizieren
- Zusammenfassung
- 5 Clustering von Texten und Topic Modeling
- ArXiv-Artikel aus dem Forschungsbereich Computation and Language
- Die bewährte Pipeline beim Text-Clustering
- Dokumente in Embeddings umwandeln
- Die Dimensionierung der Embeddings verringern
- Die dimensionsreduzierten Embeddings zu Clustern zusammenfassen
- Die gebildeten Cluster inspizieren
- Vom Clustern von Texten hin zum Topic Modeling
- BERTopic: ein modulares Topic-Modeling-Framework
- Der modulare Aufbau des BERTopic-Frameworks
- Einen besonderen Baustein hinzufügen
- Ein zusätzlicher Baustein zur Textgenerierung
- Zusammenfassung
- 6 Prompt Engineering
- Textgenerierungsmodelle verwenden
- Ein geeignetes Textgenerierungsmodell wählen
- Textgenerierungsmodelle laden
- Einfluss auf die Ausgabe eines Modells nehmen
- Einführung in das Prompt Engineering
- Die grundlegenden Elemente eines Prompts
- Prompts formulieren, die Anweisungen enthalten (Instruction-based Prompting)
- Fortgeschrittene Prompt-Engineering-Techniken
- Prompts komplexer gestalten
- In-Context Learning - Beispiele bereitstellen
- Prompt Chaining - Aufgaben in mehrere Teilaspekte aufteilen
- Logisches Schließen mit generativen Modellen (Reasoning)
- Chain-of-Thought - erst nachdenken, dann antworten
- Self-Consistency - Auswahl aus mehreren Antwortmöglichkeiten
- Tree-of-Thought - über Zwischenschritte zur besten Antwort gelangen
- Modellausgaben validieren
- Beispiele bereitstellen
- Vorgaben machen und Modellausgaben beschränken
- Zusammenfassung
- 7 Fortgeschrittene Techniken und Tools im Bereich der Textgenerierung
- Optimierungen hinsichtlich der Verwendung von Modellen - quantisierte Modelle mit dem LangChain-Framework laden
- Chains - die Anwendungsmöglichkeiten von LLMs noch erweitern
- Prompt-Templates mit einem LLM verketten
- Mehrere Prompts miteinander verketten
- Einen Speicher bereitstellen - LLMs ermöglichen, sich an Gespräche zu erinnern
- Conversation Buffer - LLMs den gesamten Gesprächsverlauf bereitstellen
- Windowed Conversation Buffer - LLMs einen Teil des Gesprächsverlaufs bereitstellen
- Conversation Summary - LLMs eine Zusammenfassung des Gesprächsverlaufs bereitstellen
- Agenten - ein aus mehreren LLMs bestehendes System entwickeln
- Die treibende Kraft hinter Agenten - Schritt-für-Schritt-Reasoning
- ReAct im LangChain-Framework verwenden
- Zusammenfassung
- 8 Semantische Suche und Retrieval-Augmented Generation
- Einführung in semantische Such- und RAG-Systeme
- Semantische Suche auf Basis von LLMs
- Dense-Retrieval-Systeme
- Reranking-Systeme
- Metriken zur Evaluierung von Retrieval-Systemen
- Retrieval-Augmented Generation (RAG)
- Suchsysteme zu RAG-Systemen erweitern
- Ein Beispiel für eine auf Fakten basierende Generierung (Grounded Generation) mit einem gemanagten LLM
- Ein Beispiel für ein RAG-System, bei dem das Modell lokal betrieben wird
- Fortgeschrittene Techniken im Bereich der RAG-Systeme
- RAG-Systeme evaluieren
- Zusammenfassung
- 9 Multimodale Large Language Models
- Vision Transformer
- Multimodale Embedding-Modelle
- CLIP - Modelle, die eine Verbindung zwischen Texten und Bildern herstellen können
- Wie werden bei CLIP multimodale Embeddings generiert?
- OpenCLIP
- CLIP mit der sentence-transformers-Bibliothek laden
- Multimodale Textgenerierungsmodelle erstellen
- BLIP-2 - Modelle erstellen, die auf Basis von Texten und Bildern logische Schlüsse ziehen können
- Multimodale Eingabedaten aufbereiten
- 1. Anwendungsfall: Bildbeschriftungen erstellen
- 2. Anwendungsfall: Chatmodelle erstellen, die multimodale Prompts unterstützen
- Zusammenfassung
- Teil III: Sprachmodelle trainieren und feintunen
- 10 Text-Embedding-Modelle erstellen
- Embedding-Modelle
- Was genau ist Contrastive Learning?
- SBERT
- Embedding-Modelle erstellen
- Kontrastive Beispiele erstellen
- Das Modell trainieren
- Differenziertere Evaluierung
- Verlustfunktionen
- Embedding-Modelle feintunen
- Embedding-Modelle mit gelabelten Datensätzen feintunen
- Augmented SBERT
- Embedding-Modelle mit ungelabelten Daten feintunen
- Transformer-based Sequential Denoising Auto-Encoder (TSDAE)
- TSDAE zur Domain Adaptation nutzen
- Zusammenfassung
- 11 Representation-Modelle für die Klassifikation feintunen
- Klassifikation mit gelabelten Daten
- Ein vortrainiertes BERT-Modell feintunen
- Schichten eines Modells einfrieren
- Few-Shot-Klassifikation
- SetFit - Modelle mit nur wenigen Trainingsbeispielen auf effiziente Weise feintunen
- Modelle für die Few-Shot-Klassifikation feintunen
- Bereits vortrainierte Modelle mittels Masked Language Modeling weiter vortrainieren
- Named-Entity Recognition
- Daten für die Named-Entity Recognition aufbereiten
- Modelle für die Named-Entity Recognition feintunen
- Zusammenfassung
- 12 Generative Modelle feintunen
- Die drei Schritte beim Training von LLMs - Pretraining, Supervised Fine-Tuning und Preference Tuning
- Supervised Fine-Tuning (SFT)
- Vollständiges Feintuning (Full Fine-Tuning)
- Parameter-efficient Fine-Tuning (PEFT)
- Instruction Tuning mit dem QLoRA-Verfahren
- Instruktionsdaten über ein Template bereitstellen
- Modelle quantisieren
- Die Konfiguration für das LoRA-Verfahren festlegen
- Die Parameter für das Training festlegen
- Das Modell trainieren
- Gewichte des QLoRa-Modells mit denen des Basismodells zusammenführen
- Generative Modelle evaluieren
- Metriken auf Wortebene
- Benchmarks
- Leaderboards
- Automatisierte Evaluierung
- Evaluierung durch Menschen
- Modelle darauf ausrichten, was Nutzer erwarten - Preference Tuning, Alignment und Reinforcement Learning from Human Feedback
- Die Preference Evaluation mithilfe von Reward-Modellen automatisieren
- Die Ein- und Ausgaben des Reward-Modells
- Ein Reward-Modell trainieren
- Preference Tuning ohne zusätzliches Training eines Reward-Modells
- Preference Tuning mittels DPO
- Templates für Präferenzdatensätze erstellen
- Das Modell quantisieren
- Parameter für das Training festlegen
- Das Modell trainieren
- Zusammenfassung
- Schlussbemerkung
- Fußnoten
- Index
System requirements
File format: PDF
Copy protection: Watermark-DRM (Digital Rights Management)
System requirements:
- Computer (Windows; MacOS X; Linux): Use the free software Adobe Reader, Adobe Digital Editions, or any other PDF viewer of your choice (see eBook Help).
- Tablet/Smartphone (Android; iOS): Install the free app Adobe Digital Editions or another reading app for eBooks, e.g., PocketBook (see eBook Help).
- E-reader: Bookeen, Kobo, Pocketbook, Sony, Tolino and many more (only limited: Kindle).
The file format PDF always displays a book page identically on any hardware. This makes PDF suitable for complex layouts such as those used in textbooks and reference books (images, tables, columns, footnotes). Unfortunately, on the small screens of e-readers or smartphones, PDFs are rather annoying, requiring too much scrolling.
This eBook uses Watermark-DRM, a „soft” copy protection. This means that there are no technical restrictions to prevent illegal distribution. However, there is a personalised watermark embedded in the eBook that can be used to identify the purchaser of the eBook in the event of misuse and to provide evidence for legal purposes.
For more information, see our eBook Help page.