Deep Reinforcement Learning

Name: Deep Reinforcement Learning | Das umfassende Praxis-Handbuch. Moderne Algorithmen für Chatbots, Robotik, diskrete Optimierung und Web-Automatisierung inkl. Multiagenten-Methoden
Brand: MITP
Price: 9.99 EUR
Availability: OnlineOnly

Das umfassende Praxis-Handbuch. Moderne Algorithmen für Chatbots, Robotik, diskrete Optimierung und Web-Automatisierung inkl. Multiagenten-Methoden

Maxim Lapan(Autor*in)

MITP (Verlag)

1. Auflage

Erschienen am 19. Juni 2020

768 Seiten

E-Book

PDF ohne DRM

Systemvoraussetzungen

978-3-7475-0037-8 (ISBN)

9,99 €inkl. 7% MwSt.

Systemvoraussetzungen

für PDF ohne DRM

E-Book Einzellizenz

Als Download verfügbar

Beschreibung

Alle wichtigen Methoden und Algorithmen praxisnah erläutert mit Codebeispielen in Python
Selbstständig lernende Agenten programmieren für die Steuerung von Robotern, NLP in interaktiven Spielen, Chatbots und mehr
Deep Q-Networks, Wertiteration, Policy Gradients, Trust Region Policy Optimization (TRPO), genetische Algorithmen, moderne Explorationsverfahren u.v.m.

Reinforcement Learning ist ein Teilgebiet des Machine Learnings. Hierbei werden selbstständig lernende Agenten programmiert, deren Lernvorgang ausschließlich durch ein Belohnungssystem und die Beobachtung der Umgebung gesteuert wird.

In diesem umfassenden Praxis-Handbuch zeigt Ihnen Maxim Lapan, wie Sie diese zukunftsweisende Technologie in der Praxis einsetzen. Sie lernen, wie Sie passende RL-Methoden für Ihre Problemstellung auswählen und mithilfe von Deep-Learning-Methoden Agenten für verschiedene Aufgaben trainieren wie zum Beispiel für das Lösen eines Zauberwürfels, für Natural Language Processing in Microsofts TextWorld-Umgebung oder zur Realisierung moderner Chatbots.

Alle Beispiele sind so gewählt, dass sie leicht verständlich sind und Sie diese auch ohne Zugang zu sehr großer Rechenleistung umsetzen können. Unter Einsatz von Python und der Bibliothek PyTorch ermöglicht Ihnen der Autor so einen einfachen und praktischen Einstieg in die Konzepte und Methoden des Reinforcement Learnings wie Deep Q-Networks, Wertiteration, Policy Gradients, Trust Region Policy Optimization (TRPO), genetische Algorithmen und viele mehr.

Es werden grundlegende Kenntnisse in Machine Learning und Deep Learning sowie ein sicherer Umgang mit Python vorausgesetzt.

Aus dem Inhalt:

Implementierung komplexer Deep-Learning-Modelle mit RL in tiefen neuronalen Netzen
Ermitteln der passenden RL-Methoden für verschiedene Problemstellungen, darunter DQN, Advantage Actor Critic, PPO, TRPO, DDPG, D4PG und mehr
Bauen und Trainieren eines kostengünstigen Hardware-Roboters
NLP in Microsofts TextWorld-Umgebung für interaktive Spiele
Diskrete Optimierung für das Lösen von Zauberwürfeln
Trainieren von Agenten für Vier Gewinnt mittels AlphaGo Zero
Die neuesten Deep-RL-Methoden für Chatbots
Moderne Explorationsverfahren wie verrauschte Netze und Netz-Destillation

Rezensionen / Stimmen

»Alle Beispiele können auch ohne Zugang zu großer Rechenleistung umgesetzt werden. Unter Einsatz von Python und PyTorch ermöglicht der Autor so einen praktischen Einstieg in die Konzepte und Methoden des Reinforcement Learnings.« (SPS Magazin 12/2022)

»Das Buch wendet sich an Leser mit guten Kenntnissen in Machine Learning und Deep Learning sowie in der Sprache Python. [.] Der besondere Wert des Buchs auch für kleinere Bibliotheken liegt darin, dass die vielen Beispiele auch ohne Zugang zu sehr großen Rechenleistungen, z.B. schon auf leistungsstärkeren Workstations nachvollzogen werden können.« (ekz-Bibliotheksservice, 08/2020)

Weitere Details

Weitere Ausgaben

Person

Inhalt

1 - Cover [Seite 1]
2 - Titel [Seite 5]
3 - Impressum [Seite 6]
4 - Inhaltsverzeichnis [Seite 7]
5 - Über den Autor [Seite 19]
6 - Über die Korrektoren [Seite 19]
7 - Über den Fachkorrektor der deutschen Ausgabe [Seite 20]
8 - Einleitung [Seite 21]
9 - Teil I: Grundlagen des Reinforcement Learnings [Seite 26]
9.1 - Kapitel 1: Was ist Reinforcement Learning? [Seite 27]
9.1.1 - 1.1 Überwachtes Lernen [Seite 27]
9.1.2 - 1.2 Unüberwachtes Lernen [Seite 28]
9.1.3 - 1.3 Reinforcement Learning [Seite 28]
9.1.4 - 1.4 Herausforderungen beim Reinforcement Learning [Seite 30]
9.1.5 - 1.5 RL-Formalismen [Seite 30]
9.1.5.1 - 1.5.1 Belohnung [Seite 31]
9.1.5.2 - 1.5.2 Der Agent [Seite 33]
9.1.5.3 - 1.5.3 Die Umgebung [Seite 33]
9.1.5.4 - 1.5.4 Aktionen [Seite 33]
9.1.5.5 - 1.5.5 Beobachtungen [Seite 34]
9.1.6 - 1.6 Die theoretischen Grundlagen des Reinforcement Learnings [Seite 36]
9.1.6.1 - 1.6.1 Markov-Entscheidungsprozesse [Seite 37]
9.1.6.2 - 1.6.2 Markov-Prozess [Seite 37]
9.1.6.3 - 1.6.3 Markov-Belohnungsprozess [Seite 41]
9.1.6.4 - 1.6.4 Aktionen hinzufügen [Seite 44]
9.1.6.5 - 1.6.5 Policy [Seite 46]
9.1.7 - 1.7 Zusammenfassung [Seite 47]
9.2 - Kapitel 2: OpenAI Gym [Seite 49]
9.2.1 - 2.1 Aufbau des Agenten [Seite 49]
9.2.2 - 2.2 Anforderungen an Hard- und Software [Seite 52]
9.2.3 - 2.3 OpenAI-Gym-API [Seite 53]
9.2.3.1 - 2.3.1 Aktionsraum [Seite 54]
9.2.3.2 - 2.3.2 Beobachtungsraum [Seite 54]
9.2.3.3 - 2.3.3 Die Umgebung [Seite 56]
9.2.3.4 - 2.3.4 Erzeugen der Umgebung [Seite 57]
9.2.3.5 - 2.3.5 Die CartPole-Sitzung [Seite 59]
9.2.4 - 2.4 Ein CartPole-Agent nach dem Zufallsprinzip [Seite 61]
9.2.5 - 2.5 Zusätzliche Gym-Funktionalität: Wrapper und Monitor [Seite 62]
9.2.5.1 - 2.5.1 Wrapper [Seite 63]
9.2.5.2 - 2.5.2 Monitor [Seite 65]
9.2.6 - 2.6 Zusammenfassung [Seite 68]
9.3 - Kapitel 3: Deep Learning mit PyTorch [Seite 69]
9.3.1 - 3.1 Tensoren [Seite 69]
9.3.1.1 - 3.1.1 Tensoren erzeugen [Seite 70]
9.3.1.2 - 3.1.2 Skalare Tensoren [Seite 72]
9.3.1.3 - 3.1.3 Tensor-Operationen [Seite 73]
9.3.1.4 - 3.1.4 GPU-Tensoren [Seite 73]
9.3.2 - 3.2 Gradienten [Seite 74]
9.3.2.1 - 3.2.1 Tensoren und Gradienten [Seite 76]
9.3.3 - 3.3 NN-Bausteine [Seite 78]
9.3.4 - 3.4 Benutzerdefinierte Schichten [Seite 80]
9.3.5 - 3.5 Verlustfunktionen und Optimierer [Seite 82]
9.3.5.1 - 3.5.1 Verlustfunktionen [Seite 83]
9.3.5.2 - 3.5.2 Optimierer [Seite 83]
9.3.6 - 3.6 Monitoring mit TensorBoard [Seite 85]
9.3.6.1 - 3.6.1 Einführung in TensorBoard [Seite 86]
9.3.6.2 - 3.6.2 Plotten [Seite 87]
9.3.7 - 3.7 Beispiel: GAN für Bilder von Atari-Spielen [Seite 89]
9.3.8 - 3.8 PyTorch Ignite [Seite 94]
9.3.8.1 - 3.8.1 Konzepte [Seite 95]
9.3.9 - 3.9 Zusammenfassung [Seite 99]
9.4 - Kapitel 4: Das Kreuzentropie-Verfahren [Seite 101]
9.4.1 - 4.1 Klassifikation von RL-Verfahren [Seite 101]
9.4.2 - 4.2 Kreuzentropie in der Praxis [Seite 102]
9.4.3 - 4.3 Kreuzentropie beim CartPole [Seite 104]
9.4.4 - 4.4 Kreuzentropie beim FrozenLake [Seite 113]
9.4.5 - 4.5 Theoretische Grundlagen des Kreuzentropie-Verfahrens [Seite 120]
9.4.6 - 4.6 Zusammenfassung [Seite 121]
10 - Teil II: Wertebasierte Verfahren [Seite 122]
10.1 - Kapitel 5: Tabular Learning und das Bellman'sche Optimalitätsprinzip [Seite 123]
10.1.1 - 5.1 Wert, Zustand und Optimalität [Seite 123]
10.1.2 - 5.2 Das Bellman'sche Optimalitätsprinzip [Seite 125]
10.1.3 - 5.3 Aktionswert [Seite 128]
10.1.4 - 5.4 Wertiteration [Seite 130]
10.1.5 - 5.5 Wertiteration in der Praxis [Seite 132]
10.1.6 - 5.6 Q-Learning in der FrozenLake-Umgebung [Seite 138]
10.1.7 - 5.7 Zusammenfassung [Seite 140]
10.2 - Kapitel 6: Deep Q-Networks [Seite 141]
10.2.1 - 6.1 Wertiteration in der Praxis [Seite 141]
10.2.2 - 6.2 Tabular Q-Learning [Seite 142]
10.2.3 - 6.3 Deep Q-Learning [Seite 147]
10.2.3.1 - 6.3.1 Interaktion mit der Umgebung [Seite 149]
10.2.3.2 - 6.3.2 SGD-Optimierung [Seite 149]
10.2.3.3 - 6.3.3 Korrelation der Schritte [Seite 150]
10.2.3.4 - 6.3.4 Die Markov-Eigenschaft [Seite 150]
10.2.3.5 - 6.3.5 Die endgültige Form des DQN-Trainings [Seite 151]
10.2.4 - 6.4 DQN mit Pong [Seite 152]
10.2.4.1 - 6.4.1 Wrapper [Seite 153]
10.2.4.2 - 6.4.2 DQN-Modell [Seite 158]
10.2.4.3 - 6.4.3 Training [Seite 160]
10.2.4.4 - 6.4.4 Ausführung und Leistung [Seite 169]
10.2.4.5 - 6.4.5 Das Modell in Aktion [Seite 172]
10.2.5 - 6.5 Weitere Möglichkeiten [Seite 174]
10.2.6 - 6.6 Zusammenfassung [Seite 175]
10.3 - Kapitel 7: Allgemeine RL-Bibliotheken [Seite 177]
10.3.1 - 7.1 Warum RL-Bibliotheken? [Seite 177]
10.3.2 - 7.2 Die PTAN-Bibliothek [Seite 178]
10.3.2.1 - 7.2.1 Aktionsselektoren [Seite 179]
10.3.2.2 - 7.2.2 Der Agent [Seite 181]
10.3.2.3 - 7.2.3 Quelle der Erfahrungswerte [Seite 185]
10.3.2.4 - 7.2.4 Replay Buffer für Erfahrungswerte [Seite 191]
10.3.2.5 - 7.2.5 Die TargetNet-Klasse [Seite 193]
10.3.2.6 - 7.2.6 Hilfsfunktionen für Ignite [Seite 195]
10.3.3 - 7.3 Lösung der CartPole-Umgebung mit PTAN [Seite 196]
10.3.4 - 7.4 Weitere RL-Bibliotheken [Seite 198]
10.3.5 - 7.5 Zusammenfassung [Seite 199]
10.4 - Kapitel 8: DQN-Erweiterungen [Seite 201]
10.4.1 - 8.1 Einfaches DQN [Seite 201]
10.4.1.1 - 8.1.1 Die Bibliothek common [Seite 202]
10.4.1.2 - 8.1.2 Implementierung [Seite 207]
10.4.1.3 - 8.1.3 Ergebnisse [Seite 209]
10.4.2 - 8.2 N-Schritt-DQN [Seite 210]
10.4.2.1 - 8.2.1 Implementierung [Seite 213]
10.4.2.2 - 8.2.2 Ergebnisse [Seite 213]
10.4.3 - 8.3 Double DQN [Seite 214]
10.4.3.1 - 8.3.1 Implementierung [Seite 215]
10.4.3.2 - 8.3.2 Ergebnisse [Seite 217]
10.4.4 - 8.4 Verrauschte Netze [Seite 218]
10.4.4.1 - 8.4.1 Implementierung [Seite 219]
10.4.4.2 - 8.4.2 Ergebnisse [Seite 221]
10.4.5 - 8.5 Priorisierter Replay Buffer [Seite 222]
10.4.5.1 - 8.5.1 Implementierung [Seite 223]
10.4.5.2 - 8.5.2 Ergebnisse [Seite 227]
10.4.6 - 8.6 Rivalisierendes DQN [Seite 229]
10.4.6.1 - 8.6.1 Implementierung [Seite 230]
10.4.6.2 - 8.6.2 Ergebnisse [Seite 231]
10.4.7 - 8.7 Kategoriales DQN [Seite 232]
10.4.7.1 - 8.7.1 Implementierung [Seite 234]
10.4.7.2 - 8.7.2 Ergebnisse [Seite 241]
10.4.8 - 8.8 Alles miteinander kombinieren [Seite 243]
10.4.8.1 - 8.8.1 Ergebnisse [Seite 244]
10.4.9 - 8.9 Zusammenfassung [Seite 245]
10.4.10 - 8.10 Quellenangaben [Seite 246]
10.5 - Kapitel 9: Beschleunigung von RL-Verfahren [Seite 247]
10.5.1 - 9.1 Die Bedeutung der Geschwindigkeit [Seite 247]
10.5.2 - 9.2 Der Ausgangspunkt [Seite 250]
10.5.3 - 9.3 Der Berechnungsgraph in PyTorch [Seite 252]
10.5.4 - 9.4 Mehrere Umgebungen [Seite 254]
10.5.5 - 9.5 Spielen und Trainieren in separaten Prozessen [Seite 257]
10.5.6 - 9.6 Optimierung der Wrapper [Seite 261]
10.5.7 - 9.7 Zusammenfassung der Benchmarks [Seite 267]
10.5.8 - 9.8 Atari-Emulation: CuLE [Seite 267]
10.5.9 - 9.9 Zusammenfassung [Seite 268]
10.5.10 - 9.10 Quellenangaben [Seite 268]
10.6 - Kapitel 10: Aktienhandel per Reinforcement Learning [Seite 269]
10.6.1 - 10.1 Börsenhandel [Seite 269]
10.6.2 - 10.2 Daten [Seite 270]
10.6.3 - 10.3 Aufgabenstellungen und Grundsatzentscheidungen [Seite 271]
10.6.4 - 10.4 Die Handelsumgebung [Seite 272]
10.6.5 - 10.5 Modelle [Seite 281]
10.6.6 - 10.6 Trainingscode [Seite 283]
10.6.7 - 10.7 Ergebnisse [Seite 283]
10.6.7.1 - 10.7.1 Das Feedforward-Modell [Seite 283]
10.6.7.2 - 10.7.2 Das Faltungsmodell [Seite 289]
10.6.8 - 10.8 Weitere Möglichkeiten [Seite 290]
10.6.9 - 10.9 Zusammenfassung [Seite 291]
11 - Teil III: Policybasierte Verfahren [Seite 292]
11.1 - Kapitel 11: Eine Alternative: Policy Gradients [Seite 293]
11.1.1 - 11.1 Werte und Policy [Seite 293]
11.1.1.1 - 11.1.1 Warum Policy? [Seite 294]
11.1.1.2 - 11.1.2 Repräsentation der Policy [Seite 294]
11.1.1.3 - 11.1.3 Policy Gradients [Seite 295]
11.1.2 - 11.2 Das REINFORCE-Verfahren [Seite 296]
11.1.2.1 - 11.2.1 Das CartPole-Beispiel [Seite 297]
11.1.2.2 - 11.2.2 Ergebnisse [Seite 301]
11.1.2.3 - 11.2.3 Policybasierte und wertebasierte Verfahren [Seite 302]
11.1.3 - 11.3 Probleme mit REINFORCE [Seite 303]
11.1.3.1 - 11.3.1 Notwendigkeit vollständiger Episoden [Seite 303]
11.1.3.2 - 11.3.2 Große Varianz der Gradienten [Seite 304]
11.1.3.3 - 11.3.3 Exploration [Seite 304]
11.1.3.4 - 11.3.4 Korrelation zwischen Beispielen [Seite 305]
11.1.4 - 11.4 PG mit CartPole [Seite 305]
11.1.4.1 - 11.4.1 Implementierung [Seite 305]
11.1.4.2 - 11.4.2 Ergebnisse [Seite 308]
11.1.5 - 11.5 PG mit Pong [Seite 312]
11.1.5.1 - 11.5.1 Implementierung [Seite 313]
11.1.5.2 - 11.5.2 Ergebnisse [Seite 314]
11.1.6 - 11.6 Zusammenfassung [Seite 315]
11.2 - Kapitel 12: Das Actor-Critic-Verfahren [Seite 317]
11.2.1 - 12.1 Verringern der Varianz [Seite 317]
11.2.2 - 12.2 Varianz der CartPole-Umgebung [Seite 319]
11.2.3 - 12.3 Actor-Critic [Seite 322]
11.2.4 - 12.4 A2C mit Pong [Seite 324]
11.2.5 - 12.5 A2C mit Pong: Ergebnisse [Seite 330]
11.2.6 - 12.6 Optimierung der Hyperparameter [Seite 333]
11.2.6.1 - 12.6.1 Lernrate [Seite 334]
11.2.6.2 - 12.6.2 Beta [Seite 335]
11.2.6.3 - 12.6.3 Anzahl der Umgebungen [Seite 335]
11.2.6.4 - 12.6.4 Batchgröße [Seite 335]
11.2.7 - 12.7 Zusammenfassung [Seite 335]
11.3 - Kapitel 13: Asynchronous Advantage Actor Critic [Seite 337]
11.3.1 - 13.1 Korrelation und Stichprobeneffizienz [Seite 337]
11.3.2 - 13.2 Ein weiteres A zu A2C hinzufügen [Seite 338]
11.3.3 - 13.3 Multiprocessing in Python [Seite 341]
11.3.4 - 13.4 A3C mit Datenparallelität [Seite 341]
11.3.4.1 - 13.4.1 Implementierung [Seite 341]
11.3.4.2 - 13.4.2 Ergebnisse [Seite 348]
11.3.5 - 13.5 A3C mit Gradientenparallelität [Seite 349]
11.3.5.1 - 13.5.1 Implementierung [Seite 350]
11.3.5.2 - 13.5.2 Ergebnisse [Seite 355]
11.3.6 - 13.6 Zusammenfassung [Seite 356]
11.4 - Kapitel 14: Chatbot-Training per Reinforcement Learning [Seite 357]
11.4.1 - 14.1 Chatbots - ein Überblick [Seite 357]
11.4.2 - 14.2 Chatbot-Training [Seite 358]
11.4.3 - 14.3 Grundlagen der Verarbeitung natürlicher Sprache [Seite 359]
11.4.3.1 - 14.3.1 Rekurrente neuronale Netze [Seite 359]
11.4.3.2 - 14.3.2 Wort-Embeddings [Seite 361]
11.4.3.3 - 14.3.3 Encoder-Decoder [Seite 362]
11.4.4 - 14.4 Seq2Seq-Training [Seite 363]
11.4.4.1 - 14.4.1 Log-Likelihood-Training [Seite 363]
11.4.4.2 - 14.4.2 Der BLEU-Score [Seite 365]
11.4.4.3 - 14.4.3 RL und Seq2Seq [Seite 366]
11.4.4.4 - 14.4.4 Self-critical Sequence Training [Seite 367]
11.4.5 - 14.5 Das Chatbot-Beispiel [Seite 368]
11.4.5.1 - 14.5.1 Aufbau des Beispiels [Seite 368]
11.4.5.2 - 14.5.2 Module: cornell.py und data.py [Seite 369]
11.4.5.3 - 14.5.3 BLEU-Score und utils.py [Seite 370]
11.4.5.4 - 14.5.4 Modell [Seite 371]
11.4.6 - 14.6 Daten überprüfen [Seite 378]
11.4.7 - 14.7 Training: Kreuzentropie [Seite 380]
11.4.7.1 - 14.7.1 Implementierung [Seite 380]
11.4.7.2 - 14.7.2 Ergebnisse [Seite 384]
11.4.8 - 14.8 Training: Self-critical Sequence Training (SCST) [Seite 387]
11.4.8.1 - 14.8.1 Implementierung [Seite 387]
11.4.8.2 - 14.8.2 Ergebnisse [Seite 394]
11.4.9 - 14.9 Tests der Modelle mit Daten [Seite 397]
11.4.10 - 14.10 Telegram-Bot [Seite 399]
11.4.11 - 14.11 Zusammenfassung [Seite 403]
11.5 - Kapitel 15: Die TextWorld-Umgebung [Seite 405]
11.5.1 - 15.1 Interactive Fiction [Seite 405]
11.5.2 - 15.2 Die Umgebung [Seite 408]
11.5.2.1 - 15.2.1 Installation [Seite 409]
11.5.2.2 - 15.2.2 Spiel erzeugen [Seite 409]
11.5.2.3 - 15.2.3 Beobachtungs- und Aktionsräume [Seite 411]
11.5.2.4 - 15.2.4 Zusätzliche Informationen [Seite 413]
11.5.3 - 15.3 Einfaches DQN [Seite 416]
11.5.3.1 - 15.3.1 Vorverarbeitung von Beobachtungen [Seite 418]
11.5.3.2 - 15.3.2 Embeddings und Encoder [Seite 423]
11.5.3.3 - 15.3.3 DQN-Modell und Agent [Seite 426]
11.5.3.4 - 15.3.4 Trainingscode [Seite 428]
11.5.3.5 - 15.3.5 Trainingsergebnisse [Seite 428]
11.5.4 - 15.4 Das Modell für den Befehlsgenerator [Seite 433]
11.5.4.1 - 15.4.1 Implementierung [Seite 435]
11.5.4.2 - 15.4.2 Ergebnisse des Pretrainings [Seite 439]
11.5.4.3 - 15.4.3 DQN-Trainingscode [Seite 441]
11.5.4.4 - 15.4.4 Ergebnis des DQN-Trainings [Seite 443]
11.5.5 - 15.5 Zusammenfassung [Seite 444]
11.6 - Kapitel 16: Navigation im Web [Seite 445]
11.6.1 - 16.1 Webnavigation [Seite 445]
11.6.1.1 - 16.1.1 Browserautomatisierung und RL [Seite 446]
11.6.1.2 - 16.1.2 Mini World of Bits [Seite 447]
11.6.2 - 16.2 OpenAI Universe [Seite 448]
11.6.2.1 - 16.2.1 Installation [Seite 449]
11.6.2.2 - 16.2.2 Aktionen und Beobachtungen [Seite 450]
11.6.2.3 - 16.2.3 Umgebung erzeugen [Seite 451]
11.6.2.4 - 16.2.4 MiniWoB-Stabilität [Seite 453]
11.6.3 - 16.3 Einfaches Anklicken [Seite 453]
11.6.3.1 - 16.3.1 Aktionen auf dem Gitter [Seite 454]
11.6.3.2 - 16.3.2 Übersicht der Beispiele [Seite 455]
11.6.3.3 - 16.3.3 Modell [Seite 456]
11.6.3.4 - 16.3.4 Trainingscode [Seite 457]
11.6.3.5 - 16.3.5 Container starten [Seite 462]
11.6.3.6 - 16.3.6 Trainingsprozess [Seite 463]
11.6.3.7 - 16.3.7 Überprüfen der erlernten Policy [Seite 466]
11.6.3.8 - 16.3.8 Probleme mit einfachem Anklicken [Seite 467]
11.6.4 - 16.4 Demonstrationen durch den Menschen [Seite 469]
11.6.4.1 - 16.4.1 Aufzeichnung von Demonstrationen [Seite 470]
11.6.4.2 - 16.4.2 Aufzeichnungsformat [Seite 472]
11.6.4.3 - 16.4.3 Training durch Demonstration [Seite 475]
11.6.4.4 - 16.4.4 Ergebnisse [Seite 476]
11.6.4.5 - 16.4.5 Tic-Tac-Toe [Seite 480]
11.6.5 - 16.5 Hinzufügen von Beschreibungstext [Seite 482]
11.6.5.1 - 16.5.1 Implementierung [Seite 483]
11.6.5.2 - 16.5.2 Ergebnisse [Seite 488]
11.6.6 - 16.6 Weitere Möglichkeiten [Seite 491]
11.6.7 - 16.7 Zusammenfassung [Seite 491]
12 - Teil IV: Fortgeschrittene Verfahren und Techniken [Seite 492]
12.1 - Kapitel 17: Stetige Aktionsräume [Seite 493]
12.1.1 - 17.1 Wozu stetige Aktionsräume? [Seite 493]
12.1.2 - 17.2 Aktionsraum [Seite 494]
12.1.3 - 17.3 Umgebungen [Seite 494]
12.1.4 - 17.4 Das A2C-Verfahren [Seite 497]
12.1.4.1 - 17.4.1 Implementierung [Seite 498]
12.1.4.2 - 17.4.2 Ergebnisse [Seite 501]
12.1.4.3 - 17.4.3 Modelle verwenden und Videos aufzeichnen [Seite 503]
12.1.5 - 17.5 Deterministisches Policy-Gradienten-Verfahren [Seite 504]
12.1.5.1 - 17.5.1 Exploration [Seite 505]
12.1.5.2 - 17.5.2 Implementierung [Seite 506]
12.1.5.3 - 17.5.3 Ergebnisse [Seite 511]
12.1.5.4 - 17.5.4 Videos aufzeichnen [Seite 513]
12.1.6 - 17.6 Distributional Policy Gradients [Seite 513]
12.1.6.1 - 17.6.1 Architektur [Seite 514]
12.1.6.2 - 17.6.2 Implementierung [Seite 514]
12.1.6.3 - 17.6.3 Ergebnisse [Seite 519]
12.1.6.4 - 17.6.4 Videoaufzeichnung [Seite 521]
12.1.7 - 17.7 Weitere Möglichkeiten [Seite 521]
12.1.8 - 17.8 Zusammenfassung [Seite 521]
12.2 - Kapitel 18: RL in der Robotik [Seite 523]
12.2.1 - 18.1 Roboter und Robotik [Seite 523]
12.2.1.1 - 18.1.1 Komplexität von Robotern [Seite 525]
12.2.1.2 - 18.1.2 Hardware [Seite 526]
12.2.1.3 - 18.1.3 Plattform [Seite 527]
12.2.1.4 - 18.1.4 Sensoren [Seite 528]
12.2.1.5 - 18.1.5 Aktuatoren [Seite 530]
12.2.1.6 - 18.1.6 Rahmen [Seite 530]
12.2.2 - 18.2 Ein erstes Trainingsziel [Seite 534]
12.2.3 - 18.3 Emulator und Modell [Seite 536]
12.2.3.1 - 18.3.1 Definitionsdatei des Modells [Seite 537]
12.2.3.2 - 18.3.2 Die robot-Klasse [Seite 541]
12.2.4 - 18.4 DDPG-Training und Ergebnisse [Seite 547]
12.2.5 - 18.5 Steuerung der Hardware [Seite 550]
12.2.5.1 - 18.5.1 MicroPython [Seite 550]
12.2.5.2 - 18.5.2 Handhabung von Sensoren [Seite 554]
12.2.5.3 - 18.5.3 Servos ansteuern [Seite 567]
12.2.5.4 - 18.5.4 Einrichtung des Modells auf der Hardware [Seite 571]
12.2.5.5 - 18.5.5 Alles kombinieren [Seite 579]
12.2.6 - 18.6 Experimente mit der Policy [Seite 582]
12.2.7 - 18.7 Zusammenfassung [Seite 583]
12.3 - Kapitel 19: Trust Regions - PPO, TRPO, ACKTR und SAC [Seite 585]
12.3.1 - 19.1 Roboschool [Seite 586]
12.3.2 - 19.2 Standard-A2C-Verfahren [Seite 586]
12.3.2.1 - 19.2.1 Implementierung [Seite 586]
12.3.2.2 - 19.2.2 Ergebnisse [Seite 588]
12.3.2.3 - 19.2.3 Videoaufzeichnungen [Seite 592]
12.3.3 - 19.3 Proximal Policy Optimization (PPO) [Seite 592]
12.3.3.1 - 19.3.1 Implementierung [Seite 593]
12.3.3.2 - 19.3.2 Ergebnisse [Seite 597]
12.3.4 - 19.4 Trust Region Policy Optimization (TRPO) [Seite 599]
12.3.4.1 - 19.4.1 Implementierung [Seite 599]
12.3.4.2 - 19.4.2 Ergebnisse [Seite 601]
12.3.5 - 19.5 Advantage Actor-Critic mit Kronecker-Factored Trust Region (ACKTR) [Seite 602]
12.3.5.1 - 19.5.1 Implementierung [Seite 603]
12.3.5.2 - 19.5.2 Ergebnisse [Seite 603]
12.3.6 - 19.6 Soft-Actor-Critic (SAC) [Seite 604]
12.3.6.1 - 19.6.1 Implementierung [Seite 605]
12.3.6.2 - 19.6.2 Ergebnisse [Seite 607]
12.3.7 - 19.7 Zusammenfassung [Seite 609]
12.4 - Kapitel 20: Blackbox-Optimierung beim Reinforcement Learning [Seite 611]
12.4.1 - 20.1 Blackbox-Verfahren [Seite 611]
12.4.2 - 20.2 Evolutionsstrategien (ES) [Seite 612]
12.4.3 - 20.3 ES mit CartPole [Seite 613]
12.4.3.1 - 20.3.1 Ergebnisse [Seite 618]
12.4.4 - 20.4 ES mit HalfCheetah [Seite 619]
12.4.4.1 - 20.4.1 Implementierung [Seite 620]
12.4.4.2 - 20.4.2 Ergebnisse [Seite 624]
12.4.5 - 20.5 Genetische Algorithmen (GA) [Seite 626]
12.4.6 - 20.6 GA mit CartPole [Seite 626]
12.4.6.1 - 20.6.1 Ergebnisse [Seite 628]
12.4.7 - 20.7 GA-Optimierung [Seite 629]
12.4.7.1 - 20.7.1 Deep GA [Seite 630]
12.4.7.2 - 20.7.2 Novelty Search [Seite 630]
12.4.8 - 20.8 GA mit HalfCheetah [Seite 630]
12.4.8.1 - 20.8.1 Ergebnisse [Seite 633]
12.4.9 - 20.9 Zusammenfassung [Seite 635]
12.4.10 - 20.10 Quellenangaben [Seite 635]
12.5 - Kapitel 21: Fortgeschrittene Exploration [Seite 637]
12.5.1 - 21.1 Die Bedeutung der Exploration [Seite 637]
12.5.2 - 21.2 Was ist das Problem beim ?-Greedy-Ansatz? [Seite 638]
12.5.3 - 21.3 Alternative Explorationsverfahren [Seite 641]
12.5.3.1 - 21.3.1 Verrauschte Netze [Seite 641]
12.5.3.2 - 21.3.2 Zählerbasierte Verfahren [Seite 642]
12.5.3.3 - 21.3.3 Vorhersagebasierte Verfahren [Seite 643]
12.5.4 - 21.4 MountainCar-Experimente [Seite 643]
12.5.4.1 - 21.4.1 Das DQN-Verfahren mit ?-Greedy-Ansatz [Seite 645]
12.5.4.2 - 21.4.2 Das DQN-Verfahren mit verrauschten Netzen [Seite 646]
12.5.4.3 - 21.4.3 Das DQN-Verfahren mit Zustandszählern [Seite 648]
12.5.4.4 - 21.4.4 Das PPO-Verfahren [Seite 651]
12.5.4.5 - 21.4.5 Das PPO-Verfahren mit verrauschten Netzen [Seite 654]
12.5.4.6 - 21.4.6 Das PPO-Verfahren mit zählerbasierter Exploration [Seite 656]
12.5.4.7 - 21.4.7 Das PPO-Verfahren mit Netz-Destillation [Seite 658]
12.5.5 - 21.5 Atari-Experimente [Seite 660]
12.5.5.1 - 21.5.1 Das DQN-Verfahren mit ?-Greedy-Ansatz [Seite 661]
12.5.5.2 - 21.5.2 Das klassische PPO-Verfahren [Seite 662]
12.5.5.3 - 21.5.3 Das PPO-Verfahren mit Netz-Destillation [Seite 663]
12.5.5.4 - 21.5.4 Das PPO-Verfahren mit verrauschten Netzen [Seite 664]
12.5.6 - 21.6 Zusammenfassung [Seite 665]
12.5.7 - 21.7 Quellenangaben [Seite 665]
12.6 - Kapitel 22: Jenseits modellfreier Verfahren - Imagination [Seite 667]
12.6.1 - 22.1 Modellbasierte Verfahren [Seite 667]
12.6.1.1 - 22.1.1 Modellbasierte und modellfreie Verfahren [Seite 667]
12.6.2 - 22.2 Unzulänglichkeiten der Modelle [Seite 668]
12.6.3 - 22.3 Imagination-augmented Agent [Seite 670]
12.6.3.1 - 22.3.1 Das Umgebungsmodell [Seite 671]
12.6.3.2 - 22.3.2 Die Rollout-Policy [Seite 672]
12.6.3.3 - 22.3.3 Der Rollout-Encoder [Seite 672]
12.6.3.4 - 22.3.4 Ergebnisse der Arbeit [Seite 672]
12.6.4 - 22.4 I2A mit dem Atari-Spiel Breakout [Seite 672]
12.6.4.1 - 22.4.1 Der Standard-A2C-Agent [Seite 673]
12.6.4.2 - 22.4.2 Training des Umgebungsmodells [Seite 674]
12.6.4.3 - 22.4.3 Der Imagination-Agent [Seite 677]
12.6.5 - 22.5 Ergebnisse der Experimente [Seite 683]
12.6.5.1 - 22.5.1 Der Basis-Agent [Seite 683]
12.6.5.2 - 22.5.2 Training der EM-Gewichte [Seite 685]
12.6.5.3 - 22.5.3 Training mit dem I2A-Modell [Seite 687]
12.6.6 - 22.6 Zusammenfassung [Seite 690]
12.6.7 - 22.7 Quellenangaben [Seite 690]
12.7 - Kapitel 23: AlphaGo Zero [Seite 691]
12.7.1 - 23.1 Brettspiele [Seite 691]
12.7.2 - 23.2 Das AlphaGo-Zero-Verfahren [Seite 692]
12.7.2.1 - 23.2.1 Überblick [Seite 692]
12.7.2.2 - 23.2.2 Monte-Carlo-Baumsuche [Seite 693]
12.7.2.3 - 23.2.3 Self-Playing [Seite 695]
12.7.2.4 - 23.2.4 Training und Bewertung [Seite 696]
12.7.3 - 23.3 Vier-gewinnt-Bot [Seite 696]
12.7.3.1 - 23.3.1 Spielmodell [Seite 697]
12.7.3.2 - 23.3.2 Implementierung der Monte-Carlo-Baumsuche [Seite 699]
12.7.3.3 - 23.3.3 Modell [Seite 704]
12.7.3.4 - 23.3.4 Training [Seite 707]
12.7.3.5 - 23.3.5 Test und Vergleich [Seite 707]
12.7.4 - 23.4 Vier gewinnt: Ergebnisse [Seite 708]
12.7.5 - 23.5 Zusammenfassung [Seite 710]
12.7.6 - 23.6 Quellenangaben [Seite 710]
12.8 - Kapitel 24: RL und diskrete Optimierung [Seite 711]
12.8.1 - 24.1 Die Reputation von Reinforcement Learnings [Seite 711]
12.8.2 - 24.2 Zauberwürfel und kombinatorische Optimierung [Seite 712]
12.8.3 - 24.3 Optimalität und Gottes Zahl [Seite 713]
12.8.4 - 24.4 Ansätze zur Lösung [Seite 714]
12.8.4.1 - 24.4.1 Datenrepräsentation [Seite 714]
12.8.4.2 - 24.4.2 Aktionen [Seite 714]
12.8.4.3 - 24.4.3 Zustände [Seite 715]
12.8.5 - 24.5 Trainingsvorgang [Seite 719]
12.8.5.1 - 24.5.1 Architektur des neuronalen Netzes [Seite 719]
12.8.5.2 - 24.5.2 Training [Seite 720]
12.8.6 - 24.6 Anwendung des Modells [Seite 721]
12.8.7 - 24.7 Ergebnisse der Arbeit [Seite 723]
12.8.8 - 24.8 Code [Seite 724]
12.8.8.1 - 24.8.1 Würfel-Umgebungen [Seite 725]
12.8.8.2 - 24.8.2 Training [Seite 729]
12.8.8.3 - 24.8.3 Suchvorgang [Seite 731]
12.8.9 - 24.9 Ergebnisse des Experiments [Seite 731]
12.8.9.1 - 24.9.1 Der 2x2-Würfel [Seite 733]
12.8.9.2 - 24.9.2 Der 3x3-Würfel [Seite 735]
12.8.9.3 - 24.9.3 Weitere Verbesserungen und Experimente [Seite 736]
12.8.10 - 24.10 Zusammenfassung [Seite 737]
12.9 - Kapitel 25: RL mit mehreren Agenten [Seite 739]
12.9.1 - 25.1 Mehrere Agenten [Seite 739]
12.9.1.1 - 25.1.1 Kommunikationsformen [Seite 740]
12.9.1.2 - 25.1.2 Der RL-Ansatz [Seite 740]
12.9.2 - 25.2 Die MAgent-Umgebung [Seite 740]
12.9.2.1 - 25.2.1 Installation [Seite 741]
12.9.2.2 - 25.2.2 Überblick [Seite 741]
12.9.2.3 - 25.2.3 Eine zufällige Umgebung [Seite 741]
12.9.3 - 25.3 Deep Q-Networks für Tiger [Seite 747]
12.9.3.1 - 25.3.1 Training und Ergebnisse [Seite 750]
12.9.4 - 25.4 Zusammenarbeit der Tiger [Seite 752]
12.9.5 - 25.5 Training der Tiger und Hirsche [Seite 756]
12.9.6 - 25.6 Der Kampf ebenbürtiger Akteure [Seite 757]
12.9.7 - 25.7 Zusammenfassung [Seite 758]
13 - Stichwortverzeichnis [Seite 759]

Systemvoraussetzungen

Als PDF speichern Als Link merken