Neue Technologien, neue Risiken - das gilt auch für Unternehmensanwendungen mit generativer KI und großen Sprachmodellen. Erfahren Sie in diesem digitalen Buch, wie Sie Schwachstellen erkennen und Angriffe auf Ihre GenAI-Apps verhindern. Security-Experte Paul Zenker zeigt Ihnen, worauf Sie bei Konzeption, Entwicklung und Betrieb achten müssen. Mit vielen Praxisbeispielen und Abbildungen zu Bedrohungsszenarien und Anwendungsarchitekturen sowie Schritt-für-Schritt-Anleitungen, die Ihnen Prompt Injections, Jailbreaks und andere Techniken erläutern. So machen Sie Ihre GenAI-Anwendungen fit gegen Angreifer!
Aus dem Inhalt:
Aufbau und Angriffspunkte von GenAI-Apps
Auswahl und Schutz von Trainingsdaten
Sicherheit bei Konzeption und Entwicklung berücksichtigen
Prompt Injections und Jailbreaks
GenAI-gestütztes Pentesting
Fuzzing von GenAI-Anwendungen
Web Security Basics
Rezensionen / Stimmen
»Buchtipp!«
Sprache
Verlagsort
Verlagsgruppe
Editions-Typ
Dateigröße
ISBN-13
978-3-367-10552-6 (9783367105526)
Schweitzer Klassifikation
Kapitel 1. GenAI Basics ... 13
1.1 ... Wie funktionieren LLMs? ... 14
1.2 ... LLM-Onboarding - wie kommen LLMs an Wissen? ... 25
1.3 ... AI-Agenten ... 31
1.4 ... Zusammenfassung ... 34
1.5 ... Literatur ... 35
Kapitel 2. Warum GenAI-Sicherheit so besonders ist ... 37
2.1 ... Die klassische IT-Sicherheit ... 37
2.2 ... Risiken ... 39
2.3 ... Unberechenbarkeit und stetige Veränderung ... 44
2.4 ... Anweisungen in menschlicher Sprache ... 45
2.5 ... Der Mann in der Box ... 47
2.6 ... Katz-und-Maus-Spiel ... 48
2.7 ... Literatur ... 52
Kapitel 3. Anatomie und Angriffsfläche von GenAI-Anwendungen ... 53
3.1 ... Nutzer als Angreifer ... 56
3.2 ... Nutzer als Angriffsziel ... 58
3.3 ... Ein externer Angreifer ... 60
3.4 ... LLMs als Angreifer ... 62
3.5 ... Zusammenfassung ... 64
3.6 ... Literatur ... 64
Kapitel 4. Sicherheit sollte geplant sein ... 65
4.1 ... Threat Modeling ... 65
4.2 ... Software Bill of Material (SBOM) ... 81
4.3 ... Architecture Decision Records ... 86
4.4 ... Kontinuierliches Dokumentieren ... 89
4.5 ... Literatur ... 91
Kapitel 5. Daten sind das Gold des 21sten Jahrhunderts - und des Angreifers ... 93
5.1 ... Mehr zu LLM-Onboarding ... 93
5.2 ... Prinzipien zur Auswahl von Daten ... 95
5.3 ... Sensible Daten finden ... 99
5.4 ... Prozess zur Datenauswahl ... 101
5.5 ... Literatur ... 103
Kapitel 6. Prompt Injections ... 105
6.1 ... Was sind Prompt Injections? ... 105
6.2 ... Altbekannte Schwachstellen ... 109
6.3 ... Jailbreaks ... 112
6.4 ... Die Evolution der Prompt Injection ... 113
6.5 ... Gegenmaßnahmen ... 117
6.6 ... Literatur ... 126
Kapitel 7. OWASP LLM Top Ten ... 127
7.1 ... LLM01: Prompt Injection ... 128
7.2 ... LLM02: Sensitive Information Disclosure ... 128
7.3 ... LLM03: Supply Chain ... 129
7.4 ... LLM04: Data and Model Poisoning ... 136
7.5 ... LLM05: Improper Output Handling ... 139
7.6 ... LLM06: Excessive Agency ... 143
7.7 ... LLM07: System Prompt Leakage ... 146
7.8 ... LLM08: Vector and Embedding Weakness ... 146
7.9 ... LLM09: Misinformation ... 148
7.10 ... LLM10: Unbound Consumption ... 150
7.11 ... Insecure Plugin Design ... 154
7.12 ... OWASP-Top-Ten-Liste, wie nutzen? ... 157
7.13 ... Literatur ... 158
Kapitel 8. GenAI-Sicherheitstests ... 159
8.1 ... Begriffserklärungen ... 159
8.2 ... Schwachstellen dokumentieren ... 162
8.3 ... Security Scans ... 166
8.4 ... GenAI Pentesting und Red Teaming ... 174
8.5 ... Literatur ... 185
Kapitel 9. GenAI und Cybersecurity ... 187
9.1 ... GenAI und Angreifer ... 188
9.2 ... GenAI und Verteidiger ... 192
9.3 ... Literatur ... 196
Kapitel 10. Alte Lehren nicht vergessen ... 197
Index ... 203
