Kollektive Intelligenz analysieren, programmieren und nutzen
1st Edition
Published on 28. February 2008
Book
Hardback
400 pages
978-3-89721-780-5 (ISBN)
Description
Sie wollen wissen, wie Rankings, Produktempfehlungen, Social Bookmarking und Online-Partnerbörsen technisch funktionieren? Dieses außergewöhnliche Buch zeigt Ihnen, wie Sie Web 2.0-Applikationen bauen, mit denen Sie die riesigen Datenmengen durchsuchen und analysieren können, die von den Benutzern aktueller Webanwendungen täglich erzeugt werden. Es nimmt Sie mit in die Welt des maschinellen Lernens und der Statistik und erklärt, wie Sie Schlussfolgerungen aus User Experience, persönlichen Vorlieben und menschlichem Verhalten ziehen.
User-Daten und UGC für Ihre Web 2.0-Apps nutzen:
Dieses Buch erläutert anschaulich, wie aus User Generated Content mit den richtigen Algorithmen "kollektive Intelligenz" destilliert werden kann und wie Sie daraus einen echten Mehrwert für Ihre Web 2.0-Anwendungen generieren. Mit den ausgereiften Algorithmen in diesem Buch können Sie raffinierte Programme schreiben, die Sie direkt für Ihre Website-Projekte nutzen können.
Die Faszination der Algorithmen entdecken:
Toby Segaran geht ganz praktisch an das spannende, aber komplexe Thema heran. Er zeigt an leicht verständlichen Beispielen, wie die Algorithmen zum maschinellen Lernen funktionieren. Er erklärt beispielsweise:
* kollaborative Filtertechniken, die es Online-Händlern erlauben, Produkte oder Medien zu empfehlen
* Cluster-Methoden, die Gruppen ähnlicher Objekte in einem größeren Datenbestand entdecken
* Optimierungs-Algorithmen, die Millionen von möglichen Lösungen eines Problems durchsuchen und die beste auswählen
* Bayessches Filtern, das in Spam-Filtern zum Klassifizieren von Dokumenten genutzt wird
* Support-Vektor-Maschinen, die Personen in Online-Dating-Sites zusammenzubringen
Jeder Algorithmus ist kurz und prägnant durch gut nachvollziehbaren Python-Code beschrieben. Der Bezug zu realen Sites wie Facebook, ebay oder del.icio.us sowie zahlreiche Übungen machen Lust auf mehr, wecken den Spiel- und Experimentiertrieb - und zeigen Ihnen viele neue Techniken, mit denen Sie Ihre Web 2.0-Website noch interessanter machen.
User-Daten und UGC für Ihre Web 2.0-Apps nutzen:
Dieses Buch erläutert anschaulich, wie aus User Generated Content mit den richtigen Algorithmen "kollektive Intelligenz" destilliert werden kann und wie Sie daraus einen echten Mehrwert für Ihre Web 2.0-Anwendungen generieren. Mit den ausgereiften Algorithmen in diesem Buch können Sie raffinierte Programme schreiben, die Sie direkt für Ihre Website-Projekte nutzen können.
Die Faszination der Algorithmen entdecken:
Toby Segaran geht ganz praktisch an das spannende, aber komplexe Thema heran. Er zeigt an leicht verständlichen Beispielen, wie die Algorithmen zum maschinellen Lernen funktionieren. Er erklärt beispielsweise:
* kollaborative Filtertechniken, die es Online-Händlern erlauben, Produkte oder Medien zu empfehlen
* Cluster-Methoden, die Gruppen ähnlicher Objekte in einem größeren Datenbestand entdecken
* Optimierungs-Algorithmen, die Millionen von möglichen Lösungen eines Problems durchsuchen und die beste auswählen
* Bayessches Filtern, das in Spam-Filtern zum Klassifizieren von Dokumenten genutzt wird
* Support-Vektor-Maschinen, die Personen in Online-Dating-Sites zusammenzubringen
Jeder Algorithmus ist kurz und prägnant durch gut nachvollziehbaren Python-Code beschrieben. Der Bezug zu realen Sites wie Facebook, ebay oder del.icio.us sowie zahlreiche Übungen machen Lust auf mehr, wecken den Spiel- und Experimentiertrieb - und zeigen Ihnen viele neue Techniken, mit denen Sie Ihre Web 2.0-Website noch interessanter machen.
More details
Content
Inhaltsverzeichnis
Inhalt
Einleitung IX
1
Einführung in die kollektive Intelligenz 1
Was ist kollektive Intelligenz? 2
Was ist maschinelles Lernen? 4
Grenzen des maschinellen Lernens 5
Beispiele aus dem richtigen Leben 5
Andere Anwendungen für lernende Algorithmen 6
2
Empfehlungen geben 9
Kollaboratives Filtern 10
Vorlieben sammeln 10
Ähnliche Benutzer finden 12
Dinge empfehlen 18
Produkte finden 20
Link-Empfehlungen mit del.icio.us erstellen 22
Elementbasiertes Filtern 26
Verwenden der MovieLens-Daten 29
Benutzerbasiertes oder elementbasiertes Filtern? 31
Übungen 32
3
Gruppen bilden 33
Überwachtes versus unüberwachtes Lernen 34
Wortvektoren 34
Hierarchische Clusteranalyse 37
Zeichnen des Dendrogramms 43
Spalten-Clusteranalyse 45
K-Means-Clusteranalyse 47
Cluster mit Vorlieben 50
Daten in zwei Dimensionen betrachten 55
Andere Dinge in der Clusteranalyse 58
Übungen 59
4
Suchen und Bewerten 61
Was gehört zu einer Such-Engine? 61
Ein einfacher Crawler 63
Aufbauen des Index 66
Abfragen 71
Contentbasierte Bewertung 72
Eingehende Links verwenden 78
Aus Klicks lernen 83
Übungen 94
5
Optimierung 96
Gruppenreisen 97
Lösungen repräsentieren 98
Die Zielfunktion 99
Random Search 102
Bergsteigen 103
Simulierte Abkühlung 106
Genetische Algorithmen 108
Echte Flugsuchen 112
Optimierung nach Vorlieben 118
Netzwerkvisualisierung 122
Andere Möglichkeiten 128
Übungen 128
6
Dokumente filtern 130
Spam filtern 131
Dokumente und Wörter 131
Trainieren des Klassifizierers 133
Wahrscheinlichkeiten berechnen 135
Ein naiver Klassifizierer 137
Die Fisher-Methode 142
Die trainierten Klassifizierer persistieren 146
Blog-Feeds filtern 148
Merkmalserkennung verbessern 151
Akismet 153
Alternative Methoden 155
Übungen 156
7
Modellieren mit Entscheidungsbäumen 158
Anmeldungen vorhersagen 158
Entscheidungsbäume 161
Trainieren des Baums 162
Die beste Aufteilung wählen 163
Rekursiver Aufbau des Baums 166
Anzeigen des Baums 168
Klassifikation neuer Beobachtungen 171
Zurechtstutzen des Baums 173
Umgang mit fehlenden Daten 175
Umgang mit numerischen Ergebnissen 176
Modellieren von Immobilienpreisen 177
Modellieren der 'Hotness' 180
Wann nutzt man Entscheidungsbäume? 183
Übungen 184
8
Aufbauen von Preismodellen 186
Aufbau eine Beispiel-Datenmenge 187
k-nächste Nachbarn 188
Gewichtete Nachbarn 192
Kreuzvalidierung 196
Heterogene Variablen 198
Optimieren der Skalierung 202
Ungleiche Verteilungen 203
Nutzung echter Daten - die eBay-API 210
Wann man k-nächste Nachbarn nutzt 217
Übungen 217
9
Komplexe Klassifikation: Kernel-Methoden und SVMs 219
Datenmenge für Vermittler 219
Schwierigkeiten mit den Daten 221
Einfache lineare Klassifikation 224
Kategoriale Eigenschaften 228
Skalieren der Daten 233
Kernel-Methoden verstehen 234
Support-Vektor-Maschinen 238
Verwenden der LIBSVM 240
Vermitteln bei Facebook 243
Übungen 249
10
Unabhängige Merkmale finden 251
Eine Nachrichtensammlung 252
Vorangegangene Ansätze 256
Nicht-negative Matrix-Faktorisierung 259
Anzeigen der Ergebnisse 266
Daten des Aktienmarkts nutzen 270
Übungen 276
11
Entwickeln von Intelligenz 277
Was ist genetische Programmierung? 278
Programme als Bäume 280
Erzeugen der initialen Population 285
Testen einer Lösung 286
Mutieren von Programmen 288
Crossover 291
Aufbau der Umgebung 293
Ein einfaches Spiel 296
Weitere Möglichkeiten 301
Übungen 304
12
Zusammenfassung der Algorithmen 306
Bayes-Klassifizierer 306
Entscheidungsbaum-Klassifizierer 310
Neuronale Netze 315
Support-Vektor-Maschinen 319
k-nächste Nachbarn 324
Clusteranalyse 328
Multidimensionales Skalieren 332
Nicht-negative Matrix-Faktorisierung 334
Optimierung 337
A
Fremdbibliotheken 340
B
Mathematische Formeln 347
B
Index 355
Inhalt
Einleitung IX
1
Einführung in die kollektive Intelligenz 1
Was ist kollektive Intelligenz? 2
Was ist maschinelles Lernen? 4
Grenzen des maschinellen Lernens 5
Beispiele aus dem richtigen Leben 5
Andere Anwendungen für lernende Algorithmen 6
2
Empfehlungen geben 9
Kollaboratives Filtern 10
Vorlieben sammeln 10
Ähnliche Benutzer finden 12
Dinge empfehlen 18
Produkte finden 20
Link-Empfehlungen mit del.icio.us erstellen 22
Elementbasiertes Filtern 26
Verwenden der MovieLens-Daten 29
Benutzerbasiertes oder elementbasiertes Filtern? 31
Übungen 32
3
Gruppen bilden 33
Überwachtes versus unüberwachtes Lernen 34
Wortvektoren 34
Hierarchische Clusteranalyse 37
Zeichnen des Dendrogramms 43
Spalten-Clusteranalyse 45
K-Means-Clusteranalyse 47
Cluster mit Vorlieben 50
Daten in zwei Dimensionen betrachten 55
Andere Dinge in der Clusteranalyse 58
Übungen 59
4
Suchen und Bewerten 61
Was gehört zu einer Such-Engine? 61
Ein einfacher Crawler 63
Aufbauen des Index 66
Abfragen 71
Contentbasierte Bewertung 72
Eingehende Links verwenden 78
Aus Klicks lernen 83
Übungen 94
5
Optimierung 96
Gruppenreisen 97
Lösungen repräsentieren 98
Die Zielfunktion 99
Random Search 102
Bergsteigen 103
Simulierte Abkühlung 106
Genetische Algorithmen 108
Echte Flugsuchen 112
Optimierung nach Vorlieben 118
Netzwerkvisualisierung 122
Andere Möglichkeiten 128
Übungen 128
6
Dokumente filtern 130
Spam filtern 131
Dokumente und Wörter 131
Trainieren des Klassifizierers 133
Wahrscheinlichkeiten berechnen 135
Ein naiver Klassifizierer 137
Die Fisher-Methode 142
Die trainierten Klassifizierer persistieren 146
Blog-Feeds filtern 148
Merkmalserkennung verbessern 151
Akismet 153
Alternative Methoden 155
Übungen 156
7
Modellieren mit Entscheidungsbäumen 158
Anmeldungen vorhersagen 158
Entscheidungsbäume 161
Trainieren des Baums 162
Die beste Aufteilung wählen 163
Rekursiver Aufbau des Baums 166
Anzeigen des Baums 168
Klassifikation neuer Beobachtungen 171
Zurechtstutzen des Baums 173
Umgang mit fehlenden Daten 175
Umgang mit numerischen Ergebnissen 176
Modellieren von Immobilienpreisen 177
Modellieren der 'Hotness' 180
Wann nutzt man Entscheidungsbäume? 183
Übungen 184
8
Aufbauen von Preismodellen 186
Aufbau eine Beispiel-Datenmenge 187
k-nächste Nachbarn 188
Gewichtete Nachbarn 192
Kreuzvalidierung 196
Heterogene Variablen 198
Optimieren der Skalierung 202
Ungleiche Verteilungen 203
Nutzung echter Daten - die eBay-API 210
Wann man k-nächste Nachbarn nutzt 217
Übungen 217
9
Komplexe Klassifikation: Kernel-Methoden und SVMs 219
Datenmenge für Vermittler 219
Schwierigkeiten mit den Daten 221
Einfache lineare Klassifikation 224
Kategoriale Eigenschaften 228
Skalieren der Daten 233
Kernel-Methoden verstehen 234
Support-Vektor-Maschinen 238
Verwenden der LIBSVM 240
Vermitteln bei Facebook 243
Übungen 249
10
Unabhängige Merkmale finden 251
Eine Nachrichtensammlung 252
Vorangegangene Ansätze 256
Nicht-negative Matrix-Faktorisierung 259
Anzeigen der Ergebnisse 266
Daten des Aktienmarkts nutzen 270
Übungen 276
11
Entwickeln von Intelligenz 277
Was ist genetische Programmierung? 278
Programme als Bäume 280
Erzeugen der initialen Population 285
Testen einer Lösung 286
Mutieren von Programmen 288
Crossover 291
Aufbau der Umgebung 293
Ein einfaches Spiel 296
Weitere Möglichkeiten 301
Übungen 304
12
Zusammenfassung der Algorithmen 306
Bayes-Klassifizierer 306
Entscheidungsbaum-Klassifizierer 310
Neuronale Netze 315
Support-Vektor-Maschinen 319
k-nächste Nachbarn 324
Clusteranalyse 328
Multidimensionales Skalieren 332
Nicht-negative Matrix-Faktorisierung 334
Optimierung 337
A
Fremdbibliotheken 340
B
Mathematische Formeln 347
B
Index 355