Data Science mit Python
Das Handbuch für den Einsatz von IPython, Jupyter, NumPy, Pandas, Matplotlib und Scikit-Learn
1st Edition
Published on 21. November 2017
552 pages
978-3-95845-696-9 (ISBN)
Description
Die wichtigsten Tools für die Datenanalyse und-bearbeitung im praktischen Einsatz
Python effizient für datenintensive Berechnungen einsetzen mit IPython und Jupyter
Laden, Speichern und Bearbeiten von Daten und numerischen Arrays mit NumPy und Pandas
Visualisierung von Daten mit Matplotlib
Python ist für viele die erste Wahl für Data Science, weil eine Vielzahl von Ressourcen und Bibliotheken zum Speichern, Bearbeiten und Auswerten von Daten verfügbar ist. In diesem Buch erläutert der Autor den Einsatz der wichtigsten Tools.
Für Datenanalytiker und Wissenschaftler ist dieses umfassende Handbuch von unschätzbarem Wert für jede Art von Berechnung mit Python sowie bei der Erledigung alltäglicher Aufgaben. Dazu gehören das Bearbeiten, Umwandeln und Bereinigen von Daten, die Visualisierung verschiedener Datentypen und die Nutzung von Daten zum Erstellen von Statistiken oder Machine-Learning-Modellen.
Dieses Handbuch erläutert die Verwendung der folgenden Tools:
IPython und Jupyter für datenintensive Berechnungen
NumPy und Pandas zum effizienten Speichern und Bearbeiten von Daten und Datenarrays in Python
Matplotlib für vielfältige Möglichkeiten der Visualisierung von Daten
Scikit-Learn zur effizienten und sauberen Implementierung der wichtigsten und am meisten verbreiteten Algorithmen des Machine Learnings
Der Autor zeigt Ihnen, wie Sie die zum Betreiben von Data Science verfügbaren Pakete nutzen, um Daten effektiv zu speichern, zu handhaben und Einblick in diese Daten zu gewinnen. Grundlegende Kenntnisse in Python werden dabei vorausgesetzt.
Leserstimme zum Buch:
»Wenn Sie Data Science mit Python betreiben möchten, ist dieses Buch ein hervorragender Ausgangspunkt. Ich habe es sehr erfolgreich beim Unterrichten von Informatik- und Statistikstudenten eingesetzt. Jake geht weit
über die Grundlagen der Open-Source-Tools hinaus und erläutert die grundlegenden Konzepte, Vorgehensweisen und Abstraktionen in klarer Sprache und mit verständlichen Erklärungen.«
- Brian Granger, Physikprofessor, California Polytechnic State University, Mitbegründer des Jupyter-Projekts
Reviews / Votes
»Sehr umfangreiches Werk. Wichtige Bereiche für das Thema werden sehr gut abgedeckt und dargestellt.« (Prof. Dr.-Ing. Gerold Bausch, Hochschule für Technik, Wirtschaft und Kultur Leipzig , 01/2020)
More details
Other editions
Additional editions
Jake VanderPlas
Data Science mit Python
Das Handbuch für den Einsatz von IPython, Jupyter, NumPy, Pandas, Matplotlib und Scikit-Learn
Book
11/2017
1st Edition
MITP
€19.99
Article exhausted; check different version
Person
Jake VanderPlas ist seit Langem User und Entwickler von SciPy. Derzeit ist er als interdisziplinärer Forschungsdirektor an der Universität Washington tätig, führt eigene astronomische Forschungsarbeiten durch und berät dort ansässige Wissenschaftler, die in vielen verschiedenen Fachgebieten arbeiten.
Content
- Intro
- Titel
- Impressum
- Inhaltsverzeichnis
- Einleitung
- Über den Autor
- Kapitel 1: Mehr als normales Python: IPython
- 1.1 Shell oder Notebook?
- 1.1.1 Die IPython-Shell starten
- 1.1.2 Das Jupyter-Notebook starten
- 1.2 Hilfe und Dokumentation in IPython
- 1.2.1 Mit ? auf die Dokumentation zugreifen
- 1.2.2 Mit ?? auf den Quellcode zugreifen
- 1.2.3 Module mit der Tab-Vervollständigung erkunden
- 1.3 Tastaturkürzel in der IPython-Shell
- 1.3.1 Tastaturkürzel zum Navigieren
- 1.3.2 Tastaturkürzel bei der Texteingabe
- 1.3.3 Tastaturkürzel für den Befehlsverlauf
- 1.3.4 Sonstige Tastaturkürzel
- 1.4 Magische Befehle in IPython
- 1.4.1 Einfügen von Codeblöcken mit %paste und %cpaste
- 1.4.2 Externen Code ausführen mit %run
- 1.4.3 Messung der Ausführungszeit von Code mit %timeit
- 1.4.4 Hilfe für die magischen Funktionen anzeigen mit ?, %magic und %lsmagic
- 1.5 Verlauf der Ein- und Ausgabe
- 1.5.1 Die IPython-Objekte In und Out
- 1.5.2 Der Unterstrich als Abkürzung und vorhergehende Ausgaben
- 1.5.3 Ausgaben unterdrücken
- 1.5.4 Weitere ähnliche magische Befehle
- 1.6 IPython und Shell-Befehle
- 1.6.1 Kurz vorgestellt: die Shell
- 1.6.2 Shell-Befehle in IPython
- 1.6.3 Werte mit der Shell austauschen
- 1.7 Magische Befehle für die Shell
- 1.8 Fehler und Debugging
- 1.8.1 Exceptions handhaben: %xmode
- 1.8.2 Debugging: Wenn das Lesen von Tracebacks nicht ausreicht
- 1.9 Profiling und Timing von Code
- 1.9.1 Timing von Codeschnipseln: %timeit und %time
- 1.9.2 Profiling kompletter Skripte: %prun
- 1.9.3 Zeilenweises Profiling mit %lprun
- 1.9.4 Profiling des Speicherbedarfs: %memit und %mprun
- 1.10 Weitere IPython-Ressourcen
- 1.10.1 Quellen im Internet
- 1.10.2 Bücher
- Kapitel 2: Einführung in NumPy
- 2.1 Die Datentypen in Python
- 2.1.1 Python-Integers sind mehr als nur ganzzahlige Werte
- 2.1.2 Python-Listen sind mehr als nur einfache Listen
- 2.1.3 Arrays feststehenden Typs in Python
- 2.1.4 Arrays anhand von Listen erzeugen
- 2.1.5 Neue Arrays erzeugen
- 2.1.6 NumPys Standarddatentypen
- 2.2 Grundlagen von NumPy-Arrays
- 2.2.1 Attribute von NumPy-Arrays
- 2.2.2 Indizierung von Arrays: Zugriff auf einzelne Elemente
- 2.2.3 Slicing: Teilmengen eines Arrays auswählen
- 2.2.4 Arrays umformen
- 2.2.5 Arrays verketten und aufteilen
- 2.3 Berechnungen mit NumPy-Arrays: universelle Funktionen
- 2.3.1 Langsame Schleifen
- 2.3.2 Kurz vorgestellt: UFuncs
- 2.3.3 NumPys UFuncs im Detail
- 2.3.4 UFunc-Features für Fortgeschrittene
- 2.3.5 UFuncs: mehr erfahren
- 2.4 Aggregationen: Minimum, Maximum und alles dazwischen
- 2.4.1 Summieren der Werte eines Arrays
- 2.4.2 Minimum und Maximum
- 2.4.3 Beispiel: Durchschnittliche Größe der US-Präsidenten
- 2.5 Berechnungen mit Arrays: Broadcasting
- 2.5.1 Kurz vorgestellt: Broadcasting
- 2.5.2 Für das Broadcasting geltende Regeln
- 2.5.3 Broadcasting in der Praxis
- 2.6 Vergleiche, Maskierungen und boolesche Logik
- 2.6.1 Beispiel: Regentage zählen
- 2.6.2 Vergleichsoperatoren als UFuncs
- 2.6.3 Boolesche Arrays verwenden
- 2.6.4 Boolesche Arrays als Maskierungen
- 2.7 Fancy Indexing
- 2.7.1 Fancy Indexing im Detail
- 2.7.2 Kombinierte Indizierung
- 2.7.3 Beispiel: Auswahl zufälliger Punkte
- 2.7.4 Werte per Fancy Indexing modifizieren
- 2.7.5 Beispiel: Daten gruppieren
- 2.8 Arrays sortieren
- 2.8.1 Schnelle Sortierung in NumPy: np.sort und np.argsort
- 2.8.2 Teilsortierungen: Partitionierung
- 2.8.3 Beispiel: k nächste Nachbarn
- 2.9 Strukturierte Daten: NumPys strukturierte Arrays
- 2.9.1 Strukturierte Arrays erzeugen
- 2.9.2 Erweiterte zusammengesetzte Typen
- 2.9.3 Record-Arrays: strukturierte Arrays mit Pfiff
- 2.9.4 Weiter mit Pandas
- Kapitel 3: Datenbearbeitung mit Pandas
- 3.1 Pandas installieren und verwenden
- 3.2 Kurz vorgestellt: Pandas-Objekte
- 3.2.1 Das Pandas-Series-Objekt
- 3.2.2 Das Pandas-DataFrame-Objekt
- 3.2.3 Das Pandas-Index-Objekt
- 3.3 Daten indizieren und auswählen
- 3.3.1 Series-Daten auswählen
- 3.3.2 DataFrame-Daten auswählen
- 3.4 Mit Pandas-Daten arbeiten
- 3.4.1 UFuncs: Indexerhaltung
- 3.4.2 UFuncs: Indexanpassung
- 3.4.3 UFuncs: Operationen mit DataFrame und Series
- 3.5 Handhabung fehlender Daten
- 3.5.1 Überlegungen zu fehlenden Daten
- 3.5.2 Fehlende Daten in Pandas
- 3.5.3 Mit null-Werten arbeiten
- 3.6 Hierarchische Indizierung
- 3.6.1 Mehrfach indizierte Series
- 3.6.2 Methoden zum Erzeugen eines MultiIndex
- 3.6.3 Indizierung und Slicing eines MultiIndex
- 3.6.4 Multi-Indizes umordnen
- 3.6.5 Datenaggregationen mit Multi-Indizes
- 3.7 Datenmengen kombinieren: concat und append
- 3.7.1 Verkettung von NumPy-Arrays
- 3.7.2 Einfache Verkettungen mit pd.concat
- 3.8 Datenmengen kombinieren: Merge und Join
- 3.8.1 Relationale Algebra
- 3.8.2 Join-Kategorien
- 3.8.3 Angabe der zu verknüpfenden Spalten
- 3.8.4 Mengenarithmetik bei Joins
- 3.8.5 Konflikte bei Spaltennamen: das Schlüsselwort suffixes
- 3.8.6 Beispiel: Daten von US-Bundesstaaten
- 3.9 Aggregation und Gruppierung
- 3.9.1 Planetendaten
- 3.9.2 Einfache Aggregationen in Pandas
- 3.9.3 GroupBy: Aufteilen, Anwenden und Kombinieren
- 3.10 Pivot-Tabellen
- 3.10.1 Gründe für Pivot-Tabellen
- 3.10.2 Pivot-Tabellen von Hand erstellen
- 3.10.3 Die Syntax von Pivot-Tabellen
- 3.10.4 Beispiel: Geburtenraten
- 3.11 Vektorisierte String-Operationen
- 3.11.1 Kurz vorgestellt: String-Operationen in Pandas
- 3.11.2 Liste der Pandas-Stringmethoden
- 3.11.3 Beispiel: Rezeptdatenbank
- 3.12 Zeitreihen verwenden
- 3.12.1 Kalenderdaten und Zeiten in Python
- 3.12.2 Zeitreihen in Pandas: Indizierung durch Zeitangaben
- 3.12.3 Datenstrukturen für Zeitreihen in Pandas
- 3.12.4 Häufigkeiten und Abstände
- 3.12.5 Resampling, zeitliches Verschieben und geglättete Statistik
- 3.12.6 Mehr erfahren
- 3.12.7 Beispiel: Visualisierung von Fahrradzählungen in Seattle
- 3.13 Leistungsstarkes Pandas: eval() und query()
- 3.13.1 Der Zweck von query() und eval(): zusammengesetzte Ausdrücke
- 3.13.2 Effiziente Operationen mit pandas.eval()
- 3.13.3 DataFrame.eval() für spaltenweise Operationen
- 3.13.4 Die DataFrame.query()-Methode
- 3.13.5 Performance: Verwendung von eval() und query()
- 3.14 Weitere Ressourcen
- Kapitel 4: Visualisierung mit Matplotlib
- 4.1 Allgemeine Tipps zu Matplotlib
- 4.1.1 Matplotlib importieren
- 4.1.2 Stil einstellen
- 4.1.3 show() oder kein show()? - Anzeige von Diagrammen
- 4.1.4 Grafiken als Datei speichern
- 4.2 Zwei Seiten derselben Medaille
- 4.3 Einfache Liniendiagramme
- 4.3.1 Anpassen des Diagramms: Linienfarben und -stile
- 4.3.2 Anpassen des Diagramms: Begrenzungen
- 4.3.3 Diagramme beschriften
- 4.4 Einfache Streudiagramme
- 4.4.1 Streudiagramme mit plt.plot() erstellen
- 4.4.2 Streudiagramme mit plt.scatter() erstellen
- 4.4.3 plot kontra scatter: eine Anmerkung zur Effizienz
- 4.5 Visualisierung von Fehlern
- 4.5.1 Einfache Fehlerbalken
- 4.5.2 Stetige Fehler
- 4.6 Dichtediagramme und Konturdiagramme
- 4.6.1 Visualisierung einer dreidimensionalen Funktion
- 4.7 Histogramme, Binnings und Dichte
- 4.7.1 Zweidimensionale Histogramme und Binnings
- 4.8 Anpassen der Legende
- 4.8.1 Legendenelemente festlegen
- 4.8.2 Legenden mit Punktgrößen
- 4.8.3 Mehrere Legenden
- 4.9 Anpassen von Farbskalen
- 4.9.1 Farbskala anpassen
- 4.9.2 Beispiel: Handgeschriebene Ziffern
- 4.10 Untergeordnete Diagramme
- 4.10.1 plt.axes: Untergeordnete Diagramme von Hand erstellen
- 4.10.2 plt.subplot: Untergeordnete Diagramme in einem Raster anordnen
- 4.10.3 plt.subplots: Das gesamte Raster gleichzeitig ändern
- 4.10.4 plt.GridSpec: Kompliziertere Anordnungen
- 4.11 Text und Beschriftungen
- 4.11.1 Beispiel: Auswirkungen von Feiertagen auf die Geburtenzahlen in den USA
- 4.11.2 Transformationen und Textposition
- 4.11.3 Pfeile und Beschriftungen
- 4.12 Achsenmarkierungen anpassen
- 4.12.1 Vorrangige und nachrangige Achsenmarkierungen
- 4.12.2 Markierungen oder Beschriftungen verbergen
- 4.12.3 Anzahl der Achsenmarkierungen verringern oder erhöhen
- 4.12.4 Formatierung der Achsenmarkierungen
- 4.12.5 Zusammenfassung der Formatter- und Locator-Klassen
- 4.13 Matplotlib anpassen: Konfigurationen und Stylesheets
- 4.13.1 Diagramme von Hand anpassen
- 4.13.2 Voreinstellungen ändern: rcParams
- 4.13.3 Stylesheets
- 4.14 Dreidimensionale Diagramme in Matplotlib
- 4.14.1 Dreidimensionale Punkte und Linien
- 4.14.2 Dreidimensionale Konturdiagramme
- 4.14.3 Drahtgitter- und Oberflächendiagramme
- 4.14.4 Triangulation von Oberflächen
- 4.15 Basemap: geografische Daten verwenden
- 4.15.1 Kartenprojektionen
- 4.15.2 Zeichnen eines Kartenhintergrunds
- 4.15.3 Daten auf einer Karte anzeigen
- 4.15.4 Beispiel: Kalifornische Städte
- 4.15.5 Beispiel: Oberflächentemperaturen
- 4.16 Visualisierung mit Seaborn
- 4.16.1 Seaborn kontra Matplotlib
- 4.16.2 Seaborn-Diagramme
- 4.17 Weitere Ressourcen
- 4.17.1 Matplotlib
- 4.17.2 Weitere Grafikbibliotheken für Python
- Kapitel 5: Machine Learning
- 5.1 Was ist Machine Learning?
- 5.1.1 Kategorien des Machine Learnings
- 5.1.2 Qualitative Beispiele für Machine-Learning-Anwendungen
- 5.1.3 Zusammenfassung
- 5.2 Kurz vorgestellt: Scikit-Learn
- 5.2.1 Datenrepräsentierung in Scikit-Learn
- 5.2.2 Scikit-Learns Schätzer-API
- 5.2.3 Anwendung: Handgeschriebene Ziffern untersuchen
- 5.2.4 Zusammenfassung
- 5.3 Hyperparameter und Modellvalidierung
- 5.3.1 Überlegungen zum Thema Modellvalidierung
- 5.3.2 Auswahl des besten Modells
- 5.3.3 Lernkurven
- 5.3.4 Validierung in der Praxis: Rastersuche
- 5.3.5 Zusammenfasssung
- 5.4 Merkmalserstellung
- 5.4.1 Kategoriale Merkmale
- 5.4.2 Texte als Merkmale
- 5.4.3 Bilder als Merkmale
- 5.4.4 Abgeleitete Merkmale
- 5.4.5 Vervollständigung fehlender Daten
- 5.4.6 Pipelines mit Merkmalen
- 5.5 Ausführlich: Naive Bayes-Klassifikation
- 5.5.1 Bayes-Klassifikation
- 5.5.2 Gauß'sche naive Bayes-Klassifikation
- 5.5.3 Multinomiale naive Bayes-Klassifikation
- 5.5.4 Einsatzgebiete für naive Bayes-Klassifikation
- 5.6 Ausführlich: Lineare Regression
- 5.6.1 Einfache lineare Regression
- 5.6.2 Regression der Basisfunktion
- 5.6.3 Regularisierung
- 5.6.4 Beispiel: Vorhersage des Fahrradverkehrs
- 5.7 Ausführlich: Support Vector Machines
- 5.7.1 Gründe für Support Vector Machines
- 5.7.2 Support Vector Machines: Maximierung des Randbereichs
- 5.7.3 Beispiel: Gesichtserkennung
- 5.7.4 Zusammenfassung Support Vector Machines
- 5.8 Ausführlich: Entscheidungsbäume und Random Forests
- 5.8.1 Gründe für Random Forests
- 5.8.2 Schätzerensembles: Random Forests
- 5.8.3 Random-Forest-Regression
- 5.8.4 Beispiel: Random Forest zur Klassifikation handgeschriebener Ziffern
- 5.8.5 Zusammenfassung Random Forests
- 5.9 Ausführlich: Hauptkomponentenanalyse
- 5.9.1 Kurz vorgestellt: Hauptkomponentenanalyse
- 5.9.2 Hauptkomponentenanalyse als Rauschfilter
- 5.9.3 Beispiel: Eigengesichter
- 5.9.4 Zusammenfassung Hauptkomponentenanalyse
- 5.10 Ausführlich: Manifold Learning
- 5.10.1 Manifold Learning: »HELLO«
- 5.10.2 Multidimensionale Skalierung (MDS)
- 5.10.3 MDS als Manifold Learning
- 5.10.4 Nichtlineare Einbettungen: Wenn MDS nicht funktioniert
- 5.10.5 Nichtlineare Mannigfaltigkeiten: lokal lineare Einbettung
- 5.10.6 Überlegungen zum Thema Manifold-Methoden
- 5.10.7 Beispiel: Isomap und Gesichter
- 5.10.8 Beispiel: Visualisierung der Strukturen in Zifferndaten
- 5.11 Ausführlich: k-Means-Clustering
- 5.11.1 Kurz vorgestellt: der k-Means-Algorithmus
- 5.11.2 k-Means-Algorithmus: Expectation-Maximization
- 5.11.3 Beispiele
- 5.12 Ausführlich: Gauß'sche Mixture-Modelle
- 5.12.1 Gründe für GMM: Schwächen von k-Means
- 5.12.2 EM-Verallgemeinerung: Gauß'sche Mixture-Modelle
- 5.12.3 GMM als Dichteschätzung
- 5.12.4 Beispiel: GMM zum Erzeugen neuer Daten verwenden
- 5.13 Ausführlich: Kerndichteschätzung
- 5.13.1 Gründe für Kerndichteschätzung: Histogramme
- 5.13.2 Kerndichteschätzung in der Praxis
- 5.13.3 Beispiel: Kerndichteschätzung auf Kugeloberflächen
- 5.13.4 Beispiel: Nicht ganz so naive Bayes-Klassifikation
- 5.14 Anwendung: Eine Gesichtserkennungs-Pipeline
- 5.14.1 HOG-Merkmale
- 5.14.2 HOG in Aktion: eine einfache Gesichtserkennung
- 5.14.3 Vorbehalte und Verbesserungen
- 5.15 Weitere Machine-Learning-Ressourcen
- 5.15.1 Machine Learning in Python
- 5.15.2 Machine Learning im Allgemeinen
- Stichwortverzeichnis
