Kontrollierte Experimente in der Softwaretechnik

1. Einführung.- 1.1. Was ist Softwaretechnik?.- 1.2. Was ist Fortschritt in der Softwaretechnik?.- 1.3. Wodurch entsteht ein Fortschritt?.- 1.4. Wer produziert den Fortschritt?.- 1.5. Zweck, Aufbau und Benutzung dieses Buches.- 1.6. Verwandte Literatur.- 1.6.1. Aus fremden Fächern.- 1.6.2. Programmieren.- 1.6.3. Softwaretechnik.- I. Die Rolle kontrollierter Experimente.- 2. Forschungsansätze und die Rolle der Empirie.- 2.1. Das Missverständnis der Softwaretechnik.- 2.2. Ingenieurmäßiger Ansatz: Systembau.- 2.3. Wissenschaftlicher Ansatz: Modellbildung.- 2.4. Abgrenzung der Ansätze.- 2.5. Die Rolle der Empirie.- 3. Empirische Forschungsmethoden in der Softwaretechnik.- 3.1. Forschungsgegenstände.- 3.2. Forschungsfragen.- 3.3. Relevante Eigenschaften von Methoden.- 3.4. Fallstudie und Benchmarking.- 3.5. Feldstudie.- 3.6. Kontrolliertes Experiment.- 3.7. Umfrage.- 3.8. Metastudie.- 3.9. Vergleich der Methoden.- 4. Was ist ein kontrolliertes Experiment?.- 4.1. Zweck.- 4.2. Abhängige und unabhängige Variablen.- 4.3. Zu kontrollierende Variablen (Störvariablen).- 4.4. Innere Gültigkeit.- 4.5. Experimententwurf.- 4.6. Was ist kein kontrolliertes Experiment?.- 4.7. Wann ist ein Experiment gut?.- 4.8. Arbeitsschritte zur Durchführung.- 5. Mögliche Rollen kontrollierter Experimente.- 5.1. Hypothesentest.- 5.2. Erkundung.- 5.3. Qualifikation von Effekten.- 5.4. Modellbildung.- 5.5. Absicherung von Erkenntnissen.- 5.6. Verbreiterung von Erkenntnissen.- 5.7. Soziologische Rollen von Experimenten.- 5.7.1. Motivation fördern.- 5.7.2. Barrieren überwinden.- 5.7.3. Selbstwertgefühl stärken.- 5.8. Zusammenwirken mit anderen Forschungsmethoden.- 5.9. Wann ist ein kontrolliertes Experiment angebracht?.- 5.9.1. Aus Forschersicht.- 5.9.2. Aus Praktikersicht.- 6. Zu welchen Themen gab es bislang kontrollierte Experimente?.- 6.1. Die Eignung von Themen.- 6.2. Viele Experimente: Inspektionen.- 6.3. Wenige Experimente: Objektorientierung.- II. Die Methodik kontrollierter Experimente.- 7. Allgemeines zur Methodik.- 7.1. Typische Randbedingungen.- 7.2. Auswahlkriterien für Entwurfsalternativen.- 7.3. Die Essenz: Skalierung.- 7.4. Aufbau der nachfolgenden Kapitel.- 8. Versuchspersonen.- 8.1. Kompetenz.- 8.2. Homogenität.- 8.3. Teams.- 8.4. Motivation und Teilnahmeanreize.- 8.5. Zusammenfassung.- 9. Experimententwurf.- 9.1. Auswahl der Experimentfrage.- 9.2. Experimentpläne.- 9.3. Geschachtelte Experimente.- 9.4. "Natürliche Experimente".- 9.5. Vortests.- 9.6. Paarbildung oder Balancierung.- 9.7. Reihenfolgeeffekte.- 9.8. Motivationseffekte.- 9.9. Stichprobengrößen und Trennschärfe.- 9.10. Abnahmetest.- 9.11 Zeitbeschränkung.- 9.12. Postmortem.- 9.13. Zusammenfassung.- 10. Messgrößen und Messverfahren.- 10.1. Prozessmaße versus Produktmaße.- 10.2. Einfache versus problematische Messgrößen.- 10.3. Klardefinierte Messgrößen.- 10.4. Vage Größen.- 10.5. Mehrdimensionale Größen.- 10.6. Kontextabhängige Größen.- 10.7. Subjektive Größen.- 10.8. Nichtbeobachtbare Größen.- 11. Aufgabenstellung an die Versuchspersonen.- 11.1 Struktur von Aufgaben.- 11.2. Repräsentativst und Verallgemeinerbarkeit.- 11.2.1. Lokale Verallgemeinerbarkeit.- 11.2.2. Globale Verallgemeinerbarkeit.- 11.3. Nötiges Vörwissen.- 11.4. Umfangund Skalierung.- 11.5. Verfügbarkeit.- 11.6. Veröffentlichung der Aufgabe.- 11.7. Zusammenfassung.- 12. Implementierung und Durchführung.- 12.1. Prinzipien.- 12.2. Infrastruktur für Teilnehmer.- 12.3. Infrastruktur für Datensammlung.- 12.4. Pilottests.- 12.5. Gruppeneinteilung.- 12.6. Datenvalidierung.- 13. Auswertung der Beobachtungen.- 13.1. Prinzipien.- 13.2. Andere Literatur, Software.- 13.3. Datenerfassung und -validierung.- 13.3.1. Schritt 0: Datenbewertung und Datenerfassung.- 13.3.2. Schritt 1: Konsistenzprüfung.- 13.3.3. Schritt 2: Glaubwürdigkeitsprüfung.- 13.4. Erwartungsgetriebene und spekulative Analyse.- 13.4.1.Schritt 3: Phänomene graphisch veranschaulichen.- 13.4.2. Schritt 4: Phänomene mit Zahlen beschreiben.- 13.4.3. Zwei häufige Fehler bei Hypothesentests.- 13.4.4. Anmerkung über Normalverteilung und Ausreißer.- 13.4.5. Schritt 5: Mögliche Erklärungen untersuchen.- 13.4.6. Anmerkung über Varianzreduktion.- 13.5. Explorative Analyse.- 13.5.1. Schritt 6: In den Daten stöbern.- 14. Beschreibung und Dokumentation des Experiments.- 14.1. Ziele.- 14.2. Aufbau.- 14.3. Erläuterungenzu Methodik und Statistik.- 14.4. Präsentation der Ergebnisse.- 14.5. Rohdaten und Experimentmaterialien.- 14.6. Aber ich als Praktiker... ?.- III. Fazit.- 15. Zusammenfassung und Ausblick.- 15.1. ZuTeil I: Sind kontrollierte Experimente nützlich?.- 15.1.1 Was ist billiger: eine empirische Bewertung oder keine?.- 15.1.2. Was ist billiger: ein kontrolliertes Experiment oder eine andere Methode der Bewertung?.- 15.2. Zu Teil II: Wie macht man kontrollierte Experimente?.- 15.2.1. Problem 1: Auswahl der Experimentfrage.- 15.2.2. Problem 2: Experimentmethodik.- 15.2.3. Problem 3: Überzeugen.- 15.2.4. Aber dennoch!.- 15.3. Künftige Forschungsaufgaben.- 15.3.1. Methodik: Experimente erleichtern.- 15.3.2. Interpretation: Nutzen von Experimenten erhöhen.- IV. Anhang.- 16. Über die Variabilität im Zeitbedarf.- 16.1. Das Experiment von Grant und Sackman von 1966.- 16.1.1.28:1 stimmt gar nicht!.- 16.1.2. Wie charakterisiert man Variabilität?.- 16.1.3. Auch nach 30 Jahren nur 12 Programmierer?.- 16.2. variance. data: Ein umfangreicherer Datensatz.- 16.2.1. Inhalt und Aufbau.- 16.2.2. Warnung zur Interpretation der Zeiten.- 16.3. Individuelle Unterschiede.- 16.4. Die Form von Zeitverteilungen.- 16.5. Effektgrößen.- 16.6 Wie erfolgreich sind die Hypothesentests?.- 16.7 Die Trennschärfe und Fehler verschiedener Tests.- 16.8 Zusammenfassung und Konsequenzen.- Bibliographie.