Evaluation

Index 9

Vorwort zur 2. Auflage 13

Einleitung 15

1. Rolle der Evaluation in der Gesellschaft 21

1.1 Evaluation - eine Erfindung der Moderne 21

1.1.1 Zweckbestimmungen 23

1.1.2 Institutionalisierung der Evaluation 27

1.2 Historische Entwicklung der Evaluation 29

1.2.1 Entwicklung in den USA 30

1.2.2 Entwicklung in Europa 35

1.2.3 Entwicklung in Deutschland 38

1.3 Aktuelle Lage der Evaluation 40

1.3.1 International 40

1.3.2 Deutschland 47

1.4 Verwirklichung der Evaluationszwecke und Herausforderungen 52

Fazit 61

2. Wissenschaftsbasierte Evaluation 63

2.1 Evaluation zwischen Politik und Wissenschaft 63

2.1.1 Evaluation und Politik 63

2.1.2 Evaluation und Wissenschaft 65

2.1.3 Ein Forschungsmodell für die Evaluation 68

2.2 Grundlagen 72

2.2.1 Definitionen 72

2.2.2. Was wird evaluiert? Evaluationsgegenstände 75

2.2.3 Wozu wird evaluiert? Ziele und Aufgaben 80

2.2.4 Anhand welcher Bewertungskriterien wird evaluiert? 85

2.2.5 Wer evaluiert? 88

2.2.6 Wie wird evaluiert? 92

2.3 Der CEval-Evaluationsansatz nach Stockmann 98

3. Evaluationsansätze und ihre theoretischen Grundlagen 111

3.1 Einleitung 111

3.2 Systematisierung nach Guba und Lincoln: Das Generationenmodell 112

3.2.1 Die erste Evaluationsgeneration - Das Messen 113

3.2.2 Die zweite Evaluationsgeneration - Das Beschreiben 115

3.2.3 Die dritte Evaluationsgeneration - Das Bewerten 117

3.2.4 Die vierte Evaluationsgeneration - Das Verhandeln 120

3.2.5 Zusammenfassung und Bewertung 122

3.3 Systematisierung nach Alkin: Das Baummodell 123

3.3.1 Der Methodenast ("Methods") 124

3.3.2 Der Nutzungsast ("Use") 128

3.3.3 Der Wertungsast ("valuing") 132

3.3.4 Zusammenfassung und Bewertung 134

3.4 Das Nutzungsmodell 136

3.4.1 Zielorientierte Evaluationsansätze 137

3.4.2 Managementorientierte Evaluationsansätze 139

3.4.3 Konsumentenorientierte Evaluationsansätze 142

3.4.4 Expertenorientierte Evaluationsansätze 143

3.4.5 Partizipative Evaluationsansätze 149

3.4.6 Zusammenfassung und Bewertung 153

3.5 Systematik nach Stockmann und Meyer: Das Funktionsmodell 154

3.5.1 Personenbezogene Systematisierung 156

3.5.2 Politikfeldbezogene Systematisierung 159

3.5.3 Fachgebietsbezogene Systematisierung 163

3.5.4 Zusammenfassung und Bewertung 167

4. Evaluationsprozess 169

4.1 Einleitung 169

4.2 Planungsphase 171

4.2.1 Bestimmung und Eingrenzung des Evaluationsvorhabens 171

4.2.2 Evaluationskonzeption und -ablaufplanung 177

4.3 Durchführungsphase 179

4.4 Verwertungsphase 184

4.4.1 Darstellung und Verwertung der Ergebnisse 184

4.4.2 Nutzen von Evaluationen 189

4.4.3 Qualität der Evaluation 191

4.5 Der Partizipative Evaluationsansatz des CEval 196

5. Informationssammlung und -bewertung 201

5.1 Einleitung 201

5.2. Vorbereitung der Datenerhebung - vom Evaluations- zum Erhebungsdesign 202

5.2.1 Experimentelle Vorgehensweise 205

5.2.2 Quasi-Experimentelle Vorgehensweise 208

5.2.3 Qualitative Vorgehensweise 211

5.3 Durchführung der Datenerhebung - von der Planung des Methodeneinsatzes zur Qualitätskontrolle 216

5.3.1 Klassifikation der Datenerhebungsverfahren 216

5.3.2 Störfaktoren und Erhebungsfehler 220

5.4 Datenanalyse - von der Aufbereitung zur Auswertung 226

5.4.1 Prozess der Datenauswertung 227

5.4.2 Statistische Analyseverfahren 230

5.4.3 Signifikanztest und Repräsentativität 233

5.5 Dateninterpretation - vom Material zur Bewertung 235

5.5.1 Dateninterpretation als qualitativer Prozess 236

5.5.2 Arten von Interpretationsverfahren 238

5.5.3 Die analytische Bewertung 242

5.6 Zusammenfassung 243

6. Evaluationsumfeld 245

6.1 Einleitung 245

6.2 Evaluation und Öffentlichkeit 247

6.3 Evaluation und Organisationen 252

6.3.1 Organisationsmitgliedschaft und Evaluation 254

6.3.2 Organisationsinterne Kommunikation und Evaluation 257

6.3.3 Strukturelle Verankerung von Evaluation in Organisationen 260

6.4 Evaluation und "Stakeholder" 262

6.5 Schlussfolgerungen und Zusammenfassung 264

Literatur 270