Classroom Assessment for Student Learning
Doing It Right-Using It Well
Published on 19. July 2011
Book
Paperback/Softback
480 pages
978-0-13-254876-2 (ISBN)
Description
This combination book and workbook features:
A user-friendly format with hands-on practice
Practical examples and expanded information about assessment for learning in everyday instruction
Accompanying CD-ROM and DVD that contain additional resources and video segments
Also included in the Total Professional Development Package - ISBN 9780132548922
Professional Papers and Recent Staff Articles
Arter, Judy (04/16/2009). Classroom Assessment For Student Learning (CASL) Perspective on the JCSEE Student Evaluation Standards.
Additional Resources
Visit http://ati.pearson.com to read more articles on assessment, download study guides, and more!
A user-friendly format with hands-on practice
Practical examples and expanded information about assessment for learning in everyday instruction
Accompanying CD-ROM and DVD that contain additional resources and video segments
Also included in the Total Professional Development Package - ISBN 9780132548922
Professional Papers and Recent Staff Articles
Arter, Judy (04/16/2009). Classroom Assessment For Student Learning (CASL) Perspective on the JCSEE Student Evaluation Standards.
Additional Resources
Visit http://ati.pearson.com to read more articles on assessment, download study guides, and more!
More details
Language
English
Place of publication
United States
Publishing group
Pearson Education (US)
Target group
Professional and scholarly
Dimensions
Height: 279 mm
Width: 216 mm
Weight
1161 gr
ISBN-13
978-0-13-254876-2 (9780132548762)
Copyright in bibliographic data and cover images is held by Nielsen Book Services Limited or by the publishers or by their respective licensors: all rights reserved.
Schweitzer Classification
Other editions
New editions
Jan Chappuis | Rick Stiggins | Stephen Chappuis
Classroom Assessment for Student Learning
Doing It Right - Using It Well
Book
01/2012
2nd Edition
Pearson
€71.96
Article exhausted; check for reprint
Persons
Rick Stiggins founded the Assessment Training Institute (ATI) in 1992 to provide much-needed professional development in assessment for teachers and school leaders. ATI can help assessment users at all levels learn how to (a) create high-quality assessments, and (b) use them in the service of student success. The most unique feature of the ATI philosophy remains our advocacy of and professional development in "assessment for learning"; that is, the use of student-involved classroom assessment, record keeping and communication to promote success for all students. The ATI programs, materials and services in classroom assessment for student learning are specifically designed to draw teachers and administrators into local learning teams to master principles of balanced assessment and assessment for learning. Rick is the author of numerous books, articles and papers on assessment practices in the classroom and its impact on students and student success.
A nationally recognized expert in performance assessment, Judy Arter's background includes statewide writing assessments, development of large-scale and classroom-based assessments for competency assessment and development of district performance assessments. Prior to joining ETS, Judy directed Northwest Regional Educational Laboratory's (NWREL) assessment unit. She has written extensively on performance assessment and rubrics, and is the co-author of Creating & Recognizing Quality Rubrics.
Prior to joining ATI, Jan Chappuis was a curriculum and assessment specialist responsible for professional development and school improvement. Her background as an elementary and secondary teacher, combined with her assessment expertise and professional development experience, enables Jan to provide teachers and school leaders with practical solutions for motivating students and involving them in their own academic success. Her most recent publication, Seven Strategies of Assessment forLearning, helps teachers adopt formative assessment practices shown to improve learning.
Steve Chappuis brings a strong background in educational administration to ATI. His leadership experiences include serving as a junior high principal, a senior high principal and executive director responsible for supervision of schools and principals. As an assistant superintendent for curriculum and instruction, he implemented a standards-based instructional program that included comprehensive assessment plans with policies and professional development in classroom assessment. At ATI, Steve works with educators to help establish balanced and effective local assessment systems. He is also responsible for our leadership for excellence in assessment program - professional development for school leaders and policy makers, and is the co-author of Assessment Balance and Quality: An Action Guide for School Leaders 3rd. Ed.
A nationally recognized expert in performance assessment, Judy Arter's background includes statewide writing assessments, development of large-scale and classroom-based assessments for competency assessment and development of district performance assessments. Prior to joining ETS, Judy directed Northwest Regional Educational Laboratory's (NWREL) assessment unit. She has written extensively on performance assessment and rubrics, and is the co-author of Creating & Recognizing Quality Rubrics.
Prior to joining ATI, Jan Chappuis was a curriculum and assessment specialist responsible for professional development and school improvement. Her background as an elementary and secondary teacher, combined with her assessment expertise and professional development experience, enables Jan to provide teachers and school leaders with practical solutions for motivating students and involving them in their own academic success. Her most recent publication, Seven Strategies of Assessment forLearning, helps teachers adopt formative assessment practices shown to improve learning.
Steve Chappuis brings a strong background in educational administration to ATI. His leadership experiences include serving as a junior high principal, a senior high principal and executive director responsible for supervision of schools and principals. As an assistant superintendent for curriculum and instruction, he implemented a standards-based instructional program that included comprehensive assessment plans with policies and professional development in classroom assessment. At ATI, Steve works with educators to help establish balanced and effective local assessment systems. He is also responsible for our leadership for excellence in assessment program - professional development for school leaders and policy makers, and is the co-author of Assessment Balance and Quality: An Action Guide for School Leaders 3rd. Ed.
Content
Table of Contents
Part 1 Principles of Assessment for Learning and Assessment Quality . . . . 1
1 Classroom Assessment: Every Student a Winner! . . . . . . . . . . . . . . . . . . . . . . . . . . 3
Keys to Quality Classroom Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
A Good Example: Emily. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
Some Students Aren't So Lucky . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Another Story of Student Success . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
What Are the Keys to Quality Classroom Assessment? . . . . . . . . . . . . . . . . . . . . . . 12
Therefore, Our Mission Together . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
To Get the Most from This Program, Form a Learning Team . . . . . . . . . . . . . . . . . . . . 19
Why Workshops Are Not Enough . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
What Is a Learning Team? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
The Learning Team Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Finding Time . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Additional Resources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Overview of This Learning Experience. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
Tracking Your Learning-Possible Portfolio Entries . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2 Assessment for and of Learning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
What We Mean by Assessment for and of Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
Why the Distinction Is Important . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
Impact of Assessment for Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
Assessment and Student Motivation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
The Research on Feedback . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
The Goal with Assessment for Learning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
What Does Assessment for Learning Look Like? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
Where Am I Going? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
Where Am I Now? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
How Can I Close the Gap? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
These Strategies as a Progression. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
Tracking Your Learning-Possible Portfolio Entries . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3 Assess What? Clear Targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
The Importance of Beginning with Targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
Benefits to Teachers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
Benefits to Students. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
Benefits to Parents. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
Clear Targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
Knowledge Targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
Reasoning Targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
Performance Skill Targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
Product Targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
Dispositional Targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
Summary of Learning Targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
Learning Targets, State Standards, and Curriculum . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
What's in a Name, or, Kinds of Learning Targets out There . . . . . . . . . . . . . . . . . . 75
We Need Good Curriculum Guides . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
What Happens When the Curriculum Has Problems? . . . . . . . . . . . . . . . . . . . . . . . 78
What to Do-Deconstructing Standards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
Concluding Thoughts. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
Tracking Your Learning-Possible Portfolio Entries . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
Part 2 Assessment Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
4 Assess How? Designing Assessments to Do What You Want . . . . . . . . . . . . . . . . 89
Assessment Methods-A Menu of Options. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
Selected Response . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
Extended Written Response . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
Performance Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
Personal Communication. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
Misconceptions About Assessment Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
Target-Method Match . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
Assessing Knowledge Targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
Assessing Reasoning Proficiency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
Assessing Performance Skills Targets. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
Assessing Proficiency in Creating Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
Thinking About Target-Method Match. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
Assessment Development Cycle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
Stage 1: Plan the Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
Stage 2: Develop the Assessment-Good Exercises and Sound
Scoring Procedures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
Stage 3: Critique the Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
Stage 4: Administer the Assessment. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
Stage 5: Revise the Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
Assessment for Learning Using Assessment Plans . . . . . . . . . . . . . . . . . . . . . . . . 118
Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
Tracking Your Learning-Possible Portfolio Entries . . . . . . . . . . . . . . . . . . . . . . . . . . 119
5 Selected Response Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
When to Use Selected Response Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
Matching Method to Target . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
Other Contextual Conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
Developing Selected Response Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
Stage 1: Plan the Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
Stage 2: Develop the Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
Stage 3: Critique the Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
Stages 4 and 5: Administer the Assessment, Watch for Problems,
and Revise as Needed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
Selected Response Assessment for Learning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
Where Am I Going? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
Where Am I Now? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
How Can I Close the Gap? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
Tracking Your Learning-Possible Portfolio Entries . . . . . . . . . . . . . . . . . . . . . . . . . . 164
Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
6 Extended Written Response Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
When To Use Extended Written Response Assessment . . . . . . . . . . . . . . . . . . . . . . . 169
Matching Method to Target . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
Other Contextual Conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
Developing Extended Written Response Assessments . . . . . . . . . . . . . . . . . . . . . . . . 171
Stage 1: Plan the Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
Stage 2: Develop the Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
Stage 3: Critique the Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
Stages 4 and 5: Administer the Assessment, Watch for Problems,
and Revise as Needed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
Extended Written Response Assessment for Learning . . . . . . . . . . . . . . . . . . . . . . . . 185
Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
Tracking Your Learning-Possible Portfolio Entries . . . . . . . . . . . . . . . . . . . . . . . . . . 186
Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
7 Performance Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
Assessment Based on Observation and Judgment. . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
Definition of Performance Assessment. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
The Two Parts of a Performance Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
When to Use Performance Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
Developing Performance Assessments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
Stage 1: Plan the Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
Stage 2: Develop the Assessment-Rubrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
Stage 3: Critique the Assessment-Rubrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
Stage 2: Develop the Assessment-Performance Tasks . . . . . . . . . . . . . . . . . . . . 218
Stage 3: Critique the Assessment-Performance Tasks . . . . . . . . . . . . . . . . . . . . 230
Stages 4 and 5: Administer the Assessment, Watch for Problems,
and Revise as Needed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
Seven Strategies for Using Rubrics as Instructional Tools in the Classroom . . . . . . . 231
Where Am I Going? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
Where Am I Now? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
How Can I Close the Gap? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244
Tracking Your Learning-Possible Portfolio Entries . . . . . . . . . . . . . . . . . . . . . . . . . . 245
Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
8 Personal Communication as Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
When to Use Personal Communication Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . 253
Matching Method to Target . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254
Other Contextual Conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254
Types of Personal Communication Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256
Instructional Questions and Answers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256
Conferences and Interviews . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
Class Discussions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
Oral Examinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
Journals and Logs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266
Possible Sources of Bias That Can Distort Results . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272
Tracking Your Learning-Possible Portfolio Entries . . . . . . . . . . . . . . . . . . . . . . . . . . 273
Additional Portfolio Entries to Represent Learning from Parts 1 and 2. . . . . . . . . . . 273
Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
Part 3 Communicating Assessment Results . . . . . . . . . . . . . . . . . . . . . . . 277
9 Communicating About Student Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
Balancing Assessments for and of Learning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
Synchronizing Assessments for and of Learning . . . . . . . . . . . . . . . . . . . . . . . . . . 281
Motivating Practice Without Grading Everything . . . . . . . . . . . . . . . . . . . . . . . . . 283
Acclimating Students to Descriptive Feedback . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
Information Management Decisions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285
What Evidence Will I Gather? Who Will Gather It? . . . . . . . . . . . . . . . . . . . . . . . . 285
Where Will the Evidence Go? How Will I Store It?. . . . . . . . . . . . . . . . . . . . . . . . . 287
How, if at All, Will I Summarize Information?. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291
Conditions for Effective Communication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292
Shared Understanding of the Targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292
Accurate Information. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
Clearly Defined Symbols . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
Communication Tailored to the Audience . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
Meeting Student and Parent Needs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296
What Students Need . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296
What Parents Need . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296
Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297
Tracking Your Learning-Possible Portfolio Entries . . . . . . . . . . . . . . . . . . . . . . . . . . 298
10 Assessment of Learning: Report Cards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
The Challenges of Report Card Grading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304
Why Do We Grade? The Purpose of Grades . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304
Three Grading Principles. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
Principle 1: The Purpose of Grades Is to Communicate . . . . . . . . . . . . . . . . . . . . 308
Principle 2: Grades Communicate About Achievement. . . . . . . . . . . . . . . . . . . . . 309
Principle 3: Grades Reflect Current Level of Achievement . . . . . . . . . . . . . . . . . . 311
Grading Guidelines. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311
Guideline 1: Organizing the Gradebook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311
Guideline 2: Including Factors in the Final Grade . . . . . . . . . . . . . . . . . . . . . . . . . 311
Guideline 3: Considering Assessment Purpose . . . . . . . . . . . . . . . . . . . . . . . . . . . 313
Guideline 4: Considering Most Recent Information . . . . . . . . . . . . . . . . . . . . . . . . 314
Guideline 5: Summarizing Information and Determining the Final Grade . . . . . . 314
Guideline 6: Verifying Assessment Quality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325
Guideline 7: Involving Students . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325
Steps in Report Card Grading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326
Rubric for Grading Practices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 328
Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330
Tracking Your Learning-Possible Portfolio Entries . . . . . . . . . . . . . . . . . . . . . . . . . . 332
11 Portfolios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
Kinds of Portfolios-Focus on Purpose . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
Project Portfolios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
Growth Portfolios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
Achievement Portfolios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
Competence Portfolios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341
Celebration Portfolios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341
Working Folders . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341
Portfolio Contents-Focus on Targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341
Artifacts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342
Work Sample Annotations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343
Goal Setting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345
Student Self-Reflection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345
Judging Quality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
Criteria for Judging Individual Entries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348
Criteria for Self-Reflection. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348
Criteria for the Portfolio as a Whole . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
Sharing Options-Communicating with Portfolios . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
Summary of Portfolio Decisions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
Keys to Successful Use . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353
Quality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353
Keeping Track . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354
Time . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354
Classroom Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354
Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355
Tracking Your Progress-Possible Portfolio Entries . . . . . . . . . . . . . . . . . . . . . . . . . . 355
12 Conferences About and with Students. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361
Purposes for Conferences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
The Feedback Conference. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
Participants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
Keys to Success . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
The Time Issue. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
The Fine Line Between Offering Feedback and Doing the
Work for the Student . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366
The Goal-Setting Conference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
Keys to Success . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
Goals That Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368
Student-Selected Long-Term Goals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373
Setting Goals Together . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
The Intervention Conference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
The Demonstration of Growth Conference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375
Improvement on One Learning Target . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375
Growth over Time . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375
Preparation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376
Followup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376
The Achievement Conference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378
Participants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379
Preparation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379
During the Two-Way Conference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 380
During the Three-Way Conference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 380
During the Showcase Conference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381
Preparing for and Conducting a Conference Focused on
Evidence of Meeting Goals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381
Followup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381
Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384
Tracking Your Learning-Possible Portfolio Entries . . . . . . . . . . . . . . . . . . . . . . . . . . 384
13 Practical Help with Standardized Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387
Information Every Educator Needs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389
The Nuts and Bolts of Standardized Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392
Important Definitions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392
Common Misconceptions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393
Test Development . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
Some Surprises to Consider . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 396
Test Scores and What They Mean . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 399
Measurement Error . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408
Using Standardized Tests to Promote Student Learning. . . . . . . . . . . . . . . . . . . . . . . 410
Make Learning Targets Clear to Students Using Released Test Questions . . . . . 410
Deconstruct the Standards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
Ethical Test Preparation Practices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413
What Parents Need to Know About Standardized Tests . . . . . . . . . . . . . . . . . . . . . . . 418
Before the Standardized Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 420
After the Standardized Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422
Implications for Teachers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423
Responsibility 1: Protect the Well-Being of Students! . . . . . . . . . . . . . . . . . . . . . . 423
Responsibility 2: Strive for Accurate Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425
Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425
Tracking Your Learning-Possible Portfolio Entries . . . . . . . . . . . . . . . . . . . . . . . . . . 426
Additional Portfolio Entries to Represent Learning from Part 3 . . . . . . . . . . . . . . . . 428
Culminating Portfolio Preparation for Sharing with Peers . . . . . . . . . . . . . . . . . . . . . 429
Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 430
Closing Comments from the Authors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 431
Appendix A: CD Contents by Chapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 437
Appendix B: DVD Contents by Chapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 441
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449
Part 1 Principles of Assessment for Learning and Assessment Quality . . . . 1
1 Classroom Assessment: Every Student a Winner! . . . . . . . . . . . . . . . . . . . . . . . . . . 3
Keys to Quality Classroom Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
A Good Example: Emily. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
Some Students Aren't So Lucky . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Another Story of Student Success . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
What Are the Keys to Quality Classroom Assessment? . . . . . . . . . . . . . . . . . . . . . . 12
Therefore, Our Mission Together . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
To Get the Most from This Program, Form a Learning Team . . . . . . . . . . . . . . . . . . . . 19
Why Workshops Are Not Enough . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
What Is a Learning Team? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
The Learning Team Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Finding Time . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Additional Resources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Overview of This Learning Experience. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
Tracking Your Learning-Possible Portfolio Entries . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2 Assessment for and of Learning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
What We Mean by Assessment for and of Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
Why the Distinction Is Important . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
Impact of Assessment for Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
Assessment and Student Motivation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
The Research on Feedback . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
The Goal with Assessment for Learning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
What Does Assessment for Learning Look Like? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
Where Am I Going? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
Where Am I Now? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
How Can I Close the Gap? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
These Strategies as a Progression. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
Tracking Your Learning-Possible Portfolio Entries . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3 Assess What? Clear Targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
The Importance of Beginning with Targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
Benefits to Teachers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
Benefits to Students. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
Benefits to Parents. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
Clear Targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
Knowledge Targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
Reasoning Targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
Performance Skill Targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
Product Targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
Dispositional Targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
Summary of Learning Targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
Learning Targets, State Standards, and Curriculum . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
What's in a Name, or, Kinds of Learning Targets out There . . . . . . . . . . . . . . . . . . 75
We Need Good Curriculum Guides . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
What Happens When the Curriculum Has Problems? . . . . . . . . . . . . . . . . . . . . . . . 78
What to Do-Deconstructing Standards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
Concluding Thoughts. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
Tracking Your Learning-Possible Portfolio Entries . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
Part 2 Assessment Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
4 Assess How? Designing Assessments to Do What You Want . . . . . . . . . . . . . . . . 89
Assessment Methods-A Menu of Options. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
Selected Response . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
Extended Written Response . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
Performance Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
Personal Communication. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
Misconceptions About Assessment Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
Target-Method Match . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
Assessing Knowledge Targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
Assessing Reasoning Proficiency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
Assessing Performance Skills Targets. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
Assessing Proficiency in Creating Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
Thinking About Target-Method Match. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
Assessment Development Cycle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
Stage 1: Plan the Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
Stage 2: Develop the Assessment-Good Exercises and Sound
Scoring Procedures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
Stage 3: Critique the Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
Stage 4: Administer the Assessment. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
Stage 5: Revise the Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
Assessment for Learning Using Assessment Plans . . . . . . . . . . . . . . . . . . . . . . . . 118
Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
Tracking Your Learning-Possible Portfolio Entries . . . . . . . . . . . . . . . . . . . . . . . . . . 119
5 Selected Response Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
When to Use Selected Response Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
Matching Method to Target . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
Other Contextual Conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
Developing Selected Response Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
Stage 1: Plan the Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
Stage 2: Develop the Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
Stage 3: Critique the Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
Stages 4 and 5: Administer the Assessment, Watch for Problems,
and Revise as Needed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
Selected Response Assessment for Learning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
Where Am I Going? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
Where Am I Now? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
How Can I Close the Gap? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
Tracking Your Learning-Possible Portfolio Entries . . . . . . . . . . . . . . . . . . . . . . . . . . 164
Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
6 Extended Written Response Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
When To Use Extended Written Response Assessment . . . . . . . . . . . . . . . . . . . . . . . 169
Matching Method to Target . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
Other Contextual Conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
Developing Extended Written Response Assessments . . . . . . . . . . . . . . . . . . . . . . . . 171
Stage 1: Plan the Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
Stage 2: Develop the Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
Stage 3: Critique the Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
Stages 4 and 5: Administer the Assessment, Watch for Problems,
and Revise as Needed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
Extended Written Response Assessment for Learning . . . . . . . . . . . . . . . . . . . . . . . . 185
Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
Tracking Your Learning-Possible Portfolio Entries . . . . . . . . . . . . . . . . . . . . . . . . . . 186
Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
7 Performance Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
Assessment Based on Observation and Judgment. . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
Definition of Performance Assessment. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
The Two Parts of a Performance Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
When to Use Performance Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
Developing Performance Assessments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
Stage 1: Plan the Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
Stage 2: Develop the Assessment-Rubrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
Stage 3: Critique the Assessment-Rubrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
Stage 2: Develop the Assessment-Performance Tasks . . . . . . . . . . . . . . . . . . . . 218
Stage 3: Critique the Assessment-Performance Tasks . . . . . . . . . . . . . . . . . . . . 230
Stages 4 and 5: Administer the Assessment, Watch for Problems,
and Revise as Needed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
Seven Strategies for Using Rubrics as Instructional Tools in the Classroom . . . . . . . 231
Where Am I Going? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
Where Am I Now? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
How Can I Close the Gap? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244
Tracking Your Learning-Possible Portfolio Entries . . . . . . . . . . . . . . . . . . . . . . . . . . 245
Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
8 Personal Communication as Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
When to Use Personal Communication Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . 253
Matching Method to Target . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254
Other Contextual Conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254
Types of Personal Communication Assessment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256
Instructional Questions and Answers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256
Conferences and Interviews . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
Class Discussions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
Oral Examinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
Journals and Logs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266
Possible Sources of Bias That Can Distort Results . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272
Tracking Your Learning-Possible Portfolio Entries . . . . . . . . . . . . . . . . . . . . . . . . . . 273
Additional Portfolio Entries to Represent Learning from Parts 1 and 2. . . . . . . . . . . 273
Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 275
Part 3 Communicating Assessment Results . . . . . . . . . . . . . . . . . . . . . . . 277
9 Communicating About Student Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
Balancing Assessments for and of Learning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
Synchronizing Assessments for and of Learning . . . . . . . . . . . . . . . . . . . . . . . . . . 281
Motivating Practice Without Grading Everything . . . . . . . . . . . . . . . . . . . . . . . . . 283
Acclimating Students to Descriptive Feedback . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
Information Management Decisions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285
What Evidence Will I Gather? Who Will Gather It? . . . . . . . . . . . . . . . . . . . . . . . . 285
Where Will the Evidence Go? How Will I Store It?. . . . . . . . . . . . . . . . . . . . . . . . . 287
How, if at All, Will I Summarize Information?. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291
Conditions for Effective Communication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292
Shared Understanding of the Targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292
Accurate Information. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
Clearly Defined Symbols . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
Communication Tailored to the Audience . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
Meeting Student and Parent Needs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296
What Students Need . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296
What Parents Need . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296
Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297
Tracking Your Learning-Possible Portfolio Entries . . . . . . . . . . . . . . . . . . . . . . . . . . 298
10 Assessment of Learning: Report Cards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301
The Challenges of Report Card Grading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304
Why Do We Grade? The Purpose of Grades . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304
Three Grading Principles. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
Principle 1: The Purpose of Grades Is to Communicate . . . . . . . . . . . . . . . . . . . . 308
Principle 2: Grades Communicate About Achievement. . . . . . . . . . . . . . . . . . . . . 309
Principle 3: Grades Reflect Current Level of Achievement . . . . . . . . . . . . . . . . . . 311
Grading Guidelines. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311
Guideline 1: Organizing the Gradebook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311
Guideline 2: Including Factors in the Final Grade . . . . . . . . . . . . . . . . . . . . . . . . . 311
Guideline 3: Considering Assessment Purpose . . . . . . . . . . . . . . . . . . . . . . . . . . . 313
Guideline 4: Considering Most Recent Information . . . . . . . . . . . . . . . . . . . . . . . . 314
Guideline 5: Summarizing Information and Determining the Final Grade . . . . . . 314
Guideline 6: Verifying Assessment Quality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325
Guideline 7: Involving Students . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325
Steps in Report Card Grading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326
Rubric for Grading Practices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 328
Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330
Tracking Your Learning-Possible Portfolio Entries . . . . . . . . . . . . . . . . . . . . . . . . . . 332
11 Portfolios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
Kinds of Portfolios-Focus on Purpose . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
Project Portfolios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
Growth Portfolios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
Achievement Portfolios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
Competence Portfolios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341
Celebration Portfolios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341
Working Folders . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341
Portfolio Contents-Focus on Targets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341
Artifacts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342
Work Sample Annotations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343
Goal Setting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345
Student Self-Reflection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345
Judging Quality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
Criteria for Judging Individual Entries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348
Criteria for Self-Reflection. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348
Criteria for the Portfolio as a Whole . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
Sharing Options-Communicating with Portfolios . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
Summary of Portfolio Decisions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
Keys to Successful Use . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353
Quality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353
Keeping Track . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354
Time . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354
Classroom Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354
Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355
Tracking Your Progress-Possible Portfolio Entries . . . . . . . . . . . . . . . . . . . . . . . . . . 355
12 Conferences About and with Students. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361
Purposes for Conferences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
The Feedback Conference. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
Participants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
Keys to Success . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
The Time Issue. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
The Fine Line Between Offering Feedback and Doing the
Work for the Student . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366
The Goal-Setting Conference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
Keys to Success . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
Goals That Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368
Student-Selected Long-Term Goals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373
Setting Goals Together . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
The Intervention Conference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
The Demonstration of Growth Conference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375
Improvement on One Learning Target . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375
Growth over Time . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375
Preparation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376
Followup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376
The Achievement Conference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378
Participants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379
Preparation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 379
During the Two-Way Conference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 380
During the Three-Way Conference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 380
During the Showcase Conference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381
Preparing for and Conducting a Conference Focused on
Evidence of Meeting Goals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381
Followup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 381
Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384
Tracking Your Learning-Possible Portfolio Entries . . . . . . . . . . . . . . . . . . . . . . . . . . 384
13 Practical Help with Standardized Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387
Information Every Educator Needs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389
The Nuts and Bolts of Standardized Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392
Important Definitions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392
Common Misconceptions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393
Test Development . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
Some Surprises to Consider . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 396
Test Scores and What They Mean . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 399
Measurement Error . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408
Using Standardized Tests to Promote Student Learning. . . . . . . . . . . . . . . . . . . . . . . 410
Make Learning Targets Clear to Students Using Released Test Questions . . . . . 410
Deconstruct the Standards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
Ethical Test Preparation Practices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413
What Parents Need to Know About Standardized Tests . . . . . . . . . . . . . . . . . . . . . . . 418
Before the Standardized Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 420
After the Standardized Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422
Implications for Teachers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423
Responsibility 1: Protect the Well-Being of Students! . . . . . . . . . . . . . . . . . . . . . . 423
Responsibility 2: Strive for Accurate Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425
Summary. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425
Tracking Your Learning-Possible Portfolio Entries . . . . . . . . . . . . . . . . . . . . . . . . . . 426
Additional Portfolio Entries to Represent Learning from Part 3 . . . . . . . . . . . . . . . . 428
Culminating Portfolio Preparation for Sharing with Peers . . . . . . . . . . . . . . . . . . . . . 429
Notes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 430
Closing Comments from the Authors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 431
Appendix A: CD Contents by Chapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 437
Appendix B: DVD Contents by Chapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439
References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 441
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449