Разработка тестов и анкет для национальной оценки учебных достижений. Книга 2

Разработка
тестов и анкет
для национальной
оценки
учебных
достижений
Developing T
ests
and Questionnaires
for a National
Assessment of
Educational
Achievement

National Assessments of Educational Achievement
VOLUME 2
Developing T
ests
and Questionnaires
for a National
Assessment of
Educational
Achievement
Prue Anderson and George Morgan
Vincent Greaney and
Thomas Kellaghan, Series Editors
THE WORLD BANK

Национальная оценêа óчебных достижений
Прó Андерсен, Джордж Морãан
Разработка
тестов
и анкет для
национальной
оценки учебных
достижений
КНИГА 2
Редаêторы серии –
Винсент Грини, Томас Келлаãан
Москва
Логос
2020

Издание подготовлено при поддержке
Международного банка реконструкции и развития
УДК 378
ББК 74.58
      А65
Перевод подготовлен по инициативе
Центра международного сотрудничества
по развитию образования Российской
академии народного хозяйства
и государственной службы
при Президенте Российской Федерации
Андерсен, Пру
А65
Разработка тестов и анкет для национальной оценки учебных достижений / Пру Андерсен, Джордж Морган; пер. с англ.
В.Н. Симкина; науч. ред. В.И. Звонников. – М.: Логос, 2020. –
196 с.: ил. – (Национальная оценка учебных достижений).
ISBN 978-5-98704-546-6
Представлена технология разработки надежного инструментария для систем оценки учебных достижений. Освещено  конструирование тестов учебных 
достижений, включая разработку структуры  заданий, их предварительную проверку, отбор и создание окончательного теста. Раскрыты основные этапы конструирования анкет: их проектирование, написание вопросов, кодирование ответов. Рассмотрен вопрос соответствия данных анкет и тестов. Показано, как 
спроектировать руководство для администратора тестирования и гарантировать, что учащиеся выполняют тест в равных условиях. Характеризуются обязанности администратора по тестированию. Изложен подход к реформированию школ в национальном оценивании.
Для специалистов по разработке специализированных тестов и специалистов-предметников, а также для методистов, участвующих в организации тестирования и других оценочных мероприятий. Представляет интерес для широкого круга специалистов-предметников – учителей и преподавателей различных 
дисциплин, самостоятельно разрабатывающих и/или использующих тесты и 
другие технологии педагогических измерений, которые позволяют оценивать 
учебные достижения обучаемых и сопутствующие им факторы. Может использоваться в учебном процессе по педагогическим направлениям (специальностям), а также при повышении квалификации педагогических кадров и их подготовке в магистратуре в области тестологии и педагогических измерений, при 
изучении тематики, связанной с контролем и оценкой знаний обучаемых. Представляет интерес для широкого круга учителей, преподавателей и методистов 
учебных заведений всех видов и уровней.
УДК 378
ББК 74.58
ISBN 978-5-98704-546-6
© Международный банк
реконструкции и развития/
    Всемирный банк, 2020 
© Логос, 2020

H Street NW
Washington, DC 20433
Телефон: 202-473-1000
Internet: www.worldbank.org
E-mail: feedback@worldbank.org
Все права защищены
1 2 3 4 10 09 08 07
Эта книга подготовлена под эгидой Международного банка реконструкции
и развития. Представленные в ней материалы не всегда отражают точку
зрения исполнительных директоров Всемирного банка или правительств
государств, которые они представляют.
Всемирный банк не гарантирует точности приведенных данных. Границы,
цвета, географические наименования и иная информация, приведенная на
картах, не отражает позицию Всемирного банка относительно правового
статуса территорий.
Авторское право
Произведение защищается авторским правом. Копирование и/или передача произведения или его частей без разрешения правообладателя преследуется по закону.
Международный банк реконструкции и развития поощряет работы по
распространению книги и гарантирует предоставление разрешения на
воспроизведение ее частей.
For permission to photocopy or reprint any part of this work, please send a
request with complete information to the Copyright Clearance Center Inc., 222
Rosewood Drive, Danvers, MA 01923, USA; telephone: 978-750-8400; fax: 978750-4470; Internet: www.copyright.com.
All other queries on rights and licenses, including subsidiary rights, should be
addressed to the Offi ce of the Publisher, The World Bank, 1818 H Street NW
,
Washington, DC 20433, USA; fax: 202-522-2422; e-mail:
pubrights@worldbank.org.
Cover design: Naylor Design, Washington, DC
ISBN-13: 978-0-8213-7497-9
eISBN: 978-0-8213-7498-6
DOI: 10.1596/978-0-8213-7497-9
Library of Congress Cataloging-in-Publication Data
Anderson, Prue, 1954–
Developing tests and questionnaires for a national assessment of educational
achievement / Prue Anderson, George Morgan. p. cm.—(National assessment of
educational achievement ; volume 2)
Includes bibliographical references and index.
ISBN 978-0-8213-7497-9 (alk. paper)—ISBN 978-0-8213-7498-6
1. Educational tests and measurements—United States. 2. Educational
evaluation—
United States. I. Morgan, George, 1945– II. Title.
LB3051.A715 2008
371.26”1—dc22
2008002684

Выражение  признательности
Научные консультанты, переводчики, редакторы Издательской группы «Логос» выражают признательность Московскому представительству Международного банка реконструкции
и развития, особенно Исаку Фрумину и Тиграну Шмису, за помощь и поддержку в подготовке и выпуске этой книги и всей
серии книг «Национальная оценка учебных достижений». Мы
благодарим В.А. Болотова, вице-президента Российской академии образования, который направлял наши усилия на достижение целей, имеющих исключительное значение для реформирования российской системы образования. Высокой оценки
заслуживает вклад Центра международного сотрудничества
по развитию образования, который выступил инициатором
перевода книг по оценке учебных достижений на русский язык.

СОДЕРЖАНИЕ
ПРЕДИСЛОВИЕ ................................................................................ 13
ОБ АВТОРАХ И РЕДАКТОРАХ ......................................................... 15
БЛАГОДАРНОСТИ ............................................................................ 17
СПИСОК СОКРАЩЕНИЙ .................................................................. 19
ЧАСТЬ 1
КОНСТРУИРОВАНИЕ ТЕСТОВ УЧЕБНЫХ
ДОСТИЖЕНИЙ
ГЛАВА 1
ПРЕДВАРИТЕЛЬНЫЕ ЗАМЕЧАНИЯ ............................. 21
ГЛАВА 2
РАЗРАБОТКА СТРУКТУРЫ........................................... 29
Проект теста, или Таблица спецификации ................. 31
Валидность ........................................................................ 37
Язык теста.......................................................................... 37
Форма задания .................................................................. 38
Г
енеральная совокупность учащихся
для проведения оценки ................................................... 46
Сообщение результатов................................................... 46
Контекст ............................................................................ 48
ГЛАВА 3
НАПИСАНИЕ ЗАДАНИЙ ................................................ 51
Трудность задания ............................................................ 53
Систематическая ошибка задания................................. 55

СОДЕРЖАНИЕ
Материал стимула ............................................................ 56
Форма задания .................................................................. 58
Тренировочные задания ................................................. 72
Расположение и дизайн заданий ................................... 73
Команда, пищущая задания ............................................ 79
Группы экспертов по заданиям ...................................... 83
Другие эксперты ............................................................... 86
Отслеживание заданий.................................................... 87
ГЛАВА 4
ПРЕДВАРИТЕЛЬНАЯ ПРОВЕРКА ЗАДАНИЙ ...............91
Дизайн предтестовой формы......................................... 95
Вычитка и тиражирование предварительного теста .. 100
Проведение предварительного тестирования.......... 103
Оценка предварительного теста ................................. 104
Надежность ..................................................................... 111
ГЛАВА 5
ОТБОР ТЕСТОВЫХ ЗАДАНИЙ ................................... 113
ГЛАВА 6
СОЗДАНИЕ ОКОНЧАТЕЛЬНОГО ТЕСТА .................... 121
Проектирование окончательного теста .................... 121
Вычитка и тиражирование ........................................... 125
ГЛАВА 7
ОЦЕНКА ТЕСТОВЫХ ЗАДАНИЙ ВРУЧНУЮ ............... 129
ЧАСТЬ 2
КОНСТРУИРОВАНИЕ АНКЕТ
ГЛАВА 8
ПРОЕКТИРОВАНИЕ АНКЕТ ........................................ 137
Содержание анкет .......................................................... 139
Проект анкеты ................................................................ 144
Задания анкеты ............................................................... 146
Форма заданий ................................................................ 148
Язык анкеты .................................................................... 149
Респонденты.................................................................... 149
Предъявление анкет ...................................................... 150
План анализа данных ..................................................... 151
ГЛАВА 9
НАПИСАНИЕ ЗАДАНИЙ ДЛЯ АНКЕТ ......................... 153
Вопросы ........................................................................... 154
Утверждения ................................................................... 154
Варианты ответов .......................................................... 155
Управление проблемами чувствительности .............. 157
Макет анкеты .................................................................. 158
Экспертиза анкет............................................................ 158

СОДЕРЖАНИЕ
ГЛАВА 10
КОДИРОВАНИЕ ОТВЕТОВ НА АНКЕТЫ .................... 163
Подготовка анкет для ввода данных ........................... 165
Кодирование пропущенных или неоднозначных
ответов ............................................................................. 165
ГЛАВА 11
СООТВЕТСТВИЕ ДАННЫХ АНКЕТ И ТЕСТОВ ........... 167
Анкеты для учащихся ..................................................... 168
Анкеты для родителей ................................................... 168
Анкеты для опроса преподавателей и директоров
школ .................................................................................. 169
ЧАСТЬ 3
ДИЗАЙН РУКОВОДСТВА ПО ПРЕДЪЯВЛЕНИЮ
ТЕСТА
ГЛАВА 12
РУКОВОДСТВО ПО ПРЕДЪЯВЛЕНИЮ ТЕСТА .......... 173
Содержание руководства .............................................. 174
Использование руководства ......................................... 176
Особенности руководства............................................. 176
Сколько деталей необходимо? ..................................... 178
Тренировочные вопросы .............................................. 179
Апробация ....................................................................... 179
Обзор ................................................................................ 182
ГЛАВА 13
АДМИНИСТРАТОР ПО ТЕСТИРОВАНИЮ .................. 183
Выбор администратора ................................................. 183
Следование инструкциям.............................................. 184
Проверка качества ......................................................... 186
Контрольный список обязанностей
администратора .............................................................. 187
ГЛАВА 14
ИНФОРМИРОВАНИЕ ШКОЛ О НАЦИОНАЛЬНОЙ
ОЦЕНКЕ ...................................................................... 191
ЛИТЕРАТУРА ДЛЯ ДАЛЬНЕЙШЕГО ЧТЕНИЯ ......................... 193
ДОПОЛНИТЕЛЬНЫЕ МАТЕРИАЛЫ
2.1. Учебный план по математике в  Папуа – Новая
Гвинея ................................................................................. 32
2.2. Проект Новой Зеландии по английскому языку .. 32
2.3. Примеры заданий с множественным выбором.... 39
2.4. Пример задания с кратким конструируемым
ответом ............................................................................... 39
2.5. Пример открытого задания с кратким ответом... 40
2.6. Пример краткого эссе .............................................. 41

СОДЕРЖАНИЕ
3.1. Пример иррелевантного  материала стимула ...... 58
3.2. Пример задания  с неточной или вводящей в
заблуждение информацией ............................................ 59
3.3. Пример задания с множественным выбором ....... 60
3.4. Расстановка знаков препинания в случае, если
варианты ответов представляют собой законченные
предложения ..................................................................... 61
3.5. Расстановка знаков препинания, если варианты
ответов даны в форме перечня ...................................... 61
3.6. Сокращение текста задания .................................... 62
3.7. Задание с отрицанием в основной части .............. 62
3.8. Некорректный подбор слов в дистракторах ........ 63
3.9. Корректное  сочетание основной части с дистракторами ................................................................................ 63
3.10. Пример неграмотно составленного задания с
кратким ответом ............................................................... 67
3.11. Пример грамотно составленного закрытого
задания с конструируемым ответом .............................. 68
3.12. Задание с частичным кредитованием.................. 68
3.13. Пример открытого задания с кратким ответом
с руководством по оценке ............................................... 70
3.14. Пример закрытого задания с конструируемым
ответом и руководство по оценке.................................. 71
3.15. Использование рисунков для сокращения формулировок .............................................................................. 75
3.16. Принцип простоты изображения ........................ 76
3.17. Четкая маркировка изобразительного
материала ........................................................................... 76
3.18. Ясные обозначения на картах............................... 77
3.19. Роль свободного пространства для понимания
материала стимула............................................................ 78
3.20. Пример таблицы стилей для авторов заданий... 82
4.1. Пример задания в форме с множественным
выбором и в открытой форме ...................................... 105
4.2. Пример формата ввода данных
для предтеста .................................................................. 107
6.1. Пример обложки теста ........................................... 122
8.1. Проект анкеты по отношениям и ценностям .... 145
9.1. Пример неграмотного расположения квадратиков
для ответов ...................................................................... 159
9.2. Пример грамотного расположения квадратиков
для ответов ...................................................................... 159