Оценка качества результатов обучения при аттестации (компетентностный подход)

ОЦЕНКА КАЧЕСТВА РЕЗУЛЬТАТОВ 
ОБУЧЕНИЯ ПРИ АТТЕСТАЦИИ

В.И. Звонников, М.Б. Челышкова

ОЦЕНКА КАЧЕСТВА РЕЗУЛЬТАТОВ 
ОБУЧЕНИЯ ПРИ АТТЕСТАЦИИ

КОМПЕТЕНТНОСТНЫЙ ПОДХОД

Издание 2-е, переработанное и дополненное

Рекомендовано Советом Учебно-методического объединения 
по образованию в области менеджмента в качестве 
учебного пособия по дисциплине специализации специальности 
«Менеджмент организации»

Москва ● Логос ● 2020

УДК 37.0:005.7
ББК 74.58
 
З44

Р е ц е н з е н т

Н.Ф. Ефремова, доктор педагогических наук, профессор

 
Звонников В.И.

З44 
 Оценка качества результатов обучения при аттестации (компетентностный подход): учеб. пособие / В.И. Звонников, 
М.Б. Челышкова. – Изд. 2-е, перераб. и доп. – М.: Логос, 2020. – 
280 с. 
ISBN 978-5-98704-623-4

Дана краткая теоретическая и методическая информация о трактов
ке качества результатов образования в рамках компетентностного подхода, о измерениях в образовании и практических подходах к оцениванию компетенций. Представлены методики разработки аттестационных 
педагогических тестов, сопровождаемые примерами. Содержатся обзор 
возможностей различных видов инновационных измерителей и требования к их характеристикам. Описаны методики обработки, анализа и 
интерпретации данных о качестве образования. Приведены методики 
определения пороговых баллов для выделения уровней освоения компетенций.

Для преподавателей и сотрудников системы профессионального об
разования. Может использоваться преподавателями школ, в системе 
повышения квалификации работников образования и в процессе обучения студентов педагогических вузов по курсу «Современные средства 
оценивания результатов обучения». 

УДК 37.0:005.7

ББК 74.58

ISBN 978-5-98704-623-4
© Звонников В.И., Челышкова М.Б., 2020 
© Логос, 2020

ОГЛАВЛЕНИЕ

Предисловие ..........................................................................................9

Глава 1. Компетентностный подход 
с позиций оценивания качества результатов обучения ......12

1.1. Качество образования, эволюция понятия, 
компетентностный подход в федеральных 
государственных образовательных стандартах  ................ 12

1.2. Компетентность и компетенции, 
понятийный аппарат  ........................................................ 15

1.3. Кластеризация компетенций ............................................. 20

1.4. Паспортизация компетенций ............................................ 27

1.5. Компетенции как цели освоения дисциплины ................. 29

1.6. Задачи изучения дисциплины в рамках 
компетентностного подхода .............................................. 35

1.7. Обучение и оценка в рамках 
компетентностного подхода  ............................................. 41

Выводы ...................................................................................... 45

Глава 2. Основные положения теории педагогических 
измерений  ............................................................................47

2.1. Понятийный аппарат теории педагогических 
измерений .......................................................................... 47

2.2. Переменные и компоненты измерений 
в образовании, надежность и валидность результатов 
измерения .......................................................................... 50

Оглавление

2.3. Объективность педагогических измерений ...................... 55

2.4. Размерность пространства измерений, 
одномерные и многомерные конструкты ......................... 57

2.5. Уровни измерений и шкалы ............................................... 64

2.6. Надежность педагогических тестов, ее виды и оценка ..... 72

2.7. Валидность педагогических тестов, ее виды и оценка ...... 82

Выводы ...................................................................................... 85

Практические задания и вопросы для обсуждения ..................86

Глава 3. Основные подходы к разработке измерителей,
их виды и этапы разработки ................................................89

3.1. Два подхода к интерпретации результатов 
педагогических измерений  ............................................... 89

3.2. Нормативно-ориентированный подход 
и стандартизация тестов .................................................... 90

3.3. Критериально-ориентированный подход 
в педагогических измерениях ........................................... 94

3.4. Задачи тестирования и виды тестов ................................. 100

3.5. Компетентностные тесты, основные этапы 
разработки тестов для аттестации ................................... 103

3.6. Портфолио ........................................................................ 112

3.7. Кейс-измерители.............................................................. 118

3.8. Анкеты и интервью .......................................................... 129

Выводы .................................................................................... 131

Практические задания и вопросы для обсуждения ............... 133

Глава 4. Содержание компетентностных тестов, 
планирование, отбор и экспертиза качества ....................135

4.1. Целеполагание и планирование содержания 
аттестационного теста  .................................................... 135

4.2. Общие принципы отбора содержания 
аттестационных тестов .................................................... 141

4. 3. Экспертиза качества содержания 
аттестационных тестов и оценочных рубрик.................. 141

Оглавление

Выводы .................................................................................... 144

Практические задания и вопросы для обсуждения  .............. 145

Глава 5. Формы тестовых заданий ..................................................147

5.1. Общие требования к заданиям и классификация 
форм ................................................................................. 147

5.2. Задания с выбором одного или нескольких 
правильных ответов ......................................................... 149

5.3. Задания с конструируемым ответом ................................ 161

5.4. Компетентностно-ориентированные задания ................ 168

5.5. Задания на установление соответствия ........................... 180

5.6. Задания на установление правильной 
последовательности ......................................................... 182

5.7. Сравнительная характеристика форм заданий  .............. 183

Выводы  ................................................................................... 184

Практические задания и вопросы для обсуждения ............... 186

Глава 6. Статистический анализ качества тестовых 
заданий и теста ...................................................................188

6.1. Классическая и современная теории 
конструирования тестов  ................................................. 188

6.2. Математико-статистический анализ качества 
тестовых заданий на основе классической теории 
тестов  ............................................................................... 189

6.3. Использование факторного анализа 
и многомерного шкалирования для разработки 
компетентностных тестов ............................................... 210

Выводы  ................................................................................... 219

Практические задания и вопросы для обсуждения ............... 220

Глава 7. Шкалирование результатов оценивания  .........................221

7.1. Общие сведения ............................................................... 221

7.2. Шкала перцентильных рангов ......................................... 222

7.3. Стандартные показатели. Z-шкала .................................. 225

Оглавление

7.4. Шкалы стандартных оценок, полученных на 
основе линейных преобразования Z-шкалы ................... 228

7.5. Шкалирование результатов выполнения 
компетентностных тестов ............................................... 231

Выводы  ................................................................................... 234

Вопросы и задания для самопроверки ................................... 234

Глава 8. Стандарты выполнения компетентностных тестов .........235

8.1.  Задача установления стандартов ..................................... 235

8.2. Общие подходы к установлению стандартов .................. 236

8.3. Ошибки классификации ................................................. 240

8.4. Общие шаги в установлении стандартов 
выполнения тестов .......................................................... 242

8.5. Выбор метода установления стандарта ........................... 245

8.6. Метод Недельски ............................................................. 246

8.7. Метод Эбеля  .................................................................... 251

8.8. Метод Ангоффа и его модификации  ............................. 255

8.9. Метод контрастных групп  .............................................. 263

Заключение ........................................................................................267

Словарь терминов ..............................................................................269

Литература .........................................................................................277

Предисловие

На содержание этой книги повлияли два фактора, которые вместе 
с тем послужили побудительным мотивом к ее появлению. Первый – 
это введение нового поколения федеральных государственных образовательных стандартов для системы высшего профессионального образования. Второй – отсутствие должного уровня развития аппарата 
педагогических измерений в отечественном образовании. Хотя статистическая теория обоснования качества тестовых оценок очень хорошо 
развита за рубежом, а в России вышло несколько учебных пособий на 
эту тему, создание тестов в нашей стране по-прежнему ведется интуитивно, без опоры на научные методы теории измерений.
Преподаватели посвящают свое время разработке многочисленных 
проверочных заданий, имитирующих по форме тестовые, но не имеющих никаких количественных оценок своих характеристик. В первую 
очередь речь идет о количественных оценках валидности задания, числа оцениваемых переменных (размерности задания) и вклада ошибочного компонента по отдельным заданиям в общую ошибку измерения. 
Именно этим характеристикам и их оценкам на основе развернутого 
статистического анализа данных измерения в пособии уделяется большое внимание. Важность анализа усиливается благодаря трудностям 
создания измерителей, используемых при оценивании компетенций 
в аттестации.
Разработка любого аттестационного теста требует обязательного 
обоснования релевантности его содержания переменной или переменным измерения, исполь зования математико-статистических методов 
для проверки соответствия теста определенным критериям качества 
и анализа точности обеспечиваемых им оценок. Необходимость такого обоснования резко возрастает в связи с введением в высшем профессиональном образовании стандартов третьего поколения, в которых требования к качеству результатов образования формулируются 
в виде набора общекультурных (общенаучных, инструментальных, 
социально-личностных и т.д.), а также профессиональных компетенций. 

Неизбежная сложность контрольно-оценочных процессов, связанная с латентной природой результатов обучения, усугубляется специфическими характеристиками компетенций, к которым следует отнести многомерность, междисциплинарность, связь с индивидуальными 
задатками обучаемых и отсроченный характер проявления в основном 
после окончания обучения. Таким образом, сам компетентностный 
подход требует актуализации методов оценивания конструктной, прогностической и содержательной валидности, надежности и размерности результатов оценочных процессов с учетом различных факторов, 
влияющих на качество результатов образования. 
В отличие от первого издания, бывшего довольно фрагментарным, 
эта книга содержит всю необходимую информацию о корректных подходах к оценке качества результатов образования в рамках компетентностного подхода при аттестации. Она включает краткие теоретические 
и методические сведения о компетентностном подходе и измерениях 
в образовании, дополненные детализированными алгоритмами действий разработчиков компетентностных аттестационных тестов. В ней 
содержится обзор возможностей других инновационных измерителей 
и требования к их характеристикам, методики обработки и анализа 
данных измерения. Включен новый раздел, посвященный методикам 
выбора пороговых (критериальных) баллов для определения уровней 
сформированности компетенций у обучаемых и представляющий значительный интерес при стандартизации и использовании компетентностных тестов. 
Для краткости изложения и доступности материала в книге сознательно опущены темы, посвященные разработке междисциплинарных 
тестов и многомерному шкалированию. Достаточно кратко приведена 
методика использования факторного анализа для оценки учебных достижений в рамках компетентностного подхода. Отсутствует информация по современной теории тестов (Item Response Theory) и т.д. Словом, 
многие сложные методики аппарата педагогических измерений, которые используются профессионалами и должны быть задействованы 
для полноценной реализации компетентностного подхода к оценке 
качества результатов обучения, не нашли своего отражения в данном 
пособии. Поэтому представленную в книге информацию можно рассматривать как необходимый минимум, без которого немыслима реализация компетентностного подхода при аттестации обучаемых. 
В целом, эта книга предназначена для всех тех преподавателей, 
кто склонен к введению инноваций в традиционный контрольнооценочный процесс и использованию современных средств оценивания качества результатов обучения для подготовки своих студентов к аттестации на основе образовательных стандартов третьего поколения. 
Однако было бы ошибкой считать, что пособие адресовано читателю, 
обладающему специальной математической подготовкой. Также не
Предисловие