Рекомендации разработчикам оценочных средств для проведения независимой оценки квалификации
На основе опыта разработки оценочных средств к квалификациям в области нанотехнологий и высокотехнологичных производств
Покупка
Издательство:
Дело (РАНХиГС)
Год издания: 2020
Кол-во страниц: 88
Дополнительно
Вид издания:
Учебно-методическая литература
Уровень образования:
ВО - Бакалавриат
Артикул: 868877.01.99
В данных рекомендациях представлены методические основы, пошаговые инструкции разработки теоретических и практических заданий, а также указаны типичные ошибки, допускаемые при разработке, поэтому они будут полезны как методистам, разработчикам, так и специалистам, обеспечивающим экспертное сопровождение процесса создания и утверждения оценочных средств. Рекомендации могут быть использованы при разработке оценочных средств для поведения профессиональных экзаменов в любых отраслях экономики.
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Бакалавриат
- 38.03.01: Экономика
- 38.03.02: Менеджмент
- 38.03.03: Управление персоналом
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Авторы: Голуб Галина Борисовна, Самарский филиал РАНХиГС, Фишман Ирина Самуиловна, Самарский филиал РАНХиГС Рецензент: Факторович Алла Аркадьевна, доктор педагогических наук, заместитель генерального директора АНО «Национальное агентство развития квалификаций»
СОДЕРЖАНИЕ Введение. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1. Разработка оценочных средств для практического этапа профессионального экзамена. Практическое задание. . . . 5 1.1. Предмет оценки практического задания. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.2. Основания для выбора предмета оценки. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1.3. Порядок разработки оценочного средства . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2. Разработка оценочных средств для практического этапа профессионального экзамена. Портфолио. . . . . . . . . . . . . . 62 2.1. Основания для выбора защиты портфолио в качестве формы проведения профессионального экзамена . . . 62 2.2. Порядок разработки оценочного средства . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 3. Разработка оценочных средств для теоретического этапа профессионального экзамена . . . . . . . . . . . . . . . . . . . . . . . . 66 3.1. Предмет оценивания. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 3.2. Определение предметов оценивания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 3.3. Конструирование заданий с выбором одного или нескольких правильных ответов из предложенных вариантов, заданий на исключение лишнего. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .70 3.4. Конструирование заданий на установление соответствия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 3.5. Конструирование заданий на установление верной последовательности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84 3.6. Конструирование заданий со свободным кратким ответом-дополнением. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 Список литературы. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
Федеральный закон «О независимой оценке квалификации» предусматривает создание системы оценки квалификаций на соответствие положениям профессиональных стандартов, качеству которой доверяют и работодатели, и работники. Результаты независимой оценки квалификации на соответствие положениям профессиональных стандартов должны быть референтны для всех предприятий отрасли, имеющих соответствующие рабочие места. Это означает, что независимая оценка квалификации должна выстраиваться на основе принципов внешнего (суммирующего) оценивания. Внешняя оценка характеризуется тем, что она: •• ориентирована на всех работников, занимающих или претендующих на соответствующие рабочие места; •• нацелена на единообразную фиксацию результатов по оцениваемому параметру; •• реализуется посредством системы заданий, стандартизированных по содержанию, процедуре и способам оценки. Согласно Приказу Минтруда России1, организацию разработки и утверждение оценочных средств по соответствующим квалификациям, которые применяются Центрами оценки квалификаций при проведении профессионального экзамена, осуществляет Совет по профессиональным квалификациям. В области наноиндустрии с 2016 года развитие системы независимой оценки квалификации реализуется в рамках трехлетних целевых программ, инициируемых Фондом инфраструктурных и образовательных программ (группа «Роснано»). В каждой программе одним из основных видов планируемых работ является разработка оценочных средств как основного инструментария независимой оценки специалистов отрасли на соответствие требованиям профессиональных стандартов и как фундамента инфраструктуры системы. Пятилетний опыт реализации программ показал, что разработка качественных оценочных средств возможна только при гармоничном взаимодействии методологов, являющихся носителями методических основ разработки инструментов оценивания, и специалистов предприятий – носителей квалификации, профессии. Ну и третьим из «китов», на которых держится процесс разработки высококачественных валидных оценочных средств, является ответственный внешний эксперт, делающий экспертизу не для «галочки», а с целью улучшения качества оценочного средства и предупреждения ошибок и неточностей, допущенных при его создании. Рекомендации разработаны по инициативе СПК в наноиндустрии с целью распространения опыта по разработке оценочных средств, накопленного в ходе реализации программ по развитию системы НОК в наноиндустрии, для улучшения качества оценочного инструментария, в том числе в рамках соглашений о сотрудничестве с отраслевыми СПК в вопросах развития Национальной системы квалификаций. В данных рекомендациях представлены методические основы, пошаговые инструкции разработки теоретических и практических заданий, а также указаны типичные ошибки, допускаемые при разработке, поэтому они будут полезны как методистам, разработчикам, так и специалистам, обеспечивающим экспертное сопровождение процесса создания и утверждения оценочных средств. Рекомендации могут быть использованы при разработке оценочных средств для поведения профессиональных экзаменов в любых отраслях экономики. 1 Приказ Минтруда РФ от 1 ноября 2016 года N 601н «Об утверждении Положения о разработке оценочных средств для проведения независимой оценки квалификации» http://docs.cntd.ru/document/420382324 ВВЕДЕНИЕ
1.1. ПРЕДМЕТ ОЦЕНКИ ПРАКТИЧЕСКОГО ЗАДАНИЯ Предметы оценивания для практического этапа профессионального экзамена, согласно требованиям приказа Министерства труда и социальной защиты Российской Федерации от 1 ноября 2016 года № 601н к структуре оценочных средств, должны относиться к трудовым функциям, трудовым действиям, умениям. Данное требование отражает неравнозначность масштабирования единиц в различных профессиональных стандартах. Вследствие этой неравнозначности в списке умений можно найти как конкретную единицу содержания на уровне применения, так и формулировку, указывающую на целый набор умений, входящих в состав сложносоставной операции, а трудовая функция может фиксировать как единичную деятельность, завершающуюся одним значимым для производства продуктом или результатом, так и совокупность таких видов деятельности. На оценку в рамках практического этапа профессионального экзамена выносится функциональная готовность к осуществлению деятельности, завершающейся получением требуемого продукта или иного результата в конкретном ситуативном контексте. Предметом оценки является деятельность соискателя, соответствующая трудовой функции, набору трудовых действий, трудовому действию или сложносоставному умению. Масштаб оцениваемой деятельности соизмеряется с масштабом деятельности работника в производственной ситуации, завершающейся получением требуемого продукта или результата. Оценочные средства для оценивания готовности к выполнению трудовой функции или трудовых действий на основе имеющихся у испытуемого знаний, умений, опыта представляют собой стандартизированные тестовые задания открытого типа: тестовый вопрос с заданными ограничениями (с заданной структурой ответа). Оценочные средства для практического этапа профессионального экзамена должны соответствовать общим требованиям к тестовым заданиям, а именно: 1. Быть валидными, то есть измерять именно и исключительно тот предмет оценки, для оценивания которого оно используется. Валидность оценочного средства обеспечивается очевидным соответствием деятельности испытуемого деятельности работника, которая задана профессиональным стандартом. 2. Быть надежными, то есть обеспечивать воспроизводимость результатов оценивания в схожей группе испытуемых и исключать влияние факторов, отличных от готовности соискателя к трудовой функции, на результаты оценивания. Надежность обеспечивается претестированием (апробацией) оценочного средства и стандартизацией процедуры оценивания. 3. Быть объективными, то есть гарантировать, что оценщики будут интерпретировать результаты оценивания максимально сходным образом. Объективизация оценивания достигается за счет стандартизации инструмента проверки в составе оценочного средства. 4. Быть эффективными, то есть минимизировать усилия разработчика при создании оценочного средства и усилия испытуемого, направленные на демонстрацию деятельности. Эффективность достигается за счет отбора содержания оценки и исключения из состава оценочного средства предписаний выполнить те действия, которые избыточны для принятия решения о готовности испытуемого к выполнению трудовой функции. 1. РАЗРАБОТКА ОЦЕНОЧНЫХ СРЕДСТВ ДЛЯ ПРАКТИЧЕСКОГО ЭТАПА ПРОФЕССИОНАЛЬНОГО ЭКЗАМЕНА. ПРАКТИЧЕСКОЕ ЗАДАНИЕ
Необходимыми условиями соответствия оценочных средств базовым требованиям являются: •• стандартизация (унификация) содержания; •• стандартизация (унификация) процедуры оценивания; •• стандартизация (унификация) способа оценки и интерпретации результатов (инструмента оценки). 1. РАЗРАБОТКА ОЦЕНОЧНЫХ СРЕДСТВ ДЛЯ ПРАКТИЧЕСКОГО ЭТАПА ПРОФЕССИОНАЛЬНОГО ЭКЗАМЕНА. ПРАКТИЧЕСКОЕ ЗАДАНИЕ 1.2. ОСНОВАНИЯ ДЛЯ ВЫБОРА ПРЕДМЕТА ОЦЕНКИ Очевидно, что оптимальным предметом оценки является готовность испытуемого к выполнению трудовой функции в целом. Однако изложенные выше требования стандартизации оценочного средства в отдельных случаях не дают возможность выносить на оценку в рамках профессионального экзамена трудовую функцию в целом. Поэтому необходимо определить основания для предметов оценивания. Основание 1. Профессиональная деятельность, заданная трудовой функцией, требования к ее результату, объект этой деятельности и условия ее осуществления могут быть стандартизированы в процессе разработки оценочных средств. Оценочные средства должны быть стандартизированными по содержанию, процедуре, способу оценки. Следовательно, в рамках описываемого подхода не могут подвергаться оценке те трудовые функции, в основе которых лежит принципиально нестандартизируемая деятельность. Это профессиональная деятельность с преобладающей креативной составляющей: разработка принципиально новых интеллектуальных продуктов, определение стратегических приоритетов, постановка перспективных задач перед коллективами разработчиков и т. п. Как правило, такая деятельность соответствует наиболее высоким уровням Национальной квалификационной рамки восьмому, реже – седьмому. Количество специалистов такого уровня, требующихся на производстве, – единицы, и как правило, это известные в профессиональном сообществе персоналии. Любая задача стандартизации деятельности, сложной по составу, диверсифицированной в масштабе отрасли и базирующейся на инновационных технологиях, может быть решена только через определение и обоснование экспертной позиции. Потребность в принятии некоторой экспертной позиции обусловлена тем, что в той сфере, где наблюдаются становление и динамичное развитие технологий, всегда имеется несколько взглядов на деятельность и ее минимально приемлемые и оптимальные результаты. Разумеется, любая экспертная позиция принимается в процессе ее согласования с представителями других производственных структур и после обоснования. Но специфика ситуации такова, что с разным успехом может быть согласована и принята иная экспертная позиция. Поэтому для обеспечения надежности оценочных средств принятая как «точка отсчета» экспертная позиция должна быть непреложной: именно на основе этой позиции формируются критерии оценки деятельности испытуемого при проведении профессионального экзамена. Стандартизация означает отказ от учета нюансов, которые могут быть важны для производственного процесса конкретной организации или отдельных организаций отрасли. В противном случае рамка национального стандарта будет потеряна, и мы вернемся к ситуации внутрифирменной оценки персонала.
Основание 2. Оценка функциональной готовности выполнять заданную трудовой функцией деятельность может быть проведена в модельной ситуации средствами педагогического тестирования (компетентностно-ориентированный тест). Трудовая функция работника в составе профессионального стандарта призвана зафиксировать профессиональную деятельность в контексте бизнес-процесса. Поэтому в формулировку трудовой функции нередко заносится не только собственно деятельность работника, но и его позиция в структуре организации процесса («участвует», «предлагает», «во взаимодействии» и т. п.). В случаях, когда профессиональная деятельность требует ситуативного выполнения множества отдельных операций, обусловленных тем или иным решением или контекстом, при определении трудовой функции часто используется обобщенное наименование неопределенного круга операций («организует», «осуществляет сопровождение») или указание на результат целенаправленного отбора и реализации неоднородных операций («обеспечивает», «ответственен за»). Для проведения стандартизированной оценки необходимо четко обозначить требуемую деятельность, исключив указания на субординацию, сферу ответственности и другие позиции, важные в контексте производственного процесса, но препятствующие стандартизации при оценке готовности специалиста к выполнению определенной деятельности. На высоких уровнях Национальной квалификационной рамки (категория «руководитель») вычленить единую типовую деятельность при работе с такими трудовыми функциями не представляется возможным. Фактически фиксируется высокий уровень общей компетенции специалиста (в первую очередь – в сфере разрешения проблем) и наличие у такого специалиста разнообразных внутренних ресурсов, складывающихся прежде всего из опыта профессиональной деятельности, а также из самых разнообразных по содержанию знаний и умений. Конвертация таких трудовых функций в предметы оценки технически невыполнима. Также указанное основание не позволяет отобрать для оценки те трудовые функции, создание модельных ситуаций для «выполнения» которых технически невозможно или предельно затратно. Это трудовые функции, выполнение которых происходит посредством воздействия на других людей, причем это воздействие взаимное: специалист, демонстрируя деятельность, должен получать и учитывать постоянно в режиме реального времени ситуативные реакции других работников (подчиненных или смежников). Стандартизировать реакции контрагентов и ситуации в принципе можно, но полученное оценочное средство будет неэффективно, поскольку затраты на моделирование самой элементарной ситуации будут неоправданно высоки. Нужно также обращать внимание на трудовые функции, задающие деятельность с использованием уникального и дорогостоящего оборудования или расходных материалов. Согласно требованию к эффективности оценочного средства, если нельзя создать адекватную модель (т. е. такую ситуацию (имитацию, кейс), которая сохранит все компоненты деятельности: неочевидность решений, вариативность, возможность осуществлять деятельность в рамках испытания, а не предоставлять информацию об этой деятельности) средствами программного обеспечения или описательного кейса, от оценки готовности выполнять такие трудовые функции приходится отказаться. Основание 3. Демонстрация деятельности по выполнению трудовой функции не наносит ущерба интересам специалиста или организации, которую он представляет. Выполнение деятельности в соответствии с некоторыми трудовыми функциями означает создание оригинального интеллектуального продукта, который может иметь область коммерческого использования и определенную стоимость. В процессе выполнения деятельности испытуемому необходимо использовать (ссылаться, приводить в качестве обоснования и т. п.) информацию, составляющую коммерческую тайну предприятия. 1. РАЗРАБОТКА ОЦЕНОЧНЫХ СРЕДСТВ ДЛЯ ПРАКТИЧЕСКОГО ЭТАПА ПРОФЕССИОНАЛЬНОГО ЭКЗАМЕНА. ПРАКТИЧЕСКОЕ ЗАДАНИЕ
Основание 4. Оценка квалификации специалиста на основании отобранных трудовых функций и/или трудовых действий позволяет с большой долей вероятности утверждать, что испытуемый успешно реализует деятельность, определенную в составе профессионального стандарта для соответствующего уровня квалификации согласно Национальной рамке квалификаций. Здесь важна экспертная позиция, с которой оценивается взаимозависимость подготовленности специалиста к выполнению различных видов деятельности. Если имеются основания утверждать, что успешная демонстрация деятельности по выполнению двух трудовых функций, например, свидетельствует о готовности выполнять третью, от оценивания последней следует отказаться. Если имеется обоснование, что выполнение одного-двух трудовых действий гарантирует, что работник выполнит деятельность, соответствующую полному объему трудовой функции, при разработке оценочных средств можно сосредоточить усилия только на оценивании готовности к выполнению этих трудовых действий. При отсутствии технической возможности вынести на оценку готовность к выполнению трудовых функций следует рассмотреть с тех же позиций трудовые действия, входящие в состав трудовых функций. 1. РАЗРАБОТКА ОЦЕНОЧНЫХ СРЕДСТВ ДЛЯ ПРАКТИЧЕСКОГО ЭТАПА ПРОФЕССИОНАЛЬНОГО ЭКЗАМЕНА. ПРАКТИЧЕСКОЕ ЗАДАНИЕ 1.3. ПОРЯДОК РАЗРАБОТКИ ОЦЕНОЧНОГО СРЕДСТВА Шаг 1. Унификация содержания В результате работы на этом шаге разработчик получает: •• список видов деятельности, которые составляют содержание оценки и поставлены в соответствие трудовым функциям или трудовым действиям или сложносоставным умениям; при необходимости — с перечнем оснований для формирования обязательных вариантов оценочных средств; •• список трудовых функций, оценивание готовности к выполнению которых производиться не будет, снабженный кратким перечнем оснований для отказа от оценивания. Основным методом работы на этом шаге является метод экспертных оценок. Он может быть реализован через систему консультаций, интервьюирование или фокус-группы экспертов соответствующих производственных отраслей. Следует привлекать экспертов, представляющих производства, которые отличаются своим масштабом, месторасположением, базовыми производственными технологиями. Именно эти отличия должны быть нивелированы или учтены через набор обязательных вариантов при разработке оценочного средства. Важно помнить, что оценочные средства предназначены для стандартизированного оценивания в масштабах отрасли, поэтому в процессе стандартизации придется отказываться от учета нюансов отдельных производств. Не менее важно понимать, что список видов деятельности, выносимых на оценивание, является отражением согласованных экспертных позиций, а не объективной данностью, как, впрочем, и сам профессиональный стандарт.
Экспертная позиция должна быть построена по вопросам: что должно быть объектом внимания при оценке деятельности; что является точками контроля, а что может быть исключено из зоны внимания как второстепенный объект; какое качество результата/продукта деятельности можно считать удовлетворительным. Кроме того, на этом шаге потребуется получить диагностичную формулировку деятельности, которую будет выполнять соискатель. При работе над такой формулировкой рекомендуется использовать метод конвертации требований к трудовой функции в профессиональную компетенцию, поскольку он позволит предельно конкретно и однозначно описать деятельность испытуемого и включить, помимо указания на деятельность, указания на объект(-ы) или класс(-ы) объектов воздействия и контекст, в котором эта деятельность осуществляется. Порядок выполнения работ 1. Проанализировать содержание трудовых функций и установить, как они соотносятся друг с другом. Отказаться от рассмотрения трудовых функций, оценивание которых избыточно для целей независимой оценки профессиональных квалификаций. Если содержание трудовой функции может быть понято не единственным образом, то следует уточнить содержание деятельности, объекта, условий через обращение к перечню трудовых действий, и при необходимости — через консультации со специалистами. Если различные трудовые функции имеют область пересечения, то при дальнейшей работе с ними нужно постараться по возможности сформулировать на их основе описание одного вида деятельности испытуемого, подлежащей оценке, и разрабатывать оценочное средство, которое позволит сделать вывод относительно соответствия деятельности испытуемого требованиям к нескольким трудовым функциям. Если успешное выполнение специалистом деятельности в рамках одной трудовой функции однозначно гарантирует, что он успешно справится с деятельностью в рамках какой-либо другой трудовой функции, то последнюю не следует рассматривать в процессе подготовки оценочных средств. Если трудовая функция описывает деятельность, которая входит в квалификацию специалиста, но востребована крайне редко и/ или для одной из множества должностей, которые может занимать специалист рассматриваемой квалификации, то может быть принято решение не рассматривать эту трудовую функцию в процессе подготовки оценочных средств. 1. РАЗРАБОТКА ОЦЕНОЧНЫХ СРЕДСТВ ДЛЯ ПРАКТИЧЕСКОГО ЭТАПА ПРОФЕССИОНАЛЬНОГО ЭКЗАМЕНА. ПРАКТИЧЕСКОЕ ЗАДАНИЕ
2. Убедиться, что формулировка трудовой функции однозначно и исчерпывающе указывает на деятельность работника на его рабочем месте, и создать рабочую формулировку деятельности, подлежащей оцениванию. Если акцент в формулировке трудовой функции сделан на использование/применение определенных ресурсов (конкретных методов, инструментов и т. п.) при осуществлении деятельности, то, формулируя описание подлежащей оценивания деятельности, следует начать формулировку с указания на деятельность, а требуемые ресурсы обозначить в качестве контекста, обязательного условия деятельности. Если формулировка указывает на класс объектов, к которым применяется общий (универсальный) способ деятельности в области работы с информацией, самоорганизации, коммуникации, то следует уточнить характеристики объекта, требования к результату деятельности и контекст. Иначе следует признать, что зафиксирована общая компетенция, оценка которой требует иного подхода, отказаться от оценивания готовности к выполнению данной трудовой функции и рассмотреть трудовые действия, зафиксированные в ее составе. Если акцент в трудовой функции сделан на последствия или эффект осуществления деятельности («обеспечивает», «способствует»), то следует назвать деятельность, приводящую к этим последствиям/эффекту, охарактеризовав ее объект и условия (контекст) ее выполнения. Иначе следует признать, что в формулировке трудовой функции зафиксирована совокупность рабочего поведения, профессиональных умений и общих компетенций, не подлежащая оценке вне рамок реального производственного процесса, и рассмотреть трудовые действия, зафиксированные в ее составе. Если формулировка трудовой функции указывает на роль работника в производственном или вспомогательном процессе или на его место в иерархии принятия решений и распределения ответственности («участвует», «предлагает», «несет ответственность»), то следует назвать деятельность работника, игнорируя меру и вид (индивидуальная или групповая) его ответственности. Если формулировка тавтологична или слишком широка для целей оценивания, то следует выявить фрагменты формулировки, являющиеся обобщениями («современные технологии», «высокое качество» и т. п.), и конкретизировать их. 1. РАЗРАБОТКА ОЦЕНОЧНЫХ СРЕДСТВ ДЛЯ ПРАКТИЧЕСКОГО ЭТАПА ПРОФЕССИОНАЛЬНОГО ЭКЗАМЕНА. ПРАКТИЧЕСКОЕ ЗАДАНИЕ