Социологические аспекты оценочных исследований. Методология и перспективы применения
Покупка
Новинка
Тематика:
Анализ хозяйственной деятельности (АХД)
Издательство:
МИСИ-Московский государственный строительный университет
Год издания: 2022
Кол-во страниц: 77
Дополнительно
Вид издания:
Монография
Уровень образования:
ВО - Магистратура
ISBN: 978-5-7264-3019-5
Артикул: 881474.01.99
В монографии исследуется роль оценочных исследований при проведении государственных социальных программ. Оценочные исследования — относительно новое явление науки и практики и занимает особое место в структуре государственного управления, так как предназначено для снижения коррупции при проведении проектной деятельности. Особое внимание уделяется актуальным вопросам, которые ставятся во главу обязанностей экономистов.
Для аспирантов, магистрантов, преподавателей. Предложенный инструментарий может быть широко использован при оценке воздействия проектов, осуществляемых в различных сферах хозяйственной деятельности.
Тематика:
ББК:
УДК:
- 316: Социология. Социальная психология
- 378: Высшее профессиональное образование. Высшая школа. Подготовка научных кадров
ОКСО:
- ВО - Магистратура
- 38.04.01: Экономика
- 38.04.02: Менеджмент
- 38.04.04: Государственное и муниципальное управление
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
УДК 316:378 ББК 60.5:74.48 А16 СЕРИЯ ОСНОВАНА В 2008 ГОДУ Рецензенты: доктор экономических наук, профессор Н.Б. Грищенко, профессор Института социальной политики НИУ ВШЭ; кандидат педагогических наук А.Д. Ишков, заведующий кафедрой социальных, психологических и правовых коммуникаций НИУ МГСУ Монография рекомендована к публикации научно-техническим советом НИУ МГСУ Абрамова, Надежда Владиславовна. А16 Социологические аспекты оценочных исследований. Методология и перспективы применения [Электронный ресурс] : монография / Н.В. Абрамова ; Министерство науки и высшего образования Российской Федерации, Национальный исследовательский Московский государственный строительный университет, кафедра социальных, психологических и правовых коммуникаций. — Электрон. дан. и прогр. (0,8 Мб). — Москва : Издательство МИСИ – МГСУ, 2022. (Библиотека научных разработок и проектов НИУ МГСУ). — Режим доступа: http://lib.mgsu.ru/ — Загл. с титул. экрана. ISBN 978-5-7264-3019-5 (сетевое) ISBN 978-5-7264-3020-1 (локальное) В монографии исследуется роль оценочных исследований при проведении государственных социальных программ. Оценочные исследования — относительно новое явление науки и практики и занимает особое место в структуре государственного управления, так как предназначено для снижения коррупции при проведении проектной деятельности. Особое внимание уделяется актуальным вопросам, которые ставятся во главу обязанностей экономистов. Для аспирантов, магистрантов, преподавателей. Предложенный инструментарий может быть широко использован при оценке воздействия проектов, осуществляемых в различных сферах хозяйственной деятельности. Научное электронное издание © ФГБОУ ВО «НИУ МГСУ», 2022 DOI: 10.22227/978-5-7264-3019-5.2022.77
Редактор Л.В. Себова Корректор Л.В. Светличная Компьютерная правка и верстка О.В. Суховой Дизайн первого титульного экрана Д.Л. Разумного Для создания электронного издания использовано: Microsoft Word 2010, ПО Adobe Acrobat. Подписано к использованию 20.04.2022. Объем данных 0,8 Мб. Федеральное государственное бюджетное образовательное учреждение высшего образования «Национальный исследовательский Московский государственный строительный университет» 129337, Москва, Ярославское ш., 26. Издательство МИСИ – МГСУ. Тел. (495) 287-49-14, вн. 14-23, (499) 183-91-90, (499) 183-97-95. E-mail: ric@mgsu.ru, rio@mgsu.ru
Оглавление ВВЕДЕНИЕ .................................................................................................................................................... 5 Глава 1. ИСТОРИЧЕСКИЕ ЭТАПЫ ОЦЕНОЧНЫХ ИССЛЕДОВАНИЙ ............................................... 7 1.1. Политический контекст .................................................................................................................... 8 1.2. История методологических подходов к оценке ........................................................................... 16 Выводы .................................................................................................................................................... 33 Глава 2. СОЦИОЛОГИЯ ОБРАЗОВАНИЯ ВЗРОСЛЫХ ........................................................................ 34 2.1. Интерпретация концепций «непрерывного обучения взрослых»............................................... 34 2.2. «Концептуальная сфера» непрерывного обучения ...................................................................... 38 Выводы .................................................................................................................................................... 46 Глава 3. АНАЛИЗ КЕЙС-СТАДИ ИНСТРУМЕНТАРИЯ ПО ОЦЕНКЕ ОБРАЗОВАТЕЛЬНОЙ ПРОГРАММЫ ............................................................................................................................................. 47 3.1. Историческая справка о программе подготовки управленческих кадров ................................. 48 3.2. Вторичный методический анализ опросного инструментария ................................................... 51 3.3. Построение концептуальной модели ............................................................................................. 56 Выводы .................................................................................................................................................... 69 ЗАКЛЮЧЕНИЕ ........................................................................................................................................... 70 БИБЛИОГРАФИЧЕСКИЙ СПИСОК ........................................................................................................ 71 ПРИЛОЖЕНИЕ ........................................................................................................................................... 74
ВВЕДЕНИЕ
Оценочные исследования в нашей стране могут внести вклад в трансформацию института
образования в России, что вызвано началом проведения национальных проектов в данной сфере
и усилением бюрократизации процессов. Восприятие социальных реформ определяется тем,
как заинтересованные части населения оценивают их значимость. Образование относится к
одной из базовых социальных сфер и напрямую связано с социальной стабильностью в обществе.
Однако стабильность сейчас подвергается влиянию пандемии. В 2020 г. школы и высшие
учебные заведения длительное время проводили занятия онлайн. Интернет-технологии помогли
справиться с переводом на дистанционное обучение. Тем не менее внезапное внедрение этих
технологий имело различные последствия для образовательного процесса в целом и для всех
включенных в него акторов. Для оценки таких последствий и могут быть проведены оценочные
исследования.
Культура и образование являются важными элементами сохранения российской идентичности и социальной стабильности общества, тем более в период кризиса общества во
время пандемии, когда особенно важно оценить эффективность проводимых преобразований
и рационального расходования государственных финансов. Так, оценочные исследования в
западных странах начали проводиться одновременно с запуском государственных социальных
реформ в социальной сфере. Под оценкой мы подразумеваем «постоянную оценку результатов
программы, которые сравниваются по набору скрытых и явных показателей, чтобы улучшить
как направления социальной политики, так и отдельной программы»1.
В последние годы практика проведения оценки в социальной сфере начала понемногу
применяться и в России, что может позволить повысить эффективность программ. Важным
компонентом проведения образовательных реформ стали оценочные исследования. И они
также помогают при решении различных задач экономического характера, направленных в
основном на совершенствование умений трудовых ресурсов. Эти исследования предназначены
для определения эффективности образовательных программ как социально-политического
элемента.
У такого рода исследований есть ряд методических особенностей, которые недостаточно
изучены и не применяются в практике современных исследований. Эти особенности включают
следующее: учет целей не только инициаторов программ (государственных и негосударственных),
но и целей и интересов потенциальных получателей (например начинающих управленцев),
а также цели непрямых бенефициаров (например работодателей). Кроме того, методология
оценочного исследования ориентирована на практическую эффективность с минимизацией
прямых и косвенных затрат.
И при этом, даже при наличии работ, посвященных анализу некоторых методологических
задач исследования, можно говорить, что не было проведено комплексного анализа методологии
оценки и не были предложены методы решения наиболее важных задач повышения валидности
и надежности полученных в оценочных исследованиях результатов. Но в последнее время
наметилось снижение интереса политиков к оценочным исследованиям и снижению интереса
к методологии как социологических исследований в целом, так и в частности к оценочным
исследованиям.
1 Weiss C.Н. Evaluation: Methods for Studying Programs and Policies / C.Н. Weiss. New Jersey : Prentice Hall,
1998. P. 4.
В последние годы проводится ряд национальных программ, нацеленных на развитие
социальных и экономических показателей (образование, обеспеченность жильем, качество
медицинского обслуживания). И в связи с этим опять возникает необходимость в оценке
эффективности этих программ и обращении к методике оценочных исследований как к одному
из самых эффективных инструментов. Таким образом, представляется целесообразным проанализировать проблемы оценки на основе существующих публикаций по этой теме, тем более
что уже имеется значительное количество статей по теме в западных журналах. В России такой
базы нет, что связано скорее с развитостью коррупции.
Данное исследование представляет собой попытку провести историко-методологический
анализ имеющихся подходов в данной сфере, который позволит обозначить основные проблемы
и определить возможные направления по их решению.
Цель — провести историко-социологическую реконструкцию и методологический теоретический анализ существующих подходов к оценочным исследованиям.
Согласно Х. Блейлоку, необходимость в «теории вспомогательного измерения» проистекает
из того факта, что в социологическом смысле структуры представлены на двух разных языках —
операциональном и теоретическом. В соответствии с этой концепцией смысл диагностической
процедуры заключается в создании на предварительном этапе теории вспомогательных мероприятий. На его основе проводятся исследование и оценка взаимосвязи «структуры» и ее
эмпирических показателей.
Важным шагом в развитии методологии оценочных исследований стал метод построения
концептуального картографирования Уильяма Трочима. Он является детально разработанной
техникой создания вспомогательной теории измерения, т.е. для построения модели отношения
индикаторов к теоретическим конструктам2.
2 Trochim W. Concept Mapping: Soft Science or Hard Art? // Evaluation and Program Planning. 1989. V. 12, Iss. 1.
P. 87–110.
Глава 1. ИСТОРИЧЕСКИЕ ЭТАПЫ ОЦЕНОЧНЫХ ИССЛЕДОВАНИЙ
В работе рассматривается история оценочных исследований. Этот процесс становления
направления как самостоятельной научной дисциплины начался с середины 1960-х гг. с появлением масштабных социальных программ по поддержке бедных. Но предпосылки для
возникновения оценочной деятельности появились еще в XIX веке. В качестве исходной
концептуализации анализа истории оценочных исследований можно принять понятие «оценка».
Важно обеспечить «полезную обратную информацию» для широкой аудитории, доноров,
спонсоров, администрации, групп-клиентов, политиков. Оценка рассматривает ожидаемые и
полученные результаты, причинно-следственные связи. Выводы и рекомендации оценивания
основываются на надежных и достоверных фактических данных, что позволяет их использовать
для принятия решений3.
Цель главы — определить возможность выделения оценки в обособленную часть исследований, анализируя научную литературу, и реконструировать истории оценки. Для достижения поставленной цели рассматривается развитие оценки с двух ракурсов: исторического,
а затем с методологического. Теоретики отмечают, что одной из задач исследования является
создание научного знания о результатах, т.е. оценка направлена на практическое применение.
Заказчиками чаще всего выступают государственные организации. Но могут выступать в
качестве заказчика политические партии или некоммерческие организации.
У оценочных исследований есть некоторые особенности, которые будут подробно представлены в анализе их истории. К такой особенности исследований можно отнести большое
число акторов — исполнителей, заказчиков и бенефициаров. Перечислим основных акторов,
принимающих участие в процессе оценки:
– заказчики — организации, которые принимают решение о запуске программы;
– инвесторы программы — организации, которые финансируют программу;
– участники программы — люди или семьи, которые принимают участие в программе;
– группа программы — люди или организации, реализующие обучение;
– оценщики — люди, которые осуществляют оценку программы;
– конкурентные программы — организации, конкурирующие за использование фондов4.
Обеспечить кооперацию всех акторов становится основной задачей оценщиков, которая
была осознана в процессе реализации программ. Еще одна задача оценщиков — это обсуждение
целей программы со всеми участниками.
3 Абрaмова Н.В. Оценочные исследования в социологии: история, методология и перспективы применения
в сфере образования : дисс. ... канд. соц. наук : 22.00.01 / Абрамова Надежда Владиславовна ; [место защиты:
Ин-т социологии РАН]. Москва, 2017. 201 с.
3 Rossi P.H. Evaluation: A Systematic Approach / P.H. Rossi, M.W. Lipsey, H.E. Freeman. Thousand Oaks : Sage,
2004. 490 p.
1.1. Политический контекст
Проявление интереса политиков к социальным исследованиям обусловлено появлением двух
публикаций: работы Ч. Бута и исследования группы американских социологов «Американский
солдат». Обратимся вначале к работе Бута. Под социальными проблемами назывались алкоголизм,
проституция, преступность, заболеваемость, неграмотность. Исследование посвящено проблеме
бедности. В книге «Жизнь и труд жителей Лондона» город разделен на части, в которых
проживают различные социальные слои. Свои выкладки автор графически изобразил с применением семицветного кода. Черным обозначались люди, находящиеся на социальном дне.
«Очень бедные» были обозначены синим. Эта работа внесла серьезный вклад в развитие методологии социальных обследований в Америке. У Бута было много последователей. Он доказал,
что основными причинами бедности были экономические причины. То есть он показал, что
проблема может быть определена с помощью статистических данных5.
Нас заинтересовал вопрос: «Почему политики при решении проблем бедности стали обращаться к социальным обследованиям?» Американский конгресс в 1892 г. принял решение по
организации обследования трущоб в больших городах (свыше двухсот тысяч человек). Горячим
сторонником пересмотра проблемы бедности стал Роберт Хантер. Он описал масштабы и
последствия бедности в Соединенных Штатах на основе статистических данных по нищенству,
деятельности благотворительных обществ и уровню заработной платы. В это же время в
Нью-Йорке была основана Новая школа социальных исследований. Эта группа ученых организовала исследования всех сфер жизни общества. Обследования были направлены на привлечение внимания к «социальным проблемам»6.
ПРЕДЫСТОРИЯ ОЦЕНОЧНЫХ ИССЛЕДОВАНИЙ
Начало оценочных исследований в США произошло в 1960-х гг. и связано с запуском
государственных реформ по борьбе с бедностью. Проблемы бедности в это время вошли в
основную повестку государственной политики. В 1887 г. Дж. Райс в США начал осуществлять
исследование в образовании7. Проводилось тестирование нескольких методик и поиски
нововведений в управление школ. Райс протестировал роль заучивания при формировании
правописания у учеников. Результаты исследования не показали значимых улучшений при
заучивании, что привело к переоценке его полезности и изменению учебных методик8.
Как уже упоминалось ранее, повышению легитимации оценочных исследований способствовала книга «Американский солдат»9. Эта работа способствовала развитию методологической
базы оценочных исследований в США и помимо этого предложила политикам эффективный
инструмент для решения управленческих вопросов. Исследования начались в 1941 году.
Советниками в проведении программы были Самуэль Стауффер и Ренсис Лайкерт.
5 Hennock E.P. Concepts of poverty in the British social surveys from Charls Booth to Arthur Bowley // The social
survey in historical perspective 1880–1940 / Ed. by M. Bulmer, K. Bales, K.K. Sklar. Cambridge : Cambridge Univ.
Press, 1991. P. 189–216.
6 Maddaus G.F., Stufflebeam D.L. Evaluation: a Historical Overview // Evaluation Models: Viewpoints on Educational
and Human Services Evaluation / Ed. by D.L. Stufflebeam, G.F. Madaus, T.Kellaghan. Boston : Kluwer academic publishers,
2002. P. 3–18.
7 Ibid.
8 Сивак Е.В. История оценочных исследований в образовании в США: аналитический обзор // Социология:
методология, методы, математическое моделирование. 2011. № 33. С. 115.
9 Lazarsfeld P.F. The American Soldier — An Expository Review // Public Opinion Quarterly. 1949. V. 13, N 3.
P. 391–404.
Хотя в книге и не приведены какие-либо принципиально новые теоретические подходы,
но были привнесены существенные инновации в методологическую базу зарождающихся
оценочных исследований. Работа «Американский солдат» стала результатом вторичного анализа,
и Стауффер считал, что тривиальные практические проблемы могут быть смоделированы
учеными в «достойные» исследовательские вопросы. Однако полученные эмпирические
результаты требуют последующего изучения при менее жестких условиях. Благодаря усилиям
Стауффера после завершения военного проекта было получено финансирование (грант фонда
Карнеги), позволившее провести вторичный анализ данных, результатом чего и стала известная
работа «Американский солдат». В авторскую команду вошли ученые Луис Гуттман (Корнуэлл)
и Леонард Коттрелл (Фонд Рассела Сейджа). Аналитическая работа была основана на теоретическом обобщении материалов широкомасштабных количественных исследований.
Наряду с Лазарсфельдом Стауффер был убежден, что практические задачи могли способствовать развитию принципов научного знания. Главная цель, которую разделяли и Стауффер
и Лазарсфельд, состояла в том, чтобы ученые в оценочных исследованиях активно использовали
социологические теории и методологию. Стауффер и его коллеги применяли академические
знания для решения прикладных задач. При проведении исследования военным требовались
быстрые практические результаты. Из сотни практических вопросов, решенных исследовательским отделом во время проведения проекта, была отобрана только часть тем для вторичного анализа после завершения проекта. Ученым удалось справиться с проведением оценки в
процессе исследования, но для получения научного знания потребовались дополнительное
время и финансирование после завершения проекта.
На основе данных, полученных в ходе проведения исследований в армии, Стауффер и его
коллеги пытались уловить динамику группового взаимодействия и контекст индивидуального
восприятия, отношения, морального состояния, приспособления и поведения. Ученые намеревались измерить групповые процессы напрямую, чтобы получить модели объяснения взаимодействия между индивидами и их групповыми характеристиками.
Например, ученые обнаружили, что первичные группы навязывают конкретные стандарты
поведения внутри группы (шовинистский патриотизм, например, являлся табу) и обеспечивают
эмоциональную поддержку в бою. Они установили, что офицеры были меньше разочарованы
своими шансами на продвижение. Они давали объяснение существующим различиям между
ветеранами, заменой в ветеранском подразделении и недавно сформированным подразделением.
Одним из необычных результатов является исследование по анализу различий между
удовлетворенностью в продвижении и уровнем образования военнослужащих. Менее образованные солдаты полагали, что их перспективы продвижения по службе высоки, тем временем
как более образованные солдаты менее оптимистично оценивали свои шансы. Это впоследствии
послужило развитию концепции уровня ожиданий. Особенно интересные факты были обнаружены при сравнении военной полиции и военно-воздушных сил (ВВС). Представители
военной полиции думали, что их возможности продвижения выше, чем у их коллег из воздушных
войск, хотя фактически возможности продвижения по службе в военной полиции были самыми
низкими из всех родов войск.
При интерпретации использовались концепции уровня ожиданий и относительной депривации, которые позволили объяснять многие результаты. Военно-воздушные войска представляли род войск с высоким уровнем продвижения, у самих летчиков были высокие ожидания
продвижения по службе. Поскольку большинство летчиков были успешны, то те, кто не сумел
сделать военную карьеру, чувствовали разочарование более остро. Напротив, в военной полиции
представители, не получившие продвижение по службе, могли рассчитывать на большее сочувствие — две трети товарищей находились в той же ситуации. Люди оценивали свой успех
относительно скорости продвижения по службе в их подразделении10. Стауффер чувствовал
некоторую гордость за концепцию относительной депривации, которая сделала понятным
множество полученных результатов.
10 Lazarsfeld P.F. The American Soldier — An Expository Review // Public Opinion Quarterly. 1949. V. 13, N 3.
P. 391–404.