Обработка данных в Python для социологов
Собственные конкурсы:
- АКАДЕМУС, 2025, Компьютерные и информационные науки, Лауреат
Современный инструментарий социолога: анализ данных на языке Python
В условиях стремительного роста объемов социологической информации традиционные методы обработки данных, часто ограниченные коммерческим программным обеспечением, уступают место гибким и масштабируемым решениям. Учебник В.В. Ковригина «Обработка данных в Python для социологов» предлагает комплексный подход к освоению языка программирования Python как ключевого инструмента для современного исследователя социальных процессов.
От основ программирования к аналитическим библиотекам
Автор выстраивает логику изложения от базовых понятий к сложным методам анализа. Первая часть книги посвящена синтаксису Python, типам данных, операторам и функциям. Особое внимание уделяется среде разработки Jupyter Notebook, которая становится стандартом для аналитической работы благодаря возможности совмещать код, визуализацию и текстовые пояснения. Автор подчеркивает важность следования стандартам оформления кода (PEP 8), что критически важно для воспроизводимости научных исследований.
Вторая часть учебника знакомит читателя с объектно-ориентированным программированием и экосистемой библиотек Python. Для социолога-аналитика центральное место занимает библиотека Pandas, обеспечивающая эффективную работу с табличными данными. Автор детально разбирает процессы загрузки датасетов, очистки данных от пропусков и дубликатов, а также методы группировки и создания сводных таблиц (pivot tables), которые позволяют быстро агрегировать информацию.
Статистический анализ и визуализация
Значительная часть работы посвящена теоретическим аспектам обработки данных. Ковригин напоминает о важности понимания уровней измерения переменных (номинальные, порядковые, количественные) и принципов формирования репрезентативной выборки. Эти знания необходимы для корректного выбора статистических критериев. В книге подробно рассматриваются методы описательной статистики, меры центральной тенденции и проверки гипотез о различиях между выборками (t-критерий Стьюдента, критерий Манна — Уитни, критерий Левена, хи-квадрат).
Визуализация данных представлена как важнейший этап первичного анализа. Автор демонстрирует возможности библиотек Matplotlib, Seaborn и Plotly, объясняя, как с помощью гистограмм, диаграмм рассеяния, «ящиков с усами» (boxplot) и тепловых карт выявлять скрытые закономерности и выбросы. Отдельная глава посвящена анализу временных рядов, где рассматриваются методы ресемплирования, сглаживания данных с помощью скользящих средних и сезонная декомпозиция.
Работа с неструктурированной информацией
Современная социология все чаще обращается к текстовым данным. В учебнике освещены методы контент-анализа: от построения «облака слов» до лемматизации и парсинга веб-страниц. Использование библиотек wordcloud, pymorphy3 и BeautifulSoup позволяет исследователю автоматизировать сбор и обработку качественных данных, превращая неструктурированные тексты в количественные показатели.
Данное пособие представляет собой полноценный навигатор для студентов и практикующих специалистов. Оно не только обучает техническим приемам работы с кодом, но и формирует у читателя критическое мышление, необходимое для интерпретации статистических результатов. Книга соответствует требованиям современных образовательных стандартов и является актуальным руководством для всех, кто стремится внедрить методы Data Science в социологические исследования.
- ВО - Бакалавриат
- 39.03.01: Социология
- ВО - Магистратура
- 39.04.01: Социология
ОБРАБОТКА ДАННЫХ В PYTHON ДЛЯ СОЦИОЛОГОВ В.В. КОВРИГИН Москва ИНФРА-М 2027 УЧЕБНИК
УДК 303.1+004.43(075.8) ББК 60.506:32.973.2 К56 Р е ц е н з е н т ы: Башлыков Т.В., кандидат социологических наук, доцент филиала Финансового университета при Правительстве Российской Федерации в г. Липецке; Толочко А.В., кандидат политических наук, доцент кафедры методики преподавания истории и обществознания Государственного университета просвещения ISBN 978-5-16-021674-4 (print) ISBN 978-5-16-114458-9 (online) © Ковригин В.В., 2026 Ковригин В.В. К56 Обработка данных в Python для социологов : учебник / В.В. Ковригин. — Москва : ИНФРА-М, 2027. — 249 с. — (Высшее образование). — DOI 10.12737/2234129. ISBN 978-5-16-021674-4 (print) ISBN 978-5-16-114458-9 (online) Учебник призван расширить инструментарий специалиста в области обработки социологической информации. Материал включает два основных блока: 1) операторы, синтаксис и особенности языка Python; 2) использование библиотек Python для анализа данных в социальных науках. Для удобства и организации повторения материала приведены основные теоретические сведения из области социологии и статистики. Соответствует требованиям федеральных государственных образовательных стандартов высшего образования последнего поколения. Для студентов высших учебных заведений, обучающихся по направлениям «Социология», «Политология» и других смежных с ними. Учебник также может быть полезен уже практикующим специалистам для расширения инструментария обработки данных. УДК 303.1+004.43(075.8) ББК 60.506:32.973.2 Данная книга доступна в цветном исполнении в электронно-библиотечной системе Znanium
Предисловие В последнее десятилетие в сфере изучения общественного мнения и обработки результатов исследований стали очень популярны технологии Big Data. Во многом это связано с расширением инструментария и возможностей для изучения общественного мнения, в том числе в автоматическом режиме (формы для опросов в интернете, изучение пользовательского опыта в приложениях и на сайтах, автоматический контент-анализ страниц и т.п.). Обработку данных возможно осуществлять в программах с удобным интерфейсом IBM SPSS Statistics (Statistical Package for the Social Sciences), Jamovi и других. Чаще всего они являются коммерческими, и их использование требует оплаты. Библиотеки языка Python для аналитика представляют поистине безграничные возможности в части анализа данных, их визуализации, прогнозирования на основе построения нейронных сетей. В отличие от программных комплексов с удобным интерфейсом, среда программирования Python не требует больших ресурсов компьютера и поэтому предоставляет возможность обрабатывать действительно огромные объемы данных быстро. Возможности языка постоянно расширяются — добавляются новые библиотеки, расширяются функциональные возможности уже существующих. Цель курса «Обработка данных в Python для социологов» — формирование и развитие навыков обработки данных средствами языка Python и его библиотек в среде Jupiter. В результате изучения курса студент будет: знать • основные операторы и синтаксис языка Python; • возможности библиотек Pandas, MatPlotLib, Seaborn, Plotly и др.; уметь • использовать возможности Jupiter и IDE для разработки кода; • применять основные операторы и команды Python для анализа данных; • работать с инструментами визуализации для разных типов данных; владеть навыками • составления кода для разных типов аналитических задач; • поиска ошибок в коде, его оптимизации.
В учебнике предусмотрен теоретический и практический материал по всем темам из предметной области аналитики данных и Big Data. Для закрепления навыков в конце каждого параграфа приводятся теоретические вопросы и практические задания. Предназначен для студентов высших учебных заведений, обучающихся по направлениям подготовки «Социология», «Политология» и другим смежным с ними. Книга также может быть полезна всем интересующимся технологиями обработки больших данных и возможностями языка программирования Python для анализа данных.
Глава 1. БАЗОВЫЙ PYTHON 1.1. ВВЕДЕНИЕ. IDLE И MARKDOWN Ключевые слова: язык Python; IDLE; синтаксис Markdown. Язык Python был разработан в 1980-е гг. Это высокоуровневый язык, который облегчает создание кода для разных задач. Низкоуровневые языки очень сложные, поскольку содержат операторы, близкие по написанию к двоичному коду, который компьютер понимает непосредственно. Языки высокоуровневые содержат набор команд, который подобен обычному человеческому языку. Команды языка Python написаны на основе слов английского языка. Поскольку он напоминает обычный естественный язык, его не так сложно изучать, как, например, низкоуровневый язык Ассемблер. Для перевода команд Python разработаны интерпретаторы, которые переводят код в понятный набор команд для процессора компьютера. Во всех программах, используемых в качестве среды для анализа данных на Python, эти интерпретаторы встроены. Язык Python является кроссплатформенным — может запускаться в любых операционных системах (Windows, MacOS, Linux и др.). Это язык общего назначения, поскольку пригоден для создания программ, разработки веб-сайтов, аналитики данных и т.д. В данном учебнике язык Python и его библиотеки рассматриваются только как инструменты анализа данных. Для разработки программ, веб-программирования необходимы иные компетенции, однако общий синтаксис языка важно знать и аналитикам, и программистам. Чаще всего код пишут в IDE (Integrated Development Environment) — интегрированной среде разработки, которая включает в себя удобный интерфейс, интерпретатор, необходимые предустановленные библиотеки. Для программистов созданы такие IDE, как IDLE, JetBrains PyCharm, Visual Studio Code и др., однако они не всегда оптимальны для аналитиков. Чаще всего код в таких IDE запускается целиком, а удобных инструментов для вывода графических результатов анализа нет. В аналитике данных чаще всего используется Jupyter Notebook. Популярны также другие программы (Spyder IDE, JetBrains DataSpell и т.д.). По принципам работы и интерфейсу они похожи на Jupyter Notebook.
Jupyter Notebook можно установить локально на компьютер. Официальный сайт проекта: https://jupyter.org. В разделе «Install» подробно описан порядок установки. Однако он чаще всего представляет сложность для начинающих пользователей, поскольку требует знания основ использования командной строки операционной системы (или терминала в MacOS). Проще использовать программный комплекс с понятным интерфейсом Conda: https://docs.conda.io/en/latest/. Для успешного изучения основ аналитики достаточно установить MiniConda. Более сложные проекты можно выполнять на полной версии дистрибутива AnaConda: https://www.anaconda.com/download. В учебных целях, а также для проектов, не требующих больших ресурсов, можно использовать Google Colab: https://colab.research. google.com/?hl=ru. Интерфейс Google Colab, Jupyter Notebook и других сред разработки для анализа данных интуитивно понятный и похож на обычные программы для набора текста. Анализ данных осуществляется в блокноте. На диске можно создать много блокнотов — все зависит только от размера хранилища. Блокнот можно создать, а можно открыть существующий и доработать его — необходимо выбрать соответствующий пункт меню. В блокноте предусмотрены два типа ячеек — текстовая и кодовая. Текстовая используется для пояснений, а кодовая — для исполнения команд. Текстовую ячейку удобно использовать для оформления блокнота, создания разделов, глав, комментариев. В этих целях применяется язык разметки Markdown. Это облегченный язык для форматирования блокнота. Синтаксис Markdown представлен на официальном сайте языка: https://daringfireball.net/projects/markdown/syntax. Для оформления блокнота достаточно знать основные элементы синтаксиса языка: # Заголовок первого уровня ## Заголовок второго уровня ### Заголовок третьего уровня *Текст курсивом* **Текст с полужирным выделением** ***Текст полужирным курсивом*** Для переноса строки необходимо поставить \ или тег <br>: После этой строки будет перенос\ После этой строки тоже будет перенос<br>
Код Python, прежде всего, основан на использовании функций и методов. Язык программирования имеет встроенные функции и методы, но можно создавать и собственные (об этом — в следующих главах). В начале изучения Python нужно понять синтаксис встроенных функций и методов. Описание конкретных функций и методов будет представлено в соответствующих параграфах. В Python встроенные функции и методы выполняют похожие задачи (преобразуют данные, возвращают результат), но различаются по синтаксису и области применения. Функция вызывается отдельно, аргумент передается в скобках после имени функции: имя_функции(аргументы_или_параметры_через_запятую). Пример функции: len(«Hello») Функция len(), предназначенная для вычисления длины последовательности (строки, списка и т.п.), имеет в этом примере один аргумент «Hello». Поскольку аргумент один, запятые не используются. Чаще всего функции универсальны и применяются в работе со многими типами данных. Метод вызывается через объект (переменную, значение, библиотека и т.п.), имя метода указывается после точки (так называмая точечная нотация): объект.имя_метода(аргументы_или_параметры). Методы действуют на тот объект, через который вызваны. Пример метода: a.append(4) В данном примере метод append() вызван через переменную a, которая должна являться списком. К этой переменной метод в конце добавляет еще один элемент — значение 4. Работа описанных выше функции и метода будет рассмотрена далее. Контрольные вопросы 1. Почему язык Python относят к языкам высокого уровня? 2. Что такое IDE? 3. Какие среды разработки рекомендуется использовать для обработки и анализа больших данных? 4. В каких целях используется язык Markdown? 5. Расскажите об основных инструментах оформления текста с помощью языка Markdown. 6. Расскажите о синтаксисе встроенных функций и методов в Python.
Задания 1. Установите на компьютер любую IDE для анализа данных или откройте Google Colab. Изучите интерфейс. Добавьте пустую кодовую и текстовую строку. 2. Создайте с помощью Markdown параграфы: «Базовый синтаксис Python», «Оператор с условием», «Циклы», «Функции». 1.2. ТИПЫ ДАННЫХ, ПЕРЕМЕННЫЕ И БАЗОВЫЕ ОПЕРАЦИИ С НИМИ В PYTHON Ключевые слова: комментарии; переменные; преобразования переменных; операторы ввода и вывода Python; списки; индексация в списках; константы и кортежи; PEP 8. Команды в Markdown выполняются построчно. Строки или части строк после знака # считаются комментариями и не исполняются. Пример: # Это строка вывода на экран содержимого переменной х print(x) Первая строка этого кода исполнена не будет — она лишь содержит пояснения, а вторая строка выведет на экран значение переменной х. Комментарии можно использовать и для части строки — в этом случае код или пояснение справа от # исполнено не будет. Пример: print(x) # Это функция вывода на экран. Пояснение не исполняется. При разработке кода в Python настоятельно рекомендуется делать комментарии — так легче разобраться в нем в дальнейшем. Даже опытные разработчики пишут комментарии, поскольку с ними легче понятен замысел программы. Любой язык программирования работает с данными. Для аналитика данные — это основа работы. В Python предусмотрены разные типы данных. Поскольку язык Python является языком динамической типизации, тип данных в переменной определяется автоматически на основе того значения, которое присваивается переменной. В большинстве случаев аналитик будет работать с табличными типами данных с помощью специализированных библиотек. Однако базовые типы данных также необходимо понимать, так как они иногда используются в программах.
Указание переменной первый раз в программе называется ее объявлением. При объявлении переменной происходит резервирование ячейки памяти, в которой будут храниться значения. Если в коде программы предусмотрено присваивание другого значения ранее объявленной переменной, то это значение переписывается. Переменная — это своего рода ящик, в который можно что-то положить и из которого можно что-то достать. Переменные в Python могут обозначаться одной или несколькими буквами, цифрами, нижним подчеркиванием. При этом имя переменной должно обязательно начинаться со строчной буквы. Рекомендуется обозначать имена переменных осмысленно, чтобы было понятно, что в них содержится. Примеры правильного написания имени переменных: vyborka, moscow, kaluga_1. Примеры неверного написания имени: 1_kaluga (начинается с цифры), Moscow (начинается с заглавной буквы). Следует учесть, что в Python именем переменной не может быть ключевое слово или встроенный идентификатор (названия встроенных функций и т.п.). Попытка создать переменную с использованием таких слов приведет к ошибке. Обычно большинство IDE такую ошибку сразу диагностируют и выводят предупреждение. Полный список идентификаторов можно узнать с помощью функции dir(): print(dir()) Однако с помощью такой команды будут выведены только идентификаторы, но не ключевые слова. Для получения доступа к полному списку ключевых слов и встроенных идентификаторов необходимо импортировать модуль builtins. Подробнее об импорте модулей — в следующих параграфах. Ниже представлен код с импортом модуля, исполнив который, можно получить список слов, «запрещенных» для использования в качестве имен переменных: import builtins print(dir(builtins)) В Python переменные создаются с тем типом данных, который определяется при их создании. Основные типы данных: • int — целые числа; • float — вещественные числа (десятичные дроби); • str — строки, значения которых указываются в апострофах;
• bool — логические значения (так называемый булёв тип данных), которые принимают значения True (истина) или False (ложь); • list — список, который оформляется в квадратных скобках. Это основные типы данных в базовом Python. Ниже приведены примеры присваивания разных типов значений переменным: х = 45 # объявление целочисленной переменной h = 4.6 # объявление переменной с вещественным типом данных g = 'абвгд' # объявление переменной со строчным типом данных l = True # объявление переменной с булёвым типом d = [4, 6, 7, 'абвгд', 4.6] # объявление переменной-списка. Список может включать в себя разные типы данных, в том числе и другие списки. В этом случае создается список списков. Ниже приведен пример списка списков, в котором содержится три элемента, представляющие собой списки из четырех элементов. Список можно объявлять в виде одной строки, но для наглядности это лучше делать с переносом строки. В Python обязательно в этом случае нажимать клавишу Tab или делать четыре пробела — так выделяются строки, которые являются продолжением другой строки: s = [ [3,5,4,6] [4,2,4,9] [3,6,8,4] ] В Python предусмотрены функции преобразования типов данных: • int() — преобразует данные в целочисленный тип; • float() — преобразует данные в вещественный тип (десятичная дробь); • str() — изменяет данные в переменной на строковый тип: a = 5.34 int(a) 5 a = 5.34 str(a) ꞌ5.34ꞌ