Программирование ядра Linux. Полное практическое пособие по внутреннему устройству ядра, программированию модулей и синхронизации ядра
Покупка
Новинка
Тематика:
Программирование на C и C++
Издательство:
ДМК Пресс
Автор:
Биллимориа Кайван Н.
Перевод:
Слинкин Алексей Александрович
Год издания: 2024
Кол-во страниц: 748
Дополнительно
Вид издания:
Практическое пособие
Уровень образования:
Профессиональное образование
ISBN: 978-5-93700-283-9
Артикул: 890585.01.99
В этой книге детально рассматривается практическая разработка ядра Linux — от основ (подготовка рабочего пространства для разработки, сборка современного ядра из исходного кода и написание первого модуля) до важных аспектов внутреннего устройства ядра и его синхронизации.
Эта книга адресована прежде всего начинающим изучать архитектуру ядра и устройство современных версий Linux, а также тем, кто уже работает над модулями и (или) драйверами Linux и хотел бы получить более глубокие и систематические знания об архитектуре ядра, управлении памятью, о планировании задач, контрольных группах и синхронизации.
Для изучения материала читатель должен уметь взаимодействовать с Linux из командной строки (оболочки) и программировать на языке C.
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Бакалавриат
- 09.03.01: Информатика и вычислительная техника
- 09.03.02: Информационные системы и технологии
- 09.03.04: Программная инженерия
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Кайван Н. Биллимориа Программирование ядра Linux
Linux Kernel Programming Kaiwan N. Billimoria BIRMINGHAM–MUMBAI
Программирование ядра Linux Кайван Н. Биллимориа Москва, 2025
УДК 004.451.9Linux ББК 32.972.11 Б61 Кайван Н. Биллимориа Б61 Программирование ядра Linux. Полное практическое пособие по внутреннему устройству ядра, программированию модулей и синхронизации ядра / пер. с англ. А. А. Слинкина. – М.: ДМК Пресс, 2024. – 748 с.: ил. ISBN 978-5-93700-283-9 В этой книге детально рассматривается практическая разработка ядра Linux – от основ (подготовка рабочего пространства для разработки, сборка современного ядра из исходного кода и написание первого модуля) до важных аспектов внутреннего устройства ядра и его синхронизации. Эта книга адресована прежде всего начинающим изучать архитектуру ядра и устройство современных версий Linux, а также тем, кто уже работает над модулями и (или) драйверами Linux и хотел бы получить более глубокие и систематические знания об архитектуре ядра, управлении памятью, о планировании задач, контрольных группах и синхронизации. Для изучения материала читатель должен уметь взаимодействовать с Linux из командной строки (оболочки) и программировать на языке C. УДК 004.451.9Linux ББК 32.972.11 Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. Copyright © 2024 Packt Publishing © Оформление, издание, перевод, ДМК Пресс, 2024 ISBN (анг.) 978-1-80323-222-5 ISBN (рус.) 978-5-93700-283-9
Оглавление Об авторе............................................................................................ 18 О рецензенте...................................................................................... 19 Предисловие от издательства......................................................... 20 Предисловие...................................................................................... 21 Для кого предназначена эта книга..................................................................22 Что добавлено во втором издании...................................................................22 Краткое содержание книги...............................................................................24 Как извлечь максимум из этой книги..............................................................28 Скачивание примеров кода..............................................................................28 Скачивание цветных иллюстраций.................................................................29 Графические выделения...................................................................................29 Обратная связь..................................................................................................30 Отзывы...............................................................................................................30 Глава 1. Программирование ядра Linux – краткое введение.... 31 Подготовка рабочего пространства ядра.........................................................32 Технические требования..................................................................................33 Клонирование репозитория кода....................................................................33 Глава 2. Сборка ядра Linux из исходного кода – часть 1........... 35 Технические требования..................................................................................36 Предварительные условия для сборки ядра....................................................36 Нумерация версий ядра Linux..........................................................................37 Нумерация по пальцам на руках и ногах....................................................38 Цикл разработки ядра – основы.......................................................................39 Просмотр журнала ядра в Git из командной строки..................................40 Просмотр журнала ядра в Git на странице GitHub.....................................42 Цикл разработки ядра конспективно..........................................................43 Упражнение...................................................................................................44 Типы деревьев исходного кода........................................................................44 LTS-ядра – новый мандат.............................................................................46 Какое ядро мне использовать?.....................................................................47 Шаги сборки ядра из исходного кода..............................................................48 Шаг 1 – получение исходного кода ядра Linux................................................49 Скачивание дерева конкретного ядра.........................................................49 Клонирование дерева Git..............................................................................51
Шаг 2 – распаковка исходного кода ядра.........................................................52 Краткий обзор дерева исходного кода ядра................................................53 Шаг 3 – конфигурирование ядра Linux............................................................59 Минимальные сведения о системе сборки Kconfig/Kbuild.........................60 Как работает система Kconfig+Kbuild – минимальные сведения...........62 Получение конфигурации по умолчанию...................................................63 Получение хорошей отправной точки для конфигурации ядра............64 Конфигурирование ядра как в дистрибутиве.........................................65 Получение оптимизированной конфигурации ядра с помощью localmodconfig............................................................................................66 Конфигурирование ядра для типичной встраиваемой Linux-системы...........................................................................................66 Просмотр всех доступных конфигурационных параметров.................70 Применение подхода localmodconfig...........................................................74 Донастройка конфигурации ядра с помощью графического интерфейса make menuconfig.......................................................................76 Примеры работы с интерфейсом make menuconfig................................79 Конфигурирование ядра – дополнительные вопросы...............................84 Поиск по меню..........................................................................................84 Поиск различий в конфигурациях...........................................................86 Использование скрипта config для просмотра и редактирования конфигурации ядра...................................................................................86 Конфигурирование безопасности ядра...................................................87 Настройка меню Kconfig и добавление своего собственного пункта............90 О файлах Kconfig*..........................................................................................90 Создание нового пункта в меню General Setup...........................................93 Несколько слово о языке Kconfig..................................................................96 Резюме...............................................................................................................99 Упражнение.......................................................................................................99 Вопросы...........................................................................................................100 Для дополнительного чтения.........................................................................100 Глава 3. Сборка ядра Linux из исходного кода – часть 2.........101 Технические требования................................................................................101 Шаг 4 – сборка образа ядра и модулей...........................................................101 Решение проблемы сертификата в Ubuntu...............................................105 Шаг 5 – установка модулей ядра....................................................................109 Нахождение модулей ядра среди исходного кода....................................109 Устанавливаем модули ядра.......................................................................110 Задание другого места установки модулей по умолчанию......................111 Шаг 6 – генерирование образа initramfs и подготовка начального загрузчика...................................................................................111 Генерирование образа initramfs – что под капотом.................................113 О назначении каркаса initramfs.....................................................................115 Зачем нужен каркас initramfs?...................................................................115 Основы процесса начальной загрузки в x86.............................................117 Еще о каркасе initramfs...............................................................................120 Заглянем внутрь образа initramfs..........................................................120 Оглавление
Шаг 7 – конфигурирование начального загрузчика GRUB...........................124 Конфигурирование GRUB – основы...........................................................124 Выбор ядра, загружаемого по умолчанию................................................125 Загрузка ВМ с помощью начального загрузчика GRUB............................127 Эксперименты с приглашением GRUB......................................................129 Проверка конфигурации нового ядра...........................................................131 Сборка ядра для Raspberry Pi..........................................................................132 Шаг 1 – клонирование дерева исходного кода ядра Raspberry Pi............133 Шаг 2 – установка инструментов кросс-разработки x86_64-в-AArch64........................................................................................134 Шаг 3 – конфигурирование и сборка ядра AArch64 для Raspberry Pi......136 Разные замечания по сборке ядра.................................................................138 Минимальные требования к версии..........................................................139 Сборка ядра для другой машины...............................................................139 Наблюдение за ходом сборки ядра............................................................141 Синтаксис сокращенного выполнения в применении к процедуре сборки............................................................143 Отсутствующие заголовочные файлы для разработки с участием OpenSSL.....................................................................................143 Как проверить, какие дистрибутивные ядра установлены?....................144 Резюме.............................................................................................................145 Вопросы...........................................................................................................145 Для дополнительного чтения.........................................................................145 Глава 4. Написание первого модуля ядра – часть 1..................146 Технические требования................................................................................146 Архитектура ядра – часть 1.............................................................................147 Пространство пользователя и пространство ядра....................................148 Библиотечные функции и системные вызовы..........................................148 Компоненты ядра........................................................................................150 Исследование структуры LKM........................................................................152 Каркас LKM..................................................................................................152 Место модулей ядра в дереве исходного кода..........................................154 Написание первого модуля ядра....................................................................156 Знакомство с C-кодом модуля «Hello, world»............................................156 Пояснения к коду........................................................................................158 Заголовочные файлы ядра......................................................................158 Модульные макросы...............................................................................159 Точки входа и выхода.............................................................................159 Возвращаемые значения........................................................................160 Типичные операции над модулями ядра......................................................163 Сборка модуля ядра................................................................................163 Выполнение модуля ядра...........................................................................165 Первое знакомство с функцией printk()....................................................166 Получение списка активных модулей ядра..............................................168 Выгрузка модуля из памяти ядра...............................................................168 Наш вспомогательный скрипт lkm............................................................169 Оглавление 7
Запись в журнал ядра и функция printk........................................................172 Работа с кольцевым буфером в памяти ядра............................................172 Протоколирование ядра и программа journalctl......................................173 Уровни протоколирования printk..............................................................175 Макросы pr_<foo>....................................................................................177 Запись на консоль...................................................................................179 Вывод на консоль Raspberry Pi...............................................................182 Включение отладочных сообщений ядра..............................................185 Введение в динамическую отладку ядра...............................................187 Ограничение частоты сообщений printk...................................................191 Макросы с ограничением частоты.........................................................192 Генерирование сообщений ядра из пространства пользователя............193 Стандартизация вывода printk с помощью макроса pr_fmt.....................195 Переносимость и спецификаторы формата в printk................................196 Что такое индексирование printk?.............................................................197 Основы Makefile для сборки модуля ядра......................................................198 Резюме.............................................................................................................202 Вопросы...........................................................................................................202 Для дополнительного чтения.........................................................................203 Глава 5. Написание первого модуля ядра – часть 2..................204 Технические требования................................................................................204 «Улучшенный» шаблон Makefile для модулей ядра......................................205 Конфигурирование «отладочного» ядра...................................................207 Кросс-компиляция модуля ядра....................................................................209 Подготовка системы к кросс-компиляции................................................209 Попытка 1 – установка переменных окружения ARCH и CROSS_COMPILE.......................................................................................210 Попытка 2 – Makefile указывает на дерево исходного кода ядра для целевой платформы.............................................................................212 Попытка 3 – кросс-компиляция модуля ядра...........................................214 О совместимости ABI ядра Linux...........................................................215 Попытка 4 – кросс-компиляция нашего модуля ядра..............................216 Сводка ошибок, допущенных нами при кросс-компиляции, сборке и загрузке модулей, и способов их исправления..........................217 Сбор минимальной информации о системе.................................................218 Лицензирование модулей ядра......................................................................223 Лицензирование внутреннего кода ядра..................................................223 Лицензирование внешних модулей..........................................................224 Эмуляция «библиотек» для модулей ядра.....................................................225 Эмуляция библиотек путем компоновки нескольких исходных файлов..........................................................................................................226 Область видимости функций и переменных в модуле ядра....................227 Стек модулей...............................................................................................230 Эксперименты со стеком модулей.........................................................231 Эмуляция «библиотек» для модулей ядра – резюме и выводы...............237 Передача параметров модулю ядра...............................................................238 Оглавление
Объявление и использование параметров модуля...................................239 Получение и изменение параметров после вставки модуля...................241 Допустимые типы параметров ядра и их проверка.................................243 Проверка параметров модуля................................................................244 Переопределение имени параметра модуля........................................245 Параметры ядра, относящиеся к оборудованию..................................246 Операции с плавающей точкой в ядре запрещены......................................246 Как заставить ядро выполнять FP..............................................................247 Автозагрузка модулей на этапе начальной загрузки системы....................249 Автозагрузка модулей – дополнительные сведения................................254 Модули ядра и безопасность – краткий обзор..............................................256 Параметры в файловой системе proc, влияющие на системный журнал.................................................................................257 О системном элементе dmesg_restrict...................................................257 О системном элементе kptr_restrict.......................................................258 Криптографическое подписание модулей ядра.......................................260 Два режима подписания модулей..........................................................262 Полный запрет модулей ядра.....................................................................263 LSM блокировки ядра – введение..............................................................263 Наставление по стилю кодирования для разработчиков ядра....................264 Предложение своего кода в основную ветвь ядра........................................264 С чего начать?..............................................................................................265 Резюме.............................................................................................................266 Вопросы...........................................................................................................266 Для дополнительного чтения.........................................................................266 Глава 6. Основы внутреннего устройства ядра – процессы и потоки..........................................................................267 Технические требования................................................................................268 Контексты процесса и прерывания...............................................................268 Основы виртуального адресного пространства (ВАП) процесса.................270 Организация процессов, потоков и их стеков – в пространстве пользователя и в пространстве ядра.............................................................273 Скрипт для получения числа процессов и потоков..................................274 Организация пространства пользователя.................................................276 Организация пространства ядра................................................................277 Сводка сведений, относящихся к потокам, структурам задач и стекам.........................................................................................279 Просмотр стеков в пространстве пользователя и ядра............................280 Традиционный подход к просмотру стеков..........................................281 Взгляд на ВАП процесса с высоты птичьего полета.................................287 Структура задачи в ядре и доступ к ней........................................................288 Знакомство со структурой задачи..............................................................290 Доступ к структуре задачи с помощью current.........................................292 Определение контекста..............................................................................293 Работа со структурой задачи с помощью current..........................................294 Встроенные в ядро вспомогательные функции и оптимизации.............296 Оглавление 9
Использование нашего модуля ядра для печати информации о контексте процесса...........................................................297 Доказательство монолитности ОС Linux...............................................298 Использование printk с учетом безопасности......................................299 Обход списков задач ядра..............................................................................299 Обход списка задач I – отображение всех процессов...............................300 Обход списка задач II – отображение всех потоков..................................301 Как отличить процесс от потока – TGID и PID......................................302 Обход списка задач III – код.......................................................................303 Резюме.............................................................................................................306 Вопросы...........................................................................................................307 Для дополнительного чтения.........................................................................307 Глава 7. Внутреннее устройство управления памятью – основы...........................................................................308 Технические требования................................................................................308 Разделение VM................................................................................................309 Заглянем под капот – программа Hello, world..........................................309 Не только printf().....................................................................................311 Виртуальная адресация и трансляция адресов.........................................313 Переход от виртуального адреса к физическому – очень краткий обзор...............................................................................315 Разделение VM в 64-разрядных системах Linux.......................................318 Типичные разделения VM......................................................................320 ВАП процесса – полная картина................................................................322 Исследование ВАП процесса..........................................................................323 Детальное исследование ВАП пользователя.............................................324 Непосредственный просмотр карты памяти процесса с помощью procfs....................................................................................324 Интерфейсы для просмотра карты памяти процесса..........................326 Основы VMA................................................................................................332 Исследование ВАП ядра..................................................................................333 Верхняя память в 32-разрядных системах................................................335 Модуль, показывающий информацию о ВАП ядра..................................336 Макросы и переменные, описывающие структуру ВАП ядра..............336 Практикум – просмотр сведений о ВАП ядра.......................................340 ВАП ядра глазами procmap.....................................................................345 Практикум – сегмент пользователя.......................................................349 Страница ловушки нуля..........................................................................352 Документация ядра по структуре памяти.............................................352 Рандомизация структуры памяти – KASLR...................................................353 Рандомизация памяти пользователя с помощью ASLR...........................354 Рандомизация памяти ядра с помощью KASLR........................................355 Опрос и изменение состояния KASLR с помощью скрипта.....................355 Организация физической памяти.................................................................358 Как организована физическая память......................................................358 Узлы и NUMA...........................................................................................359 Зоны внутри узла....................................................................................362 Оглавление