Проектирование масштабируемых систем с помощью Erlang/OTP
Покупка
Новинка
Тематика:
Проектирование, отладка и тестирование ПО. Вспомогательные средства проектирования. CASE-технологии
Издательство:
ДМК Пресс
Перевод:
Литовченко Д.
Год издания: 2017
Кол-во страниц: 487
Возрастное ограничение: 12+
Дополнительно
Вид издания:
Практическое пособие
Уровень образования:
Дополнительное профессиональное образование
ISBN: 978-5-97060-212-6
Артикул: 859102.02.99
Данная книга демонстрирует использование языка Erlang и его платформы OTP для создания масштабируемых и устойчивых к сбоям систем. Описаны подходы к проектированию и реализации сложных архитектур, разработанных компанией Erlang Solutions. Рассмотрены вопросы надёжности, масштабируемости и высокой доступности вашего проекта в целом.
Издание предназначено разработчикам и архитекторам, уже знакомым с языками Erlang и Elixir, и желающим научиться принципам разработки сложных систем, готовых к коммерческой эксплуатации.
Тематика:
ББК:
УДК:
ОКСО:
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Франческо Чезарини, Стивен Виноски Проектирование масштабируемых систем с помощью Erlang/OTP
Francesco Cesarini, Steve Vinoski Designing for Scalability with Erlang/OTP Beijing • Boston • Farnham • Sebastopol • Tokyo
Франческо Чезарини, Стивен Виноски Проектирование масштабируемых систем с помощью Erlang/OTP Москва, 2017
УДК 004.438 Erlang/OTP ББК 32.973.4 Ч35 Чезарини Ф., Виноски С. Ч35 Проектирование масштабируемых систем с помощью Erlang/OTP / пер. с англ. Д. В. Литовченко. – М.: ДМК Пресс, 2017. – 486 с.: ил. ISBN 978-5-97060-212-6 Данная книга демонстрирует использование языка Erlang и его платформы OTP для создания масштабируемых и устойчивых к сбоям систем. Описаны подходы к проектированию и реализации сложных архитектур, разработанных компанией Erlang Solutions. Рассмотрены вопросы надёжности, масштабируемости и высокой доступности вашего проекта в целом. Издание предназначено разработчикам и архитекторам, уже знакомым с языками Erlang и Elixir, и желающим научиться принципам разработки сложных систем, готовых к коммерческой эксплуатации. УДК 004.438 Erlang/OTP ББК 32.973.4 Authorized Russian translation of the English edition of Designing for Scalability with Erlang/ OTP, ISBN 9781449320737 © 2016 Francesco Cesarini, Stephen Vinoski This translation is published and sold by permission of O’Reilly Media, Inc., which owns or controls all rights to publish and sell the same. Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. Материал, изложенный в данной книге, многократно проверен. Но поскольку вероятность технических ошибок все равно существует, издательство не может гарантировать абсолютную точность и правильность приводимых сведений. В связи с этим издательство не несет ответственности за возможные ошибки, связанные с использованием книги. ISBN 978-1-449-32073-7 (анг.) © 2016 Francesco Cesarini and Stephen Vinoski ISBN 978-5-97060-212-6 (рус.) © Оформление, издание, перевод, ДМК Пресс, 2017
Посвящается моей жене Элисон и детям. Спасибо вам за терпение и поддержку. — Франческо Посвящается Дули и Эду за то, что учили меня, «как». А ещё Синди, Райану, Эрин, Эндрю и Джейку за то, что были той причиной, «зачем». — Стив Посвящается Джо, Майку, Роберту за то, что сделали тот самый телефонный звонок. — Франческо и Стив
Содержание Введение......................................................................................................12 Об авторах этой книги..............................................................................13 Колофон........................................................................................................14 Предисловие...............................................................................................15 Глава 1. Знакомство..................................................................................21 Определение проблемы......................................................................................................................22 OTP...........................................................................................................................................................25 Erlang...................................................................................................................................................27 Инструменты и библиотеки........................................................................................................28 Принципы проектирования систем..........................................................................................31 Erlang-узлы........................................................................................................................................32 Распределение, инфраструктура и многоядерные процессоры...........................................33 Подводим итоги....................................................................................................................................35 Что вы узнаете из этой книги...........................................................................................................35 Глава 2. Представляем Erlang................................................................42 Рекурсия и сравнение с образцом...................................................................................................42 Функциональное влияние.................................................................................................................46 Веселье с анонимными функциями..........................................................................................46 Генераторы списков: генерация и проверка...........................................................................48 Процессы и обмен сообщениями....................................................................................................50 Падаем безопасно!................................................................................................................................55 Связи и мониторы для наблюдения за процессами.................................................................56 Связи...................................................................................................................................................57 Мониторы..........................................................................................................................................59 Записи......................................................................................................................................................60 Карты........................................................................................................................................................63 Макросы...................................................................................................................................................64 Обновление кода модулей.................................................................................................................65 ETS: хранилище термов Erlang........................................................................................................67 Распределённый режим Erlang........................................................................................................70 Именование и коммуникация.....................................................................................................70 Соединения между узлами и видимость.................................................................................71 Подводим итоги....................................................................................................................................73 Что дальше?............................................................................................................................................73
Содержание 7 Глава 3. Поведения....................................................................................74 Cкелеты процессов...............................................................................................................................74 Шаблоны проектирования................................................................................................................77 Модули обратного вызова............................................................................................................78 Извлечение обобщённых поведений.............................................................................................81 Запускаем сервер.............................................................................................................................83 Клиентские функции.....................................................................................................................85 Серверный цикл...............................................................................................................................87 Внутренние функции сервера.....................................................................................................89 Обобщённый сервер............................................................................................................................90 Передача сообщений: под капотом.................................................................................................93 Подводим итоги....................................................................................................................................97 Что дальше?............................................................................................................................................98 Глава 4. Обобщённые серверы..............................................................99 Обобщённые серверы..........................................................................................................................99 Директивы поведения.......................................................................................................................100 Запускаем сервер................................................................................................................................101 Передача сообщений.........................................................................................................................104 Синхронная передача сообщений...........................................................................................104 Асинхронная передача сообщений..........................................................................................106 Прочие сообщения........................................................................................................................107 Необработанные сообщения.....................................................................................................109 Синхронизация клиентов........................................................................................................... 110 Завершение работы............................................................................................................................ 111 Тайм-ауты вызовов............................................................................................................................ 113 Взаимные блокировки................................................................................................................. 116 Тайм-ауты обобщённых серверов................................................................................................. 118 Спящие поведения........................................................................................................................ 119 Становимся глобальными...............................................................................................................120 Связывание поведений.....................................................................................................................121 Подводим итоги..................................................................................................................................122 Что дальше?..........................................................................................................................................123 Глава 5. Управление поведениями ОТР............................................ 124 Модуль sys.............................................................................................................................................124 Трассировка и журналирование...............................................................................................124 Системные сообщения................................................................................................................126 Свои функции трассировки.......................................................................................................126 Статистика, статус и состояние................................................................................................128 Ещё раз о модуле sys.....................................................................................................................130 Параметры порождения...................................................................................................................132 Управление памятью и сборка мусора...................................................................................132
8 Содержание Избегайте таких параметров.....................................................................................................137 Тайм-ауты.........................................................................................................................................137 Подводим итоги..................................................................................................................................137 Что дальше?..........................................................................................................................................138 Глава 6. Конечные автоматы................................................................ 139 Конечные автоматы в стиле Erlang..............................................................................................140 Конечный кофейный автомат........................................................................................................141 Библиотека аппаратного взаимодействия............................................................................143 Кофейный автомат на Erlang..........................................................................................................144 Обобщённые конечные автоматы.................................................................................................147 Пример поведения..............................................................................................................................148 Запуск конечного автомата........................................................................................................149 Отправка событий.........................................................................................................................153 Завершение работы......................................................................................................................162 Подводим итоги..................................................................................................................................163 Не бойтесь испачкать руки.............................................................................................................164 Контроллеры телефонов.............................................................................................................164 Давайте его проверим..................................................................................................................166 Что дальше?..........................................................................................................................................168 Глава 7. Обработчики событий............................................................ 169 События.................................................................................................................................................169 Обобщённые диспетчеры и обработчики событий.................................................................171 Запуск и остановка диспетчеров событий............................................................................171 Добавление обработчиков событий........................................................................................172 Удаление обработчика событий...............................................................................................174 Отправка синхронных и асинхронных событий................................................................175 Извлечение данных......................................................................................................................178 Обработка ошибок и неверных результатов........................................................................180 Подмена обработчиков событий..............................................................................................183 Подводя итоги................................................................................................................................184 Обработчик тревожных сигналов SASL.....................................................................................187 Подводим итоги..................................................................................................................................189 Что дальше?..........................................................................................................................................190 Глава 8. Наблюдатели............................................................................ 191 Деревья наблюдения.........................................................................................................................192 Наблюдатели в OTP..........................................................................................................................196 Поведение наблюдателя..............................................................................................................197 Запуск наблюдателя.....................................................................................................................198 Спецификация наблюдателя.....................................................................................................201 Спецификация перезапуска......................................................................................................202
Содержание 9 Спецификация дочернего процесса........................................................................................206 Динамические дочерние процессы..........................................................................................210 Не совместимые с ОТР процессы...........................................................................................218 Масштабируемость и короткоживущие процессы............................................................220 Синхронный запуск для детерминизма................................................................................222 Проверка вашей стратегии наблюдения...............................................................................223 Как сравнить подходы?....................................................................................................................225 Подводим итоги..................................................................................................................................226 Что дальше?..........................................................................................................................................226 Глава 9. Приложения............................................................................... 227 Как выполняются приложения.....................................................................................................228 Структура приложения....................................................................................................................230 Модуль обратного вызова...............................................................................................................234 Запуск и остановка приложений.............................................................................................234 Файлы ресурсов приложения........................................................................................................238 Файл приложения контроллера базовой станции.............................................................240 Запуск приложения...........................................................................................................................241 Переменные окружения...................................................................................................................244 Типы приложений и стратегии остановки.................................................................................246 Распределённые приложения........................................................................................................247 Фазы запуска.......................................................................................................................................252 Вложенные приложения..................................................................................................................254 Этапы запуска во вложенных приложениях.......................................................................255 Комбинируем наблюдателей и приложения.............................................................................256 Приложение SASL.............................................................................................................................257 Отчёты SASL о ходе работы......................................................................................................262 Отчеты SASL об ошибках...........................................................................................................262 Отчеты SASL о сбоях...................................................................................................................263 Отчеты наблюдателей..................................................................................................................264 Подводим итоги..................................................................................................................................265 Что дальше?..........................................................................................................................................266 Глава 10. Особые процессы и ваши собственные поведения................................................................................................... 267 Особые процессы................................................................................................................................268 Мьютекс............................................................................................................................................268 Запуск особых процессов...........................................................................................................270 Состояния мьютекса....................................................................................................................273 Обработка завершений работы.................................................................................................274 Системные сообщения................................................................................................................275 События трассировки и журналов..........................................................................................277 Собираем всё вместе.....................................................................................................................278
10 Содержание Динамические модули и приостановка.................................................................................282 Ваши собственные поведения........................................................................................................282 Правила создания поведений....................................................................................................283 Пример обработки потоков TCP.............................................................................................283 Подводим итоги..................................................................................................................................287 Что дальше?..........................................................................................................................................288 Глава 11. Системные принципы и работа с релизами................. 289 Системные принципы.......................................................................................................................290 Структура каталогов в релизе...................................................................................................292 Файлы ресурсов релиза..............................................................................................................295 Создание релиза.............................................................................................................................299 Создание загрузочного .boot-файла........................................................................................300 Создание пакета с релизом........................................................................................................309 Скрипты запуска и конфигурация на целевой системе...................................................313 Аргументы и флаги.......................................................................................................................316 Модуль инициализации init......................................................................................................328 Утилита Rebar3....................................................................................................................................329 Создание проекта релиза для Rebar3.....................................................................................331 Создание релиза с rebar3............................................................................................................334 Релизы Rebar3 с зависимостями проектов...........................................................................337 Подводим итоги..................................................................................................................................339 Что дальше?..........................................................................................................................................343 Глава 12. Обновление кода в релизах............................................... 344 Обновления программного обеспечения...................................................................................345 Первая версия кофейного конечного автомата..................................................................347 Добавляем новое состояние.......................................................................................................350 Создаём обновление для релиза....................................................................................................354 Код, который нужно обновить..................................................................................................358 Файлы обновления приложения.............................................................................................362 Инструкции высокого уровня..................................................................................................365 Файлы обновления релиза.........................................................................................................368 Инструкции низкого уровня.....................................................................................................370 Установка обновления.................................................................................................................372 Обработчик релизов.....................................................................................................................374 Обновление значений переменных окружения..................................................................378 Обновление особых процессов......................................................................................................379 Обновление в распределённых средах........................................................................................380 Обновление эмулятора и стандартных приложений.............................................................381 Обновление с помощью Rebar3.....................................................................................................382 Подводим итоги..................................................................................................................................385 Что дальше?..........................................................................................................................................388