Книжная полка Сохранить
Размер шрифта:
А
А
А
|  Шрифт:
Arial
Times
|  Интервал:
Стандартный
Средний
Большой
|  Цвет сайта:
Ц
Ц
Ц
Ц
Ц

Элегантный SciPy. Искусство научного программирования на Python

Покупка
Новинка
Артикул: 714660.02.99
Доступ онлайн
749 ₽
В корзину
Книга познакомит вас с основополагающими компонентами библиотеки SciPy языка Python. Вы научитесь писать элегантный, ясный, краткий и эффективный программный код благодаря примерам из обширной научной экосистемы Python. Кроме SciPy, вы узнаете много нового про сопутствующие библиотеки, такие как NumPy, Pandas, scikit-image. Издание будет полезно всем программистам на Python, желающим использовать научные библиотеки в своей работе.
144
238
Нуньес-Иглесиас, Х. Элегантный SciPy. Искусство научного программирования на Python : практическое руководство / Х. Нуньес-Иглесиас, Ш. Уолт ван дер, Х. Дэшноу ; пер. с анг. А. В. Логунова. – Москва : ДМК Пресс, 2018. - 267 с. – ISBN 978-5-97060-600-1. - Текст : электронный. - URL: https://znanium.ru/catalog/product/2260239 (дата обращения: 19.11.2026). – Режим доступа: по подписке.
Фрагмент текстового слоя документа размещен для индексирующих роботов
Хуан Нуньес-Иглесиас, Штефан ван дер Уолт  
и Харриет Дэшноу
Элегантный SciPy


Juan Nunez-Iglesias, Stéfan van der Walt  
and Harriet Dashnow
Elegant SciPy
The Art of Scientific Python
Beijing • Boston • Farnham • Sebastopol • Tokyo 


Хуан Нуньес-Иглесиас, Штефан ван дер Уолт  
и Харриет Дэшноу
Элегантный SciPy
Искусство научного программирования на Python
Москва, 2018


УДК 373.167.1:004.42+004.42(075.3)
ББК 32.973.721
Н87
Нуньес-Иглесиас Х., Уолт ван дер Ш., Дэшноу Х.
Н87	
Элегантный SciPy / пер. с анг. А. В. Логунова. – М.: ДМК Пресс, 2018. – 
266 с.: ил. 
ISBN 978-5-97060-600-1
Книга познакомит вас с основополагающими компонентами библиотеки SciPy 
языка Python. Вы научитесь писать элегантный, ясный, краткий и эффективный 
программный код благодаря примерам из обширной научной экосистемы Python. 
Кроме SciPy, вы узнаете много нового про сопутствующие библиотеки, такие как 
NumPy, Pandas, scikit-image.
Издание будет полезно всем программистам на Python, желающим использовать 
научные библиотеки в своей работе.
УДК  373.167.1:004.42+004.42(075.3)
ББК  32.973.721
Authorized Russian translation of the English edition of Elegant SciPy ISBN 9781491922873 
© 2017 Juan Nunez-Iglesias, Stéfan van der Walt, and Harriet Dashnow.
This translation is published and sold by permission of O'Reilly Media, Inc., which owns or 
controls all rights to publish and sell the same.
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения 
владельцев авторских прав.
ISBN 978-1-491-92287-3 (анг.)	
Copyright © 2017 Juan Nunez-Iglesias, Stéfan van der  
	
Walt, and Harriet Dashnow
ISBN 978-5-97060-600-1 (рус.)	
©  Оформление, издание, перевод, ДМК Пресс, 2018


Содержание
Предисловие.......................................................................................................9
Глава 1. Элегантный NumPy: фундамент научного  
программирования на Python...................................................................32
Введение в данные: что такое экспрессия гена?.................................................34
N-мерные массивы NumPy...................................................................................38
Зачем использовать массивы ndarray вместо списков Python?.....................39
Векторизация.....................................................................................................41
Транслирование ................................................................................................41
Исследование набора данных экспрессии генов................................................43
Чтение данных при помощи библиотеки pandas............................................43
Нормализация.......................................................................................................46
Нормализация между образцами....................................................................46
Нормализация между генами..........................................................................52
Нормализация по образцам и генам: RPKM...................................................54
Подведение итогов................................................................................................61
Глава 2. Квантильная нормализация с NumPy и SciPy....................62
Получение данных................................................................................................64
Разница в распределении экспрессии генов между индивидуумами...............65
Бикластеризация количественных данных.........................................................68
Визуализация кластеров.......................................................................................70
Предсказание выживаемости...............................................................................72
Дальнейшая работа: использование кластеров пациентов TCGA.................77
Дальнейшая работа: воспроизведение кластеров TCGA................................77
Глава 3. Создание сетей из областей изображений  
при помощи ndimage....................................................................................78
Изображения – это просто массивы NumPy........................................................79
Задача: добавление сеточного наложения......................................................84
Фильтры в обработке сигналов............................................................................84
Фильтрация изображений (двумерные фильтры)..............................................90
Универсальные фильтры: произвольные функции от соседних значений......92
Задача: игра «“Жизнь” Конуэя»........................................................................93
Задача: магнитуда градиента Собела..............................................................94
Графы и библиотека NetworkX.............................................................................94
Задача: подбор кривой при помощи SciPy......................................................98


6    Содержание
Графы смежности областей..................................................................................98
Элегантный пакет ndimage: как строить графы из областей изображений....102
Собираем все вместе: сегментация по среднему цвету ...................................105
Глава 4. Частота и быстрое преобразование Фурье.......................107
Введение в частоту..............................................................................................107
Иллюстрация: спектрограмма пения птиц.......................................................110
История................................................................................................................115
Реализация...........................................................................................................115
Выбор длины ДПФ...............................................................................................116
Дополнительные понятия ДПФ..........................................................................118
Частоты и их упорядочивание........................................................................118
Оконное преобразование...............................................................................124
Практическое применение: анализ радарных данных....................................128
Свойства сигнала в частотной области..........................................................133
Оконное преобразование на практике..........................................................136
Радарные изображения...................................................................................138
Дополнительные применения БПФ...............................................................142
Дополнительные материалы для чтения......................................................143
Задача: свертывание изображения................................................................143
Глава 5. Таблицы сопряженности на основе  
разреженных координатных матриц...................................................144
Таблицы сопряженности.....................................................................................146
Задача: вычислительная сложность матриц ошибок...................................147
Задача: альтернативный алгоритм вычисления матрицы ошибок.............147
Задача: мультиклассовая матрица ошибок...................................................148
Форматы данных модуля scipy.sparse................................................................148
Формат COO.....................................................................................................148
Задача: представление в формате COO.........................................................149
Формат сжатой разреженной строки.............................................................150
Применения разреженных матриц: преобразования изображений...............152
Задача: поворот изображения........................................................................156
Назад к таблицам сопряженности......................................................................157
Задача: сокращение объема потребляемой оперативной памяти..............158
Таблицы сопряженности в сегментации изображений....................................159
Теория информации вкратце.............................................................................160
Задача: вычисление условной энтропии.......................................................163
Теория информации применительно к сегментации : изменчивость  
информации........................................................................................................163
Конвертирование программного кода массивов NumPy  
под использование разреженных матриц.........................................................166


Содержание    7
Применение изменчивости информации.........................................................167
Дальнейшая работа: сегментация на практике............................................173
Глава 6. Линейная алгебра в SciPy.........................................................174
Основы линейной алгебры.................................................................................174
Лапласова матрица графа...................................................................................175
Задача: матрица поворота..............................................................................176
Лапласовы матрицы с данными о мозге...........................................................181
Задача: изображение аффинного подобия....................................................186
Задача: линейная алгебра с разреженными матрицами..............................186
PageRank: линейная алгебра для репутации и важности.................................187
Задача: обработка висячих узлов...................................................................192
Задача: эквивалентность разных методов получения собственного  
вектора.............................................................................................................192
Заключительные замечания...............................................................................192
Глава 7. Оптимизация функций в SciPy................................................193
Оптимизация в SciPy: scipy.optimize..................................................................195
Пример: вычисление оптимального сдвига изображения...........................195
Регистрация изображения при помощи optimize.............................................201
Предотвращение локальных минимумов на основе алгоритма  
basin hopping........................................................................................................204
Задача: модификация функции align............................................................205
«Что лучше?»: выбор правильной целевой функции........................................205
Глава 8. Большие данные с Toolz в маленьком ноутбуке ............212
Потоковая передача при помощи yield.............................................................214
Введение в потоковую библиотеку Toolz...........................................................217
Подсчет k-мер и исправление ошибок..............................................................219
Каррирование: изюминка потоковой обработки.............................................223
Возвращаясь к подсчету k-мер...........................................................................226
Задача: анализ главных компонент потоковых данных..............................227
Марковская модель на основе полного генома.................................................228
Задача: онлайновая распаковка архива........................................................231
Эпилог................................................................................................................233
Что дальше?.........................................................................................................233
Списки рассылок.............................................................................................233
GitHub...............................................................................................................234
Конференции...................................................................................................235
За пределами SciPy..............................................................................................235
Содействие этой книге........................................................................................236


8    Содержание
До следующей встречи........................................................................................237
Приложение. Решения задач...................................................................238
Решение: добавление сеточного наложения.....................................................238
Решение: игра «“Жизнь” Конуэя» ......................................................................239
Решение: магнитуда градиента Собела.............................................................240
Решение: подбор кривой при помощи SciPy.....................................................241
Решение: свертывание изображения.................................................................243
Решение: вычислительная сложность матриц ошибок....................................243
Решение: альтернативный алгоритм вычисления матрицы ошибок.............243
Решение: вычисление матрицы ошибок...........................................................244
Решение: представление в формате COO..........................................................244
Решение: поворот изображения.........................................................................245
Решение: сокращение объема потребляемой оперативной памяти...............246
Решение: вычисление условной энтропии........................................................247
Решение: матрица поворота...............................................................................247
Решение: изображение аффинного подобия....................................................248
Решение: линейная алгебра с разреженными матрицами..............................249
Решение: обработка висячих узлов...................................................................252
Решение: методы проверки................................................................................253
Решение: модификация функции align.............................................................253
Решение: анализ главных компонент потоковых данных при помощи  
библиотеки scikit-learn .......................................................................................255
Решение: добавление шага в начало конвейера...............................................257
Предметный указатель...............................................................................259


Предисловие
В отличие от стереотипного подвенечного стиля, оно было – если использовать технический 
термин – элегантным, как компьютерный алгоритм, который всего несколькими строками 
исходного кода достигает впечатляющего результата.
– Грэм Симсион, «Проект “Рози”»
Добро пожаловать в книгу «Элегантный SciPy». Мы собираемся провести довольно много времени, сосредоточившись на той части заголовка книги, которая относится к «SciPy», поэтому давайте воспользуемся моментом, чтобы 
поразмышлять над словом «элегантный». Существует масса руководств, учебных пособий и веб-сайтов документации, которые дают всестороннее описание пакета SciPy. Книга «Элегантный SciPy» идет дальше. Она представляет собой нечто большее, чем просто обучение приемам написания по-настоящему 
рабочего программного кода. Мы вдохновим вас на написание программного 
кода, который будет по-настоящему потрясающим!
В романе «Проект “Рози”» (между прочим, уморительная книга; когда закончите читать «Элегантный SciPy», обязательно прочтите в Википедии1 материал, 
описывающий предысторию ее написания) Грэм Симсион переиначивает общепринятые нормы, связанные со словом «элегантный». Большинство людей 
использует это слово для описания визуальной простоты, стиля и изящества, 
например, первого мобильника iPhone. Вместо этого герой Грэма Симсиона, 
Дон Тиллман, дает определение элегантности, используя термин «компьютерный алгоритм». Мы надеемся, что после прочтения этой книги вы получите ясное понимание того, что он имеет в виду, и что впредь, занимаясь чтением или 
написанием куска элегантного программного кода, вы будете ощущать умиротворение в лучах его красоты и изящества. (Возьмите на заметку: авторы могут 
быть подвержены гиперболе.)
Хороший фрагмент программного кода вызывает ощущение удовлетворенности. Когда вы на него смотрите, его замысел ясен, он нередко краток (но не 
настолько краток, чтобы быть туманным), и он эффективен при выполнении 
практической задачи. Для авторов удовольствие от анализа элегантного программного кода лежит в скрытых внутри него уроках и в том, как он вдохновляет нас быть творческими в подходах к новым алгоритмическим задачам.
Как ни странно, креативность, помимо всего прочего, может также заставлять нас умничать за счет читателя и писать маловразумительный про1	 См. https://en.wikipedia.org/wiki/The_Rosie_Project и https://ru.wikipedia.org/wiki/Проект_«Рози».


граммный код, который очень трудно понять. PEP81 (руководство по стилю 
программирования на Python) и PEP202 (дзэн языка Python) нам напоминают, 
что «программный код читается намного больше раз, чем пишется» и поэтому 
«читаемость имеет значение».
Краткость элегантного кода обеспечивается не за счет упаковки кучи вложенных вызовов функций, а  за счет абстракции и  рационального использования функций. Она требует одной-двух минут на то, чтобы вникнуть, но 
в конечном счете обеспечивает вам четкий момент понимания. Как только вы 
начнете разбираться в различных компонентах программного кода, его правильность должна стать очевидной. Этому способствуют ясные имена переменных и  функций и  тщательно продуманные комментарии, которые программный код объясняют, а не просто его описывают.
Инженер-программист Дж. Брэдфорд Хиппс (J. Bradford Hipps) недавно в газете «Нью-Йорк таймс»3 заявил: «для того чтобы писать хороший программный код, следует почитать Вирджинию Вульф»:
На практике разработка программного обеспечения имеет гораздо более 
творческий характер, чем алгоритмический.
Разработчик обращается к своему редактору исходного кода таким же 
образом, как писатель к чистому листку бумаги. […] Разработчика и писателя также могут отличать общее здоровое нетерпение по отношению к тому, как все «делалось всегда», и воспроизводящееся стремление 
нарушать общепринятые правила. Когда модуль закончен или страницы 
завершены, их качество оценивается в сопоставлении со многими из тех 
же самых стандартов: элегантностью, краткостью, целостностью; обнаружением симметрий там, где их существование ни разу не было замечено. И даже красотой.
Это именно та позиция, которую мы примем в этой книге.
Теперь, когда мы рассмотрели «элегантную» часть заголовка, давайте возвратимся к «SciPy».
В зависимости от контекста «SciPy» может означать пакет программного 
обеспечения, экосистему или сообщество разработчиков. Отчасти великолепие SciPy обусловлено тем, что он имеет превосходную онлайновую документацию4 и  учебные пособия5, поэтому предлагать читателю очередной справочник было бы бессмысленно. Вместо этого в книге «Элегантный SciPy» будет 
представлен самый лучший программный код, который был создан при помощи SciPy.
1	 См. https://www.python.org/dev/peps/pep-0008/.
2	 См. https://www.python.org/dev/peps/pep-0020/.
3	 См. https://www.nytimes.com/2016/05/22/opinion/sunday/to-write-software-read-novels.html.
4	 См. https://docs.scipy.org/.
5	 См. http://www.scipy-lectures.org/.


Доступ онлайн
749 ₽
В корзину