Байесовские модели восприятия и действия

Вэй Цзи Ма, Конрад Кёрдинг, Дэниел Голдрайх
Байесовские модели  
восприятия и действия

Wei Ji Ma, Konrad Paul Kording, and Daniel Goldreich
Bayesian Models  
of Perception and Action
Современный взгляд  
на принципы работы мозга
The MIT Press
Cambridge, Massachusetts
London, England

Вэй Цзи Ма, Конрад Кёрдинг, Дэниел Голдрайх
Байесовские модели 
восприятия и действия
Современный взгляд  
на принципы работы мозга
Москва, 2024

УДК	 004.021
ББК 32.973.3
В97
Вэй Цзи Ма, Кёрдинг К., Голдрайх Д.
В97 	 Байесовские модели восприятия и действия / пер. с англ. В. С. Яценкова. – М.: 
ДМК Пресс, 2023. – 458 с.: ил. 
ISBN 978-5-93700-229-7
Многие формы восприятия и действий можно математически смоделировать 
с помощью вероятностного (байесовского) вывода – метода, используемого для 
получения выводов на основе неопределенных данных. Согласно этим моделям, 
сталкиваясь с зашумленными и неоднозначными данными, человеческий мозг 
ведет себя как талантливый специалист по обработке данных или следователь на 
месте преступления. Данная богатая примерами и иллюстрациями книга представляет собой введение в методологию построения и использования вероятностных 
моделей перцептивного принятия решений и действий. 
Издание адресовано широкому кругу читателей, интересующихся нейробиологией, когнитивными  науками, машинным обучением, психологией, лингвистикой 
и математикой.
УДК  004.021
ББК  32.973.3
Copyright @ MIT Press 2023. Права на русское издание получены через агентство Александра Корженевского.
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения 
владельцев авторских прав.
ISBN 978-0-262-04759-3 (англ.) 	
©  2023 Massachusetts Institute 
of Technology
ISBN 978-5-93700-229-7 (рус.) 	
©  Перевод, оформление, издание,  
ДМК Пресс, 2023

Мы посвящаем эту книгу памяти Дэвида Книла (1961–
2014). Большая часть того, что все мы трое знаем 
о байесовском моделировании восприятия и действия, – 
его заслуга. Он был заботливым и терпеливым наставником и отличным учителем и сделал изучение этой 
темы комфортным и приятным. Область байесовского 
моделирования восприятия и действия не была бы такой, какой она есть, без него, и эта книга, вероятно, 
никогда бы не была написана

Содержание
От издательства.......................................................................................................14
Благодарности..........................................................................................................15
Сокращения...............................................................................................................18
Введение....................................................................................................................19
Глава 1. Неопределенность и вывод................................................................24
1.1. Цель восприятия..................................................................................................25
1.2. Гипотезы и их вероятности................................................................................26
1.3. Сенсорный шум и неоднозначность восприятия...........................................31
1.4. Байесовский вывод в зрительном восприятии...............................................33
1.5. Байесовский вывод в слуховом восприятии....................................................38
1.6. Исторический обзор: восприятие как бессознательное  
умозаключение............................................................................................................45
1.7. Заключение...........................................................................................................46
1.8. Рекомендуемая литература................................................................................47
1.9. Задачи....................................................................................................................48
Глава 2. Применение правила Байеса..............................................................52
2.1. Этапы байесовского моделирования................................................................52
2.2. Альтернативная форма правила Байеса...........................................................57
2.3. Площадное представление.................................................................................57
2.4. Ошибка прокурора...............................................................................................59
2.5. Смена априорного убеждения: пример багажной карусели.........................61
2.6. Плоское априорное распределение: пример гештальт-восприятия...........65
2.7. Оптимальность, эволюция и мотивы байесовского моделирования...........68
2.8. Заключение...........................................................................................................69
2.9. Рекомендуемая литература................................................................................70
2.10. Задачи..................................................................................................................70
Глава 3. Байесовский вывод в условиях зашумленных измерений.....78
3.1. Этапы байесовского моделирования................................................................79
3.2. Этап 1: порождающая модель............................................................................80

Содержание    7
3.2.1. Измерение: абстрактное сенсорное представление...............................81
3.2.2. Графовая модель...........................................................................................82
3.2.3. Распределение стимулов.............................................................................83
3.2.4. Распределение измерений..........................................................................84
3.2.5. Совместное распределение.........................................................................86
3.3. Этап 2: вывод........................................................................................................86
3.3.1. Априорное распределение..........................................................................87
3.3.2. Функция правдоподобия.............................................................................88
3.3.3. Апостериорное распределение...................................................................90
3.3.4. Апостериорное среднее...............................................................................94
3.3.5. Ширина апостериорного распределения..................................................96
3.3.6. Оценка апостериорного среднего..............................................................96
3.3.7. Оценка MAP...................................................................................................97
3.4. Неопределенность и уверенность.....................................................................97
3.4.1. Неопределенность........................................................................................97
3.4.2. Байесовская уверенность............................................................................99
3.5. Несоответствие модели в выводе....................................................................101
3.5.1. Априорное несоответствие.......................................................................101
3.5.2. Неудовлетворительные априорные распределения.............................102
3.6. Гетероскедастичность.......................................................................................103
3.7. Амплитудные переменные...............................................................................103
3.8. Применение байесовских моделей.................................................................105
3.9. Восприятие..........................................................................................................106
3.10. Заключение.......................................................................................................107
3.11. Рекомендуемая литература............................................................................108
3.12. Задачи................................................................................................................108
Глава 4. Распределение отклика......................................................................114
4.1. Унаследованная изменчивость........................................................................114
4.2. Распределение отклика.....................................................................................116
4.3. Распределение убеждений или распределение отклика?............................118
4.4. Оценка максимального правдоподобия.........................................................120
4.5. Смещение и среднеквадратичная ошибка.....................................................121
4.5.1. Перспектива «обратного смещения».......................................................123
4.5.2. Все расходы оплачены...............................................................................125
4.6. Другие оценки....................................................................................................127
4.7. Шум принятия решения и шум отклика.........................................................128
4.8. Заблуждения.......................................................................................................128
4.9. Размышления о байесовских моделях............................................................131
4.10. Заключение.......................................................................................................132
4.11. Рекомендуемая литература............................................................................132
4.12. Задачи................................................................................................................132
Глава 5. Комбинация признаков и накопление свидетельств...............140
5.1. Что такое объединение сигналов?...................................................................141
5.2. Формулировка байесовской модели...............................................................144

8    Содержание
5.2.1. Этап 1: порождающая модель...................................................................144
5.2.2. Этап 2: вывод...............................................................................................146
5.2.3. Этап 3: оценка распределения..................................................................149
5.3. Искусственный конфликт сигналов................................................................149
5.3.1. Различение распределений.......................................................................151
5.4. Обобщения: априорные распределения, множественные сигналы..........151
5.5. Накопление свидетельств.................................................................................153
5.6. Объединение сигналов при неоднозначности..............................................154
5.7. Применение объединения сигналов...............................................................155
5.8. Заключение.........................................................................................................157
5.9. Рекомендуемая литература..............................................................................157
5.10. Задачи................................................................................................................158
Глава 6. Обучение как вывод............................................................................163
6.1. Множество форм обучения...............................................................................163
6.2. Изучение вероятности бинарного события...................................................165
6.2.1. Прогноз.........................................................................................................168
6.2.2. Уравнения обновления..............................................................................170
6.2.3. Неопределенность......................................................................................170
6.2.4. Биномиальное распределение..................................................................170
6.2.5. Неравномерное априорное распределение............................................171
6.3. Связь между байесовским обучением и обучением с подкреплением.....172
6.4. Изучение точности нормального распределения.........................................174
6.4.1. Почему бы не вывести дисперсию?.........................................................177
6.4.2. Прогноз.........................................................................................................177
6.5. Изучение наклона линейной зависимости....................................................178
6.6. Изучение структуры причинно-следственной модели................................180
6.7. Другие формы обучения....................................................................................182
6.8. Заключение.........................................................................................................183
6.9. Рекомендуемая литература..............................................................................183
6.10. Задача.................................................................................................................184
Глава 7. Различение и обнаружение...............................................................188
7.1. Примеры задач...................................................................................................188
7.2. Различение..........................................................................................................189
7.2.1. Этап 1: порождающая модель...................................................................189
7.2.2. Этап 2: вывод...............................................................................................190
7.2.3. Гауссова модель...........................................................................................194
7.2.4. Решающее правило с точки зрения измерения.....................................195
7.2.5. Несколько задач могут иметь одно и то же байесовское  
решающее правило..............................................................................................196
7.2.6. Этап 3: распределение отклика................................................................196
7.3. Обнаружение.......................................................................................................199
7.4. Уверенность в решении.....................................................................................200
7.5. Дополнительные характеристики распределения откликов.......................203
7.5.1. Рабочая характеристика приемника........................................................203

Содержание    9
7.5.2. Различимость...............................................................................................205
7.6. Связь между байесовским выводом и теорией обнаружения сигналов....207
7.7. Промежуточные варианты................................................................................208
7.8. Заключение.........................................................................................................208
7.9. Рекомендуемая литература..............................................................................209
7.10. Задачи................................................................................................................209
Глава 8. Бинарная классификация..................................................................214
8.1. Примеры задач бинарной классификации....................................................214
8.2. Порождающая модель.......................................................................................217
8.2.1. Зеркально симметричные распределения стимулов,  
обусловленные классами.....................................................................................217
8.3. Маргинализация................................................................................................218
8.3.1. Сумма двух бросков кубика.......................................................................219
8.3.2. Непрерывные переменные.......................................................................221
8.3.3. Условная маргинализация.........................................................................221
8.3.4. Использование порождающей модели...................................................222
8.4. Вывод...................................................................................................................223
8.5. Распределение отклика.....................................................................................226
8.6. Другие распределения стимулов, обусловленных классами.......................228
8.7. «Следуйте по стрелкам».....................................................................................231
8.8. Заключение.........................................................................................................232
8.9. Рекомендуемая литература..............................................................................232
8.10. Задачи................................................................................................................233
Глава 9. Мешающие переменные верхнего уровня 
и неоднозначность...............................................................................................239
9.1. Примеры задач...................................................................................................239
9.2. Размер как мешающая переменная верхнего уровня в восприятии 
глубины сцены...........................................................................................................241
9.3. Маргинализация................................................................................................246
9.4. Цветовое зрение.................................................................................................247
9.5. Распознавание объектов...................................................................................250
9.6. Заключение.........................................................................................................252
9.7. Рекомендуемая литература..............................................................................252
9.8. Задачи..................................................................................................................253
Глава 10. Одинаковый или разный?...............................................................256
10.1. Примеры задач.................................................................................................256
10.2. Бинарные стимулы..........................................................................................257
10.2.1. Этап 1: порождающая модель.................................................................257
10.2.2. Этап 2: вывод.............................................................................................258
10.2.3. Этап 3: оценка распределения................................................................260
10.3. Непрерывные стимулы...................................................................................262
10.3.1. Этап 1: порождающая модель.................................................................262

10    Содержание
10.3.2. Этап 2: вывод.............................................................................................264
10.3.3. Этап 3: вероятность отклика...................................................................265
10.3.4. Пересмотр этапа 2: вывод стимулов......................................................266
10.4. Оценка сходства нескольких элементов......................................................268
10.5. Организация восприятия................................................................................270
10.5.1. Формирование контура...........................................................................272
10.5.2. Пересекающиеся линии...........................................................................274
10.6. Заключение.......................................................................................................277
10.7. Рекомендуемая литература............................................................................277
10.8. Задачи................................................................................................................278
Глава 11. Поиск.......................................................................................................281
11.1. Разнообразие форм зрительного поиска.....................................................282
11.2. Локализация цели при маскировке...............................................................283
11.3. Локализация цели с помощью зашумленных измерений.........................287
11.4. Обнаружение цели при маскировке..............................................................290
11.5. Обнаружение цели с помощью зашумленных измерений........................293
11.6. Применение......................................................................................................295
11.7. Заключение.......................................................................................................296
11.8. Рекомендуемая литература............................................................................296
11.9. Задачи................................................................................................................297
Глава 12. Вывод в меняющемся мире...........................................................302
12.1. Отслеживание непрерывно меняющегося состояния мира......................302
12.1.1. Этап 1: порождающая модель.................................................................303
12.1.2. Этап 2: вывод.............................................................................................305
12.2. Обнаружение точки изменения.....................................................................308
12.2.1. Единственная точка изменения.............................................................308
12.2.2. Случайные точки изменения..................................................................310
12.2.3. Более реалистичное обнаружение точки изменения..........................312
12.3. Заключение.......................................................................................................312
12.4. Рекомендуемая литература............................................................................313
12.5. Задачи................................................................................................................313
Глава 13. Сочетание вывода с полезностью................................................317
13.1. Примеры задач.................................................................................................317
13.2. Выбор между двумя действиями...................................................................319
13.3. Выбор между несколькими действиями......................................................320
13.4. Математическое определение ожидаемой полезности.............................323
13.4.1. Бинарная классификация........................................................................324
13.4.2. Непрерывная оценка................................................................................325
13.5. Функции затрат «чистого восприятия»........................................................327
13.5.1. Дискретные задачи...................................................................................327
13.5.2. Непрерывная оценка................................................................................328
13.5.3. Восприятие и действие............................................................................329