Зачем нужны поликодовые тексты?

САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ 
В. С. Браташ, Е. И. Риехакайнен, 
Т. Е. Петрова
ЗАЧЕМ НУЖНЫ 
ПОЛИКОДОВЫЕ 
ТЕКСТЫ?
Учебно-методическое пособие
ИЗДАТЕЛЬСТВО САНКТ-ПЕТЕРБУРГСКОГО УНИВЕРСИТЕТА

УДК  81'42
ББК   81.2-5
	
  
З-39
Р е ц е н з е н т ы :
д-р пед. наук, профессор Е. И. Казакова (С.-Петерб. гос. ун-т); 
д–р пед. наук, профессор-адъюнкт Е. Ю. Протасова (Ун–т Хельсинки)
Рекомендовано к публикации 
Учебно-методической комиссией по УГСН 44.00.00 Образование и педагогические науки 
Санкт-Петербургского государственного университета
З-39
Зачем нужны поликодовые тексты? / В. С. Браташ, Е. И. Риехакайнен, Т. Е. Петрова: 
учебно-методическое пособие. — СПб.: Изд-во С.-Петерб. ун-та, 2022. — 72 с.
ISBN 978-5-288-06255-1
Пособие посвящено описанию особенностей текстов, в структуре которых совмещаются вербальные и 
невербальные компоненты. На примере визуальных заметок (скетчей) авторы рассматривают специфику поликодовых текстов и возможности их использования в образовательном процессе. В издании представлен 
анализ понятий, используемых по отношению к поликодовым текстам; собраны различные классификации 
таких текстов; описаны феномен новой грамотности, а также особенности чтения нелинейных текстов. Отдельное внимание уделено описанию наиболее распространенных видов текстов новой природы: презентации, лонгриду, буктрейлеру, майнмэпу, инфографике, комиксу и скетчноутингу. Практическая часть пособия 
включает в себя рекомендации по созданию и использованию поликодовых текстов в рамках учебной и внеучебной деятельности. Авторами предложена подборка визуальных заметок на литературную тематику, представлена рабочая тетрадь для обучения их созданию.
Пособие может быть рекомендовано обучающимся по программам магистратуры и бакалавриата и студентам, специализирующимся в области педагогики, психолингвистики и когнитивной психологии, а также 
будет полезным для специалистов, работающих со школьниками.
УДК 81'42 
ББК 81.2-5
Работа по созданию учебно-методического пособия проводилась 
при поддержке Санкт-Петербургского государственного университета в рамках 
проекта № 73683625 «Как читаются поликодовые тексты: экспериментальное исследование»
© Санкт-Петербургский 
     государственный 
     университет, 2022
ISBN 978-5-288-06255-1

СОДЕРЖАНИЕ
ПРЕДИСЛОВИЕ...................................................................................................................................................	
4
1. ПОЛИКОДОВЫЕ ТЕКСТЫ: ОПРЕДЕЛЕНИЯ, КЛАССИФИКАЦИЯ, 
КЛЮЧЕВЫЕ ПОНЯТИЯ................................................................................................................................	
7
1.1. Анализ определений.................................................................................................................................	
—
1.2. Классификации поликодовых текстов.................................................................................................	
1.3. Виды текстов новой природы................................................................................................................	
10
1.4. Поликодовые тексты в учебном процессе: обзор исследований...................................................	
16
1.5. «Новая грамотность» и изучение процесса чтения поликодовых текстов.................................	
17
2. ИНТЕГРАЦИЯ СКЕТЧНОУТИНГА В ОБРАЗОВАТЕЛЬНЫЙ ПРОЦЕСС.....................................	
21
2.1. Что необходимо для создания визуальных заметок.
........................................................................	
—
2.2. Игра с использованием скетчей при ознакомлении с новой информацией..............................	
25
2.3. Задания с использованием визуальных заметок.
..............................................................................	
26
2.4. Визуальный проект.
..................................................................................................................................	
—
2.5. Общие педагогические рекомендации для использования скетчноутинга 
в рамках учебной и внеучебной деятельности.
.................................................................................	
28
СПИСОК ЛИТЕРАТУРЫ...................................................................................................................................	
33
ПРИЛОЖЕНИЯ....................................................................................................................................................	
37
3

ПРЕДИСЛОВИЕ
В последние годы растет интерес к формату подачи информации, который совмещает в себе вербальный и невербальный компоненты: наряду с обсуждением практических вопросов, связанных 
с потенциалом этих текстов как одного из новых типов учебного материала, проводятся психолингвистические исследования, направленные на описание того, как обрабатывается поликодовый текст 
и чем этот процесс отличается от чтения традиционного вербального текста. Материал пособия создан на основе результатов таких исследований, поэтому большинство сформулированных педагогических рекомендаций имеет научное подкрепление.
В первой части пособия вводятся и сопоставляются термины, которые могут быть использованы 
применительно к текстам, совмещающим в себе вербальные и невербальные компоненты, приводится 
классификация таких текстов. Эта часть книги будет полезна самому широкому кругу читателей: от 
тех, кто просто хочет узнать о том, что такое поликодовый текст, до специалистов в данной области, 
которым, как мы надеемся, будет интересно ознакомиться с кратким обзором психолингвистических 
исследований поликодовых текстов. Отдельно необходимо отметить важность этой части пособия 
для студентов, обучающихся по программам магистратуры и бакалавриата и специализирующихся 
в области психолингвистики (в частности, по реализуемым в СПбГУ программам CB. 5048.* «Теоретическое и экспериментальное языкознание (английский язык)», CB. 5051.* «Теория и практика межкультурной коммуникации (английский язык)», BM. 5624.* «Теория и история языка и языки народов 
Европы» (блок «Психолингвистика»), BM. 5618.* «Когнитивные исследования»). Поскольку изучение 
поликодовых текстов — это одно из актуальных направлений психолингвистических исследований, 
пособие может быть рекомендовано при изучении тем, связанных с восприятием речи в целом и обработкой письменного текста как одного из аспектов этого процесса в рамках учебных дисциплин 
016024 «Введение в психолингвистику», 041384 «Современные проблемы языкознания: психолингвистика», 009556 «Психолингвистические методы и модели», 019844 «Психолингвистика», 047091 «Теория и практика применения метода регистрации движений глаз», 035473 «Психология» и др.
Информация, представленная во второй части пособия, будет полезна преподавателям, работающим со школьниками и студентами, а также студентам при прохождении педагогической практики 
в школе. Проработанные теоретическая и диагностическая базы исследования, а также проведенная 
апробация форматов включения поликодовых текстов в образовательный процесс свидетельствуют 
об актуальности предлагаемых рекомендаций. Кроме того, данные рекомендации могут быть учтены 
при реализации образовательных программ и в рамках курсов повышения квалификации для педагогов. Примером может послужить программа магистратуры СПбГУ BM. 5818.* «Педагог для школы 
высоких технологий», среди формируемых компетенций которой указана способность «к анализу 
и проектированию учебно-методических пособий нового поколения, в том числе с использованием текстов новой природы (гипертексты, инфографика, сетевые и медийные текстовые продукты)». 
Представленные в пособии материалы могут использоваться в рамках подобных программ (ВМ. 5792* 
5

«Genius: педагог для талантливых школьников», ВМ. 5583* «Межкультурное образование») на семинарских занятиях, посвященных изучению педагогических инструментов, и в практической деятельности студентов. Исследователи, изучающие психолингвистику и когнитивную психологию, получат 
из второй части пособия знания о принципах создания скетчей, которые они смогут применить при 
разработке стимульного материала для своих экспериментов.
Предлагаемое пособие будет полезно учащимся средней и старшей школы, поскольку в наглядной 
и доступной для них форме знакомит с форматом обработки и представления материала, который на 
данный момент еще мало используется в образовательном процессе, но может быть достойной альтернативой привычному конспекту. Рекомендуемые в пособии задания, предполагающие использование 
поликодовых текстов, с 2016 года успешно применяются авторами пособия в работе со школьниками 
в рамках профильных и общеобразовательных программ Образовательного центра «Сириус» (Сочи).
БЛАГОДАРНОСТИ
Авторы выражают свою искреннюю благодарность доктору педагогических наук, директору Института педагогики СПбГУ Елене Ивановне Казаковой за ее бесценный вклад в изучение феномена текстов новой природы и развитие исследований в этой области. Мы признательны Елене Ивановне за 
ценные советы и комментарии для нас, за рецензию, составленную на это издание.
От всей души благодарим доктора биологических и филологических наук, директора Института 
когнитивных исследований СПбГУ Татьяну Владимировну Черниговскую. Татьяна Владимировна 
является руководителем проекта «Как читаются поликодовые тексты: экспериментальное исследование», в рамках которого было подготовлено наше пособие.
***
Возможностью найти соавторов среди школьников — участников программ «Литературное 
творчество» и «Большие вызовы» мы обязаны Образовательному центру «Сириус». Благодарим исследовательскую команду направления «Когнитивные исследования» 2018 года Елизавету Жукатинскую, Анастасию Сальникову, Екатерину Железову, Марину Солнцеву, Александру Бервинову, Анастасию Сухареву, а также участниц мастерской «Изотекст» Александру Пархимович, Алину Воинову 
и Полину Колосову — авторов отдельных визуальных заметок, представленных в пособии. Мы также благодарны всем многочисленным участникам наших экспериментов.
***
Искренне признательны Екатерине Юрьевне Протасовой за подробную рецензию на наше издание, а также Ольге Валерьевне Кувакиной за помощь в редактировании текста пособия.

1. ПОЛИКОДОВЫЕ ТЕКСТЫ: 
ОПРЕДЕЛЕНИЯ, КЛАССИФИКАЦИЯ, КЛЮЧЕВЫЕ ПОНЯТИЯ
1.1. Анализ определений
Современный школьник или студент вполне уверенно чувствует себя в  многомерном текстовом 
пространстве. Для него не представляет сложности листать новостную ленту, состоящую из текста, 
графики и видео, выражать свое отношение или эмоции с помощью слов, стикеров или графической 
анимации, создавать сообщения, подкрепляя мысли смайлами, а затем открыть бумажную книгу 
и погрузиться в чтение. И если взаимодействие человека с традиционным линейным текстом — это 
уже устоявшаяся тема филологических, педагогических и лингвистических научных работ, то внимание к неоднородным текстовым структурам — актуальное исследовательское направление, которое 
активно развивается в последние десятилетия.
О становлении исследовательского направления свидетельствует разнообразие терминов, которые 
характеризуют интересующий нас феномен. В синонимичный ряд выстраиваются лингвистические 
понятия: «поликодовый текст», «креолизованный текст», «мультимодальный текст», «лингвовизуальный комплекс», «изоверб», «семантически осложненный текст» и «семантически обогащенный текст».
В данном пособии мы ограничимся анализом первых трех терминов, поскольку «лингвовизуальный комплекс», «изоверб» рассматриваются как разновидность поликодовых текстов, а «семантически осложненный/обогащенный текст» — широкое понятие, включающее разные (не только визуальные, но и смысловые) способы обогащения/осложнения текста.
Обратимся к определению креолизованного текста. Согласно работам Ю. М. Сергеевой, Е. А. Уваровой, этот термин впервые начали использовать Ю. А. Сорокин и Е. Ф. Тарасов. Под ним филологи 
понимали тексты, «фактура которых состоит из двух негомогенных частей: вербальной (языковой/
речевой) и невербальной (принадлежащей к другим знаковым системам, нежели естественный язык» 
(Сергеева, Уварова, 2014: 129).
В качестве примеров креолизованных текстов приводятся газеты, комиксы, афиши, плакаты. В их 
структуре невербальными элементами являются иллюстрации, фотографии, «иконки». Л. С. Большакова отмечает, что «креолизованные тексты длительное время не привлекали к себе внимания 
языковедов», и связывает это с традиционно узким подходом к их исследованию. По ее мнению, анализ креолизованных текстов сводился исключительно «к отдельным наблюдениям за применением 
изображения в рекламе, афише, о роли подписи под фотоизображениями в прессе и карикатурами» 
(Большакова, 2008: 21).
Развитие семиотики послужило толчком к научному изучению креолизованных текстов. М. Б. Ворошилова рассматривает два подхода к их исследованию. Первый строится на анализе соотношения вербальной и иконической, визуальной знаковых систем внутри креолизованного текста. Визуальные элементы при таком подходе рассматриваются как сопровождение письменной речи, что, 
по мнению исследователя, сужает поле для анализа. Второй подход предполагает описание структуры креолизованного текста, выделение основных знаковых единиц, анализ семантики вербальных 
7

и невербальных элементов и изучение их взаимодействия. Этот подход позволяет рассматривать 
вербальные и невербальные компоненты не как «сумму семиотических знаков», а как взаимосвязанную комбинацию, которая «образует сложно построенный смысл» (Ворошилова, 2007: 76).
Стоит отметить, что понятие «креолизованный текст» чаще всего предполагает сочетание вербальных и визуальных (в частности, графических) элементов — изображений, иллюстраций, схем, 
зарисовок, элементов оформления, — то есть креолизованный текст приравнивается к дикодовому 
тексту (Большакова, 2008). Кроме того, к проблемам терминологии Ю. М. Сергеева и Е. А. Уварова 
относят ассоциирование термина «креолизованный» с креолизованными языками, «страдательная 
форма данного термина предполагает, что вербальный текст именно подвергся процессу креолизации, чего, как правило, не бывает» (Сергеева, Уварова, 2014: 130).
Более автономным является понятие «поликодовый текст». Несмотря на то что среди определений встречаются трактовки, близкие к тому, что понимают под креолизованными текстами (например, А. Г. Сонин относит к поликодовым «тексты, построенные на соединении в едином графическом 
пространстве семиотически гетерогенных составляющих — вербального текста в устной или письменной форме, изображения, а также знаков иной природы» (Сонин, 2005: 117)), понятие «поликодовый текст» возникло в результате становления оппозиции монокодовых и поликодовых текстов. 
Поликодовость подразумевает включение в языковой код элементов другой семиотической системы — музыки, видео, изображений и т. д. К преимуществам поликодовых текстов относят способность эмоционально воздействовать на читателя, быструю ориентацию в гипертекстовом пространстве при меньших затратах когнитивных ресурсов (Ильина, 2016), лучшее понимание и запоминание 
представляемой информации в сравнении с монокодовыми текстами (Сонин, 2006).
Понятие «мультимодальный» подчеркивает изобилие каналов воздействия на реципиента. По 
определению, приведенному Е. В. Сидоровой, «это текст, в  котором коммуникативная ситуация 
представлена с использованием нескольких модальностей восприятия, конкретно — зрения и слуха. 
В исследовательских целях аудиовизуальный материал сопровождается транскрипциями, аннотациями» (Сидорова, 2015: 145). К отличительным особенностям мультимодальных текстов относят 
характерные для каждого конкретного примера «законы функционирования».
А. Г. Сонин рассматривает вербальный поликодовый текст как предназначенный для восприятия зрителем, а мультимодальный поликодовый текст — как поток информации, который считывается сразу несколькими сенсорными каналами: визуальным и аудиальным. Креолизованный же 
текст может трактоваться как пример дикодового текста, «нелинейного гомогенного образования, 
включающего коды двух знаковых систем» (Большакова, 2008).
По мнению представителей Московской психолингвистической школы (Е. Ф. Тарасова, И. В. Вашуниной, М. О. Матвеева, А. А. Нистратова), креолизация является неотъемлемым свойством любого текста. Многочисленные эксперименты показали, что текст всегда обрабатывается комплексно, 
как сплав составляющих. Восприятие вербального текста протекает под влиянием со стороны невербальной составляющей. Московскими коллегами были обнаружены закономерности восприятия 
креолизованных текстов в зависимости от характеристик вербальных и визуальных компонентов, 
выявлены параметры составляющих креолизованного текста, обладающих наибольшей воздействующей силой. По результатам исследований введен термин коэффициент креолизации, характеризующий степень «слитности» восприятия составляющих креолизованного текста (Креолизованный 
текст: Смысловое восприятие, 2020).
Примечательно, что в педагогике сложилось свое понимание поликодовых текстов. Е. И. Казакова дает этому феномену название «тексты новой природы» и определяет их как «мысль, зафиксированную на каком-либо носителе, для отображения которой используется связная последовательность разнородных символов, знаков вербальной и невербальной природы». Такие тексты имеют 
нелинейную структуру; предполагают уменьшение объемов текста за счет увеличения информационной нагрузки на каждую текстовую единицу; информационные текстовые части представляют собой емкие фрагменты текста (ориентация на «мелкие текстовые структуры»); смысловое содержание 
таких текстов транслируется через различные знаковые системы и может дублироваться в разных 
частях текста. Важную роль в текстах новой природы играет интерактивность, вовлечение читателя 
8