Теория и реализация языков программирования

Теория и реализация языков программирования

2-е издание, исправленное

Серебряков В.А.
Галочкин М.П.
Гончар Д.Р.
Фуругян М.Г.

Национальный Открытый Университет “ИНТУИТ”
2016

2

Теория и реализация языков программирования/ В.А. Серебряков, М.П. Галочкин, Д.Р. Гончар, М.Г.
Фуругян - М.: Национальный Открытый Университет “ИНТУИТ”, 2016

В курсе излагаются основные разделы теории разработки компиляторов. Рассматриваются такие
средства автоматизации процесса разработки трансляторов, как LEX, YACC, СУПЕР, методы
генерации оптимального кода.
Сделана попытка на протяжении всего изложения провести единую “атрибутную” точку зрения на
процесс разработки компилятора.

(c) ООО “ИНТУИТ.РУ”, 2007-2016
(c) Серебряков В.А., Галочкин М.П., Гончар Д.Р., Фуругян М.Г., 2007-2016

3

Предисловие

Предисловие

Предлагаемая вниманию читателя книга основана на курсе лекций, прочитанных на
факультете вычислительной математики и кибернетики МГУ им. М.В. Ломоносова и
на факультете управления и прикладной математики Московского физикотехнического института в 1991-2002 гг. Авторы надеются, что издание книги
восполнит существенный пробел в литературе на русском языке по разработке
компиляторов.

В книге представлены “классические” разделы теории разработки компиляторов:
лексический и синтаксический анализ, организация памяти компилятора (таблицы
символов) и периода исполнения (магазина), генерация кода. Рассматриваются такие
средства автоматизации процесса разработки трансляторов, как LEX, YACC, СУПЕР,
методы генерации оптимального кода. Сделана попытка на протяжении всего
изложения провести единую “атрибутную” точку зрения на процесс разработки
компилятора. В книге не затрагиваются чрезвычайно важные вопросы глобальной
оптимизации и разработки компиляторов для машин с параллельной архитектурой.
Авторы надеются восполнить эти пробелы в будущем. Книга рассчитана как на
студентов и аспирантов программистских специальностей, так и на профессионалов в
области программирования.

Авторы благодарят всех, кто способствовал выходу этой книги в Свет и с
признательностью примут все конструктивные замечания по её содержанию и
оформлению.

4

Введение

В данной лекции рассматривается место компилятора в программном обеспечении,
который составляет существенную часть программного обеспечения ЭВМ. Приведены
основные понятия, рассмотрена структура компилятора согласно фазам его действия.

Место компилятора в программном обеспечении

Компиляторы составляют существенную часть программного обеспечения ЭВМ. Это
связано с тем, что языки высокого уровня стали основным средством разработки
программ. Сегодня только очень малая часть программного обеспечения, требующая
особой эффективности, разрабатывается с помощью ассемблеров. В настоящее время
имеет применение довольно много языков программирования. Наряду с
традиционными языками, такими, например, как Фортран, широкое распространение
получили так называемые “универсальные” языки (Паскаль, Си, Модула-2, Ада и
другие), а также некоторые специализированные (например, язык обработки
списочных структур Лисп). Кроме того, большое распространение получили языки,
связанные с узкими предметными областями, такие, как входные языки пакетов
прикладных программ.

Для ряда названных языков имеется довольно много реализаций. Так, на рынке
программного обеспечения представлены десятки реализаций языков Паскаля,
Модулы-2 или Си для ЭВМ типа IBM PC.

С другой стороны, постоянно растущая потребность в новых компиляторах связана с
бурным развитием архитектур ЭВМ. Это развитие идет по различным направлениям.
Наряду с возникновением новых архитектур, совершенствуются старые архитектуры
как в концептуальном отношении, так и по отдельным, конкретным параметрам. Это
можно проиллюстрировать на примере микропроцессора Intel-80X86.
Последовательные версии этого микропроцессора 8086, 80186, 80286, 80386, 80486,
80586 отличаются не только техническими характеристиками, но и, что более важно,
новыми возможностями и, значит, изменением (расширением) системы команд.
Естественно, это требует новых компиляторов (или модификации старых). То же
можно сказать о микропроцессорах Motorola 68010, 68020, 68030, 68040.

В рамках традиционных последовательных машин развивается большое число
различных направлений архитектур. Примерами могут служить архитектуры CISC,
RISC. Такие ведущие фирмы, как Intel, Motorola, Sun, начинают переходить на выпуск
машин с RISC-архитектурами. Естественно, для каждой новой системы команд
требуется полный набор новых компиляторов с распространенных языков.

Наконец, бурно развиваются различные параллельные архитектуры. Среди них
отметим векторные, многопроцессорные, с широким командным словом архитектуры
(вариантом которых являются суперскалярные ЭВМ). На рынке уже имеются десятки
типов ЭВМ с параллельной архитектурой, начиная от супер-ЭВМ (Cray, CDC и
другие), через рабочие станции (например, IBM RS/6000) и кончая персональными
компьютерами (например, на основе микропроцессора I-860). Естественно, для каждой

5

из новых машин создаются новые компиляторы для многих языков программирования.
Здесь необходимо также отметить, что новые архитектуры требуют разработки
совершенно новых подходов к созданию компиляторов, так что наряду с собственно
разработкой компиляторов ведется и большая научная работа по созданию новых
методов

Структура компилятора

Обобщенная структура компилятора и основные фазы компиляции показаны на рис.
1.1

На начальной фазе лексического анализа входная программа, представляющая собой
поток литер, разбивается на лексемы - слова в соответствии с определениями языка.
Основными формализмами, лежащим в основе реализации лексических анализаторов,
являются конечные автоматы и регулярные выражения. Лексический анализатор может
работать в двух основных режимах: либо как подпрограмма, вызываемая
синтаксическим анализатором для получения очередной лексемы, либо как полный
проход, результатом которого является файл лексем.

В процессе выделения лексем лексический анализатор может как самостоятельно
строить таблицы объектов (чисел, строк, идентификаторов и так далее), так и выдавать
значения для каждой лексемы при очередном к нему обращении. В этом случае
таблицы объектов строятся в последующих фазах (например, в процессе
синтаксического анализа).

На этапе лексического анализа обнаруживаются некоторые (простейшие) ошибки
(недопустимые символы, неправильная запись чисел, идентификаторов и другие).

Центральная задача синтаксического анализа - разбор структуры программы. Как
правило, под структурой понимается дерево, соответствующее разбору в контекстносвободной грамматике языка. В настоящее время чаще всего используется либо LL(1)анализ (и его вариант - рекурсивный спуск), либо LR(1)-анализ и его варианты (LR(0),
SLR(1), LALR(1) и другие). Рекурсивный спуск чаще используется при ручном
программировании синтаксического анализатора, LR(1) - при использовании систем
автоматического построения синтаксических анализаторов.

Результатом синтаксического анализа является синтаксическое дерево со ссылками на
таблицы объектов. Ошибки, связанные со структурой программы, также
обнаруживаются в процессе синтаксического анализа. На этапе контекстного анализа
выявляются зависимости между частями программы, которые не могут быть описаны
контекстно-свободным синтаксисом. Это, в основном, связи “описаниеиспользование”, в частности, анализ типов объектов, анализ областей видимости,
соответствие параметров, метки и другие. В процессе контекстного анализа таблицы
объектов пополняются информацией об описаниях (свойствах) объектов.

Основным формализмом, используемым при контекстном анализе, является аппарат
атрибутных грамматик. Результатом контекстного анализа является атрибутированное
дерево программы. Информация об объектах может быть как рассредоточена в самом

6

дереве, так и сосредоточена в отдельных таблицах объектов. В процессе контекстного
анализа также могут быть обнаружены ошибки, связанные с неправильным
использованием объектов.

Затем программа может быть переведена во внутреннее представление. Это делается
для целей оптимизации и/или удобства генерации кода. Еще одной целью
преобразования программы во внутреннее представление является желание иметь
переносимый компилятор. Тогда только последняя фаза (генерация кода) является
машинно-зависимой. В качестве внутреннего представления может использоваться
префиксная или постфиксная запись, ориентированный граф, тройки, четверки и
другие способы.

Фаз оптимизации может быть несколько. Оптимизации обычно делят на машиннозависимые и машинно-независимые, локальные и глобальные. Определенная часть
машинно-зависимой оптимизации выполняется на фазе генерации кода. Глобальная
оптимизация пытается принять во внимание структуру всей программы, локальная только небольших ее фрагментов. Глобальная оптимизация основывается на
глобальном потоковом анализе, который выполняется на графе программы и
представляет по существу преобразование этого графа. При этом могут учитываться
такие свойства программы, как межпроцедурный анализ, межмодульный анализ,
анализ областей жизни переменных и так далее.

Наконец, генерация кода - последняя фаза трансляции. Результатом ее является либо
ассемблерный модуль, либо объектный (или загрузочный) модуль. В процессе
генерации кода могут выполняться некоторые локальные оптимизации, такие как
распределение регистров, выбор длинных или коротких переходов, учет стоимости
команд при выборе конкретной последовательности команд. Для генерации кода
разработаны различные методы, такие как таблицы решений, сопоставление образцов,
включающее динамическое программирование, различные синтаксические методы.
Конечно, те или иные фазы транслятора могут либо отсутствовать совсем, либо
объединяться. В простейшем случае однопроходного транслятора нет явной фазы
генерации промежуточного представления и оптимизации, остальные фазы
объединены в одну, причем нет и явно построенного синтаксического дерева.

7

Рис. 1.1. 

8

Языки и их представление

В данной лекции рассматривается понятие языков и их представление. Приведены
такие определения, как алфавит, цепочка, грамматика, машина Тьюринга. Также
приведены примеры практической реализации основных понятий в теории
программирования.

Алфавиты, цепочки и языки

Алфавит, или словарь - это конечное множество символов. Для обозначения символов
мы будем пользоваться цифрами, латинскими буквами и специальными литерами
типа 

Пусть V - алфавит. Цепочка в алфавите V - это любая строка конечной длины,
составленная из символов алфавита V . Синонимом цепочки являются предложение,
строка и слово. Пустая цепочка (обозначается e) - это цепочка, в которую не входит ни
один символ.

Конкатенацией цепочек x и y называется цепочка xy. Заметим, что xe = ex = x для
любой цепочки x.

Пусть x, y, z - произвольные цепочки в некотором алфавите. Цепочка y называется
подцепочкой цепочки xyz. Цепочки x и y называются, соответственно, префиксом и
суффиксом цепочки xy. Заметим, что любой префикс или суффикс цепочки является
подцепочкой этой цепочки. Кроме того, пустая цепочка является префиксом,
суффиксом и подцепочкой для любой цепочки.

Пример 2.1. Для цепочки abbba префиксом является любая цепочка из множества 

 суффиксом является любая цепочка из множества 

 подцепочкой является любая цепочка из множества 

Длиной цепочки w (обозначается |w| ) называется число символов в ней. Например,

|abababa| = 7, а |e| = 0. Язык в алфавите V - это некоторое множество цепочек в
алфавите V.

Пример 2.2. Пусть дан алфавит V = {a, b}. Вот некоторые языки в алфавите V:

1. 
 — пустой язык;

2. 
 - язык, содержащий только пустую цепочку (заметим, что 
 и 
 
различные языки)

3. 
 - язык, содержащий цепочки из a и b, длина которых не превосходит 2

4. 
 - язык, включающий всевозможные цепочки из a и b, содержащие четное число

a и четное число b

5. 
 - язык цепочек из a, длины которых представляют собой

квадраты натуральных чисел.

9

Два последних языка содержат бесконечное число цепочек.

Введем обозначение 
 для множества всех цепочек в алфавите , включая пустую

цепочку. Каждый язык в алфавите V является подмножеством 
. Для обозначения

множества всех цепочек в алфавите V , кроме пустой цепочки, будем использовать 
.

Пример 2.3. Пусть 
. Тогда 

Введем некоторые операции над языками.

Пусть 
 и 
 - языки в алфавите V. Конкатенацией языков 
 и 
 называется язык 

.

Пусть L - язык в алфавите V. Итерацией языка L называется язык 
, определяемый

следующим образом:

(1)

(2)

(3)

Пример 2.4. Пусть 
 и 
. Тогда

, и

Большинство языков, представляющих интерес, содержат бесконечное число цепочек.
При этом возникают три важных вопроса.

Во-первых, как представить язык (то есть специфицировать входящие в него цепочки)?
Если язык содержит только конечное множество цепочек, ответ прост. Можно просто
перечислить его цепочки. Если язык бесконечен, необходимо найти для него конечное
представление. Это конечное представление, в свою очередь, будет строкой символов
над некоторым алфавитом вместе с некоторой интерпретацией, связывающей это
представление с языком.

Во-вторых, для любого ли языка существует конечное представление? Можно
предположить, что ответ отрицателен. Мы увидим, что множество всех цепочек над
алфавитом счетно. Язык - это любое подмножество цепочек. Из теории множеств
известно, что множество всех подмножеств счетного множества несчетно. Хотя мы и
не дали строгого определения того, что является конечным представлением,
интуитивно ясно, что любое разумное определение конечного представления ведет
только к счетному множеству конечных представлений, поскольку нужно иметь
возможность записать такое конечное представление в виде строки символов конечной
длины. Поэтому языков значительно больше, чем конечных представлений.

10