Информационные технологии и анализ данных

Министерство образования и науки Российской Федерации

ТОМСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
СИСТЕМ УПРАВЛЕНИЯ И РАДИОЭЛЕКТРОНИКИ (ТУСУР)

О. И. Жуковский

ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ
И АНАЛИЗ ДАННЫХ

Учебное пособие

Томск

«Эль Контент»
2014

УДК
004.6(075.8)
ББК
32.973.233-018я73
Ж 864

Рецензенты:

Колупаева С. Н., докт. физ.-мат. наук, профессор, заведующая кафедрой
прикладной математики Томского государственного архитектурно-строительного
университета;

Рюмкин В. И., канд. физ.-мат. наук, доцент, доцент кафедры математических
методов и информационных технологий в экономике экономического факультета
Национального исследовательского Томского государственного университета.

Жуковский О. И.
Ж 864
Информационные технологии и анализ данных : учебное пособие /
О. И. Жуковский. — Томск : Эль Контент, 2014. — 130 с.

ISBN 978-5-4332-0158-3

Учебное пособие представляет современные методы и средства, используемые в сфере информационных технологий. В пособии представлены основные понятия и концепции таких направлений информационных
технологий, как структурная разметка документов, построение систем сбора данных и их оперативного анализа, CASE-технологии и геоинформационные системы.

Пособие подготовлено в соответствии с требованиями Государственного образовательного стандарта высшего профессионального образования.

Учебное пособие предназначено для студентов факультета дистанционного обучения ТУСУРа.

УДК
004.6(075.8)
ББК
32.973.233-018я73

ISBN 978-5-4332-0158-3
Жуковский О. И., 2014

Оформление.
ООО «Эль Контент», 2014

ОГЛАВЛЕНИЕ

Введение
5

1
Сообщение, информация, данные
7

1.1
Основные понятия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7

1.2
Роль органов чувств в восприятии сообщений . . . . . . . . . . . . . .
9

1.3
Устройства связи и передача сообщений . . . . . . . . . . . . . . . . . .
10

1.4
Дискретные сообщения, знаки и кодирование
. . . . . . . . . . . . . .
12

1.5
Обработка сообщений и обработка информации. Данные . . . . . . .
15

2
Информационные технологии
17

2.1
Определение и задачи информационной технологии . . . . . . . . . .
17

2.2
Базовые информационные процессы, их характеристика и модели . .
21

2.2.1
Извлечение информации . . . . . . . . . . . . . . . . . . . . . . .
21

2.2.2
Транспортирование информации . . . . . . . . . . . . . . . . . .
23

2.2.3
Обработка информации . . . . . . . . . . . . . . . . . . . . . . . .
27

2.2.4
Хранение информации . . . . . . . . . . . . . . . . . . . . . . . .
32

2.2.5
Представление и использование информации . . . . . . . . . .
36

2.3
Классификация информационных технологий . . . . . . . . . . . . . .
39

3
Современные технологии обработки текстовых сообщений
46

3.1
Текст и документ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
46

3.2
Разметка документа . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
48

3.3
Стандартный обобщенный язык разметки SGML . . . . . . . . . . . .
52

3.3.1
Основные положения SGML
. . . . . . . . . . . . . . . . . . . .
52

3.3.2
Типы документов
. . . . . . . . . . . . . . . . . . . . . . . . . . .
53

3.4
HTML . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
55

3.5
XML . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
58

4
Информационные системы обработки данных
64

4.1
Основные классы информационных систем . . . . . . . . . . . . . . . .
64

4.2
Особенности обработки данных в OLTP-системах . . . . . . . . . . . .
66

4.2.1
Обработка транзакций
. . . . . . . . . . . . . . . . . . . . . . . .
66

4.2.2
Тиражирование данных . . . . . . . . . . . . . . . . . . . . . . . .
70

4.2.3
Надежность хранения данных . . . . . . . . . . . . . . . . . . . .
71

4.2.4
Мониторы транзакций
. . . . . . . . . . . . . . . . . . . . . . . .
71

4.3
Системы многомерного анализа данных . . . . . . . . . . . . . . . . . .
73

4.3.1
Хранилища данных . . . . . . . . . . . . . . . . . . . . . . . . . .
73

4.3.2
Многомерная модель . . . . . . . . . . . . . . . . . . . . . . . . .
79

Оглавление

4.3.3
Реляционная модель хранилища данных . . . . . . . . . . . . .
81

4.3.4
Обнаружение знаний в хранилищах данных . . . . . . . . . . .
83

5
CASE-технологии
94

5.1
Истоки возникновения CASE-технологий . . . . . . . . . . . . . . . . .
94

5.2
Структурный подход к проектированию ИС
. . . . . . . . . . . . . . .
98

5.3
Методология функционального моделирования SADT . . . . . . . . .
99

5.4
Моделирование потоков данных (процессов) . . . . . . . . . . . . . . . 103

5.5
Моделирование данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108

5.6
Общая характеристика и классификация CASE-средств . . . . . . . . 108

6
Геоинформационная технология
112

6.1
История появления ГИС . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

6.2
Общие функциональные компоненты ГИС . . . . . . . . . . . . . . . . 113

6.3
Принципы организации ГИС . . . . . . . . . . . . . . . . . . . . . . . . . 116
6.3.1
Слой, карта и проект . . . . . . . . . . . . . . . . . . . . . . . . . 116

6.3.2
Пространственные объекты слоев и их модели . . . . . . . . . 117

6.4
Задачи пространственного анализа, решаемые современными ГИС . 122

Заключение
125

Литература
126

Глоссарий
127

ВВЕДЕНИЕ

Информатика как научное направление приобретает в подготовке специалистов разных уровней фундаментальный характер, являясь основой изучения ряда
общепрофессиональных и специальных дисциплин. Информационные технологии
являются составной частью научного направления «Информатика» и базируются
на ее достижениях. Информатизация как процесс перехода к информационному
обществу сопровождается возникновением новых и интенсивным развитием существующих информационных технологий.

Внедрение информационных технологий требует подготовки как пользователей, так и разработчиков, но для всех обучаемых необходимо [2]:

знать базовые информационные процессы, структуру, модели, методы и средства базовых и прикладных информационных технологий, методику создания, проектирования и сопровождения систем на базе информационной
технологии;

уметь применять информационные технологии при решении функциональных задач в различных предметных областях, а также при разработке и проектировании информационных систем;

иметь представление об областях применения информационных технологий и их перспективах в условиях перехода к информационному обществу.

В первой главе пособия даны определения основных понятий, используемых
в сфере информационных технологий, рассмотрено понятие информации и особенности построения сообщений человеком. Во второй главе определены основные
понятия и задачи информационной технологии. Раскрыты базовые информационные процессы, входящие в состав информационных технологий.

Непосредственно содержанию информационных технологий посвящены остальные главы пособия. В третьей главе рассматриваются современные технологии обработки текстовых документов, в четвертой главе затронуты вопросы построения
систем обработки и анализа данных. В пятой главе рассмотрены основные понятия CASE технологий. Шестая глава знакомит с основными понятиями и идеями,
используемыми геоинформационными технологиями, дает представление о присущих им инструментах анализа пространственных данных.

Введение

Соглашения, принятые в книге

Для улучшения восприятия материала в данной книге используются пиктограммы и специальное выделение важной информации.

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Этот блок означает определение или новое понятие.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Этот блок означает внимание. Здесь выделена важная информация, требующая акцента на ней. Автор здесь может поделиться
с читателем опытом, чтобы помочь избежать некоторых ошибок.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . .. . . . . . . . . . . . . . . . . . . . . .
Пример
. . .. . . . . . . . . . . . . . . . . . . . . .

Эта пиктограмма означает пример. В данном блоке автор может привести практический пример для пояснения и разбора основных моментов, отраженных в теоретическом материале.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Контрольные вопросы по главе
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Глава 1

СООБЩЕНИЕ, ИНФОРМАЦИЯ, ДАННЫЕ

1.1 Основные понятия

«Сообщение» и «информация» — это основные понятия информатики, техническое значение которых не вполне соответствует употреблению этих двух слов
в обиходной речи. Необходимое в связи с этим уточнение содержания указанных
понятий не может быть достигнуто с помощью определения, так как последнее
лишь сводило бы эти понятия к другим не определённым основным понятиям.
Поэтому целесообразно ввести сообщение и информацию как неопределяемые
основные понятия и рассмотреть их использование на ряде примеров [1].

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
При разграничении понятий сообщения и информации будем исходить из распространённых оборотов речи типа «это сообщение
не даёт мне никакой информации», что приводит к следующему
отношению между этими понятиями: (абстрактная) информация
передаётся посредством (конкретного) сообщения.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Соответствие между сообщением и информацией не является взаимно-однозначным. Для одной и той же информации могут существовать различные передающие её сообщения, например сообщения на разных языках или сообщения,
которые получаются добавлением неважного сообщения, не несущего никакой дополнительной информации. Сообщения, передающие одну и ту же информацию,
образуют класс эквивалентных сообщений. С другой стороны, одно и то же сообщение может передавать совершенно различную информацию: сообщение о падении самолета для близких родственников погибшего имеет совсем иной смысл,
нежели для авиакомпании; разные читатели из одной и той же газетной статьи черпают совершенно различную информацию, соответствующую кругу их интересов.

Таким образом, одно и то же сообщение, по-разному интерпретированное,
может передавать разную информацию. Обобщая, можно сказать, что решающим

Глава 1. Сообщение, информация, данные

для связи между сообщением N и информацией I является некое отображение α,
представляющее собой результат договорённости между отправителем и получателем сообщения или предписанное им обоим и называемое правилом интерпретации. Символически мы будем записывать правило интерпретации в следующей
форме: N
α
→ I.

Правило интерпретации α для данного сообщения часто получается как частный случай некоторого общего правила, применимого к целому множеству R сообщений, которые построены по одинаковым законам. Если мы формулируем сообщения на некотором языке, то высказывание «X понимает язык R» выражает
тот факт, что лицо X знает правило интерпретации α для всех (или по крайней
мере для большинства) сообщений, формулируемых на данном языке.

Иногда правило интерпретации известно лишь ограниченному кругу лиц; сюда относятся правила интерпретации для специальных языков, в частности для
различных профессиональных и научных языков (жаргонов).

Связь между сообщением и информацией особенно отчётливо видна в криптографии: здесь никто посторонний не должен суметь извлечь информацию из
передаваемого сообщения, иначе это означало бы, что он располагает «ключом».

Часто встречаются и такие сообщения, которые могут интерпретироваться поразному, причём различные интерпретации основываются одна на другой. Так, сообщение «идёт дождь» может нести дополнительную информацию «нужно взять
с собой зонтик». В этом случае говорят об информациях различной степени отвлечённости.

Для сообщений, которыми обмениваются люди, в большинстве случаев имеются соглашения относительно их формы. О таких сообщениях будем говорить,
что они передаются в языковой форме, что они составлены на некотором языке.
При этом слово «язык» используется в существенно более широком смысле, чем
в случае связанного с ним понятия «говорить». Мы знаем разговорный и письменный языки, язык глухонемых, построенный на жестах и мимике, печать для
слепых, воспринимаемую осязанием. Два последних примера показывают, что высокоразвитое языковое общение не ограничивается устной и письменной речью.

Хотя многое говорит в пользу того, что именно разговорный язык знаменует
начало истории человека, всё же и в современном обществе остаётся язык жестов, дополненный специфическими звуками, такими как шипение, мычание, свист
и щелчки, — хоть и примитивное, но иногда решающее вспомогательное средство,
обеспечивающее взаимопонимание.

Когда мы говорим о языковых сообщениях, мы имеем в виду то общее, что
присуще каждому из этих случаев; способ передачи — письменно, устно, посредством осязания или ещё как-то — не имеет здесь никакого значения. При этом,
однако, следует иметь в виду, что, например, информация, содержащаяся в устном
сообщении, не всегда полностью воспроизводится соответствующим письменным
сообщением. Такие настроения, как гнев, радость, горечь, искренность, находят
своё полное выражение только в устной речи. Ударения и паузы также несут информацию.

В случае, когда мы говорим о немецком языке, английском языке и т. д., лучше
использовать термин «язык-речь». Для различия между языком и языком-речью
характерно, что внутри данного языка-речи можно говорить на высоком языке, на

1.2 Роль органов чувств в восприятии сообщений
9

разговорном языке, на блатном языке (сленге) или на профессиональном языке
(жаргоне). Существуют также языки, которые не принадлежат и вообще не могут
быть причислены ни к какому языку-речи, например искусственные языки вроде
эсперанто или некоторые специальные языки, в том числе язык формул математики
и языки программирования.

Наконец, понятие языка не ограничивается случаем общения между людьми,
оно используется и в случае сравнительно высокоразвитых форм общения между другими живыми существами. Примером может служить открытый К. Фришем
язык ориентации пчел.

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Для нашего предмета особенно важны языки, в которых для передачи сообщений используются долговременные носители информации.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

При этом передача освобождается от гнёта реального времени, и становятся даже возможными сообщения человека самому себе, заметки на память, чем
уменьшается нагрузка на человеческую память за счёт использования «инструмента».

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Представление сообщений на долговременных носителях будем
называть письмом, а сам долговременный носитель — носителем
письма.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Прежде всего следует упомянуть зрительно воспринимаемое письмо, которое
создается вручную (рукопись) или механически (машинопись, типографская печать). Письмо, воспринимаемое на слух, стало реальностью после того, как Эдисон изобрел фонограф. Письмом, воспринимаемым осязанием, является письмо
слепых, которое пишется вручную (посредством наколов иголкой), а также механически. Фиксация изображений (например, в кино) также представляет собой
письмо, как и географическая карта.

1.2 Роль органов чувств в восприятии сообщений

Выше уже были упомянуты органы чувств, которые могут служить для передачи языковых сообщений. Некоторые из воспринимающих органов чувств служат
также и для односторонней неязыковой связи с окружающим миром. У высших
живых существ только слуховые, зрительные и тактильные восприятия достаточно дифференцированы, чтобы естественным образом служить для передачи языковых сообщений. Наряду с языками непосредственного общения: разговорной речью, призывающими и предостерегающими звуками (слуховое восприятие), языком глухонемых (зрительное восприятие) и воспринимаемым рукой языком слепых
(тактильное восприятие) выступают языки, в которых используются инструменты:
барабанный бой, стук, свистки, звуки рожка, трубы, сирена — сигнал тревоги (слуховое восприятие), световые сигналы и сигналы флажками (зрительное восприятие).

Глава 1. Сообщение, информация, данные

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Определенные знания о свойствах и работе органов чувств человека оказываются существенными, когда мы хотим рационально
включить человека в цепочку обработки и передачи информации
(в её начало или конец).
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Функциональная способность органов чувств лежит в определенных пределах. Здесь прежде всего следует назвать время реакции (латентное, или скрытое,
время). Для акустических (звуковой импульс) и оптических (загорание лампочки)
сигналов оно составляет для человека 140–250 мс до ответа, состоящего в том,
что испытуемый нажимает кнопку. Для более сложных заданий время реакции заметно увеличивается (прочитать указанное слово: 350–550 мс, назвать указанный
предмет домашнего обихода: 600–800 мс). Это уже говорит о том, что процесс
восприятия — не только функция рецепторов. Сюда примыкают проведение раздражения по нервным путям, переработка его в мозге, а также проведение ответа
к эффектору. При этом на глаз как на воспринимающий орган приходится около
40 мс, а на срабатывание мышц руки как передающего органа — около 50 мс.

Для того чтобы орган вообще смог что-либо воспринять, интенсивность раздражения должна превосходить определённое пороговое значение. Для слуха пороговое значение составляет около 2 ⋅ 10−7 мбар.

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Знакомство с физиологией и психологией чувств учит нас многому, прежде всего тому, что обработка информации (а не только её
передача) есть обязательная составная часть нашего чувственного
восприятия.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Когда мы ниже говорим об искусственной, т. е. изобретённой людьми и выполняемой машинами обработке информации, это должно напоминать нам, что
обработка информации не является чем-то принципиально новым. Следует отклонить, как чересчур поспешные, выводы, которые наивно делаются посредством
(недопустимой) редукции («человека можно объяснить с помощью законов физики», «умственная деятельность — не что иное, как приём, обработка, накопление
и выдача информации»): уже сфера сенсорного восприятия говорит о столь сложных процессах в мозге, что такие утверждения не могут служить даже рабочей
гипотезой [1].

1.3 Устройства связи и передача сообщений

Письмо и газета относятся к самым старым и до сих пор не устаревшим примерам (случайной и регулярной) передачи сообщений посредством записи на долговременном носителе сообщений. В случае передачи информации с помощью
недолговременного носителя сообщений человек также использует различные физические устройства в соответствии с уровнем развития техники на данный мо