Обработка и анализ цифровых изображений с примерами на LabVIEW IMAQ Vision

Обработка и анализ

цифровых изображений

с примерами

на LabVIEW IMAQ Vision

Москва

Визильтер Ю. В., Желтов С. Ю.,

Князь В. А., Ходарев А. Н., Моржин А. В.

УДК 621.38
ББК 32.973.26108.2

В41

Визильтер Ю. В., Желтов С. Ю., Князь В. А., Ходарев А. Н., Моржин А. В.

В41
Обработка и анализ цифровых изображений с примерами на LabVIEW
IMAQ Vision. – М.: ДМК Пресс. – 464 с.

ISBN 594074348X

Данная книга представляет собой полный учебный курс по тематике машинного зрения и цифровой обработки изображений и одновременно может
служить практическим пособием по построению приложений машинного
зрения в среде визуального программирования LabVIEW с использованием
библиотеки средств обработки и анализа изображений IMAQ Vision. Рассматриваются основные аспекты получения, хранения, обработки и анализа
цифровых изображений, а также автоматического выделения и распознавания на изображениях различного рода объектов. Описываемые методы подробно иллюстрируются программами и схемами обработки, созданными в
LabVIEW на базе IMAQ Vision. Приводятся многочисленные примеры практических приложений машинного и компьютерного зрения в таких областях,
как автоматизация измерений и технический контроль, видеонаблюдение,
биометрия, обработка документов, медицинские приложения.

К изданию прикладывается DVDROM, содержащий цветные рисунки

из книги, а также 30дневные версии программных продуктов LabVIEW
8.5, NI Vision Builder for Automated Inspection 3.0 и LabVIEW Vision
Development Module 8.5.

Книга рассчитана на научных работников, инженеров и студентов технических ВУЗов, интересующихся тематикой машинного зрения и программированием в среде LabVIEW.

УДК 621.38
ББК 32.973.26108.2

Все права защищены. Любая часть этой книги не может быть воспроизведена в какой

бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав.

Материал, изложенный в данной книге, многократно проверен. Но поскольку вероятность

технических ошибок все равно существует, издательство не может гарантировать абсолютную
точность и правильность приводимых сведений. В связи с этим издательство не несет ответственности за возможные ошибки, связанные с использованием книги.

© Визильтер Ю. В., Желтов С. Ю.,
Князь В. А., Ходарев А. Н.,
Моржин А. В.

ISBN 594074© Оформление, ДМК Пресс
348 X

СОДЕРЖАНИЕ

Введение .................................................................................................. 10

 1

Машинное зрение, LabVIEW и NI Vision ................................................14
1.1. Проблематика машинного зрения.................................................14
1.1.1. Задачи машинного зрения........................................................... 15
1.1.2. Уровни и методы машинного зрения...........................................16
1.1.3. Сопряженные технические дисциплины ......................................17
1.1.4. Требования к алгоритмам машинного зрения .............................19
1.1.5. Роль специальных программных средств в разработке
приложений машинного зрения............................................................22
1.2. Знакомство с LabVIEW ....................................................................24
1.3. Знакомство с NI Vision ....................................................................44
1.3.1. Платформа NI Vision: захват, обработка и анализ изображений
в LabVIEW ..............................................................................................44
1.3.2. Функции NI Vision ........................................................................ 45
1.4. Знакомство с Vision Assistant..........................................................50
1.4.1. Начало работы с Vision Assistant .................................................50
1.4.2. Пример работы в Vision Assistant ................................................ 52
1.4.3. Экспорт проекта в LabVIEW .........................................................56

 2

Цифровые изображения........................................................................59
2.1. Растровое изображение ................................................................59
2.1.1. Изображение как двумерный массив данных..............................59
2.1.2. Алгебраические операции над изображениями ............................62

Обработка и анализ цифровых изображений с примерами
4

2.2. Виды изображений.......................................................................... 75
2.2.1. Физическая природа изображений.............................................76
2.2.2. Тип пикселя.................................................................................. 81
2.3. Устройства оцифровки и ввода изображений ............................. 84
2.3.1. Линейки и матрицы, сканеры и камеры....................................... 84
2.3.2. Геометрия изображения.............................................................. 87
2.3.3. Цифровые и аналоговые устройства ........................................... 88
2.3.4. Пространственное разрешение .................................................89
2.3.5. Программное обеспечение ........................................................91
2.4. Форматы хранения и передачи цифровых изображений ...........92
2.4.1. Методы сжатия цифровых изображений .....................................94
2.4.2. Формат BMP ................................................................................96
2.4.3. Формат PCX.................................................................................99
2.4.4. Формат GIF..................................................................................99
2.4.5. Формат TIFF .............................................................................. 100
2.4.6. Формат JPEG ............................................................................ 101
2.4.7. Формат DICOM......................................................................... 105
2.5. Цифровые видеопоследовательности ....................................... 107
2.5.1. Скорость съемки ...................................................................... 107
2.5.2. «Смаз» изображения ................................................................ 108
2.5.3. Этапы проектирования системы видеосъемки.......................... 109
2.5.4. Быстрая съемка и съемка быстропротекающих процессов ..... 111
2.5.5. Форматы хранения и передачи цифровых
видеопоследовательностей ............................................................... 112

 3

Методы обработки изображений ......................................................118
3.1. Гистограмма и гистограммная обработка. Бинаризация
и сегментация. Профили и проекции ................................................ 119
3.1.1. Гистограмма и гистограммная обработка изображений .......... 121
3.1.2. Бинаризация полутоновых изображений...................................137
3.1.3. Адаптивная бинаризация ...........................................................137
3.1.4. Сегментация многомодальных изображений............................ 141
3.1.5. Обработка цветных изображений ............................................ 141
3.1.6. Профиль вдоль линии и анализ профиля ....................................151
3.1.7. Проекция и анализ проекции ................................................... 160

Содержание

3.2. Фильтрация изображений. Ранговая нелинейная фильтрация.
Выделение объектов ............................................................................163
3.2.1. Задача фильтрации изображений ..............................................163
3.2.2. Фильтрация бинарных изображений .........................................168
3.2.3. Нелинейная фильтрация полутоновых изображений .................175
3.2.4. Задача выделения объектов интереса .......................................... 180
3.3. Линейная фильтрация изображений. Линейная фильтрация
в пространственной области. Преобразование Фурье.
Линейная фильтрация в частотной области .......................................184
3.3.1. Линейная фильтрация изображений. Линейная фильтрация
в пространственной области ..............................................................184
3.3.2. Преобразование Фурье. Линейная фильтрация в частотной
области .............................................................................................. 192
3.3.3. Вейвлетанализ ......................................................................... 204
3.4. Выделение контуров на полутоновых изображениях ............... 216
3.4.1. Задача выделения контуров ...................................................... 216
3.4.2. Операторы выделения контуров в IMAQ Vision.........................222
3.5. Математическая морфология Серра (ММ) ..................................228
3.5.1. Теоретические основы математической морфологии .............. 229
3.5.2. Операции математической морфологии в IMAQ Vision.............239

 4

Методы анализа изображений ............................................................251
4.1. Выделение и анализ связных областей ........................................251
4.1.1. Выделение связных областей на бинарных изображениях ........251
4.1.2. Методы сегментации полутоновых изображений ......................256
4.1.3. Геометрическое описание выделенных областей .................... 261
4.1.4. Выделение и анализ связных областей в IMAQ Vision ................265
4.2. Выделение геометрических примитивов ................................... 280
4.2.1. Методы выделения геометрических примитивов на основе
преобразования Хафа ........................................................................ 280
4.2.2. Выделение геометрических примитивов в IMAQ Vision ............ 285
4.3. Обнаружение объектов, заданных эталонами .......................... 296
4.3.1. Методы обнаружения объектов, заданных эталонами .............. 296
4.3.2. Функции привязки эталонов в IMAQ Vision ............................... 302
4.4. Измерения на изображениях ...................................................... 306

Обработка и анализ цифровых изображений с примерами
6

4.4.1. Функции геометрических измерений в IMAQ Vision ................ 306
4.4.2. Функции яркостных измерений в IMAQ Vision...........................311
4.5. Считывание символьной информации ........................................312
4.5.1. Задача оптического распознавания символов (OCR).................312
4.5.2. Считывание штриховых кодов ................................................... 323
4.5.3. Считывание информации технических индикаторов.................. 332
4.6. Служебные функции пакета IMAQ Vision..................................... 333
4.6.1. Ручные геометрические измерения и построения .................... 333
4.6.2. Работа c растровым изображением и областями интереса ...... 343

 5

Цифровая фотограмметрия и бесконтактные измерения ............. 347
5.1. Методы цифровой фотограмметрии ...........................................347
5.1.1. Фотограмметрический метод бесконтактных трехмерных
измерений ..........................................................................................347
5.1.2. Математическая модель камеры ................................................ 348
5.1.3. Калибровка видеокамер ............................................................350
5.1.4. Внешнее ориентирование камер ..............................................351
5.1.5. Решение задачи стереосоответствия при построении модели
поверхности. Структурированный подсвет ........................................ 352
5.1.6. Приведение координат точек снимков к нормальному случаю
съемки. Определение элементов взаимного ориентирования
по внешнему ....................................................................................... 354
5.1.7. Вычисление пространственных координат точек
поверхности ....................................................................................... 355
5.2. Фотограмметрический комплекс для бесконтактных
измерений на базе LabVIEW и PXI .......................................................356
5.2.1. Аппаратное обеспечение комплекса ........................................356
5.2.2. Программное обеспечение комплекса.................................... 360

 6

Compact Vision System – новая промышленная платформа
для систем технического зрения.........................................................369
6.1. Compact Vision System (CVS) .......................................................368
6.1.1. Технические характеристики CVS .............................................368
6.1.2. Подключение и настройка CVS .................................................369

Содержание

6.1.3. Создание приложения для CVS ..................................................374
6.2. Пример приложения: фотограмметрический комплекс
на базе CVS ...........................................................................................377
6.2.1. Аппаратное обеспечение комплекса ........................................377
6.2.2. Программное обеспечение комплекса ....................................378
6.2.3. Пример сканирования детали ................................................... 388

 7

Примеры практических систем машинного зрения.........................391
7.1. Автоматизация измерений и технический контроль ..................391
7.1.1. Система автоматического выделения и фильтрации следа
частиц .................................................................................................391
7.1.2. Система автоматизированного бесконтактного измерения
объема круглых лесоматериалов ........................................................392
7.1.3. Система определения гранулометрического состава рудной
массы (разработка ИИТ и ООО «НВП ЦентрЭСТАгео») ....................394
7.1.4. Система автоматического измерения угла схождения
сварного шва ...................................................................................... 395
7.1.5. Система автоматического распознавания и подсчета
некондиционных кристаллов на круглой пластине ..............................396
7.1.6. Система компенсации геометрических искажений
и бесшовной сшивки изображений, получаемых
от многокамерных систем видеоввода ...............................................397
7.1.7. Система автоматизированного контроля
качества внутренней поверхности труб.............................................. 398
7.2. Зрение роботов ............................................................................399
7.2.1. Область применения: автомобильные системы ........................399
7.2.2. Область применения: мобильные роботы................................ 401
7.2.3. Система обнаружения препятствий на дороге перед
движущимся транспортным средством ............................................. 404
7.2.4. Система автоматической привязки телефрагментов
к ортофотоизображению................................................................... 404
7.3. Видеонаблюдение........................................................................ 405
7.3.1. Область применения: видеонаблюдение ................................. 405
7.3.2. Система обнаружения и сопровождения движущихся
объектов по признаку их движения .................................................... 406

Обработка и анализ цифровых изображений с примерами
8

7.3.3. Система стереообнаружения движения в зоне
видеонаблюдения .............................................................................. 411
7.3.4. Система считывания регистрационных номеров
автомобилей .......................................................................................412
7.3.5. Система считывания номеров железнодорожных вагонов
и цистерн ............................................................................................413
7.4. Биометрия......................................................................................414
7.4.1. Область применения: биометрия..............................................414
7.4.2. Система обнаружения и распознавания лиц .............................421
7.4.3. Система трехмерной реконструкции и формирования
строго фронтального изображения лица человека .............................423
7.4.4. Система автоматического выделения человеческого лица
и слежения за его чертами ..................................................................425
7.4.5. Система распознавания жестов руки человека......................... 426
7.4.6. Cистема для биомеханических исследований на основе
высокоскоростной стереосъемки движений человека ...................... 426
7.4.7. Система слежения за положением головы и направлением
взгляда ребенка ..................................................................................428
7.5. Обработка документов, распознавание текста и штриховых
кодов .................................................................................................... 429
7.5.1. Система автоматического поиска и считывания штриховых
кодов ................................................................................................. 429
7.5.2. Система автоматического распознавания машиночитаемых
документов ........................................................................................ 430
7.5.3. Система считывания номеров денежных банкнот......................431
7.5.4. Система оценки подлинности денежных банкнот ......................432
7.5.5. Cистема для оценки ветхости денежных банкнот ....................... 433
7.6. Медицинские приложения ...........................................................434
7.6.1. Проекты в области анализа и обработки медицинских
изображений ......................................................................................434
7.6.2. Системы для компьютерного анализа томографических
изображений ...................................................................................... 435
7.6.3. Система компьютерного анализа томографических
изображений для диагностики воспалительных заболеваний пазух
и полости носа (синуитов) ..................................................................436
7.6.4. Система компьютерного анализа томографических
изображений для оценки степени ожирения у мужчин .......................436

Содержание

7.6.5. Система компьютерного анализа медицинской
рентгенографической информации для ранней диагностики
остеопороза ....................................................................................... 438
7.6.6. Автоматизированное рабочее место врачарентгенолога ....... 438
7.6.7. Система телемедицины в области радиологических
обследований .................................................................................... 440
7.6.8. Модуль управления данными медицинского обследования
на основе технологии DICOM .............................................................441

Список литературы ...............................................................................442
Литература по машинному зрению....................................................443
Литература по машинному зрению на русском языке ........................443
Литература по машинному зрению на английском языке....................445
Литература по LabVIEW и NI Vision.....................................................452
Литература по LabVIEW и NI Vision на русском языке .........................452
Литература по LabVIEW и NI Vision на английском языке .................... 453

Предметный указатель .........................................................................454

Введение

Настоящая книга написана и издана при поддержке академического гранта фирмы National Instruments. Первоначально она задумывалась как русский аналог замечательного англоязычного пособия [184] (Klinger T. Image processing with
LabVIEW and IMAQ Vision), однако в ходе работы исходный замысел претерпел
существенные изменения, и теперь книга представляет собой не только практическое пособие по построению приложений машинного зрения в среде LabVIEW
с использованием библиотеки IMAQ Vision, но и полный учебный курс по тематике
машинного зрения и цифровой обработки изображений. В теоретических разделах рассматриваются основные аспекты получения, хранения, обработки и анализа цифровых изображений, а также автоматического выделения и распознавания
на изображениях различного рода объектов. В практических разделах описываемые методы подробно иллюстрируются примерами программ и схем обработки,
созданных в LabVIEW на базе IMAQ Vision. Впервые на русском языке дается
подробное описание новой промышленной платформы для систем технического
зрения Compact Vision System (NI CVS), методов и приемов работы с ней. Помимо учебных и методических примеров, книга также содержит краткое описание
значительного количества практических приложений.
Книга имеет следующую структуру.
В главе 1 обзорно рассматриваются основные темы книги. Вводятся основные
понятия, связанные с проблематикой машинного зрения. Рассматриваются основные задачи машинного зрения, уровни анализа изображения, методы машинного
зрения, место машинного зрения в ряду сопряженных технических дисциплин, основные требования к алгоритмам машинного зрения. Происходит первое знакомство
со специализированными программными средствами LabVIEW, NI Vision и Vision
Assistant, при помощи которых далее будет происходить изучение и рассмотрение
на примерах различных процедур обработки и анализа изображений.
Глава 2 посвящена растровым цифровым изображениям. Рассматривается
представление изображений как двумерных массивов данных. Описаны алгебраические операции над изображениями. Обсуждается физическая природа изображений, в том числе – изображения различных диапазонов длин волн и изображения различной физической природы. Описаны различные типы программных
структур изображений, определяемых различным типом пикселя. Сделан краткий обзор устройств, используемых для оцифровки и ввода изображений в компь