Обработка и анализ цифровых изображений с примерами на LabVIEW IMAQ Vision

Обработка и анализ
цифровых изображений
с примерами
на LabVIEW IMAQ Vision

Визильтер Ю. В., Желтов С. Ю.,
Князь В. А., Ходарев А. Н., Моржин А. В.

Москва, 2023

2-е издание, электронное

УДК 621.38
ББК 32.973.26-108.2
В41

В41
Визильтер, Ю.В.
Обработка и анализ цифровых изображений с примерами на LabVIEW IMAQ Vision / 
Ю. В. Визильтер, С. Ю. Желтов, В. А. Князь, А. Н. Ходарев и др. — 2-е изд., эл. — 1 файл 
pdf : 465 с. — Москва : ДМК Пресс, 2023. — Систем. требования: Adobe Reader XI либо 
Adobe Digital Editions 4.5 ; экран 10". — Текст : электронный.
ISBN 978-5-89818-557-2

Данная книга представляет собой полный учебный курс по тематике машинного зрения и цифровой обработки изображений и одновременно может служить практическим пособием по построению приложений машинного зрения в среде визуального программирования LabVIEW с использованием библиотеки средств обработки и анализа изображений IMAQ Vision. Рассматриваются 
основные аспекты получения, хранения, обработки и анализа цифровых изображений, а также автоматического выделения и распознавания на изображениях различного рода объектов. Описываемые методы подробно иллюстрируются программами и схемами обработки, созданными в LabVIEW 
на базе IMAQ Vision. Приводятся многочисленные примеры практических приложений машинного и компьютерного зрения в таких областях, как автоматизация измерений и технический контроль, 
видеонаблюдение, биометрия, обработка документов, медицинские приложения.
На сайте издательства www.dmkpress.com размещены цветные рисунки из книги, а также 30-дневные версии программных продуктов LabVIEW 8.5, NI Vision Builder for Automated Inspection 3.0 и 
LabVIEW Vision Development Module 8.5.
Книга рассчитана на научных работников, инженеров и студентов технических вузов, интересующихся тематикой машинного зрения и программированием в среде LabVIEW.

УДК 621.38 
ББК 32.973.26-108.2

Электронное издание на основе печатного издания: Обработка и анализ цифровых изображений с примерами 
на LabVIEW IMAQ Vision /Ю. В. Визильтер, С. Ю. Желтов, В. А. Князь, А. Н. Ходарев и др. — Москва : ДМК 
Пресс, 2016. — 464 с. — ISBN 978-5-97060-178-5. — Текст : непосредственный.

Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы 
то ни было средствами без  письменного разрешения владельцев авторских прав.
Материал, изложенный в данной книге, многократно проверен. Но поскольку вероятность технических ошибок все равно 
существует, издательство не может гарантировать абсолютную точность и правильность приводимых сведений. В связи с этим 
издательство не несет ответственности за возможные ошибки, связанные с использованием книги.

В соответствии со ст. 1299 и 1301 ГК РФ при устранении ограничений, установленных техническими средствами защиты авторских 
прав, правообладатель вправе требовать от нарушителя возмещения убытков или выплаты компенсации.

ISBN 978-5-89818-557-2
©  Визильтер Ю. В., Желтов С. Ю., Князь В. А., 
Ходарев А. Н., Моржин А. В.
© Оформление, ДМК Пресс

СОДЕРЖАНИЕ

Введение .................................................................................................. 10

 1

Машинное зрение, LabVIEW и NI Vision ................................................14
1.1. Проблематика машинного зрения.................................................14
1.1.1. Задачи машинного зрения........................................................... 15
1.1.2. Уровни и методы машинного зрения...........................................16
1.1.3. Сопряженные технические дисциплины ......................................17
1.1.4. Требования к алгоритмам машинного зрения .............................19
1.1.5. Роль специальных программных средств в разработке
приложений машинного зрения............................................................22
1.2. Знакомство с LabVIEW ....................................................................24
1.3. Знакомство с NI Vision ....................................................................44
1.3.1. Платформа NI Vision: захват, обработка и анализ изображений
в LabVIEW ..............................................................................................44
1.3.2. Функции NI Vision ........................................................................ 45
1.4. Знакомство с Vision Assistant..........................................................50
1.4.1. Начало работы с Vision Assistant .................................................50
1.4.2. Пример работы в Vision Assistant ................................................ 52
1.4.3. Экспорт проекта в LabVIEW .........................................................56

 2

Цифровые изображения........................................................................59
2.1. Растровое изображение ................................................................59
2.1.1. Изображение как двумерный массив данных..............................59
2.1.2. Алгебраические операции над изображениями ............................62

Обработка и анализ цифровых изображений с примерами
4

2.2. Виды изображений.......................................................................... 75
2.2.1. Физическая природа изображений.............................................76
2.2.2. Тип пикселя.................................................................................. 81
2.3. Устройства оцифровки и ввода изображений ............................. 84
2.3.1. Линейки и матрицы, сканеры и камеры....................................... 84
2.3.2. Геометрия изображения.............................................................. 87
2.3.3. Цифровые и аналоговые устройства ........................................... 88
2.3.4. Пространственное разрешение .................................................89
2.3.5. Программное обеспечение ........................................................91
2.4. Форматы хранения и передачи цифровых изображений ...........92
2.4.1. Методы сжатия цифровых изображений .....................................94
2.4.2. Формат BMP ................................................................................96
2.4.3. Формат PCX.................................................................................99
2.4.4. Формат GIF..................................................................................99
2.4.5. Формат TIFF .............................................................................. 100
2.4.6. Формат JPEG ............................................................................ 101
2.4.7. Формат DICOM......................................................................... 105
2.5. Цифровые видеопоследовательности ....................................... 107
2.5.1. Скорость съемки ...................................................................... 107
2.5.2. «Смаз» изображения ................................................................ 108
2.5.3. Этапы проектирования системы видеосъемки.......................... 109
2.5.4. Быстрая съемка и съемка быстропротекающих процессов ..... 111
2.5.5. Форматы хранения и передачи цифровых
видеопоследовательностей ............................................................... 112

 3

Методы обработки изображений ......................................................118
3.1. Гистограмма и гистограммная обработка. Бинаризация
и сегментация. Профили и проекции ................................................ 119
3.1.1. Гистограмма и гистограммная обработка изображений .......... 121
3.1.2. Бинаризация полутоновых изображений...................................137
3.1.3. Адаптивная бинаризация ...........................................................137
3.1.4. Сегментация многомодальных изображений............................ 141
3.1.5. Обработка цветных изображений ............................................ 141
3.1.6. Профиль вдоль линии и анализ профиля ....................................151
3.1.7. Проекция и анализ проекции ................................................... 160

Содержание

3.2. Фильтрация изображений. Ранговая нелинейная фильтрация.
Выделение объектов ............................................................................163
3.2.1. Задача фильтрации изображений ..............................................163
3.2.2. Фильтрация бинарных изображений .........................................168
3.2.3. Нелинейная фильтрация полутоновых изображений .................175
3.2.4. Задача выделения объектов интереса .......................................... 180
3.3. Линейная фильтрация изображений. Линейная фильтрация
в пространственной области. Преобразование Фурье.
Линейная фильтрация в частотной области .......................................184
3.3.1. Линейная фильтрация изображений. Линейная фильтрация
в пространственной области ..............................................................184
3.3.2. Преобразование Фурье. Линейная фильтрация в частотной
области .............................................................................................. 192
3.3.3. Вейвлетанализ ......................................................................... 204
3.4. Выделение контуров на полутоновых изображениях ............... 216
3.4.1. Задача выделения контуров ...................................................... 216
3.4.2. Операторы выделения контуров в IMAQ Vision.........................222
3.5. Математическая морфология Серра (ММ) ..................................228
3.5.1. Теоретические основы математической морфологии .............. 229
3.5.2. Операции математической морфологии в IMAQ Vision.............239

 4

Методы анализа изображений ............................................................251
4.1. Выделение и анализ связных областей ........................................251
4.1.1. Выделение связных областей на бинарных изображениях ........251
4.1.2. Методы сегментации полутоновых изображений ......................256
4.1.3. Геометрическое описание выделенных областей .................... 261
4.1.4. Выделение и анализ связных областей в IMAQ Vision ................265
4.2. Выделение геометрических примитивов ................................... 280
4.2.1. Методы выделения геометрических примитивов на основе
преобразования Хафа ........................................................................ 280
4.2.2. Выделение геометрических примитивов в IMAQ Vision ............ 285
4.3. Обнаружение объектов, заданных эталонами .......................... 296
4.3.1. Методы обнаружения объектов, заданных эталонами .............. 296
4.3.2. Функции привязки эталонов в IMAQ Vision ............................... 302
4.4. Измерения на изображениях ...................................................... 306

Обработка и анализ цифровых изображений с примерами
6

4.4.1. Функции геометрических измерений в IMAQ Vision ................ 306
4.4.2. Функции яркостных измерений в IMAQ Vision...........................311
4.5. Считывание символьной информации ........................................312
4.5.1. Задача оптического распознавания символов (OCR).................312
4.5.2. Считывание штриховых кодов ................................................... 323
4.5.3. Считывание информации технических индикаторов.................. 332
4.6. Служебные функции пакета IMAQ Vision..................................... 333
4.6.1. Ручные геометрические измерения и построения .................... 333
4.6.2. Работа c растровым изображением и областями интереса ...... 343

 5

Цифровая фотограмметрия и бесконтактные измерения ............. 347
5.1. Методы цифровой фотограмметрии ...........................................347
5.1.1. Фотограмметрический метод бесконтактных трехмерных
измерений ..........................................................................................347
5.1.2. Математическая модель камеры ................................................ 348
5.1.3. Калибровка видеокамер ............................................................350
5.1.4. Внешнее ориентирование камер ..............................................351
5.1.5. Решение задачи стереосоответствия при построении модели
поверхности. Структурированный подсвет ........................................ 352
5.1.6. Приведение координат точек снимков к нормальному случаю
съемки. Определение элементов взаимного ориентирования
по внешнему ....................................................................................... 354
5.1.7. Вычисление пространственных координат точек
поверхности ....................................................................................... 355
5.2. Фотограмметрический комплекс для бесконтактных
измерений на базе LabVIEW и PXI .......................................................356
5.2.1. Аппаратное обеспечение комплекса ........................................356
5.2.2. Программное обеспечение комплекса.................................... 360

 6

Compact Vision System – новая промышленная платформа
для систем технического зрения.........................................................369
6.1. Compact Vision System (CVS) .......................................................368
6.1.1. Технические характеристики CVS .............................................368
6.1.2. Подключение и настройка CVS .................................................369

Содержание

6.1.3. Создание приложения для CVS ..................................................374
6.2. Пример приложения: фотограмметрический комплекс
на базе CVS ...........................................................................................377
6.2.1. Аппаратное обеспечение комплекса ........................................377
6.2.2. Программное обеспечение комплекса ....................................378
6.2.3. Пример сканирования детали ................................................... 388

 7

Примеры практических систем машинного зрения.........................391
7.1. Автоматизация измерений и технический контроль ..................391
7.1.1. Система автоматического выделения и фильтрации следа
частиц .................................................................................................391
7.1.2. Система автоматизированного бесконтактного измерения
объема круглых лесоматериалов ........................................................392
7.1.3. Система определения гранулометрического состава рудной
массы (разработка ИИТ и ООО «НВП ЦентрЭСТАгео») ....................394
7.1.4. Система автоматического измерения угла схождения
сварного шва ...................................................................................... 395
7.1.5. Система автоматического распознавания и подсчета
некондиционных кристаллов на круглой пластине ..............................396
7.1.6. Система компенсации геометрических искажений
и бесшовной сшивки изображений, получаемых
от многокамерных систем видеоввода ...............................................397
7.1.7. Система автоматизированного контроля
качества внутренней поверхности труб.............................................. 398
7.2. Зрение роботов ............................................................................399
7.2.1. Область применения: автомобильные системы ........................399
7.2.2. Область применения: мобильные роботы................................ 401
7.2.3. Система обнаружения препятствий на дороге перед
движущимся транспортным средством ............................................. 404
7.2.4. Система автоматической привязки телефрагментов
к ортофотоизображению................................................................... 404
7.3. Видеонаблюдение........................................................................ 405
7.3.1. Область применения: видеонаблюдение ................................. 405
7.3.2. Система обнаружения и сопровождения движущихся
объектов по признаку их движения .................................................... 406

Обработка и анализ цифровых изображений с примерами
8

7.3.3. Система стереообнаружения движения в зоне
видеонаблюдения .............................................................................. 411
7.3.4. Система считывания регистрационных номеров
автомобилей .......................................................................................412
7.3.5. Система считывания номеров железнодорожных вагонов
и цистерн ............................................................................................413
7.4. Биометрия......................................................................................414
7.4.1. Область применения: биометрия..............................................414
7.4.2. Система обнаружения и распознавания лиц .............................421
7.4.3. Система трехмерной реконструкции и формирования
строго фронтального изображения лица человека .............................423
7.4.4. Система автоматического выделения человеческого лица
и слежения за его чертами ..................................................................425
7.4.5. Система распознавания жестов руки человека......................... 426
7.4.6. Cистема для биомеханических исследований на основе
высокоскоростной стереосъемки движений человека ...................... 426
7.4.7. Система слежения за положением головы и направлением
взгляда ребенка ..................................................................................428
7.5. Обработка документов, распознавание текста и штриховых
кодов .................................................................................................... 429
7.5.1. Система автоматического поиска и считывания штриховых
кодов ................................................................................................. 429
7.5.2. Система автоматического распознавания машиночитаемых
документов ........................................................................................ 430
7.5.3. Система считывания номеров денежных банкнот......................431
7.5.4. Система оценки подлинности денежных банкнот ......................432
7.5.5. Cистема для оценки ветхости денежных банкнот ....................... 433
7.6. Медицинские приложения ...........................................................434
7.6.1. Проекты в области анализа и обработки медицинских
изображений ......................................................................................434
7.6.2. Системы для компьютерного анализа томографических
изображений ...................................................................................... 435
7.6.3. Система компьютерного анализа томографических
изображений для диагностики воспалительных заболеваний пазух
и полости носа (синуитов) ..................................................................436
7.6.4. Система компьютерного анализа томографических
изображений для оценки степени ожирения у мужчин .......................436

Содержание

7.6.5. Система компьютерного анализа медицинской
рентгенографической информации для ранней диагностики
остеопороза ....................................................................................... 438
7.6.6. Автоматизированное рабочее место врачарентгенолога ....... 438
7.6.7. Система телемедицины в области радиологических
обследований .................................................................................... 440
7.6.8. Модуль управления данными медицинского обследования
на основе технологии DICOM .............................................................441

Список литературы ...............................................................................442
Литература по машинному зрению....................................................443
Литература по машинному зрению на русском языке ........................443
Литература по машинному зрению на английском языке....................445
Литература по LabVIEW и NI Vision.....................................................452
Литература по LabVIEW и NI Vision на русском языке .........................452
Литература по LabVIEW и NI Vision на английском языке .................... 453

Предметный указатель .........................................................................454

Введение

Настоящая книга написана и издана при поддержке академического гранта фирмы National Instruments. Первоначально она задумывалась как русский аналог замечательного англоязычного пособия [184] (Klinger T. Image processing with
LabVIEW and IMAQ Vision), однако в ходе работы исходный замысел претерпел
существенные изменения, и теперь книга представляет собой не только практическое пособие по построению приложений машинного зрения в среде LabVIEW
с использованием библиотеки IMAQ Vision, но и полный учебный курс по тематике
машинного зрения и цифровой обработки изображений. В теоретических разделах рассматриваются основные аспекты получения, хранения, обработки и анализа цифровых изображений, а также автоматического выделения и распознавания
на изображениях различного рода объектов. В практических разделах описываемые методы подробно иллюстрируются примерами программ и схем обработки,
созданных в LabVIEW на базе IMAQ Vision. Впервые на русском языке дается
подробное описание новой промышленной платформы для систем технического
зрения Compact Vision System (NI CVS), методов и приемов работы с ней. Помимо учебных и методических примеров, книга также содержит краткое описание
значительного количества практических приложений.
Книга имеет следующую структуру.
В главе 1 обзорно рассматриваются основные темы книги. Вводятся основные
понятия, связанные с проблематикой машинного зрения. Рассматриваются основные задачи машинного зрения, уровни анализа изображения, методы машинного
зрения, место машинного зрения в ряду сопряженных технических дисциплин, основные требования к алгоритмам машинного зрения. Происходит первое знакомство
со специализированными программными средствами LabVIEW, NI Vision и Vision
Assistant, при помощи которых далее будет происходить изучение и рассмотрение
на примерах различных процедур обработки и анализа изображений.
Глава 2 посвящена растровым цифровым изображениям. Рассматривается
представление изображений как двумерных массивов данных. Описаны алгебраические операции над изображениями. Обсуждается физическая природа изображений, в том числе – изображения различных диапазонов длин волн и изображения различной физической природы. Описаны различные типы программных
структур изображений, определяемых различным типом пикселя. Сделан краткий обзор устройств, используемых для оцифровки и ввода изображений в компь