Визуальная однородность сцен дополненной реальности : Часть IV. Технологии виртуальной и дополненной реальности

ТЕХНОЛОГИИ ВИРТУАЛЬНОЙ И ДОПОЛНЕННОЙ РЕАЛЬНОСТИ
Часть IV. ТЕХНОЛОГИИ
ВИРТУАЛЬНОЙ
И ДОПОЛНЕННОЙ
РЕАЛЬНОСТИ
233

Часть IV
234

ТЕХНОЛОГИИ ВИРТУАЛЬНОЙ И ДОПОЛНЕННОЙ РЕАЛЬНОСТИ
УДК 681.7
ББК 32.86
Горбунов А.Л.
ВИЗУАЛЬНАЯ ОДНОРОДНОСТЬ СЦЕН
ДОПОЛНЕННОЙ РЕАЛЬНОСТИ
Горбунов Андрей Леонидович, кандидат технических наук,
профессор
E-mail: a.gorbunov@mstuca.aero
Московский государственный технический университет
гражданской авиации
Очки дополненной реальности в недалёкой перспективе станут основным средством доставки стереоконтента потребителю. Практическая реализация преимуществ технологии дополненной реальности во многих областях
требует визуальной однородности реальных и виртуальных объектов — виртуальное должно быть визуально неотличимо от реального.
В настоящее время визуальная однородность достигается применением
методов, предполагающих 3D-моделирование и реальной (положение реальных источников света, геометрия сцены) и виртуальной (например, отсвет
реального света от виртуальных объектов на реальные объекты) составляющих сцены дополненной реальности. Однако цифровая 3D-модель при любой
степени её качества никогда не становится абсолютно тождественной непрерывному оригиналу, каковым является реальный мир. Поэтому уровень визуальной однородности часто недостаточен, особенно в сценах с реальными
ландшафтами вне помещений и с рассеянным освещением.
В данной статье предлагается метод прямого переноса цветовых и
яркостных характеристик объектов реального мира на виртуальные объекты.
Предлагаемый метод базируется на известных математических аппаратах
двумерных спектральных преобразований изображений.
Ключевые слова: дополненная реальность, визуальная однородность.
235

Часть IV
ВВЕДЕНИЕ
Технология дополненной реальности, будучи производной
от технологии виртуальной реальности, сохраняет все возможности виртуальной реальности, но при этом обладает существенными преимуществами [2]:
1. Реальный мир расширяет виртуальный. Реальный мир
предоставляет широкий спектр ощущений, которые сложно и
дорого реализовать в виртуальном мире (температура, влажность,
обоняние, осязание...).
2. Гибкость дополненной реальности. Виртуальный контент
может отображать объекты и процессы, которые нецелесообразно или невозможно доводить до пользователей в реальном
мире (к примеру, по причине опасности).
3. Естественный интерфейс. Пользовательский ввод может
принять вид привычных действий (например, манипуляции с
реальными предметами и жесты).
4. Дополненная реальность позволяет сделать очевидными
связи между виртуальными и реальными объектами. Виртуальное содержание автоматически обновляется по мере изменения
реального окружения пользователя.
Практическая реализация этих преимуществ требует визуальной однородности реальных и виртуальных объектов — виртуальное должно быть визуально неотличимо от реального либо
отличаться минимально. В контексте указанных преимуществ
визуальная однородность обеспечивает значительное увеличение эффективности обучающих систем (например, симуляторы
для водителей транспортных средств, где в картине дополненной реальности фигурируют виртуальные препятствия), приложений дополненной реальности в медицине, архитектуре, обещает появление нового поколения игровых приложений.
В век цифровых технологий естественным является подход
к достижению визуальной однородности с использованием методов, предполагающих пространственное моделирование и реальной (положение солнца или иных реальных источников света,
геометрия сцены) и виртуальной (отсвет реального света от виртуальных объектов на реальные объекты) составляющих сцены дополненной реальности. Однако цифровая модель при любой степени её детализации никогда не становится абсолютно
тождественной непрерывному оригиналу, каковым является
реальный мир. Поэтому даже при наличии впечатляющих результатов, достигнутых с применением таких подходов, уровень ви236

ТЕХНОЛОГИИ ВИРТУАЛЬНОЙ И ДОПОЛНЕННОЙ РЕАЛЬНОСТИ
зуальной однородности остаётся часто недостаточным, особенно в сценах с реальными ландшафтами вне помещений и рассеянным освещением.
В данной статье предлагается метод прямого переноса цветовых и яркостных характеристик объектов реального мира на
виртуальные объекты, который призван дополнить результаты применения существующих методов, базирующихся на пространственном моделировании условий освещения. Будучи применён на последней стадии подготовки изображения к выводу
на экран, он обеспечивает «финальную отделку» сцены дополненной реальности. Метод базируется на известных математических аппаратах двумерных спектральных преобразований изображений.
ОБЗОР ИССЛЕДОВАНИЙ
Вопросам визуальной однородности в дополненной реальности, несмотря на их относительную новизну, посвящена обширная литература. Исследователи нашли решения проблем
моделирования реальных источников света в виртуальной среде, преломления и отражения света от реальных и виртуальных
источников виртуальными объектами, создания теней и моделирования отсветов от виртуальных объектов на реальных предметах, обеспечения эффекта глубины наблюдения виртуальных
объектов. Первым шагом при этом является определение положения и характера источников света в реальной среде, осуществляемое либо при помощи видеокамеры (как правило, — типа
«рыбий глаз» [9]), либо посредством обработки изображений
калибровочного объекта [3], либо непосредственной обработкой
изображения реальной сцены [7]. В сложных композициях дополненной реальности обычно также требуется моделирование
структуры реальной сцены. Широкий обзор современных подходов в области визуальной однородности сцен дополненной
реальности дан в [11], многие из которых основываются на однопроходном дифференциальном рендеринге с трассированием
излучения от источников света и позволяют формировать эффектные изображения с высоким уровнем визуальной однородности для прозрачных и отражающих виртуальных объектов в
сценах внутри помещений с простым по структуре реальным окружением.
Значительные сложности приходится преодолевать при построении реалистичных изображений дополненной реальности
237