УЛУЧШЕНИЕ КАЧЕСТВА ВИЗУАЛИЗАЦИИ ГОМОГЕННОЙ ОБСТАНОВКИ
М.В. Мартынюк, Е.С. Кадиленко, С.Г. Чанова, К.А. Прокофьева, Д.Р. Тимофеев, Д.И. Журба, В.С. Наумов*
«Нижегородский государственный технический университет им. Р.Е. Алексеева», Нижний Новгород, Россия
*«Московский государственный строительный университет» (ФГБОУ ВПО «МГСУ») Национальный исследовательский университет, Москва, Россия
m_mart@mail.ru, evgeny.kadilenko.mera@gmail.com, sv_chanova@mail.ru, ks.prokofjeva@gmail.com, td.renatovich@mail.ru, arhans2012@gmail.com, naumov48@mail.ru
Содержание
2. Анализ существующих решений
3. Выделение на изображении границ слабоконтрастных объектов
4. Подчёркивание слабоконтрастных границ на изображении
Аннотация
Предлагается алгоритм поиска и подчёркивания границ слабоконтрастных объектов в кадре. Изображение приводится к виду, способствующему меньшей утомляемости человека при длительном наблюдении. Отличительная особенность алгоритма состоит в том, что изменения, вносимые в кадр, минимальны, а результаты его применения хорошо видны на слабоконтрастных и практически незаметны на высококонтрастных изображениях. По своему действию алгоритм напоминает ретуширование фотографий вручную.
Проиллюстрированы основные этапы работы данного алгоритма. Дана оценка его быстродействия. Приведены результаты обработки нескольких графических файлов и видеоизображений.
Предлагаемый алгоритм может быть использован в системе технического зрения транспортного средства для улучшения качества визуализации окружающего пространства в условиях плохой видимости. Он также может позволить улучшить восприятие плохо освещённых областей пространства без использования дополнительной подсветки.
Работа выполнена при финансовой поддержке государства в лице Минобрнауки России (уникальный идентификатор проекта: RFMEFI57414X0055).
Ключевые слова: обработка изображений, метод Кэнни, градиент изображения, «скелетизация» бинарного изображения, система технического зрения.
1. Введение
Зрительное восприятие – сложный психофизиологический процесс, одним из этапов которого является анализ - выделение объектов восприятия из фона [1]. Выделение объекта осуществляется, в том числе, и на основании контраста между объектом и фоном. Наблюдение за слабовыраженными объектами в течение продолжительного времени приводит к быстрой утомляемости наблюдателя. Один из законов восприятия связан с тем, что человек не в состоянии воспринимать и долго удерживать в сознании неизменную информацию. Постоянный раздражитель умеренной интенсивности перестает восприниматься (например, одежда, наручные часы), монотонное повторение одной и той же фразы ведет к утрате ее смысла и так называемому состоянию пустоты сознания [1].
В статье даётся описание алгоритма преобразования слабоконтрастных (гомогенных) изображений к виду, способствующему меньшей утомляемости человека при долгом наблюдении. При этом изменения в исходном изображении минимальны (алгоритм стремится к соблюдению принципа Гиппократа «не навреди»).
Данный алгоритм в дальнейшем может быть использован для обработки изображений с видеокамер вездеходной техники, предназначенной для работы в условиях Арктики.
2. Анализ существующих решений
Существует множество методов «улучшения качества» сложного для восприятия изображения, например, фильтрация с целью повышения контрастности или подчёркивания границ, контрастные подстройки и даже ретуширование вручную [2]. Очевидно, что при обработке видеоряда ручная обработка неприемлема, а фильтрация любого вида приводит к искажению всего изображения, в том числе, и в тех областях, где в этом нет необходимости. Это приводит к повышению контрастности слабоконтрастных объектов и "размыванию" хорошо различимых объектов. Например, свёртка с Unsharp Mask (USM) – нерезкое маскирование [2] – делает изображение более «зернистым» (см. рисунок 1в), что затрудняет его восприятие наблюдателем.
Среди методов нелинейной обработки изображений можно выделить преобразование – фотография-комикс [3]. Обработанное таким образом изображение (рисунок 2) выглядит более детальным, резким, контрастным. Однако, подчеркивание в равной степени всех объектов может дезориентировать наблюдателя.
а) |
|
|
б) |
|
|
в) |
|
Рис. 1. Примеры применения методов улучшения изображения [4]: а – исходное изображение; б – применение метода описанного в данной работе; в – применение нерезкого маскирования (Unsharp Mask)
а) |
|
|
б) |
|
Рис. 2. Иллюстрация к преобразованию фотография-комикс [5]: а – исходное изображение; б – преобразованное изображение
Основная идея предлагаемого метода заключается в поиске на изображении слабоконтрастных объектов и подчёркивании их границ. Объекты, достаточно сильно отличающиеся от окружающего фона по цвету или освещённости (то есть «и так хорошо различимые»), дополнительно не подчёркиваются. Чтобы не «перегружать» изображение большим количеством деталей, объекты, почти сливающиеся с фоном, также остаются неизменными.
3. Выделение на изображении границ слабоконтрастных объектов
Степень контрастности/различимости определяется на основании градиента изображения. Данный алгоритм выполняется в несколько шагов.
Шаг 1. Вычисление градиента изображения
Стандартная цветовая красно-сине-зелёная система координат, в которой хранятся и обрабатываются изображения, не является равноконтрастной. Это означает, что одинаковым изменениям цветовых координат могут соответствовать разные изменения цветовых ощущений. Поэтому, для вычисления градиента исходное изображение переводится в систему цветовых координат CIE Lab. Она является равномерной по восприятию, то есть такой, что одинаковые изменения каждой из координат приводят к одинаково заметным изменениям цвета, поэтому расстояние между цветами вычисляется по формуле
где
– разность
соответствующих компонент цвета.
Каждая цветовая компонента сглаживается фильтром Гаусса с СКО (σ) – пропорциональной угловому размеру (в пикселах) минимального объекта интересующего наблюдателя. Чем больше σ – тем дольше выполняется фильтрация и тем меньше деталей будет на сглаженном изображении. Цель сглаживания – ослабление высокочастотных компонент, которые будут усилены дальнейшим дифференцированием, а также устранение мелких и несущественных деталей изображения. Последнее особенно актуально, если на изображении присутствует водная поверхность, покрытая мелкими волнами.
Далее, для каждой из цветовых компонент (например, L(i, j)) выполняется дифференцирование вдоль строк и столбцов. Строго говоря, вычисляется аппроксимация производной цветовой компоненты по строкам и столбцам, как результат свёртки с масочными линейными фильтрами [6]:
и 
.
Результаты дифференцирования каждой из компонент цвета исходного изображения (см. рисунок 3) используются для вычисления модуля градиента изображения (см. рисунок 4):
Шаг 2. Выделение слабоконтрастных границ
Для выделения границ на исходном изображении (см. рисунок 3) используется метод Кэнни, который считается одним из лучших детекторов границ [7]. С помощью данного метода определяются все существенные границы на исходном изображении (см. рисунок 5). Множество точек (пикселов) принадлежащих полученным границам обозначим как C.
Далее среди найденных детектором Кэнни границ выделяются границы слабоконтрастных объектов.
Как говорилось выше, сильноконтрастные границы (границы
хорошо различимых объектов) и границы мелких или сливающихся с фоном объектов
(которые могут быть отнесены к шумам) не выделяются. Слабоконтрастными
требующими дополнительного подчёркивания границами будем считать границы, для
которых 
находится
в интервале 
. Для
и 
экспериментально
были выбраны следующие значения:
= 8%
от максимального значения по
всему изображению;
= 20%
от максимального значения по
всему изображению.
Рис. 3. Исходное изображение [8]
Рис. 4. Равноконтрастный градиент 
изображения
с рисунка 3
Из множества точек C (рисунок 5) убираются точки, для
которых значения градиента находится за пределами интервала 
(см.
рисунок 6). Как видно из рисунка 6, множество C содержит достаточно
много "лишних" границ и требует дополнительного прореживания.
Рис. 5. Результат работы детектора границ Кэнни
Рис. 6. Границы Кэнни, для
которых модуль градиента находится
в интервале
Оказалось, что достаточно сложно отличить слабоконтрастную
границу от участка сильноконтрастной границы с малым значением градиента. Если
сравнить границы с горными хребтами на "градиентной карте", данная
задача может быть сформулирована, как задача различения «невысокого горного
хребта», высота которого находится в интервале , от
«подножия высокого горного хребта», вершина которого находится выше , но
склон обязательно имеет участок с высотой в интервале (см.
рисунки 7 и 8). Задача была решена с помощью метода «scel» («скелетизации»).
Данный метод удаляет точки по краям связных областей, но при этом не даёт
областям "распадаться".
Из модуля градиента формируются
2 бинарных изображения B1
и B2 на основании логических условий:
(см. рисунок 7) и
№2: 
(см. рисунок 8).
К бинарным изображениям B1 и B2 применяется метод скелетизации (см. рисунки 9 и 10).
Скелетизированное изображение B1
соответствует "хребтам" слабоконтрастных и сильноконтрастных границ.
Скелетизированное изображение B2 соответствует
"хребтам" слабоконтрастных и "склонам" сильноконтрастных
границ. Пересечение (логическое "И") скелетизированных изображений B1
и B2 (см. рисунок 11) соответствует "хребтам"
слабых границ, градиент которых лежит строго в интервале (см.
рисунок 12).
Рис. 7. Иллюстрация к построению бинарного изображения B1
Рис. 8. Иллюстрация к построению бинарного изображения B2
Рис. 9. Бинарное изображение B1 (ч/б) и результат его скелетизации (красный цвет)
Рис. 10. Бинарное изображение B2 (ч/б) и результат его скелетизации (красный цвет)
Окончательный результат, далее слабоконтрастные границы (см. рисунки 13 и 14), получается, как пересечение (логическое "И") слабых границ (рисунок 12) и прореженного множества C (рисунок 6).
Рис. 11. Скелетизированные бинарные изображения B1 (красный цвет), B2 (зелёный цвет) и их пересечение (жёлтый цвет)
Рис. 12. Слабые границы (красный цвет) на фоне градиента изображения
Рис. 13. Окончательный результат (синий цвет), являющийся пересечением слабых границ (белый цвет) и прореженного множества C (красный цвет)
Рис. 14. Слабоконтрастные границы (чёрный цвет) на фоне исходного изображения
4. Подчёркивание слабоконтрастных границ на изображении
После получения множества точек, принадлежащих слабоконтрастным границам, необходимо отобразить их таким образом, чтобы они не мешали восприятию остальной части изображения. Нами были опробованы несколько подходов. Наилучший результат (в том числе, и с точки зрения сохранения качества восприятия высококонтрастных изображений) был получен при уменьшении на 7.7% интенсивности (каждой цветовой компоненты) самого тёмного пиксела и увеличении на 3.5% интенсивности самого яркого пиксела в единичной окрестности каждой из точек множества C (т.е. точек, принадлежащих слабоконтрастным границам). Под единичной окрестностью точки подразумевается область из девяти пикселов, образующих квадрат с центром в данной точке.
Ниже даны несколько примеров использования метода для слабоконтрастного изображения (рисунки 15, 16, 17, 21, 22), изображения средней контрастности (рисунок 18) и высококонтрастного изображения (рисунок 19).
|
a)
|
б)
|
Рис. 15. Пример применения метода на участке слабоконтрастного изображения: а – исходное изображение; б – применение метода, описанного в данной работе
|
а)
|
б)
|
Рис. 16. Пример применения метода на участке слабоконтрастного изображения после цветовой коррекции: а – исходное изображение; б – применение метода, описанного в данной работе
а) |
|
|
б) |
|
Рис. 17. Пример применения метода на слабоконтрастном изображении: а – исходное изображение; б – применение метода, описанного в данной работе
а) |
|
|
б) |
|
Рис. 18. Пример применения метода на изображении средней контрастности [8]: а – исходное изображение; б – применение метода, описанного в данной работе
|
|
|
|
б) |
|
Рис. 19. Пример применения метода на высококонтрастном изображении [8]: а – исходное изображение; б – применение метода, описанного в данной работе
|
а) |
|
|
б) |
|
Рис. 20. Найденные слабоконтрастные границы для изображений: а – с рисунка 18а; б – с рисунка 19а
Рис. 21. Видеоизображение: «подводная лодка» [4]
Рис. 22. Видеоизображение: «медведи» [8]
5. Заключение
Отличием предлагаемого метода от существующих является детектирование и подчёркивание именно слабых границ. При этом большая часть изображения остаётся неизменённой, а внесённые изменения заметны только на слабоконтрастных границах. Область применения: сильно задымлённые, подводные, затуманенные изображения, результаты ночных съёмок и съёмок однородных заснеженных ландшафтов.
Из представленных выше примеров следует, что результаты применения предлагаемого метода хорошо видны на слабоконтрастном изображении (см. рисунок 17) и практически незаметны на высококонтрастном изображении (рисунок 19), несмотря на большое количество найденных слабоконтрастных границ (рисунок 20б).
Время обработки одного кадра (1013 × 628) на процессоре с частотой 3ГГц составило ≈ 5 с. Время обработки участка того же кадра (320 × 200) составило ≈ 0.5 с. Наиболее затратными в вычислительном отношении являются операции скелетизации бинаризованного градиентного изображения и операция построения границ методом Кэнни. Так как эти операции не требуют конвейерной обработки и могут выполняться одновременно, время работы алгоритма, при использовании параллельных вычислений можно существенно сократить.
В дальнейшем планируются работы по разработке программной реализации алгоритма с использованием библиотеки OpenCV и распределённой покадровой обработки. Основываясь на опыте реализации систем обработки потокового видео [9], можно предположить, что время обработки одного кадра значительно сократится.
Разработанный алгоритм предполагается использовать в системе технического зрения универсального коллективного спасательного средства (УСС) с роторно-винтовым движителем, предназначенного для эвакуации персонала в чрезвычайных ситуациях и снижения последствий техногенных катастроф на территориях российского Арктического шельфа.
Данная работа проводилась в Нижегородском государственном техническом университете им. Р.Е. Алексеева при финансовой поддержке государства в лице Минобрнауки России (уникальный идентификатор проекта: RFMEFI57414X0055).
Список литературы
1. Никольская О.Л. Психология. Учебно-методическое пособие: Томский государственный педагогический университет, http://koi.tspu.ru/koi_books/nikolskaya4/vv.htm
2. Скаут C. Особенности цветового восприятия человека. Компьютерра №45 от 17 ноября 1998.
3. http://robocraft.ru/blog/computervision/484.html (дата обращения 10 декабря 2014)
4. Кадр из фильма "Чудеса голубой планеты "Антарктика" (The Magic Of The Big Blue. Seven Continents), 7-я серия, Польша, Режиссер: Дариуш Сепиоло Dariusz Sepiolo (Best Film Co), 2011 г.
5. http://idea2.ru/blog/idea2ru/845.html (дата обращения 11 марта 2015)
6. Грузман И.С., Киричук В.С., Косых В.П., Перетягин Г.И., Спектор А.А. Цифровая обработка изображений в информационных системах: Учебное пособие.- Новосибисрк: Изд-во НГТУ, 2002. - 352
7. https://ru.wikipedia.org/wiki/Оператор_Кэнни (дата обращения 08 февраля 2015)
8. Кадр из фильма "To the Arctic" кинокомпании IMAX 2012 год
9. Бабакина Н.А., Колесников М.П. Построение динамических геометрических моделей окружающего пространства для мобильных автономных систем. Моделирование систем и процессов. 2012. №1. С. 51-58.
IMPROVING VISUALIZATION QUALITY OF THE HOMOGENEOUS VISUAL ENVIRONMENT
M. V. Martynyuk, E. S. Kadilenko, S. G. Chanova, K. A. Prokofieva, D. R. Timofeev, D.I. Zhurba, V. S. Naumov *
Nizhny Novgorod State Technical University named after R.E. Alekseyev, N. Novgorod, Russia
*Moscow State University of civil engineering, Moscow, Russia
m_mart@mail.ru, evgeny.kadilenko.mera@gmail.com, sv_chanova@mail.ru, ks.prokofjeva@gmail.com, td.renatovich@mail.ru, arhans2012@gmail.com, naumov48@mail.ru
Annotation
We propose an algorithm to search and underline the edges of low-contrast objects in the image. The image is brought to the form that contributes to less fatigue of a viewer during the prolonged observation. A distinctive feature of the algorithm is that the changes made to the frame are minimal, and the results of its application are clearly visible in the low-contrast images and almost invisible in the high-contrast images. By its action the algorithm resembles manual retouching of the photos.
The article illustrates the main stages of the algorithm and gives evaluation of its operation speed. The work contains the results of processing of several graphics files and videos.
The proposed algorithm can be used in the system of technical vision of the vehicle for better visualization of the surrounding area in poor visibility conditions. It can also improve the perception of poorly lit areas of space without the use of additional lighting.
This work was financially supported by the government in the face of the Russian Ministry of Education (the unique identifier of the project: RFMEFI57414X0055).
Keywords: image processing, Сanny method, image gradient, "Skeletonization" of binary image, computer vision system.
References
[1] Nicholskaya O. Psychology. Textbook: Tomsk State Pedagogical University, Information on http://koi.tspu.ru/koi_books/nikolskaya4/vv.htm
[2] Serge Scout Features of human color perception. Computerra Vol. 45 from 17 November 1998.
[3] Information on http://robocraft.ru/blog/computervision/484.html (Treatment date December 10, 2014)
[4] Film frames from "The Magic of the Big Blue. Seven Continents, 7th Series, Poland, directed by: Dariusz Sepiolo Dariusz Sepiolo (Best Film Co), 2011
[5] http://idea2.ru/blog/idea2ru/845.html (Treatment date March 11, 2015)
[6] Gruzman I.S., Kirichuk V.S., Kosykh V.P., Peretyagin G.I, Spector A.A. Digital image processing in information systems: Textbook. – Novosibirsk NSTU (2002). p. 352
[7] https://ru.wikipedia.org/wiki/Оператор_Кэнни (Treatment date February 08, 2015)
[8] Film frame from "To the Arctic", IMAX Film studio, 2012
[9] Babakina NA, Kolesnikov MP. The Construction of Dynamic Geometric Patterns of Environment for Mobile Autonomous Systems // Modelling of Systems and Processes. 2012. №1. p. 51-58.