АВТОМАТИЧЕСКАЯ ОЦЕНКА РАКУРСА ЛИЦА В КАДРЕ И ПРИВЕДЕНИЕ ИЗОБРАЖЕНИЯ К НУЛЕВЫМ УГЛАМ ПОВОРОТА

С.Г. Небаба, А.А. Захарова, С.Ю. Андреев

Институт кибернетики Национального исследовательского Томского политехнического университета

E-mail: stepan-lfx@mail.ru, zaa@tpu.ru,  serga@td.tomica.ru

Содержание

1. Введение

2. Методы оценки ракурса

3. Методы автоматической расстановки особых точек лица на изображении

4. Методы построения трехмерной модели лица

5. Метод коррекции ракурса

6. Оценка вычислительных затрат

7. Заключение

Библиография

Аннотация

В статье рассмотрены методы автоматического определения особых точек лица на растровом изображении, методы формирования трехмерной модели лица. Выбран оптимальный алгоритм поиска особых точек. Предложен метод формирования трехмерной модели лица из одного растрового изображения и построения изображения лица повернутого на заданный угол. Продемонстрированы результаты работы алгоритма оценки ракурса и алгоритма поворота изображения лица.

Ключевые слова: компьютерное зрение, распознавание лиц, особые точки лица, оценка ракурса, контроль ракурса, активные модели форм, трехмерная модель лица.

1. Введение

Работы по решению задачи идентификации личности на основе анализа изображений лица ведутся с самых ранних этапов развития компьютерного зрения [1,2,3]. Задача распознавания лиц является одной из первых практических задач, которая послужила стимулом для эволюции теории распознавания объектов. Данное направление появилось в начале 1980-х годов, но его развитие началось в 1990-х годах в процессе создания информационно-поисковых систем распознавания для идентификации личности. В последнее время в различных сферах деятельности возрастает потребность быстрой и правильной идентификации личности человека в видеопотоке.

Задача поиска лиц на изображении на сегодняшний день успешно решена и применяется во многих технических устройствах. Например, в фототехнике поиск лиц используется для автоматического выбора точки фокусировки.

Задача автоматизированного распознавания (идентификации) лиц является более сложной, и на данный момент не существует алгоритма, который бы приблизился к точности распознавания лиц человеком. В последние годы был предложен ряд различных подходов к обработке, локализации и распознаванию объектов. Однако эти подходы обладают недостаточной точностью, надежностью и скоростью в реальной обстановке, характеризующейся присутствием шумов на видеопоследовательностях, различными условиями съемки. Методы, применяемые для решения задачи распознавания лиц, должны обеспечивать приемлемую точность распознавания и высокую скорость обработки видеопоследовательностей.

Жесткие требования к ракурсу съемки опознаваемого лица обусловлены используемыми алгоритмами, самые лучшие из которых не позволяют получать удовлетворительные результаты распознавания даже при небольших углах поворота фронтальной плоскости лица по отношению к оптической оси объектива регистрирующей камеры. Как правило, существуют рекомендации, что угол поворота не должен превышать 15 градусов.

В связи с этим становится актуальной задача оценки и нормализации положения лица на изображении.

2. Методы оценки ракурса

Контроль положения лица человека относительно оптической оси камеры является важной проблемой в связи с чувствительностью алгоритмов распознавания к ракурсу. Наиболее известным методом оценки ракурса является POSIT (Pose from Orthography and Scaling with Iterations), он отличается высокой производительностью и быстрой сходимостью.

Алгоритм POSIT вычисляет матрицу поворота и вектор параллельного переноса так, чтобы ошибка между проекцией характерных точек трехмерной модели на плоскость изображения и соответствующими им размеченными точками на изображении была минимальна. Метод POSIT комбинирует два алгоритма. Первый, POS (Pose from Orthography and Scaling), аппроксимирует перспективную проекцию с помощью масштабированной ортографической проекции и вычисляет матрицу поворота и вектор параллельного переноса объекта посредством решения СЛАУ. Второй, POSIT (POS with Iterations), в цикле использует результаты работы POS для нахождения более точной масштабированной ортографической проекции характерных точек, и затем применяет POS к полученным точкам, а не к исходным. В итоге алгоритм POSIT сходится к точному решению за несколько итераций [4].

Проблема использования алгоритма на практике заключается в том, что для его работы необходимо изображение, на котором должны быть отмечены характерные точки лица, что в общем случае не является автоматизированной процедурой. Существующие методы автоматической расстановки характерных точек допускают серьезные погрешности, но на малых углах поворота позволяют оценить ракурс лица с достаточной точностью [5].

При верной расстановке характерных точек лица алгоритм оценки ракурса лица позволяет получить коэффициенты для задачи коррекции ракурса изображений лиц и вычислить нормированное изображение.

3. Методы автоматической расстановки особых точек лица на изображении

Существует несколько методов автоматической расстановки особых точек лица, все они в своей основе содержат активные модели форм (Active Shape Models).

Активные модели формы - это статистические модели формы объектов, которые могут многократно деформироваться, для подгонки к объекту, присутствующему на изображении. Эти модели были разработаны Тимом Кутесом и Крисом Тейлором в 1995 году [6]. Формы ограничены моделью распределения точек, из-за чего изменение возможно только в пределах размеченных примеров из обучающей выборки. Форму объекта представляет множество точек, контролируемое формой модели. Цель алгоритма ASMs - сопоставить модель с новым изображением. Алгоритм состоит из двух чередуемых действий:

• Поиск на изображении вокруг каждой точки лучшей позиции для данной точки;
• Обновление параметров модели путем наилучшего соответствия с новыми найденными позициями.

Чтобы найти лучшую позицию для каждой точки можно искать четкие края, а можно совместить статистическую модель с тем, что ожидается для данной точки. Оригинальный метод предполагает использование расстояние Махаланобиса для вычисления лучшей позиции для каждого ориентира точки [6].

Этот метод широко применяется для анализа изображений лиц, механических узлов и медицинских изображений (в 2D и 3D).

Авторами были изучены различные модификации оригинального алгоритма ASM [6, 7, 8, 9] и выбрана модификация, которая более устойчива к большим углам поворота.

В целом можно предположить, что точность и надежность всех методов расстановки точек зависит в большей степени от методики построения обучающей выборки. На рис. 1 представлено сравнение разметки особых точек лица с большим углом поворота относительно объектива камеры для нескольких разных модификаций ASM.

а)	б)	в)

Рис. 1. а) разметка, выполненная ASM-модификацией, обученной преимущественно на фронтальных лицах; б), в) разметки, выполненные оптимально обученной ASM-модификацией

Тестирование алгоритма POSIT (8-точечная модель, уголки глаз + рот) в сочетании с алгоритмом автоматической расстановки особых точек лица показало, что погрешность оценки угла поворота лица не превышает 5 градусов по каждой из осей, что является хорошим результатом для заданных условий.

4. Методы построения трехмерной модели лица

Для задачи оценки положения лица и автоматической расстановки особых точек лица существуют различные алгоритмы. В то же время, задача коррекции ракурса никогда не рассматривалась в качестве метода, позволяющего улучшить качество работы алгоритмов распознавания по растровому изображению лица. В первую очередь это связано с проблемой определения трехмерной модели анализируемого лица.

К проблеме получения третьей недостающей координаты можно подойти с разных позиций:

1. Вычисление глубины изображения из особенностей освещения. Данный метод не гарантирует точность и однозначность интерпретации из-за невозможности учесть все возможные особенности освещения в кадре и светоотражающие свойства поверхностей, поэтому не рекомендуется рассматриваться его как метод решения поставленной задачи. Тем не менее, существуют исследования по данному вопросу [10].
2. Вычисление глубины изображения из характера движения объекта в последовательности кадров. Данный метод подходит только для анализа изображений в видеопотоке, требователен к качеству изображений лица, а также его точность зависит от факторов освещения и свойств детектора лиц. Этот метод используется в ряде исследований, кроме того его вариация со съемкой неподвижного объекта используется в 3D-моделировании [11].
3. Использование заранее подготовленной трехмерной модели лица, которая совмещается с разметкой особых точек на изображении. Этот метод гарантирует точность определения глубины, но требует для работы трехмерные модели каждого обрабатываемого лица, а так же изначальное соответствие модели и изображения, что противоречит поставленной задаче. Кроме этого, получение модели лица для каждого человека требует сложного специального оборудования. Данный метод применяется в основном в сложных системах распознавания с несколькими камерами, вычисляющими трехмерную модель «на лету», в момент детектирования лица [12].

Учитывая выше изложенное, можно заключить, что все рассмотренные методы определения трехмерной модели обладают недостатками и сложно реализуются, что обуславливает необходимость разработки нового метода для получения модели лица.

В качестве основы выбран метод использования готовых трехмерных моделей лица, но для упрощения системы сделано допущение, что в качестве модели глубины изображения лица можно использовать некоторую обобщенную модель, предполагая похожий рельеф основных черт, таких как глаза, брови, нос и рот. Такое допущение понизит точность модели, но позволит избежать её вычисления для каждого человека.

5. Метод коррекции ракурса

В качестве обобщенной трехмерной модели лица была выбрана модель, изображенная на рисунке 2, представляющая собой массив значений глубины 181x122.

Рис. 2. Изображение карты третьей координаты лица, построенное в среде MATLAB

Для решения задачи коррекции ракурса необходимо произвести следующие операции:

• Совмещение обобщенной модели глубины с особыми точками лица, полученными с помощью одного из вышеописанных алгоритмов;
• Разбиение полученной модели лица на треугольники (триангуляция). В результате этой операции будет получен набор треугольников, описывающий область лица на изображении. Его можно использовать для построения нормированного изображения, но результат получится достаточно грубым (рис. 3);

а)	б)

Рис. 3. а) сетка, наложенная на исходное изображение; б) нормированное изображение

• Дробление треугольников по выбранному критерию, позволяющему снизить размеры используемых треугольников и приблизить используемую треугольную сетку к равномерной. В качестве критерия разбиения можно брать максимальную площадь треугольника либо максимальную длину стороны. Критерий разбиения по максимальной длине позволяет получить более пропорциональную сетку (рис. 4);

а)	б)

Рис. 4. Сетка из тысячи треугольников: а) полученная с критерием разбиения по максимальной площади; б) полученная с критерием разбиения по максимальной длине стороны

• Каждый из треугольников с помощью операций вращения относительно заданного центра и аффинного преобразования смещается и деформируется в соответствии с величиной угла, определенной с помощью алгоритма POSIT.

В результате этих операций получается изображение лица, нормированное по углам поворота.

Результат обработки изображения лица показан на рис. 5.

а)	б)

Рис. 5. а) изображение лица, повернутого на 15 градусов по оси X; б) изображение лица, скорректированного на 15 градусов

6. Оценка вычислительных затрат

Выполнение разработанного алгоритма коррекции ракурса на изображении размером 250x250 пикселей занимает от 1100 до 1900 миллисекунд на компьютере в следующей конфигурации: процессор Intel Core i7-3770, 16ГБ ОЗУ, под управлением ОС Windows 7.

7. Заключение

В статье проведен анализ существующих алгоритмов автоматического поиска особых точек лица на растровом изображении и методов формирования трехмерной модели лица. Выбран оптимальный алгоритм автоматического поиска особых точек. К реализации предложен способ совмещения обобщенной трехмерной модели лица с особыми точками лица и разработан алгоритм приведения изображения лица к заданному ракурсу. Представлены результаты работы реализованного алгоритма оценки ракурса и поворота изображения лица.

Разработанный алгоритм оценки и корректировки положения лица может найти применение в большинстве систем распознавания личности по растровому изображению лица.

Работа выполнена за счет средств субсидии в рамках реализации Программы повышения конкурентоспособности Томского политехнического университета.

Библиография

1. Adini Y., Moses Y., Ullman S. Face recognition: The problem of compensating for changes in illumination direction. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997, no 19, P. 721–732.
2. Bronstein A., Bronstein M., Gordon E., Andkimmel R. 3D face recognition using geometric invariants. Proceedings of International Conference on Audio- and Video-Based Person Authentication, 2003.
3. Bui T.T.T., Phan N.H., Spitsyn V.G. Face Recognition Based on Combination of Wavelet Transforms and Principal Component Analysis. Proceedings of International Forum on Strategic Technology, 2014.
4. DeMenthon D.F., Davis L.S. Model-based object pose in 25 lines of code. International Journal of Computer Vision, vol. 15, Issue 1-2, June 1995, pp. 123-141.
5. Milborrow S., Bishop T.E., Nicolls F. Multiview Active Shape Models with SIFT Descriptors for the 300-W Face Landmark Challenge. The IEEE International Conference on Computer Vision (ICCV) Workshops, 2013, pp. 378-385.
6. Cootes T.F., Taylor C.J., Cooper D.H., Graham J. Active shape models - their training and application. Computer Vision and Image Understanding, vol. 61, January 1995, pp. 38-59.
7. Milborrow S., Nicolls F. Active Shape Models with SIFT Descriptors and MARS. The 9th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (VISAPP), 2014, pp. 119-133.
8. Xuehan Xiong, De la Torre F. Supervised Descent Method and its Applications to Face Alignment. The IEEE International Conference on Computer Vision and Pattern Recognition (CVPR), 23-28 June 2013, pp. 532-539.
9. Davis E. King. Dlib-ml: A Machine Learning Toolkit. Journal of Machine Learning Research, no. 10, 2009, pp. 1755-1758.

10. Zimmermann J., Nealen A., Alexa M. SilSketch: Automated Sketch-Based Editing of Surface Meshes. EUROGRAPHICS Workshop on Sketch-Based Interfaces and Modeling, 2007, pp. 23-30.
11. Agarwal S., Furukawa Y., Snavely N., Simon I., Curless B., Seitz S.M., Szeliski R. Building Rome in a Day. Communications of the ACM, vol. 54, no. 10, pp. 105-112.
12. Shahriar Hossain M., Akbar M., Denbigh Starkey J. Inexpensive Construction of a 3D Face Model from Stereo Images. 10th international conference on Computer and information technology (ICCIT), 27-29 Dec. 2007, pp. 1-6.

---

AUTOMATIC ESTIMATION OF THE FACE ANGLE IN THE FRAME AND TRANSFORMATION OF IMAGES INTO ZERO ROTATION ANGLES.

S.G. Nebaba, A.A. Zaharova, S.J. Andreev

Institute of Cybernetics of Tomsk Polytechnic University

E-mail: stepan-lfx@mail.ru, zaa@tpu.ru,  serga@td.tomica.ru

Abstract

Methods of automatic detection of equilibrium face points in the raster image and methods of forming 3D face model are described in the article. The optimal search algorithm for equilibrium points is chosen. Method of forming a 3D face model from a single bitmap image and construction of face image rotated at a predetermined angle is proposed. Algorithm for estimating the angle and the algorithm of the face image rotation are implemented.

Key words: computer vision, facial recognition, equilibrium face points, face position estimation, face position control, active shape models, 3D face model.

Reference

1. Adini Y., Moses Y., Ullman S. Face recognition: The problem of compensating for changes in illumination direction. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997, no 19, P. 721–732.
2. Bronstein A., Bronstein M., Gordon E., Andkimmel R. 3D face recognition using geometric invariants. Proceedings of International Conference on Audio- and Video-Based Person Authentication, 2003.
3. Bui T.T.T., Phan N.H., Spitsyn V.G. Face Recognition Based on Combination of Wavelet Transforms and Principal Component Analysis. Proceedings of International Forum on Strategic Technology, 2014.
4. DeMenthon D.F., Davis L.S. Model-based object pose in 25 lines of code. International Journal of Computer Vision, vol. 15, Issue 1-2, June 1995, pp. 123-141.
5. Milborrow S., Bishop T.E., Nicolls F. Multiview Active Shape Models with SIFT Descriptors for the 300-W Face Landmark Challenge. The IEEE International Conference on Computer Vision (ICCV) Workshops, 2013, pp. 378-385.
6. Cootes T.F., Taylor C.J., Cooper D.H., Graham J. Active shape models - their training and application. Computer Vision and Image Understanding, vol. 61, January 1995, pp. 38-59.
7. Milborrow S., Nicolls F. Active Shape Models with SIFT Descriptors and MARS. The 9th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (VISAPP), 2014, pp. 119-133.
8. Xuehan Xiong, De la Torre F. Supervised Descent Method and its Applications to Face Alignment. The IEEE International Conference on Computer Vision and Pattern Recognition (CVPR), 23-28 June 2013, pp. 532-539.
9. Davis E. King. Dlib-ml: A Machine Learning Toolkit. Journal of Machine Learning Research, no. 10, 2009, pp. 1755-1758.
10. Zimmermann J., Nealen A., Alexa M. SilSketch: Automated Sketch-Based Editing of Surface Meshes. EUROGRAPHICS Workshop on Sketch-Based Interfaces and Modeling, 2007, pp. 23-30.
11. Agarwal S., Furukawa Y., Snavely N., Simon I., Curless B., Seitz S.M., Szeliski R. Building Rome in a Day. Communications of the ACM, vol. 54, no. 10, pp. 105-112.
12. Shahriar Hossain M., Akbar M., Denbigh Starkey J. Inexpensive Construction of a 3D Face Model from Stereo Images. 10th international conference on Computer and information technology (ICCIT), 27-29 Dec. 2007, pp. 1-6.