ОТРАБОТКА АЛГОРИТМОВ ОТСЛЕЖИВАНИЯ ТРАЕКТОРИЙ ДВИЖЕНИЯ И КОНТРОЛЬНЫХ ТОЧЕК НА ЛИЦЕ ДЛЯ ДИСТАНТНОГО СЪЕМА ФИЗИОЛОГИЧЕСКИХ ИНДИКАТОРОВ ПСИХО-ЭМОЦИОНАЛЬНЫХ СОСТОЯНИЙ ЧЕЛОВЕКА
И.А. Знаменская1, Е.Ю. Коротеева 1, В.В. Шишаков1, А.В. Хахалин1, Е.А. Кузьмичева1, С.А. Исайчев2, А.М. Черноризов2
1Московский Государственный Университет им. М.В. Ломоносова, физический факультет, Москва, Россия;
2Московский Государственный Университет им. М.В. Ломоносова, факультет психологии, Москва, Россия
znamen@phys.msu.ru, koroteeva@physics.msu.ru, shift@physics.msu.ru
Содержание
2. Термография в психофизиологии
4. Алгоритм анализа термограмм
Аннотация
Данная работа направлена на установление взаимосвязи между динамикой теплового потока от лица человека, регистрируемого тепловизионной камерой, и физиологической оценкой реакций вегетативной нервной системы, измеренной контактными методами. Решается задача идентификации эмоционального возбуждения по активности мимических мышц, поверхностно залегающих кровеносных сосудов и дыхательных потоков на основе съемки лица человека в оптическом и инфракрасном диапазонах. Отработаны алгоритмы компенсации движений лица и сопоставления изображений с видеокамеры и тепловизионной камеры, а также составлено программное обеспечение, реализующее предложенные алгоритмы. Предложен метод выделения ключевых точек на лице человека на основе машинного обучения.
Ключевые слова: инфракрасная термография, обработка изображений, распознавание образов.
1. Введение
Проблема объективной диагностики функциональных состояний (ФС) человека в видах деятельности, связанных с высоким риском возникновения техногенных катастроф, становится не только актуальной, но и социально значимой проблемой. Роль надежности «человеческого фактора» значительно возрастает, если периоды активной деятельности, требующей быстрого принятия решения, сменяются длительными периодами монотонной работы. Такой тип деятельности характерен для большинства операторских профессий, водителей транспортных средств, военнослужащих, работников охранных и силовых структур, т.е. там, где велика вероятность возникновения экстремальных и чрезвычайных ситуаций.
Особый интерес вызывают научно-прикладные исследования, связанные с разработкой неинвазивных методов объективной идентификации ФС в режиме реального времени. Разработка методов, оптико-электронной аппаратуры и программных средств идентификации психо-эмоциональных состояний по индивидуальным особенностям поведения и внешнего облика человека является актуальной задачей для ученых и практиков в России и за рубежом.
Целью данной работы является разработка технологии дистантного съема физиологической информации о психо-эмоциональных состояниях человека (спокойное бодрствование, эмоции, стресс) на основании исследований активности мимических мышц, кожных покровов, поверхностно залегающих кровеносных сосудов лица, а также дыхательных (газовых) потоков. Ставится задача идентификации эмоционального возбуждения по активности мимических мышц, регистрируемой в оптическом и инфракрасном (ИК) диапазонах. Задача осложнена необходимостью регистрации в условиях непрерывного смещения поверхности лица относительно сканирующих устройств – видеокамеры и тепловизора. В работе данная проблема решается путем комбинации методов регистрации в видимом и ИК диапазонах и за счет отработки и адаптации программы анализа динамически меняющихся зрительных сцен.
2. Термография в психофизиологии
Термография представляет собой способ измерения и визуализации теплового, инфракрасного излучения, испускаемого всеми нагретыми телами. Основным условием для формирования ИК изображения является наличие температурного контраста между объектом и фоном. Особенности излучения кожи человека определили широкое использование термографии в физиологической и биомедицинской диагностике [1]. Кожа имеет высокий коэффициент излучения, близкий по значению к коэффициенту излучения абсолютно черного тела, поэтому изменение ее температуры приводит к значительному изменению мощности ИК излучения. Кроме того, низкий коэффициент отражения кожи минимизирует влияние окружающей среды на определение ее температуры.
Наиболее доступным для тепловизионных измерений является область лица. При неизменных внешних условиях поверхность лица физически здорового человека имеет неоднородное распределение температуры, определяемое физиологическими особенностями организма. Локальное изменение температурных полей в области лица может быть связано:
1) с активностью мимических мышц;
2) с расширением кровеносных сосудов лица;
3) с динамикой дыхательных потоков (как показали эксперименты [2]);
4) с усилением потоотделения в определенных зонах лица.
Отдельные области на лице человека обладают наибольшей температурной чувствительностью к различным внутренним и внешним раздражителям [3]. Такие области на термограмме называют областями интереса (Рис. 1).
3. Методика экспериментов
В работе проводились эксперименты по одновременной бесконтактной регистрации динамики теплового излучения от лица человека и контактной регистрации активности вегетативной нервной системы.
Рис. 1. Термограмма лица человека с выделенными областями интереса.
Для проведения инфракрасной съемки в экспериментах были использованы (по отдельности) две тепловизионные камеры. Первая камера марки FLIR SC7700 работает в диапазоне длин волн 3.7-4.8 мкм (MWIR) и позволяет получать тепловизионные изображения с частотой до 115 Гц с пространственным разрешением 640х512 пикселей и до 400 Гц с ограниченным разрешением. Управление камерой и обработка термограмм проводятся при помощи программного обеспечения Altair и FLIR ResearchIRMax. Вторая камера модели COX CX640 работает в диапазоне длин волн 8-14 мкм (LWIR) и позволяет получать тепловизионные изображения с частотой до 50 Гц с пространственным разрешением 640х480 пикселей. Для получения и анализа термограмм используется программное обеспечение Thermal Imaging Analyzer. Одновременно проводилась съемка в видимом диапазоне цифровой камерой Olympus OM-D E5.
В экспериментах принимали участие порядка 25 здоровых испытуемых (мужчин и женщин) в возрасте от 18 до 55 лет. Все измерения проводились в положении испытуемых сидя, после их адаптации к лабораторным условиям. Тепловизор и видеокамера располагались на расстоянии порядка 1 м от испытуемого. Время съемки варьировалось от 20 с до 15 мин. Частота съемки составляла 5-25 Гц. В помещении поддерживалась фиксированная комнатная температура (20-22°C).
Для анализа корреляции термографических измерений с оценкой психоэмоционального состояния человека синхронно с тепловизионной и видеосъемкой осуществлялась регистрация физиологических реакций человека при помощи многоканального энцефалографа-анализатора Энцефалан. Ход проведения эксперимента представлен на Рис. 2.
4. Алгоритм анализа термограмм
Для корректного сопоставления тепловизионной и видеосъемки необходимо приведение теплового поля на лице человека к стандартному представлению. В ходе решения данной задачи были предложены алгоритмы компенсации движений лица и сопоставления изображений с видеокамеры и тепловизионной камеры, а также составлено программное обеспечение, реализующее предложенные алгоритмы. Кроме того, предложен метод выделения ключевых точек на лице человека на основе машинного обучения.
В использованном диапазоне длин волн контур человеческой головы или лица имеет весьма четкие границы из-за высокой разницы температуры фона и тела человека, однако различить отдельные черты лица может быть затруднительно из-за низкого контраста такого изображения в пределах самого лица. Изображение лица в видимом диапазоне имеет более выраженную детализацию, позволяющую точно определить расположение на изображении областей интереса (Рис. 1), компенсируя возможные искажения, такие как поворот головы, мимические искажения и т.п., а также точно оценить параметры этих искажений. Для этого требуется решение двух задач: 1) поиск лица на изображении по базовым контурам и точкам (глаза, нос); 2) детализированное описание параметров лица (контуров глаз, век, бровей, губ, крыльев носа).
Обе функциональности реализованы в широком спектре биометрического программного обеспечения, а также в программных инструментариях разработчика (SDK), таких как OpenCV [4]. Обнаружение лица на изображении выполняется с помощью каскадных фильтров Хаара. Более детальная оценка поворота лица, обнаружение биометрических (мимических) контрольных точек на лице осуществляется с помощью активных моделей внешнего вида (ActiveAppearanceModel, AAM) и методом Активных Моделей Фигур (ActiveShapeModels, ASM).
Совмещение данных моделей AAM/ASM с тепловизионным изображением позволяет более точно определить расположение нужных точек контроля температуры на тепловизионном изображении. Эти методы позволяют также улавливать мимику человека, и использовать эту информацию для оценки его эмоционального состояния. Применение данных методов на видеоряде позволяет отслеживать траектории контрольных точек в пространстве и анализировать динамические характеристики мимики. Использование стереокамеры позволяет в ближней зоне более детально оценить рельеф поверхности лица, а в дальней зоне – оценить расстояние до исследуемого объекта. Алгоритмы восстановления карты глубины сцены реализованы во множестве инструментариев для разработчика (в т.ч. OpenCV).
Рис. 2. Часть экспериментальной установки (слева) и тепловизионная карта респондента (справа).
Для анализа термографических изображений в данной работе использовалось программное обеспечение на языке Python с использованием библиотек OpenCV, Dlib и OpenFace [5, 6, 4]. Данные библиотеки, используя метод Виолы-Джонса [7, 8], позволяют выделить лицо на изображении, а также найти характерные ключевые точки лица (глаза, губы, нос и т.д.). Далее, методом CLNF [9] на изображении уточняется расположение, форма и пространственная ориентация всех черт лица, а также положение головы относительно камеры. Это позволяет компенсировать движение головы относительно камеры, выделить на изображении лица конкретную точку, следить за изменением температуры в этой конкретной точке, а также оценить, видны ли эти участки на изображении, или нет. Данные алгоритмы применялись как к тепловизионным видеосъемкам, так и к визуальным (Рис. 3). При одновременной съемке тепловизионной и обычной цифровой камерой для синхронизации видеоряда использовалось моргание глаз.
5. Предварительные результаты
Была проведена серия экспериментов по заранее подготовленным сценариям, содержащим интервалы, в которых испытуемые находились в спокойном состоянии, и интервалы, в которых моделировались стрессовые условия. На Рис. 4 представлен пример сопоставления динамики теплового потока от области интереса (кончик носа) на лице человека с результатами записи кожно-гальванической реакции (КГР). КГР – биоэлектрическая реакция, которая широко применяется в психофизиологических исследованиях в качестве высокочувствительного показателя уровня активности симпатической нервной системы, а также для оценки нейропсихического напряжения человека. На Рис. 4 видно, что стрессовая реакция на резкий звук приводит к локальному повышению, а интенсивная ментальная нагрузка - к локальному снижению температуры в области интереса (наиболее вероятно, связанному с ее охлаждением за счет усиления активности потовых желез).
Разработан программный модуль для сопоставления изображения с видеокамеры и тепловизионной камеры. Изначально планировалось, что использование дополнительного синхронного видеоряда в визуальном диапазоне поможет более точно оценивать положение контрольных точек лица на изображении и лучше компенсировать движение и повороты лица относительно камеры. Однако в дальнейшем, после накопления определенного количества синхронных записей с разными испытуемыми, удалось составить обучающую выборку из ИК-изображений и информации о распознанных лицах с визуального видеоряда, что позволило «натренировать» библиотеку OpenFace работать с ИК-изображениями отдельно, искать положение черт лица и оценивать ориентацию головы без подсказки с визуального канала.
Рис. 3. Схема работы алгоритма анализа изображения лица, выделение черт и оценка поворота головы совместно на ИК и визуальном видеоряде.
Рис. 4. Сопоставление динамики среднего температурного сигнала в области интереса (выделена на термограмме) и сигнала КГР во время прохождения теста: (а) глубокий вдох; (б) резкий звук; (в) ментальная нагрузка
Программный модуль для приведения теплового поля на лице человека к стандартному представлению. На рис. 5 приведены графики изменения температур выдыхаемого воздуха (нижний) и поверхности кожи над правой ноздрей (верхний), полученные из термограммы с использованием отработанных алгоритмов компенсации движений лица человека – с учетом смещения положения лица в процессе съемки. Видно, что температура выдыхаемого воздуха выше температуры поверхности кожи. Характеры колебаний температуры выдыхаемого воздуха и поверхности кожи отличаются друг от друга: амплитуда колебаний температуры на поверхности кожи меньше, чем амплитуда колебаний выдыхаемого воздуха.
Рис. 5. Графики изменения температур выдыхаемого воздуха (нижний) и поверхности кожи над правой ноздрей (верхний) от времени
6. Заключение
В результате работы создан программный модуль для сопоставления изображения с видеокамеры и тепловизионной камеры. Исследована активность поверхности кожи лица человека в оптическом и инфракрасном диапазонах. Полученные результаты позволяют говорить о том, что динамика тепловых полей в области лица человека может служить одним из индикаторов изменения его психо-эмоционального состояния.
Проведен анализ выявленной психофизической реакции в форме локального изменения температурных полей в области лица для различных тестов. Сделаны выводы о возрастном и гендерном распределении выявленных реакций.
Благодарности
Работа выполнена с использованием оборудования, приобретенного за счет средств Программы развития Московского Университета, и при финансовой поддержке РНФ (грант 16-18-00080).
Литература
1) Скрипаль А.В., Сагайдачный А.А., Усанов Д.А. Тепловизионная биомедицинская диагностика: Учеб. пособие. Саратов, 2009.
2) Знаменская И.А., Коротеева Е.Ю., Хахалин А.В., Шишаков В.В. Термографическая визуализация и дистанционный анализ динамических процессов в области лица. Научная визуализация, 8(5):1–8, 2016.
3) Ioannou S., Merla A. Thermal infrared imaging in psychophysiology: Potentialities and limits. Psychophysiology. 51, 2014, pp. 951–963.
4) OpenFace: http://www.cl.cam.ac.uk/research/rainbow/projects/openface/wacv2016.pdf
5) Dlib: http://dlib.net/
6) OpenCV: http://opencv.org/
7) Viola P. Jones M.J. Rapid Object Detection using a Boosted Cascade of Simple Features. proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR 2001), 2001.
8) Viola P. Jones M.J. Robust real-time face detection. International Journal of Computer Vision. vol. 57, no. 2, 2004., pp.137–154.
9) Baltrušaitis T., Robinson P., Morency L-P. OpenFace: an open source facial behavior analysis toolkit. IEEE Winter Conference on Applications of Computer Vision, Lace Placid, NY, 2016.
DEVELOPMENT OF ALGORITHMS FOR TRACKING OF MOVEMENT AND CONTROL POINTS ON THE FACE FOR REMOTE DETECTION OF PSYCHO-EMOTIONAL STATES
I.A. Znamenskaya1, E.Yu. Koroteeva1, V.V. Shishakov1, A.V. Khakhalin1, E.A. Kuzmicheva1, S.A. Isaichev2, A.M. Chernorizov2
1Lomonosov Moscow State University, Faculty of Physics, Moscow, Russia;
2Lomonosov Moscow State University, Faculty of Psychology, Moscow, Russia
znamen@phys.msu.ru, koroteeva@physics.msu.ru, shift@physics.msu.ru
Abstract
This work is focused on estimating the relationship between the dynamics of heat fluxes from a human face captured by a thermal camera, and the physiological response of the autonomic nervous system registered by contact methods. The emotional arousal is identified based on the activity of facial muscles, cutaneous blood vessels and breathing using optical and infrared imaging of human faces. The algorithms are applied for motion compensation and juxtaposition of video and thermal images, together with the software implementing these algorithms. The machine-learning based method is proposed to allocate the key points on human faces.
Keywords: infrared thermography, image processing, pattern recognition.
References
1. Skripal A.V., Sagaydachny A.A., Usanov D.A. Thermovision biomedical diagnostics: Studies. grant. Saratov, 2009.
2. Znamenskaya I.A., Koroteyeva E.Yu., Hakhalin A.V., Shishakov V.V. Thermographic visualization and remote analysis of dynamic processes in a face. Scientific visualization. 8(5):1–8, 2016.
3. Ioannou S., Merla A. Thermal infrared imaging in psychophysiology: Potentialities and limits. Psychophysiology. 51, 2014, pp. 951–963.
4. OpenFace: http://www.cl.cam.ac.uk/research/rainbow/projects/openface/wacv2016.pdf
5. Dlib: http://dlib.net/
6. OpenCV: http://opencv.org/
7. Viola P. Jones M.J. Rapid Object Detection using a Boosted Cascade of Simple Features. proceedings IEEE Conf. on Computer Vision and Pattern Recognition (CVPR 2001), 2001.
8. Viola P. Jones M.J. Robust real-time face detection. International Journal of Computer Vision. vol. 57, no. 2, 2004., pp.137–154.
9. Baltrušaitis T., Robinson P., Morency L-P. OpenFace: an open source facial behavior analysis toolkit. IEEE Winter Conference on Applications of Computer Vision, Lace Placid, NY, 2016.