ПРОГРАММНО-АППАРАТНЫЙ КОМПЛЕКС ДЛЯ ВИЗУАЛИЗАЦИИ ГЕОФИЗИЧЕСКИХ ДАННЫХ НА СФЕРИЧЕСКОМ ЭКРАНЕ
А.И. Рыбкина1, А.Е. Бобков2, О.В. Никифоров1, О.О. Пятыгина 1
1 Геофизический центр Российской академии наук (ГЦ РАН)
2 Московский физико-технический институт (МФТИ)
Содержание
1. К вопросу о восприятии объемных изображений
2. Обзор достижений в этой области сферического проектирования
3. Инновационный цифровой демонстрационный комплекс со сферическим экраном ГЦ РАН
4. Методология визуализации на сферическом экране
5.1 Рендеринг на сферический экран
5.3 Архитектура программного обеспечения
Список используемой литературы
Аннотация
В статье рассмотрены вопросы визуализации геофизических данных на сферических экранах: их актуальность, практическая значимость, описаны подходы к реализации аппаратной составляющей, достоинства и недостатки разных типов экранов. В Геофизическом Центре РАН ведется проект по разработке аппаратно-программного комплекса со сферическим экраном, предназначенного в первую очередь для визуализации всех процессов, происходящих на Земле, в т.ч в режиме реального времени: цунами, ураганы, мониторинг геомагнитной активности, погода, землетрясения. В статье освещена методология создания сферических презентаций, приведены примеры использования комплекса и описана реализация работы программного обеспечения «ОРБУС», обеспечивающего интерактивную визуализацию данных на сферическом экране. Данный комплекс уникален и не имеет аналогов в России.
Ключевые слова: сферический проекционный экран, визуализация, инновации, образование, ОРБУС.
Введение
Одним из важнейших критериев актуальности и значимости научных исследований является востребованность результатов научным сообществом и обществом в целом.
В настоящее время широко распространены и продолжают совершенствоваться и развиваться средства и методы наблюдения, обработки и подготовки данных наук о Земле. Собраны, накоплены, структурированы значительные объемы геопространственных данных, но решения требует проблема их визуализации и доведения до общества.
Геопространственные данные в основном визуализируются в плоском двухмерном представлении, что значительно снижает степень восприятия, понимания и изучения процессов и явлений, происходящих на Земле и планетах Солнечной системы.
Результаты российских научных исследований недостаточно доступно и развернуто доводятся до общественности, что неэффективно влияет на заинтересованность и вовлечение молодежи в научные сообщества и снижает привлечение потенциальных инвесторов для прикладного внедрения этих результатов.
В последние годы вопросам визуализации уделяется огромное внимание, в мире создаются множество устройств, систем, комплексов для решения конкретных задач.
Наиболее развивающимся направлением визуализации, которое актуально для наук о Земле, является сферическая визуализация. Имея сферу как основу визуализации, данные по наукам о Земле, Солнечной системе и другие, связанные по смыслу, растровые изображения, анимация, видеоматериалы воспринимаются совсем иначе, чем на плоском экране. Тем самым значительно улучшается степень подачи и восприятия материалов исследования, происходит усовершенствование процесса подачи материала и популяризация науки в целом.
Авторами статьи проделана работа по изучению методов реализации комплексов со сферическим экраном, создан опытный образец программно-аппаратного комплекса, разработана методология визуализации геофизических данных на сферическом экране с помощью созданного специального программного обеспечения «Орбус».
Демонстрационный комплекс состоит из сферического экрана, цифрового мультимедийного проектора, установленного в металлическом корпусе, оптической зеркально-линзовой системы, состоящей из блока линз и зеркала, и рабочей станции со специализированным программным обеспечением.
С помощью опытного образца программно-аппаратного комплекса было проведено несколько серий лекций в образовательных учреждениях г. Москвы и Московской области, с целью получения замечаний и рекомендаций, а также исследованию общественного мнения (Рис. 1).
Рис. 1. Лекция в средней общеобразовательной школе г. Москвы.
1. К вопросу о восприятии объемных изображений
Более века назад установлено, что объемное изображение значительно увеличивает степень наглядности, понимания и усвоения демонстрируемого контента. Известно, что трехмерное представление материала развивает пространственное мышление, которое просто необходимо для изучения многих явлений и процессов, особенно в науках о Земле, астрономии. Поэтому в настоящее время методы трехмерной визуализации широко используются в научном и образовательном процессе.
Использование бинокулярной стереоскопической визуализации позволяет усилить восприятие объема и «погрузиться» в изучаемый процесс или явление, при этом большей эффективности достигает восприятие и сопровождающей информации. Для вывода стереоскопического изображения необходимо специальное оборудование: 3D-мониторы или 3D-проекторы.
Однако у стереоскопической визуализации имеется и ряд недостатков. Необходимо готовить специальный контент для стереоскопической визуализации, что существенно сужает варианты применения устройства в науке и образовании, и ведет к использованию уже созданного контента, который не всегда позволяет включить такой контент в учебную программу. Создание собственного контента требует наличия специалистов высокой квалификации. Кроме того, эффект трехмерности на таких мониторах появляется только при использовании специальных очков. При просмотре необходимо находиться на отдалении от экрана и желательно не перемещаться относительно экрана. Можно отметить, что последние исследования выявили у некоторых пользователей «эффект непереносимости» [1], также они имеют некоторые медицинские противопоказания для людей с заболеваниями глаз, психическими расстройствами и т.п.
В ряде задач существует альтернатива стереоскопической визуализации – это куполообразные и сферические экраны.
Куполообразные планетарии широко используются в образовании. Куполообразный метод 3D визуализации является эффективным, но узкоспециализированным. Используется в основном в мобильных или стационарных планетариях, т.к. ограничен узостью тематик лекций, невозможностью использования в учебном процессе на постоянной основе из-за требований к объему помещения, вентиляции и пр.
Сферические мультимедийные комплексы более компактны, чем куполообразные, и лучше подходят для использования в научном и учебном процессе. Одно из главных их достоинств – то, что сферический экран сам по себе является трехмерным объектом. Изображение Земли или другой планеты на экране автоматически становится трехмерным. Его можно обойти со всех сторон, можно смотреть без очков и с любых расстояний. Это позволяет визуализировать процессы, происходящие на Земле так, как они выглядели из космоса, а также управлять этими процессами, включать дополнительные данные, картинки, описания и пр., что делает процесс изучения нашей планеты эффективным и репрезентативным.
Переднюю поверхность сферического экрана можно воспринимать как приближение плоского экрана и показывать обычные 3D-модели. При этом эффект объемного восприятия не возникает. Демонстрация обычных 3D-моделей без глобуса может пригодиться при показе длительной презентации, чтобы не переключаться между разными экранами.
Также необходимо отметить и минусы этой системы. Так, к примеру, полноценный показ внутреннего устройства Земли не возможен с помощью сферического экрана. Показать строение Земли можно только для одного ракурса, когда зритель смотрит на сферу с заранее заданной точки. Другие зрители будут видеть искаженное изображение. Тем не менее, демонстрационный комплекс со сферическим экраном на данный момент является наиболее эффективным инструментом для визуализации процессов на Земле и других планетах Солнечной системы, что приобретает все большую актуальность в образовательном процессе. Процессы, происходящие на Земле, так, к примеру, цунами, движение литосферных плит, перемещение воздушных масс, течения мирового океана и многое другое несут в себе сложные закономерности и взаимосвязи, которые порой сложно донести до учащихся, в особенности младшей и средней школы, посредством классических учебников и атласов. Таким образом, визуализируя все эти сложнейшие процессы на сферическом экране мы можем наблюдать за происходящим со стороны, контролируя режим презентации и концентрируя внимание учащихся на демонстрации.
2. Обзор достижений в этой области сферического проектирования
Существуют несколько подходов при создании цифровых демонстрационных комплексов со сферическим экраном. Рассмотрим их подробнее.
Проекционные комплексы
Проекционные комплексы можно разделить на два типа: мобильные и стационарные. Мобильные комплексы имеют диаметр сферического экрана от 40 см до 1,5 метра. Экран в общем случае выполнен из акрила, который покрывают специализированным проекционным покрытием изнутри и антибликовым покрытием снаружи, для достижения наилучших свойств отображения. Сфера имеет жесткую конструкцию с креплением к объективу. В стационарных комплексах с диаметром экрана от 1,5 м. до 10 м. и выше используется надувной экран, что значительно снижает качество выводимого изображения и требует больших временных затрат на инсталляцию демонстрационного комплекса и уменьшает срок службы.
Рис. 2. Пример мобильного проекционного комплекса с твердым сферическим экраном.
В мире существует несколько компаний, которые занимаются производством подобного оборудования и разработкой демонстрационного контента. Такие компании есть в США, Европе и Китае. В США с 2002 года компании выпускает ряд мобильных комплексов с диаметром экрана 41 см, 61 см, 76 см, а также реализует проекты по созданию стационарных комплексов со сферическими экранами диаметром 3 метра и более. К комплексу поставляется специальное программное обеспечение. Кроме того, компания имеет доступ к данным NASA, что позволяет создавать авторский тематический контент. Минусами производимого оборудования является высокая стоимость и использование для производства сферических экранов материала, который в силу физических и оптических свойств не обеспечивает наивысшего качества отображения.
Наиболее динамично развивающимся рынком создания сферических демонстрационных комплексов является Китай, где с 2006 г. занимаются производством и продажей оптических объективов типа fisheye («рыбий глаз»), с 2007 года производством сферических экранов, а в 2009 году проекционных комплексов. Мобильные комплексы производятся от 66 см в диаметре до 1,5 метра, стационарные комплексы от 2 до 25 метров. Компания использует множество разных мультимедийных проекторов от разных производителей, что обеспечивает весьма гибкую ценовую шкалу комплексов. Также активно ведется работа по усовершенствованию объективов, внедрению сенсорных систем, которые позволяют управлять комплексом прикосновениями к непосредственно сферическому экрану.
Принципиальным отличием в создании мобильных комплексов США и Китая является использование зеркально линзовой системы, т.е. проектор в американском комплексе крепится горизонтально в корпусе и изображение проецируется на внутреннюю поверхность сферического экрана через металлическое зеркало и объектив, в китайском комплексе объектив крепится прямо на проектор, вместо штатного объектива. В том или ином варианте исполнения есть свои плюсы и минусы. Использование зеркально-линзовой системы приводит к дополнительным настройкам и корректировкам перед каждым использованием, требует периодического обслуживания. Прямое крепление объектива упрощает систему, но при этом замена штатного объектива проектора влечет проблемы с гарантийным обслуживанием и вероятно снижает заявленные характеристики надежности.
Также существует много менее заметных производителей из ряда европейских, американских и азиатских компаний.
Плюсами проекционных комплексов является наличие мобильного исполнения, небольшой вес стационарных комплексов, вариативность проецирования (внутреннее/внешнее, один/несколько проекторов), высокая надежность, относительно низкая стоимость.
Самый существенный минус проекционных комплексов – яркость и контрастность, идеальным по этим показателем изображение становится в затемненном помещении, а с увеличением источников освещения или их мощности, демонстрируемое изображение теряет в своих качественных характеристиках. Эту проблему можно решить с использованием более ярких и контрастных проекторов, а также более качественным материалом сферического экрана.
Светодиодные комплексы
Светодиодные комплексы не производятся в мобильном исполнении и отличаются значительными диаметрами. Это обусловлено высоким энергопотреблением, большим весом, минимальной дистанцией просмотра в 3 метра для экранов с минимальным шагом пикселя.
Рис. 3. Пример светодиодного комплекса [2].
Светодиодные комплексы производят в основном страны, где развито светодиодное производство, ведущими производителями являются Япония и Китай (Рисунок 3). Самые качественные сферические экраны по светодиодной технологии производят с минимальным шагом пикселя в 3 мм, что обеспечивает лучшее качество и минимальную дистанцию просмотра в 3 метра. Стоимость таких экранов очень высока. Китайские производители обеспечивают меньшую стоимость, но происходит это за счет укрупнения шага пикселя, который составляет 5 мм, 10 мм, 20 мм, и соответственно значительно увеличивает дистанцию просмотра, а также уровня производства и качества комплектующих. Основными задачами, которые позволяют решать данные комплексы являются рекламные, кроме того такие комплексы используются в различных развлекательных мероприятиях.
Плюсами светодиодных комплексов являются высокая яркость и контрастность изображения, которая не меняется от внешних факторов (освещенность помещения, блики и т.п.). Минусов довольно много: высокая стоимость, энергопотребление, большой вес, блочность, которая влияет на надежность, сложность монтажа и использования.
Другие комплексы
Рис. 4. Пример реализации гибкого экрана Canatu’s CNB™ touch sensor [3]
Существуют и другие инженерные решения, которые в основном созданы в единственном экземпляре, для решения конкретных задач. Среди решений есть перспективные, такие как использование гибких экранов (Тайвань, Финляндия) (Рис. 4), а также использование множества 3-15 дюймовых экранов, соединенных в единый сферический экран, что значительно усложняет работу системы и требует ежедневного сервисного обслуживания.
3. Инновационный цифровой демонстрационный комплекс со сферическим экраном ГЦ РАН
Сектор инновационных проектов Геофизического центра РАН с 2011 года занимается сферической визуализацией как технологией, а также сферической визуализацией данных наук о Земле [4].
За это время изучено множество комплексов сферической визуализации и сформирована инженерная и программная база для создания собственного комплекса, в котором ГЦ РАН станет интегратором при производстве оборудования и разработчиком программного обеспечения. Основными целями при создании собственного комплекса являются высокое качество отображения, ценовая доступность комплекса для научных и учебных заведений.
Рис. 5. Спроектированные модели деталей корпуса.
Совместно с российскими партнерами ведется работа по созданию собственного российского объектива типа «рыбий глаз», который будет крепиться на проектор среднего ценового сегмента. Первые испытания объектива уже прошли, в настоящее время ведется работа над исправлением перечня замечаний. Также, налаживается сотрудничество с некоторыми китайским и европейскими производителями.
Кроме того, совместно с экспертами по материаловедению подбираются и тестируются наилучшие материалы для изготовления сферического экрана. Создание сферического экрана сопровождается отработкой технологий ротационного литья пластиков.
Прямое проектирование без зеркальной системы выбрано как наиболее эффективный подход при создании комплекса, который позволяет избежать потерь яркости, а также обеспечивает большую надежность за счёт упрощения структуры комплекса.
4. Методология визуализации на сферическом экране
Существующие демонстрационные комплексы со сферическим экраном требуют наличия специализированного программного обеспечения для визуализации объектов без искажений в каждой точке сферического экрана. Программное обеспечение реализовано вышеупомянутыми производителями сферических комплексов, схоже по своему принципу, но резко отличается по своему функционалу: от визуализации изображений без искажений на сферическом экране до более сложной визуализации процессов на Земле в виде динамических слайдов. Нами был изучен опыт и методология создания программного обеспечения для сферических экранов и создан собственный программный комплекс с уникальным набором функций.
Сферический слайд (далее просто «слайд») – основная структурная единица визуализации на сферическом экране. Слайд предназначен для одновременного и согласованного показа логически и тематически связанной информации. Группа слайдов объединяется сферическую презентацию (далее просто «презентация»). Все презентации хранятся в единой папке на диске («хранилище»), в соответствии с общими принципами системной иерархии, что позволяет удобно хранить необходимые для визуализации данные: растровые изображения и другие и быстро находить требуемый слайд.
Можно выделить 2 типа слайдов:
· Обычный слайд: для показа глобуса и объектов на глобусе;
· Слайд с 3д-моделью: в этом случае 3д-модель видна только с лицевой стороны сферического экрана.
Обычный слайд включает элементы: покрытие глобуса, объекты на глобусе и анимацию, которая реализуется через разработанные плагины и скрипты.
Покрытие может быть нескольких видов, которые используются для решения различных задач: сплошная заливка одним цветом; одно статическое растровое изображение земной поверхности; географическая, политическая или любая тематическая карта; изображение или серия изображений, которые сменяют друг друга с заданной частотой; серия изображений, смена которых управляется из скрипта; видео файл, растянутый на весь глобус. В целом можно отметить, что в качестве покрытия может выступать любое растровое изображение или видео в равнопромежуточной проекции (plate carrée). Однако для достижения наилучшего качества и быстродействия рекомендуются высокие качественные характеристики выводимого изображения, в частности разрешение не хуже 2048х1024.
В качестве объектов, выводимых на сферический экран, могут выступать текстовые надписи, векторные объекты (точки, линии, полигоны), изображения (иконки, фотографии), видео, бегущая строка и пр., что позволяет нам создавать презентации любого уровня сложности. Единственным требованием является наличие географической привязки, которая соответствует либо географического положению объекта, либо выбирается произвольно с целью визуальной репрезентативности демонстрируемого материала.
Представление слайдов возможно в 2х основных режимах: интерактивный режим и режим автопрезентации. В интерактивном режиме можно произвольно вращать глобус с помощью клавиатуры, мыши или джойстика, настраивать скорость воспроизведения анимации, переключаться между произвольными слайдами. Этот режим удобен для самостоятельного изучения каких-либо данных, либо при проведении презентации с живым лектором. В режиме автопрезентации показ слайдов идет в автоматическом режиме. Этот вариант удобен для различных выставочных площадок, где не требуется живое участие человека. Для каждого слайда настраивается время его показа до переключения на следующий слайд и ряд опций: вращение слайда, скорость анимации и другие.
Был разработан большой набор функций для визуализации слайдов на сферическом экране. В случае если есть необходимость слежения за объектом, разработанная функция Автоповорот будет поворачивать сферический экран так, что место события окажется перед наблюдателем, в т.ч. в автоматическом режиме.
В остальных случаях изображение будет находиться в статичном режиме либо вращаться с заданной пользователем скоростью. Также разработана функция растяжения относительно заданной точки. Это применяется в случае, если необходимо масштабировать отдельную область глобуса. Для масштабирования необходимо задать географические координаты центра растяжения и коэффициент растяжения, при этом покрытие глобуса растягивается, а координаты объектов на глобусе сдвигаются в соответствии с формулой растяжения. Бывает необходимо вывести на глобус какую-либо служебную информацию: название слайда, дату и время, логотип, легенду. Когда пользователь крутит глобус, эта важная служебная информация может пропасть из вида. Потому для заданных объектов на глобусе можно включить опцию фиксации относительно лицевой стороны экрана. Эти объекты будут постоянно находиться на лицевой стороне, как бы ни был повернут сам глобус.
Подготовка слайда для презентации состоит из нескольких этапов:
1. Подготовить покрытие. Можно взять либо уже готовое, либо сделать новое в соответствии с вышеуказанными требованиями. Если поместить в папку со слайдом несколько растровых файлов, то на глобусе они будут показываться последовательно в цикле.
2. Подготовить векторные данные (точки, линии, полигоны), текстовые метки, иконки, изображения и указать их в конфигурационном файле.
3. При необходимости написать скрипт для загрузки и/или анимации данных.
Для хранения настроек используются XML-файлы в хранилище в папках с презентациями и слайдами. Отдельно хранятся настройки презентации, отдельно – настройки слайда. Между ними есть важная концептуальная разница. Слайд и его настройки определяют, что будет показано пользователю. Презентация и её настройки определяют, как это будет показано. Путем написания скриптов и плагинов можно расширять функциональность программы, создавать слайды со сложной анимацией, поддерживать новые типы данных. Примеры специализированных слайдов: показ, текущий землетрясений с сайта USGS, показ текущей погоды с сайта OpenWeatherMap.
Как было упомянуто выше, разработанное программное средство, так же позволяет демонстрировать различные анимации, которые представляют собой либо изменение покрытия, либо изменение объектов на глобусе. Это является исключительно важным для создания полноценных видеопрезентаций, которые могут транслироваться на сферическом экране 24/7 без человеческого фактора и используются, к примеру, для организации выставочных пространств. Создание анимаций на сферическом экране также несет большое значение при визуализации процессов, происходящих на Земле. В этом случае в качестве подложки выступает спутниковое изображение планеты Земля, географическая карта рельефа, политическая карта или любая другая картографическая подложка. В качестве объектов могут выступать как данные полученные со спутниковых снимков о передвижении воздушных масс, данные мониторинга цунами, информация о выбросах в атмосферу, так и модельные данные о строении литосферных плит, локализации месторождений полезных ископаемых и много другое. Большие объемы данных в процессе обработки трансформируются в анимацию, которая на сферическом экране одновременно отражает и время, и географическую привязку тех или иных объектов. Таким образом, мы можем наблюдать за формированием ураганов, локацией землетрясений и др. в том числе в режиме реального времени, в случае подключения демонстрационного комплекса к сети интернет. Это свойство является исключительно важным в образовательном процессе, когда есть необходимость доступно объяснить процессы, происходящие на земле и других планетах Солнечной системы.
Отдельным направлением развития является поддержка ГИС технологий. Разработаны методики и формы представления научных данных по геомагнитной активности. Создана непрерывно обновляемая база цифровых данных по геомагнитной активности, специально разработанный программный модуль, реализующий геоданные в среде ГИС путем преобразования цифровых значений в данные с картографической привязкой, визуализируется в режиме квазиреального времени, а также на демонстрационном комплексе со сферическим экраном [5].
5. ПО “ORBUS”
Разработанное программное обеспечение “ORBUS” обеспечивает интерактивную визуализацию данных на сферическом экране и включает возможность подготовки данных к визуализации (редактор сферических презентаций).
Изображение выводится сразу на 2 экрана. На основном экране компьютера/ноутбука показывается графический интерфейс для управления визуализацией и графическое окно с глобусом в обычной перспективной проекции (Рис. 6). 2й экран – это сферический экран. На него выводится специально подготовленное изображение глобуса в сферической проекции (Рис. 7). Изображения на обоих экранах синхронизируются между собой так, чтобы изображение на передней части сферического экрана выглядело идентично изображению глобуса в перспективной проекции. Это позволяет оператору с помощью ноутбука управлять визуализацией на сферическом экране, даже не видя сам экран.
Рис. 6. Изображение на основном экране.
Рис. 7. Изображение, которое выводится на сферический экран
ПО написано на языке C++. Для трехмерной визуализации на нижнем уровне используется графическая библиотека OpenGL, а поверх него – графический инструментарий OpenSceneGraph. Для создания графического интерфейса пользователя используется Qt framework. Приложение может работать под Windows и Linux.
5.1 Рендеринг на сферический экран
Подготовка изображения для вывода на сферический экран осуществляется с помощью рендеринга в текстуру с целью получения изображение глобуса со всех сторон. Существуют различные подходы. Для удобства и минимизации искажений была выбрана схема с шестью камерами. В центре глобуса в начале мировой системы координат размещаются шесть виртуальных камер, нацеленных на шесть граней воображаемого куба. Угол обзора каждой камеры 90°, и поэтому их объемы видимости соприкасаются. Камеры осуществляют отрисовку в кубическую текстуру, каждая камера – в своё отдельное изображение в текстуре.
Далее из этой кубической текстуры получают плоское изображение, пригодное для вывода через обычный проектор и линзу «рыбий глаз». Для этого заранее подготавливается вспомогательная геометрия – полигональная сетка в форме диска с настроенными текстурными координатами (Рис. 8). Далее эта сетка выводится на проектор в ортографической проекции, и с помощью линзы «рыбий глаз» разворачивается на сферу.
Рис. 8. Полигональная сетка для вывода на проектор
Рассмотрим, как вычисляются текстурные координаты. Кубическая текстура имеет особенность, что координаты на ней задаются тремя числами, которые представляют собой декартовы координаты вектора, который соединяет точку на кубе и центр куба, который в нашем случае совпадает с центром сферы. Есть необходимость сопоставить декартовы координаты xy на экране (полигональной сетке) с декартовыми координатами XYZ точки на сфере. Все промежуточные вычисления удобно проводить, используя полярные координаты (r, ϕ) на диске и сферические координаты (R, ϕ, θ) на сфере. Мы берем радиус сферы R=1, а координаты ϕ совпадают у двух точек. Значит нужно сопоставить r и θ.
Разные линзы «рыбий глаз» по-разному отклоняют лучи света, проходящие через неё. Тип линзы определят зависимость между r и углом α (Рис. 9). В нашем случае используется линза с формулой:
α = asin(r)
Теперь, зная α, можно вычислить θ, и значит и декартовы координаты точки на сфере, которые являются искомыми текстурными координатами.
Последовательность шагов: декартовы координаты точки сетки (x, y) -> (r, ϕ), r -> α, α -> θ, (R, ϕ, θ) -> (s, t, r) текстурные координаты из кубической текстуры.
Рис. 9. Схема связи между точкой на глобусе и точкой полигональной сетки
Рис. 10. Схема вывода изображений на 2 экрана
5.2 Структура графа сцены
Для визуализации на 2х экранах данные не дублируются. Каждый экран имеет свой графический контекст, и свой корень графа сцены с отличающимися настройками. Оба графа сцены имеют общую часть, единый разделяемый (shared) набор данных.
Граф сцены показан на рисунке 11. Имеется 2 важных подграфа: сам глобус, который состоит из одной геометрии сферы, и подграф с объектами на поверхности глобуса. На экран с перспективной проекцией эти подграфы выводятся без изменений, и к ним добавляются оси координат. Перед рендерингом в текстуру для сферического экрана у подграфов изменяются некоторые параметры вывода.
Объекты на глобусе должны быть видны одновременно снаружи глобуса на экране с перспективной проекцией и внутри глобуса для рендеринга в текстуру с помощью виртуальных камер, располагающихся внутри глобуса. Поэтому в этом случае отключается тест глубины. Объекты рендерятся после глобуса и перекрывают его.
Рис. 11. Граф сцены
Поскольку изображения на обоих экранах должны быть синхронизированы, то при движении основной камеры снаружи глобуса (она относится к экрану с перспективной проекцией), синхронно поворачиваются все 6 камер внутри глобуса. При этом изображение изнутри глобуса оказывается зеркально отраженным. Для компенсации этого отражения используется масштабный коэффициент -1.0 по оси Y.
5.3 Архитектура программного обеспечения
На рис. 12 показаны основные классы ПО, которые построены на основе описанной выше методологии. Класс Slide отвечает за построение всей нужной геометрии (глобус и объекты на глобусе) и за её анимацию. От класса Slide можно наследовать другие классы для создания специализированных слайдов.
Класс Presentation содержит список слайдов и параметры их представления. Класс PresentationStorage хранит список всех презентаций из хранилища. Графический интерфейс запрашивает список презентаций, чтобы пользователь мог выбрать нужную. Класс SlideRegistry ведёт учет всех производных от Slide классов, которые могут также загружаться из внешних библиотек. SlideRegistry создаёт экземпляр нужного класса в зависимости от значения в конфигурационном файле слайда. Класс SceneManager отвечает за работу с графом сцены. Он подключает геометрию слайда к графу сцены, и отключает старую геометрию при смене слайда. Класс CameraPosition отвечает за хранение положения наблюдателя. Он может генерировать согласованные матрицы вида для главной камеры снаружи глобуса и для всех 6 камер внутри глобуса. Стыковка с библиотекой OpenSceneGraph идет через классы SphericalManipulator и SlaveManipulator. Класс AutoPresenter отвечает за представление слайда пользователю. Он может управлять автоматическим вращением глобуса, скоростью анимации, переключать автоматически слайды в презентации, вращать глобус так, чтобы он всегда был повернут к пользователю заданной точкой.
Для наглядности на диаграмме не показаны все классы графического интерфейса, а только обобщенный пакет GUI.
Рис. 12. Диаграмма основных классов
Заключение
В результате проведенных работ реализован программно-аппаратный комплекс со сферическим проекционным экраном. Аппаратная часть сформирована из деталей российского и зарубежного производства. В будущем перед группой разработчиков стоит задача по максимальному замещению составных комплектующих российскими. Разработанная программная часть – ПО Орбус, уже сейчас является очень удобным и функциональным продуктом, который можно использовать как вместе с аппаратной частью, так и как самостоятельный продукт визуализации данных.
В процессе создания комплекса инженеры и программисты изучили большое количество аналогичных комплексов, и в настоящее время коллектив в состоянии разрабатывать варианты комплексов с разными диаметрами твердых и надувных сферических экранов. Также, заключены партнерские соглашения с несколькими зарубежными производителями комплектующих.
Функционал ПО Орбус уже сейчас имеет ряд возможностей, которые особенно полезны при использовании ПО и комплекса в целом в процессе обучения. Такие функции как поддержка растровых и векторных изображений в любом современном формате, видеофайлов, создание новых и наложение имеющихся векторных данных, настройка всех параметров (анимации, цвета, вращения), автопрезентация, слежение за явлениями и др., позволяют изменить подачу школьного учебного материала по таким дисциплинам как география, экология, история и т.п. У учеников и студентов будет возможность взглянуть на глобальные процессы на Земле и других планетах по-другому, в объеме и режиме реального времени, что в свою очередь поспособствует популяризации достижений науки и развитию взаимодействия научных и образовательных учреждений.
В планах коллектива развитие проекта по разработке российского аппаратного комплекса со сферическим экраном, обеспечение внедрения проекта в различных областях науки и совершенствование ПО Орбус.
Список используемой литературы
[1] M.T.M. Lambooij, W.A. IJsselsteijn, M.F. Fortuin, I.E.J. Heynderickx. Visual discomfort and visual fatigue in stereoscopic displays. - Journal of Imaging Science and Technology, Vol. 53(2009), No. 3, p. 1-14.
[2] Shenzhen Apexls Optoelectronic Co., LTD http://www.apexls.net/about.html (доступно на 30.03.2015)
[3] Canatu Ltd www.canatu.com/cnb-touch-sensors (доступно на 30.03.2015)
[4] А. И. Рыбкина, О. О. Пятыгина, А. А. Шибаева, О. В. Никифоров. Новейшие технологические решения для сферы образования. – М.: Приятная компания, 2012 г.
[5] А. И. Рыбкина, А. А. Соловьев, А. И. Каган, А. А. Шибаева, О. О. Пятыгина, О. В. Никифоров. Интерполяция данных обсерваторских измерений и визуализация полной напряженности магнитного поля Земли. – М: Вестник ОНЗ РАН, № 5, 2013г.
HARDWARE AND SOFTWARE SYSTEM FOR VISUALIZATION OF GEOPHYSICAL DATA ON A SPHERICAL SCREEN
A.I. Rybkina1, A.E. Bobkov2, О.V.Nikiforov1, O.O. Pyatygina 1
1 Geophysical Center of the Russian Academy of Sciences (GC RAS, Russia)
2 Moscow Institute of Physics and Technology (MIPT, Russia)
Abstract
The article deals with the visualization of geophysical data on spherical screens: its relevance, practical importance, approach to the implementation of the hardware component, advantages and disadvantages of different types of screens. The Geophysical Center RAS carries out a project to develop a hardware-software system with a spherical screen, intended primarily for the visualization of all processes taking place on Earth, including those occurring in real time: tsunamis, hurricanes, monitoring of geomagnetic activity, weather, earthquakes. The article describes the methodology of creating spherical presentations, examples of the use of the system and the performance of ORBUS software, which provides interactive data visualization on spherical screen. This complex is unique and has no equivalents in Russia.
Keywords: a digital projector with spherical screen, visualization, innovations, education, ORBUS.
Reference
[1] M.T.M. Lambooij, W.A. IJsselsteijn, M.F. Fortuin, I.E.J. Heynderickx. Visual discomfort and visual fatigue in stereoscopic displays. - Journal of Imaging Science and Technology, Vol. 53(2009), No. 3, p. 1-14.
[2] Shenzhen Apexls Optoelectronic Co., LTD http://www.apexls.net/about.html (доступно на 30.03.2015)
[3] Canatu Ltd www.canatu.com/cnb-touch-sensors (доступно на 30.03.2015)
[4] A. I. Rybkina, O. O. Pjatygina, A. A. Shibaeva, O. V. Nikiforov. Novejshie tehnologicheskie reshenija dlja sfery obrazovanija. [The latest technological solutions for education] – M.: Pleasant Company, 2012.
[5] A. I. Rybkina, A. A. Solov'ev, A. I. Kagan, A. A. Shibaeva, O. O. Pjatygina, O. V. Nikiforov. Interpoljacija dannyh observatorskih izmerenij i vizualizacija polnoj naprjazhennosti magnitnogo polja Zemli [Interpolation of observatory measurements data and visualization of the full strength of the magnetic field of the Earth]. – M: Vestnik Otdelenia nauk o Zemle RAN, № 5, 2013г.