1. Введение. Обзор работ в области дополненной реальности.

В наше время люди взаимодействуют с очень большими объемами данных и именно поэтому большинство технологий направлены на то, чтобы упростить получение и восприятие информации. К подобным технологиям относится технология «дополненной реальности», крупные исследования о которой ведутся с 1967 года. Сам термин «Дополненная реальность» был впервые введен только в 1990 году Т. Коделлом [23], исследователем компании Boeing, тогда он обозначил его следующим образом: «дополненная реальность - это технология, дающая возможность выведения графической информации непосредственно на сетчатку глаза человека, с использованием различных технических устройств».

Авторы данной статьи считают, что системы дополненной реальности (СДР) можно рассматривать как частный случай систем пространственного моделирования и визуализации. Пространственное моделирование используется при формировании и редактировании пространственной сцены, визуализация - для ее наглядного представления. Следует отметить, что специфика СДР заключается в широком использовании разнообразных сложных воображаемых материальных и абстрактных объектов пространственных сцен, а также широком использовании обычных и экзотических атрибутов визуализации таких сцен.

На рисунке 1 изображена иллюстрация одного из примеров СДР. На ней видно, что планшет в котором запущено специальное мобильное приложение, при помощи технологии распознавания изображений отслеживает рисунок, лежащий на столе, и наслаивает виртуальную пространственную сцену с объектами данной сцены, в виде 3D-модели окрестностей Эйфелевой башни, которые были смоделированы в специальной программе ( см. рис. 1).

 

Рис. 1 – Система пространственного моделирования и визуализации пространственной сцены, состоящей из трёхмерной модели абстрактного объекта, в виде окрестностей Эйфелевой башни, отображённая с использованием СДР.

 

На рисунке 2 изображена иллюстрация другого примера СДР. На нём видно, что планшет в котором запущено специальное мобильное приложение, при помощи технологии распознавания объектов отслеживает механическую установку, а затем наносит на неё пространственную сцену, с виртуальными объектами в виде виртуального слоя, показывающего её границы, а также виртуальными объектами, в виде указателей и подписей 6 статоров (см. рис. 2).

 

Рис. 2 – Система пространственного моделирования и визуализации пространственной сцены, состоящей из трёхмерной модели абстрактного объекта, в виде оболочки установки, а также дополнительных объектов в виде указателей и подписей на 6 её статоров, отображённая с использованием СДР.

 

Что касается истории технологии дополненной реальности [9], то впервые сама идея наложения данных на реальную жизнь людей через технологические устройства была описана в романе «Мастер-ключ» в 1901 году, он был написан Л. Франком Баумом. В нём таким устройством были электронные очки. В 1962 году М. Хейлиг изобретает Sensorama – это симулятор со звуком, визуальными эффектами и даже вибрациями. Однако датой рождения дополненной реальности считается 1968 год, когда А. Сазерленд изобрёл шлем «Дамоклов меч», который позиционировался как окно в виртуальный мир. В 1974 году М. Крюгер открыл лабораторию в Коннектикуте в рамках университета, она полностью была посвящена искусственной реальности и называлась «Videoplace». В 1980 году был создан EyeTap – это шлем показывающий виртуальную информацию перед глазами пользователя, его создал С. Манн. Данный шлем считается первой функциональной моделью гарнитуры с дополненной реальностью. В 1993 году идут первые пробные внедрения в реальные автомобили с технологией AR и пилотируемые симуляторы от Loral WDL. В 1998 году первые внедрения на телевидении, где компания Sportvision показывает на матче НФЛ жёлтую линию. В 2000 году Х. Като создал программную библиотеку ARToolKit [20] используемую и в наши дни, эта библиотека имеет открытый исходный код. В этот же год была первая игра с AR, которая назывался AR Quake. Первые использования в печатных СМИ были уже в 2009 году от журнала Esquire [19] для того чтобы «оживить» обложку журнала, за счёт добавления компьютерного слоя с видео. Также в этом году ARToolkit [20] был перенесен на Adobe Flach (FLARTToolKit [21]), тем самым компания Saqoosha перенесла AR в веб-браузер. В 2012 году компания из Великобритании Blippar создает первое облачное AR приложение. Большой вклад в развитие отрасли и применений дополненной реальности также внесла компания Volkswagen, создав приложение Marta в 2013 году. Оно позволяло давать инструкции по ремонту для специалистов и было новаторским, впоследствии оно стало применяться во многих отраслях.  Всем известные очки Google Glass были созданные в 2014 году и в том же году компания Blippar [22] создала первую игру для них. Компания Microsoft вслед за Google не заставила себя ждать, в 2015 году они создали HoloLens – шлем дополненной реальности, который обошёл Google Glass. Также в этом году в России появляется Ассоциация дополненной и виртуальной реальности. Самой известной игрой в дополненной реальности в мире была «Pokemon GO [17]», которая была создана в 2016 году, она сильно изменила скептическое отношение потребителей к инновационным технологиям. В 2017 году Apple анонсировала один из самых популярных на сегодняшний день инструментов – ARKit [16], с помощью которого создаются мобильные приложения с дополненной реальностью. В этом же году количество пользователей AR в США достигло 37 миллионов человек, некоторые связывают это с тем что компания IKEA в это время выпускает приложение IKEA PLACE, которое меняет отрасль розничной торговли. Оно позволяет клиентам пробовать варианты домашнего декора перед покупкой. Вслед за Apple в 2019 году Google анонсирует ARCore [18] – первый по популярности инструмент для разработчиков устройств Android. Через ARKit [16] и ARCore [18] создаются большинство приложений дополненной реальности и до нашего времени.

Важно классифицировать СДР, наиболее хорошо это описано в работе «Классификация приложений дополненной реальности» Маколкина М.А. [1] написанной в 2020 году. Системы дополненной реальности классифицируется:

1) По типу представления информации:

• Визуальные – источник информации для человека изображение;

• Аудио – источник информации в виде звука;

• Аудиовизуальные – объединение двух предыдущих;

• Текстовые и графические системы – источник информации текст

• Сенсорные – источник информации вибрации ;

• Голографические – источник информации голографические изображения.

2) По степени мобильности:

• Стационарные – их нельзя перемещать, так как это приведёт к сбою работы;

• Мобильные – возможно перемещать без каких-либо сбоев работы.

3) По степени взаимодействия с пользователем:

• Автономные – задача системы в предоставлении пользователю нужной информации;

• Интерактивная – задача системы в активном взаимодействии с пользователем, который на свои действия получает ответы от системы.

4) По способу распознавания триггера (объект или ситуация запускающая появление дополненной реальности) появления дополненной реальности:

• Без маркерная дополненная реальность – не требуется никаких триггеров маркеров

• Маркерная дополненная реальность – требуется маркер триггер

• Геопозиционные – требуются сигналы систем позиционирования GPS и акселерометра для определения угла поворота относительно вертикали и азимут;

• С помощью распознавания образа – требуется объект триггер (лицо, изображение, руки и любые другие объекты).

Что касается сфер применения СДР, то они очень обширны, к примеру Pantano [6] (2014) подчеркивает потенциал дополненной реальности в плане "привлечения внимания потребителей и влияния на их решение о покупке".  С недавним появлением дополненной реальности и благодаря её доступности, розничные торговцы стали полагаться на эту интерактивную технологию для того, чтобы улучшить покупательский опыт и повлиять на процесс принятия решений потенциальными покупателями. С одной стороны, интерактивные технологии в торговых центрах используют специальные устройства и программное обеспечение для объяснения,  демонстрации и рекомендации продукции. С другой стороны, мобильные приложения с функциями дополненной реальности могут загружаться и устанавливаться на персональные портативные устройства пользователей. Таком образом они будут доступны в любое время и в любом месте, и, следовательно, будут чаще использоваться и помогать пользователями. Помимо добавления информативности нельзя отрицать и wow-эффект, который несёт данная технология. В силу своей новизны, пользователи более охотно и часто её используют, по сравнению с привычными технологиями. В наше время, дополненная реальность применяется во многих областях нашей жизни: обучение, маркетинговые и рекламные кампании, собственные продукты с дополненной реальности в банковской сфере и т.д.

Оптимальными применениями дополненной реальности, по мнению многих авторов научных статей [1], являются применения в розничной торговле и коммерческой сфере в целом, где дополненная реальность широко используется для виртуальной примерки одежды, также широко используется для примерки техники и мебели в интерьер своего помещения. Однако на этом применения технологии дополненной реальности не заканчивается и, на наш взгляд, одним из интересных и рациональных применений данной технологии может быть внедрение её в процесс анализа данных в визуальной аналитике. На данный момент, достаточно мало работ написано в данной области, однако такое применение может быть очень эффективным и в следующей главе они будут подробно описаны.

2. Что собой представляет визуальная аналитика, достижения и проблемы. Место дополненной реальности.

Джеймс Томас (американский ученый) сформулировал совокупность идей и понятий визуальной аналитики в парадигме решения задач анализа данных с использованием поддерживающего визуального интерактивного интерфейса. К одному из примеров визуальной аналитики, наиболее широко распространенной на практике, может являться решение в разрезе анализа данных методами визуализации. Основной смысл этого метода в следующем. Об объекте рассмотрения исходным данным ставиться в соответствие статическое или динамическое изображение графическое, анализируемое визуально. Результаты анализа данных графических интерпретируются в отношении исходных данных и объекту рассмотрения (см. рис. 3).

 

Рис. 3. Анализ данных методом визуализации.

 

Что такое визуальный анализ графических данных? Важно отметить, что визуальный анализ идёт после пространственного моделирования исходных данных. Это значит, что полученные изображения графические предназначены для использования только удобным и естественным средством представления аналитику пространственной интерпретации исходных данных. Интерпретация пространственной сцены представляет собой ряд пространственных объектов (либо один), которые ставятся в соответствие анализируемым данным на, так называемом, этапе мэппинга. Пространственная сцена анализируется визуально. После этого происходит интерпретация результатов к исходным данным. Метод визуализации в разрезе метод анализа данных – это один из методов пространственного моделирования данных. Это даёт возможность использовать огромные возможности пространственного мышления аналитика во время анализа. В последствии решения задачи аналитик выносит суждения о сцене аналитика. Как было написано выше, данные суждения интерпретируются аналитиком к исходным данным. Соответственно, формируется модель суждения об объекте рассмотрения. В основном, анализ данных с методом визуализации может быть интерактивным, итеративным и сложным.

Важно заметить, что метод визуализации можно использовать для анализа данных разного характера, к примеру различных экспериментальных и теоретических данных научных, которые составляют суть научной визуализации.

Соответственно, в анализе данных методом визуализации центральное место занимает пространственная сцена, ставящаяся аналитиком к соответствию анализируемым исходным данным и визуально анализируемая. Во время анализа визуальным аналитиком пространственной сцены осуществляются несколько базовых операций: анализ расположения взаимного данных компонентов; анализ формы компонентов сцены пространственной; анализ их отображения цветового.

Эти операции имеют качественный характер, и для их выполнения целесообразным является введение в пространственную сцену дополнительных пространственных объектов, непосредственно не связанных с исходными данными, но позволяющих повысить разрешающую способность анализа этих исходных данных. Эти дополнительные пространственные объекты, как и сама пространственная сцена, могут быть как статическими, так и представлять собой пространственные процессы. В современной информатике результат введения в зрительное поле пространственной сцены и подобных вспомогательных пространственных объектов, за счёт технологических устройств (таких, как смартфоны, планшеты, компьютеры) с целью анализа пространственной сцены, дополнения сведений об окружении и изменения восприятия окружающей среды, как было описано в предыдущей главе, называют дополненной реальностью. Важно отметить, что в результате подобного введения не только появляются новые дополнительные объекты, такие как элементы интерфейса отображения пространственной сцены, но и изменяется вид отображения самой пространственной сцены в целом.

С технологией дополненной реальности у аналитика появляется возможность анализировать пространственную сцену на смартфонах и планшетах. Это делает анализ пространственной сцены более доступным для большего числа аналитиков. Данный вид отображения пространственной сцены всегда происходит на фоне работающей камеры одного из вышеупомянутых технологических устройств, за счёт работы в специальном мобильном приложении, либо в браузере. Именно доступность использования данного вида отображения для последующего анализа, а также присутствие дополнительных объектов присутствующих вместе пространственной сценой позволяют получить обоснованные рекомендации по рациональному использованию дополненной реальности в визуальной аналитике. Важно понимать на данной стадии, используется ли уже дополненная реальность в направлениях, связанных с научной визуализацией и визуальной аналитикой, или нет.

В работе Mrudang Mathur [8] и остальных (2022) описываются модели дополненной реальности применимо к научной визуализации, он сообщает что данная технология редко используется в научной визуализации из-за того что её сложно создавать, также он подчеркивает, что ранее отсутствовали доступные средства для создания дополненной реальности. В следующей главе этой статьи будет описана одна из доступных онлайн-платформ проектов с дополненной реальностью, которая позволяет легко создавать подобные проекты.

В работе Намиота и Романова [10] (2018), которая называется «3D визуализация архитектуры и метрик программного обеспечения», показывают, как предварительно созданная 3D-модель «программного города» встраивается в реальную сцену, через технологию дополненной реальности. Это показывает вариант того, как можно упростить анализ пространственной сцены аналитику при помощи данной технологии.

В работе Вахрушева [7] (2020) описываются модели применения дополненной реальности для визуализации научных знаний открытого архива библиотеки, где дополненная реальность расширяет информативность пространственной сцены.

3. Участие в работах по использованию ДР в визуальной аналитике в НИЯУ МИФИ ООО "АР Студио"

На российском рынке дополненной реальности есть компания монополист среди онлайн-платформ для создания проектов с дополненной реальностью – это платформа Web-AR.Studio [11]. Она работает как онлайн-конструктор, на котором даже человек без опыта программирования и работы с трёхмерной графикой сможет создать свой проект с дополненной реальностью за считанные минуты. Причём проекты могут быть любой сложности и работать как через мобильное приложение, так и через браузер, то есть без мобильных приложений. Данная онлайн-платформа была создана двумя студентами НИЯУ МИФИ поэтому она была предоставлена для магистрантов и аспирантов НИЯУ МИФИ для использования в рамках таких дисциплин как «Научная визуализация» и «Визуальная аналитика».

В ходе планируемых занятий аспиранты и магистранты будут создавать в программе «3Ds MAX [13] » трёхмерные модели на основании научных данных и после этого за счёт платформы Web-AR.Studio [11] будут интегрировать данные модели в проекты с дополненной реальностью. Это позволяет получить возможность аналитику анализировать их с любого устройства, к примеру смартфон, планшет, ноутбук и так далее. Также при добавлении на онлайн-платформе дополнительных иконок интерфейса можно увеличить информативность пространственной сцены для аналитика, как на рисунке 2. Соответствующие работы аспирантов и магистрантов могут использоваться на кафедре «общей физики» для обучения студентов начальных курсов. Внедрения таких проектов с дополненной реальностью в практикумах по физике увеличивают вовлеченность обучающихся, как следствие их подготовленность, а также скорость осознания информации. Вовлеченность проекта с дополненной реальностью достигается за счёт интерактивности данной технологии. Скорость осознания информации достигается за счёт дополнительного интерфейса, а также трёхмерной визуализации, которая воспринимается легче чем двухмерная информация. Люди видят мир в трёхмерном представлении, поэтому трёхмерные объекты, которые люди видят в дополненной реальности также воспринимаются быстро и понятно, по отношению к двухмерным.

Также проводится постоянно действующий научный семинар на тему «Визуальная аналитика и использование технологии дополненной реальности для решения её задач». В ходе которого, участники семинара могут увидеть как наиболее эффективно использовать данную технологию для решения задач «визуальной аналитики».

Что касается общей характеристики работ по использованию дополненной реальности в задачах визуальной аналитики в НИЯУ МИФИ, с использованием онлайн-платформы компании ООО «АР СТУДИО». Можно выделить спектр задач, связанных с визуализацией физических процессов из лабораторных работ студентов, а также их работы с физическими установками, расположенными в лабораториях общей физики. Магистранты и аспиранты НИЯУ МИФИ смогут воссоздать процессы из методических печатных документов к лабораторным работам студентов, за счёт использования технологии дополненной реальности. Это позволит быстрее воспринимать и, как следствие, усваивать новую информацию для студентов НИЯУ МИФИ. Так как в данный момент всё представлено в 2D формате, в виде печатной документации, с изображениями, а будет представлено в 3D формате через AR-технологию, созданную на онлайн-платформе.

Касательно описание самого онлайн-конструктора, на платформе Web-AR.Studio [11] можно создать проект с дополненной реальностью в трёх вариациях размещения (см. рис. 4), а именно: приложения в браузере, мобильное приложение и приложение с технологией мгновенного запуска. Приложение в браузере работают без скачивания мобильного приложения, то есть пользователь не тратит личное время и место на техническом устройстве, к примеру смартфоне. Однако его минусом считается менее стабильный алгоритм распознавания, который работает медленнее чем в мобильном приложении. Соответственно плюсом мобильного приложение является быстрый алгоритм, а минусом необходимость скачивания этого приложения. Что касается приложения с мгновенным запуском оно объединяет в себе плюсы первых двух вариантов, то есть его не нужно скачивать и оно имеет очень быстрый алгоритм распознавания. Важно заметить, что разные типы публикации имеют разное максимальное число одновременно распознаваемых триггеров, так проект с типом публикации браузер может иметь только до 9 одновременно распознаваемых изображений и до 1000 одновременно распознаваемых QR-кодов, а проект в мобильном приложении до 100 одновременно распознаваемых изображений. Также можно выбрать один из типов распознавания, это может быть распознавание QR-кодов, изображений или без маркерная технология, как в примере с магнитными полями соленоида (см. рис. 9).

 

Рис. 4 – три варианта размещения проекта на платформе Web-AR.Studio [11]

 

Если у вас возникает вопрос о создании его можно задать технической поддержке кликнув по кнопке «Помощь», либо посмотреть документацию к платформе, нажав кнопку «Обучение».

Открытие проекта с дополненной реальностью происходит по QR-коду, который формируется на основании адресной ссылки данного проекта. На платформе, в левом верхнем углу главной страницы проекта, можно его скачать в любом удобном формате: JPG, SVG, PNG, PDF. При этом если использовать маркерную технологию дополненной реальности можно скачать уже совмещенный QR-код и триггер проекта. Триггером называется объект, который провоцирует появление дополненной реальности. К примеру, если использовать алгоритм распознавания изображений, то внутри проекта видео поток, получаемый с камеры устройства будет разбиваться на кадры, каждый кадр будет обрабатываться и сравниваться с загруженным изображением на платформе. Если будет найдено совпадение, то на месте найденного изображения появятся виртуальные объекты дополненной реальности, которые создал пользователь на этом онлайн-конструкторе.

При использовании конструктора «Web-AR.Studio [11]» есть также ряд вспомогательных функций для улучшения качества взаимодействия конечного пользователя с проектом, а именно: 1) персонализация проекта, которая позволяет выбрать язык проекта, доменное имя проекта, загрузочный экран, логотип; 2) собственная система аналитики, которая позволяет собирать данные о пользовательском опыте взаимодействие; 3) возможность отключение триггера проекта через кнопку фиксации сцены по умолчанию, для перевода типа проекта в без маркерный, данная кнопка показана в верхней части рисунка 7. Помимо этого можно подключить и известные системы аналитики, такие как «Яндекс Метрика [15]» и «Google Analytics [16]».

В самом редакторе можно выбрать один из шаблонных вариантов проектов и изменить в нём данные на свои, либо создать свой собственный проект с нуля. Есть 2 типа редакторов: 2D редактор для начинающих и 3D редактор для профессиональных пользователей (см. рис. 5).

 

Рис. 5 – 3D редактор платформы Web-AR.Studio [11]

 

В самом редакторе при создании проекта в правом верхнем углу можно загрузить триггер проекта, либо если их несколько, то применить пакетную загрузку, позволяющую разом применить до 100 изображений в качестве триггеров.

Через панель инструментов, расположенную в левом верхнем углу, можно загружать любой вид объектов дополненной реальности, а именно: аудио, текст, изображения, видео, видео с альфа-каналом, 3D модели статичные, 3D модели анимированные, встроенные геометрические объекты.

К примеру, в работе Cyber-Physical Museum Exhibits Based on Additive Technologies, Tangible Interfaces and Scientific Visualization (2019) К. В. Рябинина [24] и остальные описана и визуализирована 3D модель черепа «Бонобо», созданной посредствам сканирования реального черепа 3D-сканером. Она может быть интегрирована в данной платформе, как 3D модель для последующего просмотра в дополненной реальности.

У каждого объекта дополненной реальности можно настраивать свои функции, которые будут воспроизводиться при клике на данный элемент. Помимо этого у объектов можно настраивать анимации. В этой платформе можно изменять и сам дизайн объектов, их положение в пространстве, прозрачность, цвет, положение на слоях, а в 3D редакторе изменять текстуру и рельеф трёхмерной модели.

Более того можно даже расставить свет внутри проекта, как это реализована в программах для 3D моделирования Blender [12] и «3Ds Max [13]». Можно выбрать свет следующего типа: сферический, направленный, точечный, прожектор, окружающий (см. рис. 6).

 

Рис. 6 – Панель инструментов на платформе Web-AR.Studio [11] с возможностью выбрать тип света.

 

Как видно из рисунка 6, каждая сцены разбивается на слои, состоящие из объектов дополненной реальности. Самих сцен может быть сколь угодно много и в зависимости от того одинаковые ли триггеры имеют данные сцены или нет могу получаться проекты для разных целей. Если проект содержит большое количество триггеров и каждый из них содержит свою виртуальную сцену, то это мульти триггерный проект, к примеру: буклет, альбом или книгу с дополненной реальностью, каждая страница которых распознается по отдельности и провоцирует появление в устройстве различных объектов дополненной реальности.

Когда пользователь закончил создание проекта с дополненной реальностью и хочет посмотреть результат, необходимо нажать на кнопку «Просмотр», которая находится в правом верхнем углу. Это вызовет соответствующее окно предпросмотра с QR-кодом и триггером (см. рис. 7).

 

Рис. 7 – Предпросмотр на платформе Web-AR.Studio [11]

 

Данный конструктор позволяет создавать проекты с дополненной реальностью, в которых к примеру можно использовать свои готовые 3D модели и добавлять к ним дополнительные объекты пространственной сцены, позволяющую давать дополнительную информацию. К примеру на рисунке 8 изображена анимированная 3D модель сердца, с возможностью кликнуть на экране на один из виртуальных объектов, находящихся рядом с частями сердца и прочитать задачи этой части сердца.

 

Рис. 8 – Проект с дополненной реальностью, созданный на платформе Web-AR.Studio [11], в котором есть анимированная 3D модель сердца и дополнительная текстовая информация.

 

Это то что сделано на данный момент, но платформа продолжает развиваться. В скором времени, на платформу будет добавлен алгоритм распознавания поверхностей, а также географическая дополненная реальность, в которой объекты дополненной реальности появляются в заданных координатах широты и долготы. Также будет добавлен упрощенный вид редактора, для мгновенного создания проектов с технологией AR.

Решим задачу анализа магнитного поля физического объекта методом визуализации с использованием технологии дополненной реальности, на базе онлайн-платформы Web-AR.Studio [11].

Постановка задачи анализа научных данных:

Имеется объект рассмотрения - физический процесс явления магнитного поля в соленоидах. Нам известны исходные данные - наличие 2-ух магнитных полей, а именно внутреннее и внешнее вокруг самого соленоида. Требуется получить интересующие аналитика суждения об объекте рассмотрения, а именно принципы функционирования данных магнитных полей в соленоиде, то есть направления действия данных магнитных полей. В качестве метода решения задачи в указанной постановке был выбран метод визуализации по средствам технологии дополненной реальности.

После задания исходных данных о магнитном поле соленоида, можно пропустить этап фильтрации исходных данных, ввиду того что он не требуется, и перейти сразу на этап мэппинга, на котором исходным данным ставятся в соответствие трёхмерные геометрические объекты с соответствующими графическими атрибутами, то есть основные объекты. На этом этапе был использован базовый функционал программы по 3D моделированию «Blender [12]», в которой и был произведен мэппинг при создании виртуальной сцены с соответствующими трёхмерными геометрическими объектами, опираясь на типовые изображения подобных процессов в учебниках по физике. Дальше идёт этап рендеринга, на котором получаем графическое изображение результатов мэппинга в дополненной реальности, для этого трёхмерные модели, полученные на предыдущем этапе, интегрируются по средствам программного обеспечения «Web- AR. Studio [11]» в дополненную реальность. Также к основным объектам добавляются дополнительные объекты, их характеристики описаны ниже под иллюстрацией. Описание процесса, было взято из документации к лабораторным работам по взаимодействию с соленоидами. Трёхмерная модель была создана в программном обеспечении «Blender [12]». Текст и картинки были добавлены в панели инструментов, в левом верхнем углу 2D редактора платформы Web-AR.Studio [11] (см. рис. 9).

 

Рис. 9 - Панель инструментов на платформе Web-AR.Studio [11] с возможностью добавить текст, картинки, а также 3D модели.

 

Как итог результирующая сцена будет представлена в виде трёхмерной модели с дополнительными объектами, отображающимися на экранах технологических устройств (к примеру смартфонов, ноутбуков, планшетов и т.д.), на фоне работающей камеры (см. рис. 10).

 

Рис. 10. Результирующая пространственная сцена в дополненной реальности, состоящая из основного объекта и дополнительных объектов.

 

Пространственная сцена представляет собой дополненную реальность на фоне работающей камеры технологического устройства, в которую входят следующие объекты:

- Основной объект - анимированная 3D-модель процесса (см. рис. 11 (а)),

- Дополнительный объект - вспомогательная картинка с названием процесса сверху (см. рис. 11 (б)),

- Дополнительный объект - вспомогательная картинка снизу с текстовым описанием процесса (см. рис. 11 (в)),

- Дополнительный объект - вспомогательная картинка интерфейса для смены осей вращения (x, y, z) 3D-модели (см. рис. 11 (г)),

- Дополнительный объект - вспомогательная картинка интерфейса для вызова инструкции по управлению (см. рис. 11 (д)),

- Дополнительный объект - вспомогательная картинка интерфейса для фиксации пространственной сцены (см. рис. 11 (е)),

- Дополнительный объект - вспомогательная картинка интерфейса для включения описания показанного сопровождения в формате аудио (см. рис. 11 (ё)),

- Дополнительный объект - вспомогательная картинка интерфейса, для того чтобы поделиться проектов с другими пользователями (см. рис. 11 (ж)), 9) Дополнительный объект - вспомогательная картинка интерфейса для возврата на главную сцену с выбором физического процесса (см. рис. 11 (з)).

 

а)

б)

в)

г)

д)

е)

ё)

ж)

з)

Рис. 11. Основные (а) и дополнительные объекты (б), (в), (г), (д), (е), (ё), (ж), (з) результирующей пространственной сцены в дополненной реальности.

 

Данная результирующая пространственная сцена позволяет аналитику провести визуальный анализ по отношению к исходным данным, то есть по отношению к объекту рассмотрения: явлению магнитного поля в соленоидах.

В данном типе проекта, результирующая пространственная сцена, в которую входят виртуальные объекты дополненной реальности описанные выше, отображается на фоне изображения передаваемого с камеры технологического устройства аналитика. Здесь аналитик анализирует виртуальные процессы полученные на этапе мэппинга, которые строятся в самой дополненной реальности на этапе рендеринга. Хочется заметить, что в большинстве своем проекты с дополненной реальностью позволяют аналитику при наведении своего технологического устройства (к примеру смартфон) на материальный объект получить дополнительную информацию о нём в виде пространственной сцены, однако в нашем варианте проекта, то что появляется в виде виртуальных объектов и есть анализируемая нами пространственная сцена. Данная сцена, анимированна на этапе рендеринга и позволяет понять аналитику ход движения магнитных полей (внутреннего и внешнего), а также параллельно получить дополнительную информацию в текстовом или аудио формате. Стоит отметить что для удобства последующего анализа на этапе меппинга внутреннее и внешнее поля были разделены разными цветами. Внутренне магнитное поле соленоида имеет синий цвет, в то время как внешнее магнитное поле соленоида имеет зелёный цвет. Данный проект был создан на онлайн-платформе Web-AR.Studio [11].

4. Заключение

В ходе данной работы, можно прийти к выводам, что оптимальными применениями дополненной реальности, по мнению многих авторов научных статей, являются применения в розничной торговле и коммерческой сфере в целом, однако на этом применения технологии дополненной реальности не заканчивается и одним из интересных и рациональных применений данной технологии является внедрение её в процесс анализа данных в визуальной аналитике.

Ознакомившись с работами ведущих в данной области авторов, где описываются модели применения дополненной реальности к научной визуализации, можно прийти к выводу, что данная технология редко используется в научной визуализации из-за того, что её сложно создавать, а также потому что ранее отсутствовали доступные средства для создания дополненной реальности. Также в работах видны варианты того, как можно упростить анализ пространственной сцены аналитику при помощи данной технологии на примере визуализации научных знаний открытого архива библиотеки, где дополненная реальность расширяет информативность пространственной сцены. Данное исследование подтверждает пользу использования технологии дополненной реальности для целей и задач научной визуализации и визуальной аналитики.

Онлайн-платформа «Web - AR. Studio [11]», которая была описана ранее с примером использования в образовательных целях, является приемлемым программным инструментом для создания проектов с технологией дополненной реальности, которые далее может использовать аналитик для анализа пространственной сцены.

Список используемой литературы

1. Маколкина М. А., Кучерявый А. Е. Классификация приложений дополненной реальности // Информационные технологии и телекоммуникации. 2020. Том 8. № 1. С. 11–21. DOI 10.31854/2307-1303-2020-8-1-11-21

2. Azuma, R. (1997). A Survey of Augmented Reality. Presence: Teleoperators and Virtual Environments, 6(4), pp.355-385.

3. Guttentag, D. A. (2010). Virtual reality: Applications and implications for tourism. Tourism Management, 31(5), 637-651. doi: 10.1016/j.tourman.2009.07.003.

4. «ACCEPTANCE OF AUGMENTED REALITY IN M-COMMERCE: THE ROLE OF CONSUMERS' MOTIVATION, DRIVERS AND BARRIERS»
Polina L. Cherenko 2017

5. Daponte, P., De Vito, L., Picariello, F. and Riccio, M. (2014). State of the art and future developments of the Augmented Reality for measurement applications. Measurement, 57, pp.53-70

6. Pantano, E. and Timmermans, H. (2014). What is Smart for Retailing?. Procedia Environmental Sciences, 22, pp.101-107.

7. М. В. Вахрушев (2020). Дополненная реальность на службе популяризации и визуализации научных знаний открытого архива библиотеки. DOI: 10.33186/1027-3689-2020-10-51-62

8. Mrudang Mathur, Josef M. Brozovich, Manuel K. Rausch 2022 A Brief Note on Building Augmented Reality Models for Scientific Visualization

9. AR – Дополненная реальность и её история [электронный ресурс] URL: https://habr.com/ru/post/419437/

10. Д.Е. Намиот, В.Ю. Романов. 3D визуализация архитектуры и метрик программного обеспечения. Научная визуализация, 2018, том 10, номер 5, страницы 123 - 139, DOI: 10.26583/sv.10.5.08

11. Онлайн-платформа для создания проектов с дополненной реальностью «Web - AR. Studio» [электронный ресурс] URL: https://web-ar.studio/ru%0d

12. Программа для 3D-моделирования «Blender» [электронный ресурс] URL: https://www.blender.org/

13. Программа для 3D-моделирования «3Ds max» [электронный ресурс] URL: https://www.autodesk.com/products/3ds-max/

14. Онлайн-платформа для учёта аналитики «Яндекс метрика» [электронный ресурс] URL: https://metrika.yandex.ru/

15. Онлайн платформа для учёта аналитики «Google Analytics» [электронный ресурс] URL: https://developers.google.com/analytics/

16. Набор инструментов для разработчиков от компании Apple - ARKit [электронный ресурс] URL: https://developer.apple.com/augmented-reality/arkit/

17. Игра в дополненной реальность с алгоритмом распознавания геопозиции - PokemonGO [электронный ресурс] URL: https://www.pokemon.com/

18. Инструмент для разработки программного обеспечения от Google - ARCore [электронный ресурс] URL: https://developers.google.com/ar

19. Журнал, основанный в 1933 году в США - Esquire [электронный ресурс] URL: https://www.esquire.com/

20. Библиотека отслеживания с открытым исходным кодом от Apple - ARToolKit [электронный ресурс] URL: https://www.artoolkitx.org/

21. Версия ARToolKit для Flash Actionscript для разработки веб-приложений с дополненной реальностью - Flartoolkit [электронный ресурс] URL: https://artoolworks.com/products/open-source-software/flartoolkit-2.html

22. Онлайн-платформа для создания проектов с дополненной реальностью «Blippar» [электронный ресурс] URL: https://www.blippar.com/

23. Дополненная реальность: что это, примеры применения [электронный ресурс] URL: https://virtre.ru/articles/augmented-reality/dopolnennaya-realnost-chto-eto-primery-primeneniya.html

24. K.V. Ryabinin, M.A. Kolesnik, A.I. Akhtamzyan, E.V. Sudarikova. Cyber-Physical Museum Exhibits Based on Additive Technologies, Tangible Interfaces and Scientific Visualization (2019). Scientific Visualization 11.4: 27 - 42, DOI: 10.26583/sv.11.4.03

---

Data Analysis using Augmented Reality Visualization

Authors: M.A. Epifanov¹, V.V. Pilyugin², V.V. Klimov³

National Research Nuclear University MEPhI (Moscow Engineering Physics Institute), Moscow, Russia

¹ ORCID: 0000-0001-6543-4203, maepifanov@mephi.ru

² ORCID: 0000-0001-8648-1690, vvpilyugin@mephi.ru

³ ORCID: 0000-0002-0131-6539, vvklimov@mephi.ru

 

Abstract

In this paper, the authors describe the history of augmented reality and its applicability in scientific visualization and visual analytics. The study explores the benefits of using this technology for analysts studying spatial scenes and presents an advanced online platform for creating augmented reality projects used for educational purposes.

 

Keywords: Augmented reality, scientific visualization, visual analytics.

 

References

1.  Makolkina M. A., Curly A. E. Classification of augmented reality applications // Information technology and telecommunications. 2020. Volume 8.   1. P. 11-21. DOI 10.31854/2307-1303-2020-8-1-11-21

2.  Azuma, R. (1997). A Survey of Augmented Reality. Presence: Teleoperators and Virtual Environments, 6(4), pp.355-385.

3.  Guttentag, D. A. (2010). Virtual reality: Applications and implications for tourism. Tourism Management, 31(5), 637-651. doi: 10.1016/j.tourman.2009.07.003.

4.  «ACCEPTANCE OF AUGMENTED REALITY IN M-COMMERCE: THE ROLE OF CONSUMERS' MOTIVATION, DRIVERS AND BARRIERS» Polina L. Cherenko 2017

5.  Daponte, P., De Vito, L., Picariello, F. and Riccio, M. (2014). State of the art and future developments of the Augmented Reality for measurement applications. Measurement, 57, pp.53-70

6.  Pantano, E. and Timmermans, H. (2014). What is Smart for Retailing?. Procedia Environmental Sciences, 22, pp.101-107.

7.  M. V. Vakhrushev (2020). Augmented reality at the service of popularization and visualization of the scientific knowledge of the open library archive. DOI: 10.33186/1027-3689-2020-10-51-62

8.  Mrudang Mathur, Josef M. Brozovich, Manuel K. Rausch 2022 A Brief Note on Building Augmented Reality Models for Scientific Visualization

9.  AR - Augmented reality and its history [electronic resource] URL: https://habr.com/ru/post/419437/

10.   D.E. Namiot, V.Y. Romanov. 3D visualization of architecture and metrics software. Scientific visualization, 2018, volume 10, number 5, page 123 - 139, DOI: 10.26583/sv.10.5.08

11. Online platform for creating projects with augmented reality «Web-AR.Studio» [electronic resource] URL: https://web-ar.studio/ru

12. 3D modeling software «Blender» [electronic resource] URL: https://ww.blender.org/

13. 3D modeling software «3Ds max» [electronic resource] URL: https://ww.autodesk.com/products/3ds-max/

14.  Online platform for accounting of analytics «Yandex metric» [electronic resource] URL: https://metrika.yandex.ru/

15. Online Analytics Accounting Platform «Google Analytics» [Electronic Resource] URL: https://developers.google.com/analytics/

16. Apple Development Toolkit - ARKit [Electronic Resource] URL: https://developer.apple.com/augmented-reality/arkit/

17. Augmented Reality Game with Geolocation Recognition Algorithm - PokemonGO [Electronic Resource] URL: https://ww.pokemon.com/

18. Google software development tool - ARCore [electronic resource] URL: https://developers.google.com/ar

19.  The magazine founded in 1933 in the USA - Esquire [Electronic Resource] URL: https://ww.esquire.com/

20.  Apple Open Source Tracking Library - ARToolKit [Electronic Resource] URL: https://ww.artoolkitx.org/

21.  ARToolKit version for Flash Actionscript for development of web applications with augmented reality - Flartoolkit [electronic resource] URL: https://artoolworkcom/products/opensourcesource-softool2.html

22.  Online platform for creating projects with augmented reality «Blippar» [electronic resource] URL: https://www.blippar.com/

23. Augmented reality: what are, the examples of the application [electronic resource] of the URL: https://virtre.ru/articles/augmented-reality/dopolnennaya-nosnost-chto-realeto---primery-primeneniya.html

24.   K.V. Ryabinin, M.A. Kolesnik, A.I. Akhtamzyan, E.V. Sudarikova. Cyber-Physical Museum Exhibits Based on Additive Technologies, Tangible Interfaces and Scientific Visualization (2019). Scientific Visualization 11.4: 27 - 42, DOI: 10.26583/sv.11.4.03