С. Б. БЕРЕЗИН, Д. В. ВОЙЦЕХОВСКИЙ, М. Н. ЖИЖИН*, Д. Ю. МИШИН*, А.М. НОВИКОВ*
Факультет вычислительной математики и кибернетики МГУ, Россия
* Институт космических исследований РАН, Россия
Оглавление
В настоящей работе представлены технологии и приложения, специально разработанные для коллаборативной визуализации больших наборов данных и изображений на многодисплейных видеостенах враспределенной грид-среде сервисов данных и параллельных вычислительных кластеров, объединенных скоростными каналами передачи данных.
Ключевые слова: мноогомасштабная визуализация, видеостены, окружающая среда, коллаборация, геоинформатика, грид-сервисы, дистанционное зондирование.
Понятие «окружающая среда» объединяет такие естественнонаучные дисциплины, как геология, океанология, география, климатология, солнечно-земная физика. Анализ трендов, поиск причин, и прогноз глобальных изменений в нашей среде обитания требует сравнения пространственно-временных полей в разных масштабах, проекциях и единицах измерения. Естественным общим полем для совмещения данных об окружающей среде является электронная карта. При этом от электронной карты требуется не только взаимно противоречивые свойства детализация и большая площадь, но и взаимно ортогональные проекции на поверхность Земли и время. Появилась даже специальная научная дисциплина spatio - temporal data mining .
Детальная визуализация электронных карт с минимальными искажениями и интуитивным интерфейсом пользователя требуется также и для ситуационных центров и учебных классов в таких прикладных областях, как мониторинг чрезвычайных ситуаций, метео-обстановки и космической погоды, интерпретация данных дистанционного зондирования и… анализ микроструктуры поверхности произведений живописи.
Современные системы сбора данных и цифровой фотографии порождают такие большие базы данных и изображения, что их хранение, анализ и визуализация требуют применения параллельных баз данных, файловых систем и вычислительных кластеров. Количество пикселов в результирующих цифровых изображениях многократно превышает разрешение компьютерных дисплеев, поэтому для реалистичной визуализации больших изображений используют матрицы, объединяющие множество дисплеев, параллельно отображающих детальные фрагменты общего большого изображения (рис.1).
Прямоугольную матрицу дисплеев под управлением параллельного вычислительного кластера (рендеринг-фермы) мы называем многодисплейной видеостеной. Коллектив авторов в 2007-09 гг. построил несколько видеостен для научных приложений в Российской академии наук. В настоящей работе представлены технологии и приложения, специально разработанные для коллаборативной визуализации больших наборов данных и изображений на многодисплейных видеостенах в распределенной грид-среде сервисов данных и параллельных вычислительных кластеров, объединенных скоростными каналами передачи данных.
Рис. 1 Различия в уровне детализации или площади отображаемой земной поверхности при использовании LCD -проекторов и многодисплейных видеостен.
Технология научной визуализации с помощью многодисплейных видеостен активно развивается на протяжении последних 10 лет. Наверное, наибольшую известность получили залы виртуальной реальности CAVE , стены, потолок и пол которых сделаны из стерео-дисплеев высокого разрешения [ CAVE ]. Стерео-изображение пользователи могли видеть лишь в специальных очках с поляризационными фильтрами (рис. 1). Технология была изобретена в Лаборатории электронной визуализации Чикагского университета Иллинойс ( EVL UIC ) в 1992 г . Широкого эта распространения технология не получила из-за своей очень высокой стоимости.
Рис. 2 Куб виртуальной реальности CAVE .
Следующим этапом в многодисплейной визуализации стала технология SAGE ( Scalable Adaptive Graphics Environment ), также созданная в начале 2000-х в EVL UIC . С помощью этой технологии можно интерактивно визуализировать изображение (карты, снимки) высокого разрешения (гигапикселы ) и большого объема (десятки гигабайт) на видеостене, составленной из нескольких десятков дисплеев и управляемой параллельным визуализирующим кластером (рис.3). При этом каждый компьютер кластера управляет 2-4 дисплеями из видеостены, что позволяет балансировать нагрузку на сеть, диски и графические процессоры [ SAGE ].
Рис. 3 Пример совмещения окон от нескольких удаленных приложений и одновременно видео-конференции на видеостене по технологии SAGE .
Приложения-клиенты подключаются к визуализационному кластеру с помощью библиотеки SAGE Application Interface Library ( SAIL ), которая направляет части визуализации на различные узлы кластера и синхронизирует смену кадров с помощью специального сервера FreeSpace Manager , также являющегося частью видеостены (рис.4).
Рис. 4 Архитектура видеостены по технологии SAGE
Несмотря на большое число успешных установок и демонстраций распределенной визуализации научных данных с помощью SAGE -видеостен, эта технология не лишена известных недостатков. Во-первых, использовать SAGE -видеостену могут лишь приложения, специально собранные для этой цели в ОС Linux , при этом необходимо использовать библиотеку SAIL и графическую платформу OpenGL . Во-вторых, приложения-клиенты SAGE имеют ограничения на размер окна (графического буфера), продиктованные возможностями графического процессора рабочей станции, на которой работает это приложение.
Говоря о программном обеспечении для многодисплейных видеостен, можно выделить следующие основные классы приложений: интерактивный просмотр многослойных изображений и стереопар высокого разрешения и большой площади (гигапикселы), потоковое видео высокого разрешения (стандарты HD и 4К Video [4 K ]), интерактивный рендеринг трехмерных объектов (компьютерное моделирование, CAD , геологоразведка, медицина) и, наконец, специализированные программы для просмотра генов [ GeneVand ], геологических кернов [ Corelizer ], карты звездного неба Celestia, World Wide Telescope, и т.д.
В дополнение к плоским матрицам дисплеев видеостенах SAGE и граням параллелепипеда в CAVE добавились новые геометрий построения объемных дисплеев высокого разрешения [ UltraHigh ]. Необходимостью отображения данных на поверхности Земли и других небесных тел с минимальными искажениями продиктовано программно-аппаратное решение «Наука на сфере» ( Science on a sphere ), которое запатентовано Национальной администрацией по океану и атмосфере (НОАА) США. В этой технологии части изображения поверхности глобуса синхронно проецируются с четырех сторон на матовую сферу-экран диаметром 2 м (рис.5). При всей визуальной эффектности такого решения необходимо отметить принципиальные трудности с изменением масштаба (из-за расположения проекторов снаружи к сфере нельзя близко подойти) и видимостью данных в районе полюсов. Цифровые планетарии в Чикаго, Нижнем Новгороде и др. используют схожую технологию для проецирования звездного неба на внутренность полусферы (купол зала) с помощью десятка мощных проекторов, размещенных по периметру зала и управляемых вычислительным кластером [ FullDome ].
Рис. 5 Установка «Наука на сфере», НОАА США
В заключение обзора «объемных» видеостен упомянем установку Varrier (рис.6), созданную в EVL UIC [ Varrier ]. В ней для создания объемного изображения перед каждой панелью LCD в видеостене ставится непрозрачный экран с множеством отверстий, сквозь которые зрители на каждом дисплее видят разные пикселы правым и левым глазом, которые вместе составляют правое и левое изображение стереопары. Видео-стена перестраивает оба изображения в зависимости от положения головы смотрящего. При этом для создания стереоэффекта не требуются специальные очки. К сожалению, система имеет существенный недостаток – на нее может смотреть лишь один зритель.
Рис. 6 Стереоскопическая видеостена из 35 дисплеев Varrier , EVL UIC
Отдельный интерес представляет проблема взаимодействия с протяженной видеостеной. Необходимо констатировать, что до настоящего времени не удалось полностью реализовать интерактивную технологию поиска и многомерной визуализации данных, представленную в научно-фантастическом фильме Стивена Спилберга «Особое мнение» по одноименному рассказу Филиппа Дика ( Minority Report , 2002). Простейшим устройством управления видеостеной может быть беспроводный джойстик или гироскопическая мышь. Во многих случаях управление ведется с удаленного десктопа на ноутбуке, соединенном со стеной по беспроводной сети. Как уже говорилось, для работы с объемными стенами Varrier и «пещерами» CAVE используются дорогостоящие системы слежения за положением головы пользователя, которые в реальном времени перестраивают изображение на стене в зависимости от того, куда он смотрит и движется.
Наиболее перспективны, на наш взгляд, технологии для сенсорных дисплеев multi - touch и технология распознавания жестов Natal , созданная в Microsoft Research и впервые продемонстрированная Стивом Балмером в июне 2009 г . [ Natal ]. В применении к небольшой горизонтальной видеостены управление multi - touch было продемонстрировано на конференции Super Computing 2007. В дипломном проекте студента Д. Свистулы из EVL UIC под названием Rain Table multi - touch управление реализовано с помощью нескольких инфракрасных видеокамер, закрепленных над горизонтальным столом, составленным из LCD дисплеев (рис. 7). Камеры следят за перемещением по столу специальных маркеров, каждый из которых отвечает за отдельную операцию – поворот, увеличение, сдвиг [ RainTable ]. В соответствии с названием, программное обеспечение для видеостола позволяет моделировать гидрологию паводков и наводнений на цифровой модели местности, отображаемой на столе в виде интерактивной карты.
Рис. 7 Управление multi - touch в проекте Rain Table , EVL UIC
Перейдем теперь к детальному рассмотрению технологии MultiViewer , созданной совместно ИКИ РАН и ВМК МГУ для многомасштабной визуализации окружающей среды на видеостенах.
Информационная поддержка принятия решений и оценки влияния окружающей среды на людей, сельское хозяйство, природные и техногенные системы подразумевает параллельный анализ разнородных данных из распределенных источников с разграничением прав доступа. В рамках данной концепции мы выделяем следующие категории:
• Информационные сообщения. В большинстве случаев сообщения имеют геопривязку, например, временной ряд наблюдений температур на метеостанции, изображение с передвижной веб-камеры, магнитуда и гипоцентр землетрясения.
• Сеточные поля. Например, прогноз поля температур, скорости ветра или облачности.
• Электронные карты. Например, карты автомобильных дорог или рельефа местности.
• Мозаики спутниковых изображений. Например, мозаики орбит метеорологических спутников или географические сервисы Google Maps .
В большинстве случаев доступ к различным категориям данных осуществляется через веб-сервисы по зашифрованным каналам наложенной сети передачи данных или Интернет. Для указанных категорий приняты стандарты протоколов обмена с веб-сервисами, т.е. форматы запросов на получение данных и ответов сервисов с выборкой данных.
Рис. 8 Пример объединения данных из различных сетевых сервисов метеоданных и электронных карт для совместной визуализации
Для информационных сообщений с геопривязкой такими стандартами являются KMLи geoRSS. В обоих случаях это XML файлы с простой схемой, в которой предусмотрены поля для географических координат, текста сообщения, и дополнительных сетевых ссылок.
Для сеточных полей в метеорологии приняты сетевые протоколы OPeNDAP и OGSA - DAI [ DAI ]. Сервисы сеточных данных возвращают параметры окружающей среды для заданной области (обычно, прямоугольной) и интервала времени, при этом допуская интеграцию (одновременную выборку из нескольких файлов) и частичную обработку данных на сервере (прореживание, осреднение, арифметические операции). Формат возвращаемых данных может быть текстовым, XML , или бинарным.
Электронные карты предоставляются веб-сервисами в стандарте OGC ( Open Geospatial Consortium ), в первую очередь сервисами WMS ( Web Map Service ). В WMS электронная карта представлена набором слоев (например, дороги, города, реки) в некоторой проекции (например, Меркатора) и диапазоне масштабов. По запросу сервис электронных карт возвращает слой или несколько слоев карты, наложенных друг на друга, для заданной прямоугольной области и в заданном масштабе в виде файла-изображения в одном из общепринятых форматов GIF , PNG , TIFF , и т.п. { WMS ]
Мозаики спутниковых изображений в настоящее время в основном предоставляются с помощью так называемых tile -серверов ( tile =плитка). При высоком разрешении исходного материала (зачастую 1 пиксел на изображении отвечает 1 м на местности) склейки орбит для всего земного шара дают очень большие изображения (до 2 23 х2 23 , рис.9), которые хранятся в единой проекции (обычно, Меркатора) в виде пирамиды фрагментов (плиток размером 64х64 пиксела) с различным разрешением. Переход с одного уровня пирамиды на другой обычно удваивает разрешение снимков.
Рис. 9 Многомасштабная пирамида изображений для tile -сервера
Наверное, первым масштабным проектом с использованием tile -сервера, построенного с помощью реляционной базы данных MS SQL Server , был проект TerraServer , которым руководил Джим Грей [ TerraServer ]. Подобные пирамиды карт и спутниковых снимков лежат в основе нео-географических сервисов Google Maps и Microsoft Virtual Earth .
Проблема объединения данных из различных сетевых сервисов метеоданных и электронных карт на дисплее ситуацинного центра, будь то дисплей рабочей станции или видеостена, требует решения нескольких задач. Во-первых, все данные надо представить графически. Во-вторых, эти графические представления должны быть согласованы по проекции и масштабу. В-третьих, визуализирующий клиент должен не только уметь интерактивно запрашивать нужную графику с распределенных сервисов, но также управлять порядком и прозрачностью графических слоев на дисплее.
В отличие от электронных карт и спутниковых мозаик, информационные сообщения и сеточные поля требуют дополнительной графической обработки. Сообщения на дисплее отображаются обычно в виде всплывающих окон ( pushpins ) рядом с местом геопривязки (ср. верхний слой на рис. 8). Сеточные поля обычно обрабатываются на сервере и передаются клиенту как электронные карты или пирамиды изображений tile -сервера. Наиболее распространенными проекциями для отображения многослойных карт являются прямоугольная (широта-долгота), Меркатора, и трехмерная сфера (виртуальный глобус).
Программы визуализации метеоданных реализуются одной из двух альтернативных технологий: тонкий или толстый клиент. В первом случае визуализация происходит внутри веб-браузера ( Internet Explorer , Mozilla , Opera и т.п.). Функции визуализации реализуются на языке JavaScript . Слои электронных карт и плитки спутниковых мозаик запрашиваются с распределенных сервисов в фоновом режиме по технологии Ajax . Так реализованы известные приложения Google Maps и MS Virtual Earth (оба используют проекцию Меркатора). К сожалению, производительность встроенных интерпретаторов JavaScript пока не позволяет реализовать трехмерную графику внутри веб-браузера. Поэтому виртуальные глобусы реализуются с помощью толстых клиентов, например, Google Earth или NASA World Wind (рис. 10).
Рис. 10 Визуализация метеоданных с помощью тонкого клиента MS Virtual Earth (слева) и толстого клиента NASA World Wind (справа)
Осенью 2007 г . в ИКИ РАН была установлена видеостена, на которой был проведен ряд экспериментов по коллаборативной научной визуализации данных с EVL UIC , Курчатовским научным центром и научными центрами РАН в г. Черноголовке [ PR 1]. Видеостена составлена из 12 мониторов, каждый с диагональю 21 дюйм и разрешением 1920х1200 пикселей, что в целом дало возможность демонстрировать изображения и анимации на мозаике 3х4 дисплея с разрешением 36 Мп на площади около 5 кв. м .
Управление мозаикой из 12 дисплеев осуществляется с помощью графического кластера. Форм-фактор для узлов – десктоп, это существенно удешевило установку и снизило уровень шума в помещении, где установлена видеостена. Один узел кластера управляет двумя дисплеями, тем самым необходимо 6 узлов. К ним добавляется файл-сервер с параллельным массивом дисков для локального хранения больших изображений и видеофайлов, а также сервер приложений – контроллер графического кластера. Вид видеостены ИКИ РАН сзади показан на рис. 11.
Все серверы и узлы кластера объединены коммутатором в локальную сеть 1 Гбит. Для проведения обмена данными и приложениями, параллельной визуализации на видеостенах и видеоконференций к видеостене подключен интернет-канал 1 Гбит. Маршрутизация потоков данных между узлами кластера и связь управляющих серверов с интернет реализована на двух отдельном коммутаторах. По выделенному каналу связи между ИКИ РАН и EVL UIC был установлен рекорд скорости обмена данными между Россией и США [ PR 2].
Рис. 11 Конструкция видеостены из 12 дисплеев в ИКИ РАН
Первоначально на видеостене использовалось программное обеспечение SAGE под управлением ОС Linux . В ходе совместных экспериментов с EVL UIC по распределенной визуализации удалось продемонстрировать возможность удаленной трансляции в реальном времени из США в Россию и обратно научных видеофильмов в формате 4К-видео и проведения видео-конференций с видеопотоком в формате HD .
Для того чтобы использовать видеостены SAGE для визуализации электронных карт и научных массивов данных по окружающей среде в ОС Windows с помощью клиента NASA World Wind , авторами был реализован виртуальный буфер обмена графическими данными между графическими платформами DirectX и OpenGL . При этом библиотека SAIL была перенесена на платформу . NET . В результате был получен интерактивный трехмерный виртуальный глобус с разрешением 40 Мп на площади дисплея порядка 5 кв. м (рис. 12) с возможностью наложения различных слоев данных с геопривязкой, включая спутниковые снимки и электронные карты.
Рис. 12 Визуализация данных с геопривязкой на видеостене в ИКИ РАН с помощью NASA World Wind
Программное обеспечение для виртуального глобусе в виде расширения к NASA World Wind распространяется свободно и доступно для скачивания с Codeplex .
Опыт использования видеостены по технологии SAGE лег в основу разработки специального приложения для многомасштабной визуализации окружающей среды, которые мы назвали MultiViewer . Принципиальное отличие технологии MultiViewer от SAGE заключается в том, что первая использует каждый узел кластера видеостены для запуска клиентов, которые синхронно управляются головным сервером (рис. 13), тогда как SAGE -клиент работает на отдельном сервере , не входящем в состав кластера видеостены (рис. 4). При этом существенно повышается эффективность использования процессоров и графических карт на узлах кластера видеостены.
Каждый клиент MultiViewer сам загружает ту часть данных, которые необходимо показать на подключенных к нему дисплеях, осуществляет предварительную обработку данных на центральном процессоре и готовит графические буферы на графической карте. Смена изображений на видеостене происходит синхронно по команде с управляющего сервера по мере готовности новых графических буферов на всех клиентах. Последовательность транзакций между управляющим сервером Node 0 и клиентами Node 1 … Node 3 приложения MultiViewer показана на рис. 14. По команде Prepare frame каждый клиент загружает, обрабатывает и отображает (рендерит) свою часть данных. Работа ведется параллельно, при этом клиенты могут получать данные как из локального кеша на диске, так и из кластерной файловой системы, установленной на видеостене (еще одно применение серверов) или из удаленных сервисов данных по сети интернет. По готовности нового изображения клиент отправляет на Node 0 подтверждение Commit . Когда все клиенты завершат подготовительную работу, Node 0 дает команду Swap buffer , чтобы обновить изображения сразу на всех дисплеях.
Рис. 13 Архитектура параллельного приложения Multiviewer
Технологии SAGE и MultiViewer не являются взаимоисключающими. Клиенты MultiViewer на узлах видеостены в свою очередь могут быть клиентами SAGE для распределенной визуализации – транслировать свою часть изображения (графический буфер) на удаленную видеостену, возможно, с другим количеством и конфигурацией дисплеев.
Рис. 14 Две транзакции синхронной смены изображения на видеостене в приложении MultiViewer
Клиенты MultiViewer могут работать со всеми перечисленными выше распределенными источниками пространственных данных, включая информационные сообщения, сеточные поля, электронные карты и tile -серверы. Информационные сообщения загружаются по сети в формате КМ L и отображаются на стене в виде пушпинов. Сеточные данные загружаются с сервисов OGSA - DAI в специальном XML формате, разработанном в ИКИ РАН [ ESSE ], или по протоколу OPeNDAP . Для подложки карты на видеостене клиент может запросить фрагмент электронной карты с сервера WMS или набор плиток с tile -сервера Microsoft Virtual Earth . Пример наложения сеточных данных прогноза погоды на изображение Земли со спутника показан на рис. 15 слева. Температура воздуха на поверхности отображается полупрозрачным слоем одновременно в виде растра и контурных линий. Пример наложения изображения с метеорологического спутника DMSP на карту Virtual Earth показан на рис. 15 справа. Метеоданные запрашиваются клиентами с удаленного сервера OGSA - DAI . Части изображения DMSP запрашиваются клиентами с удаленного сервера по протоколу OPeNDAP .
Рис. 15 Совмещение различных слоев пространственных данных на видеостене в приложении MultiViewer
Отдельно стоит остановиться на работе с гиперссылками на картографических объектах, показанных на видеостене. В настоящее время при щелке мыши по гиперссылке поверх карты отображается окно веб-браузера, в котором возможна дальнейшая навигация и которое можно перемещать и масштабировать внутри группы дисплеев, подключенных к тому серверу в кластере стены, на чьем фрагменте карты находится гиперссылка. Окно веб-браузера нельзя транслировать на удаленную видеостену по технологии SAGE , т.к. браузер уже не является SAGE -клиентом.
Приложение MultiVIewer реализовано на платоформе Windows . NET Framework 3.5. В качестве канала коммуникации используется Windows Communication Foundation ( WCF ). Для визуализации клиенты MultiViewer используют Windows Presentation Foundation (WPF). Исходные тексты приложения распространяются свободно по лицензии MIT и доступны для скачивания с сервера Codeplex.
Многомасштабная визуализация окружающей среды на видеостенах необходима для развертывания распределенной сети ситуационных центров. Представленное в статье ПО расширит сферу применения современных информационных технологий для поддержки принятия решений в области сбора, отображения, обмена данными о погоде и оценки влияния окружающей среды на людей и техногенные системы. Это позволит увязать современные источники погодных данных и электронных карт, технологии доступа и обмена данными, средства визуализации и интерфейсы взаимодействия с вычислительными системами, видео- и аудио-конференцсвязь, а также алгоритмы поиска данных и формализации экспертных знаний в единый программно-аппаратный комплекс и доказать принципиальную возможность его реализации в самые кратчайшие сроки.
Технология MultiViewer уже используется в целом ряде научных проектов, в частности, для визуализации результатов поиска событий в окружающей среде и для анализа влияний глобального изменения климата на растительность в совместных исследованиях Кембриджской лаборатории Microsoft Research и ИКИ РАН.
В заключение хотелось бы указать на еще одно возможное применение многомасштабной визуализации для мониторинга произведений искусства, в частности, древнерусских икон и фресок.
Масштаб задачи детального анализа памятников монументального искусства определяется соотношением общих исследуемых площадей с площадью макроплощадки поверхности красочного слоя. Для примера, общая площадь росписи собора Рождества Богородицы Ферапонтова монастыря работы Дионисия 1502 г исчисляется примерно 600 кв м, тогда как модульной единицей измерения для аналитической работы реставратора является макроплощадка красочного слоя в 1 кв см (рис. 16). Сегодня технически уже возможна автоматизация сбора мозаичных макрофрагментов трехмерной поверхности живописи с помощью роботизированных планарной и азимутальной платформ по аналогии с аэрофотосъемкой и астрофотографией. Созданная нами технология MultiViewer реализует многомасштабную интерактивную визуализацию полученных в результате склейки сверх-больших изображений предметов искусства, необходимую для анализа их сохранности, искусствоведческой экспертизы и демонстрации в «цифровых музеях» (рис. 17).
Рис. 16 Мозаика макрофрагментов фрески Дионисия: а) привязка фрагментов; б) - результат склейки с помощью проективной фотограмметрии
Рис. 17 Визуализации фрески Дионисия «Праотец Ной» на видеостене в приложении MultiViewer
1.[UltraHIgh] Leigh, J., Johnson, A., Renambot, L., DeFanti, T., Brown, M., Jeong, B., Jagodic, R., Krumbholz, C., Svistula, D., Hur, H., Kooima, R., Peterka, T., Ge, J., Falk, C. Emerging from the CAVE: Collaboration in Ultra High Resolution Environments. Proceedings of the First International Symposium on Universal Communication, Kyoto , Japan , 2007. Online at http://www.evl.uic.edu/files/pdf/LeighUniversal.pdf
2.[ CAVE ] Статья в Википедии про технологию CAVE http://en.wikipedia.org/wiki/Cave_Automatic_Virtual_Environment
3.[SAGE] Leigh, J., Renambot, L., Johnson, A., Jagodic, R., Hur, H., Hofer, E., Lee, D. Scalable Adaptive Graphics middleware for visualization streaming and collaboration in ultra resolution display environments. In Proceedings of the Workshop on Ultrascale Visualization, 2008. UltraVis 2008, Austin , TX , IEEE Xplore Digital Library
4.[4 K ] Статья в Википедии и видео-форматах высокого разрешения http://en.wikipedia.org/wiki/Digital_cinema
5.[GeneVand] Matthew A. Hibbs, Nathaniel C. Dirksen, Kai Li, Olga G. Troyanskaya. Visualization Methods for Statistical Analysis of Microarray Clusters. BMC BioInformatics, 2005, 6:115
6.[Corelizer] Chen, Y., Lee, S., Hur, H., Leigh, J., Johnson, A., Renambot, L. Design an Interactive Visualization System for Core Drilling Expeditions Using Immersive Empathic Method. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, Boston, MA, 04/04/2009 - 04/09/2009. Online at http://www.evl.uic.edu/files/pdf/CHI2009CoreDrilling.pdf
7.[ FullDome ] Статья в Википедии о технологии FullDome http://en.wikipedia.org/wiki/Fulldome
8.[Varrier] Sandin, D., Margolis, T., Ge, J., Girado, J., Peterka, T., DeFanti, T. The Varrier Autostereoscopic Virtual Reality Display. ACM Transactions on Graphics, Proceedings of ACM SIGGRAPH 2005, vol 24, no 3, pp. 894-903. Online at http://www.evl.uic.edu/files/pdf/Siggraph2005.pdf
9.[ MultiTouch ] Статья в Википедии о технологии multi - touch http://en.wikipedia.org/wiki/Multi-touch
10.[ Natal ] Статья в Википедии о проекте Natal http :// en . wikipedia . org / wiki / Project _ Natal Демонстрация технологии на YouTube http://www.youtube.com/watch?v=g_txF7iETX0
11.[RainTable] Svistula, D. N. Rain Table: Scalable Architecture for Group-Oriented Visualization of Real-Time Geoscience Phenomena. Submitted as partial fulfillment of the requirements for the degree of Master of Computer Science, Graduate College, University of Illinois, Chicago, IL, 05/01/2008 - 05/01/2008. Online at http://www.evl.uic.edu/files/pdf/svistula_thesis_2008.pdf
12.[DAI] Mario Antonioletti, Malcolm P. Atkinson, Rob Baxter, Andrew Borley, Neil P. Chue Hong, Brian Collins, Neil Hardman, Alastair C. Hume, Alan Knox, Mike Jackson, Amrey Krause, Simon Laws, James Magowan, Norman W. Paton, Dave Pearson, Tom Sugden, Paul Watson, and Martin Westhead. The design and implementation of grid database services in OGSA-DAI. Concurrency – Practice and Experience, 17(2-4):357-376, 2005
13.[ WMS ] Статья в Википедии о сервисах электронных карт WMS http :// en . wikipedia . org / wiki / Web _ Map _ Service
14.[TerraServer] Barclay, T., J. Gray and D. Slutz. Microsoft TerraServer: A Spatial Data Warehouse. MS-TR-99-29. June 1999. ACM SIGMOD2000. Online at http://research.microsoft.com/pubs/68574/msr_tr_99_29_terraserver.pdf
15.[PR1] GLORRIAD Press Release October 3, 2007. SAGE-enabled Cyberspace Demonstration over GLORIAD Takes Place as Part of Sputnik Celebration. Online at http://www.gloriad.org/gloriad/news/pr-us-russia-sage.html
16.[PR2] GLORIAD Press Release June 4, 2007. USA-Russia Lightpath Enables Fast Data Transfer of Terabyte-sized Scientific Datasets http://www.gloriad.org/gloriad/news/pr-us-russia.html
17.[ESSE] Zhizhin M, Poyda A., Mishin D., Medvedev D., Kihn E., Lyutsarev V. Grid Data Mining with Environmental Scenario Search Engine (ESSE) // Data Mining Techniques in Grid Computing Environments. Ed. Werner Dubitsky, Wiley. 2008. Chapter 13. P. 281-306.