ВВЕДЕНИЕ

Подводная робототехника активно используется в последнее время для решения широкого круга практически важных задач, включая картографирование, поисковые и спасательные работы, океанологические и экологические измерения, автоматическую инспекцию подводных коммуникаций и др. Информационно-управляющая система автономного подводного робота (АПР), выполняющего подобные операции, должна обладать развитыми возможностями формирования поведения АПР и гибкого наращивания функциональности по мере появления новых задач обследования и бортовых сенсоров. До установки на борт АПР все функции и алгоритмы работы этой системы должны быть протестированы. Эффективным средством достижения этой цели является разработка и использование моделирующего программного комплекса, который, в конечном счете, позволяет сократить организационные, финансовые и временные затраты на проведение натурных испытаний.

В настоящей статье представлен имитационный моделирующий программный комплекс, предназначенный для автоматизации исследований, связанных с вопросами разработки систем управления движением АПР и выполнения им обзорных и обследовательских работ. Принципиальной характеристикой комплекса является наличие развитых возможностей графического интерактивного интерфейса, статической и анимационной визуализации результатов его работы на всех этапах функционирования, что позволяет в наглядной форме оценивать эффективность предлагаемых решений. Описана структура и функциональные возможности комплекса. Акцент сделан на средствах генерации подводной среды, моделирования гидроакустических сенсоров, методе визуальной навигации АПР и визуальной отладки миссий в среде моделирующего комплекса. Приведены примеры использования комплекса.

В основу комплекса положен принцип имитационного моделирования, обеспечивающий имитацию подводной среды, работу видео/акустических сенсоров и подсистем АПР. Он позволяет проводить исследование и отладку методов управления АПР путем «погружения» в среду имитирующего комплекса. Возможность отладки бортового ПО в среде моделирующего комплекса была реализована с помощью метода абстрактных интерфейсов и «мостов» последовательных интерфейсов. Для моделирования внешней среды и данных от гидроакустических сенсоров использовались методы компьютерной графики и аппаратные возможности современных видеоускорителей. Достигнутое быстродействие позволяет моделировать выполнение подводной миссии робота в режиме реального времени. При реализации визуального подхода к навигации АПР применялись методы компьютерного зрения и метод нелинейной оптимизации для вычисления параметров траектории. Реализация оригинальных архитектурных решений (абстрактные интерфейсы и «мосты» последовательных интерфейсов) и средств имитационного моделирования позволила проводить отладку бортового ПО в том виде, в котором оно в дальнейшем будет использоваться в системе управления АПР. Эффективность моделирующего комплекса подтверждена его успешным применением для исследования метода визуальной навигации АПР, визуальной отладки миссий, а также для модельного решения практически важной задачи инспекции трубопровода.

Ключевыые слова: автономный необитаемый подводный аппарат (АНПА), информационно-управляющая система, архитектура программного обеспечения, трехмерная модель среды, моделирование и визуализация движения, формирование эхолокационных изображений, компьютерная графика, моделирование эхолотов и гидролокаторов, OpenGL, стереопары изображений, SLAM, визуальная навигация, сопоставление особенностей.

Введение

Актуальной проблемой в области подводной робототехники является автоматизация научных исследований применительно к задачам разработки интеллектуальных систем управления автономными подводными роботами (АПР) и повышения эффективности выполняемых ими работ.

Автономный подводный робот представляет собой автоматический самоходный носитель исследовательской аппаратуры, способный погружаться в заданной акватории и выполнять при этом необходимые работы [1]. Основным режимом работы АПР является движение на небольшом отстоянии от дна с выполнением различных измерений. Выполняемые работы носят обзорный и обследовательский характер. Основная масса проводимых в настоящее время операций принадлежит к задачам обзорного класса (картографирование, поисковые и спасательные работы, океанологические и экологические измерения и другие). При осуществлении обследовательских работ функции робота заключаются в обнаружении искомого объекта и выполнении каких-либо действий, связанных с уточнением состояния этого объекта. Примерами операций обследовательского класса могут служить, например, автоматическая инспекция подводных коммуникаций, поиск различных аномальных зон и источников экологического загрязнения акваторий. Возможность выполнения обследовательских работ обеспечивается устройствами получения информации о внешней среде: фотосистемы и различные акустические датчики (гидролокаторы бокового, секторного и переднего обзора, эхолоты).

Информационно-управляющая система робота, выполняющего подобные операции, требует наличия на борту развитой системы формирования поведения, которая, к тому же, должна иметь возможность гибкого наращивания функциональности по мере появления новых задач обследования и бортовых сенсоров. Программно-алгоритмический интеллект робота должен обеспечивать формирование и отработку рабочих миссий, автоматическое планирование траектории его движения в условиях априори неизвестной обстановки, обход препятствий и др. До установки на борт АПР все функции и алгоритмы работы этой системы должны быть тщательно протестированы и отлажены. Эффективным средством достижения этой цели является разработка и использование имитационного моделирующего программного комплекса, который, в конечном счете, позволит сократить организационные, финансовые и временные затраты на проведение натурных испытаний.

Принципиальной характеристикой такого комплекса является наличие развитых возможностей графического интерактивного интерфейса и визуализации (статической и анимационной) результатов его работы на всех этапах функционирования, что позволяет в наглядной форме оценивать эффективность предлагаемых решений. С учетом этого в число важных задач при разработке комплекса входит полноценное моделирование сенсоров внешней среды и генерация виртуальной подводной обстановки средствами компьютерной графики. Таким образом графическая часть комплекса служит не только специализированным средством визуализации, но и является важной частью виртуального испытательного стенда [21, 22].

Среди широкого круга задач, при решении которых целесообразно использование имитационного моделирующего программного комплекса следует отметить задачи, связанные с автоматическим планированием траектории АПР на основе обработки визуальной информации. Моделирующий комплекс позволит существенно повысить эффективность работы при создании для АПР системы визуальной навигации и ориентирования на местности [17 - 20].

В статье описывается совместная разработка ИПМТ и ИАПУ ДВО РАН моделирующего программного комплекса применительно к подводным роботам. Статья организована следующим образом. В разделе 1 дается концепция построения комплекса. Разделы 2 и 3 посвящены описанию моделирования подводной среды и гидроакустических сенсоров. Метод визуальной навигации АПР и результаты вычислительных экспериментов по его проверке описаны в разделе 4. В разделе 5 приведены примеры использования комплекса для модельного решения ряда актуальных задач, стоящих перед подводными роботами.

1. Концепция построения комплекса

Центральное место при создании ИУС АПР занимают проблемы алгоритмической отладки компонентов и комплекса программного обеспечения (ПО) в целом. Объектом отладки являются как собственно управляющие алгоритмы, так и их программная реализация на борту АПР. Поэтому в общем случае при отладке используются два критерия: корректность управляющих алгоритмов и взаимно однозначное соответствие управляющих алгоритмов и ПО робота.

Для реализации классической потоковой модели отладки [2] разработана и используется интегрированная система, включающая моделирующий комплекс и средства подготовки миссии. Модель технологии отладки ПО может быть представлена многоконтурной схемой, включающей целевые контуры трех типов (рис. 1). Контуры I типа обеспечивают решение задач математического моделирования, а объектами являются модели объекта управления, модели управляющих алгоритмов и модели фрагментов законов управления, реализуемые на технологических ЭВМ. Контуры II типа используются для решения задач смешанного моделирования. Инструментальные средства в таких контурах представлены реальными управляющими программами и математическими моделями объекта управления, реализуемыми на инструментальных ЭВМ. Контуры III типа обеспечивают решение задач физического моделирования, при котором используется реальная аппаратура, оборудование и бортовое программное обеспечение.

Рис. 1. Потоковая модель технологии отладки ПО
целевой ЭВМ с тремя типами контуров [2]

Отладка и испытания с использованием контуров II типа – это основной объем отладки бортового ПО. В контурах III типа осуществляются работы на завершающих этапах отладки системы в целом (главным образом, при проверке совместимости ПО и бортовой аппаратуры).

Разработанный имитационный комплекс ориентирован на максимальное использование штатных программных средств и особенности локальной вычислительной сети (ЛВС) АПР, что позволяет организовать менее трудоёмкую отладку программного обеспечения АПР. К этим особенностям можно отнести:

· наличие абстрактных интерфейсов [3] и средств имитации работы информационно-измерительной системы [4], позволяющих отделить верхние уровни системы управления от программ информационно-измерительного комплекса (ПО нижнего уровня);

· наличие «мостов» последовательных интерфейсов, позволяющих отделить ПО нижнего уровня от конкретной реализации бортовой вычислительной сети АПР [5].

Указанные особенности позволяют вести отладку программ в том виде, в котором они в дальнейшем будут использоваться в системе управления. Это упрощает потоковую схему за счет совмещения контуров 1 и 2. При этом отладка может целиком производиться в более удобной среде инструментальной ЭВМ.

Моделирующий комплекс (МК) предназначен для реализации приведенной технологии отладки как программного обеспечения АПР, так и миссий [6, 7]. МК спроектирован таким образом, чтобы обеспечить решение следующих основных задач:

· исследование методов управления АПР и отладка всех уровней системы управления путем «погружения» в среду имитирующего комплекса;

· поддержка режима виртуальной реальности и генерирование данных бортовой регистрирующей аппаратуры;

· отладка миссии аппарата;

· моделирование нештатных ситуаций, происходящих как на борту АПР, так и вне него.

Для этого комплекс содержит следующие основные функциональные компоненты (рис. 2):

1) систему моделирования;

2) копию управляющей программной среды исследуемого АПР (т.е., отлаживаемой системы);

3) набор дополнительных утилит-редакторов.

Отличительной особенностью комплекса является возможность сопряжения с ним программной среды реального АПР (функциональный модуль «Копия среды АПР»). Такая структурная организация позволяет использовать комплекс не только для исследования отдельных методов управления, но и для испытаний систем управления реальных АПР. Для сопряжения с комплексом используется механизм абстрактных интерфейсов, реализованный на базе программной платформы [3].

Рис. 2. Функциональная схема моделирующего комплекса
для исследования алгоритмов движения и управления АПР

Для решения проблемы отладки и раннего тестирования программных компонентов ИУС нижних уровней, производится сопряжение МК с имитатором бортового оборудования (ИО), который используется для моделирования работы сети микроконтроллеров АПР [4] (функциональные модули «Драйвер моста» и «ИО»). При этом имеется возможность:

· осуществить разработку, отладку и тестирование программных компонентов системы управления как верхних уровней, так и нижнего (драйверов);

· смоделировать разнообразные аварийные и нештатные ситуации в бортовом оборудовании АПР.

К особенностям комплекса можно отнести:

· возможность задания миссии аппарата с использованием стандартного языка описания заданий АПР;

· подключение исследуемых алгоритмов работы АПР (например, регуляторы движения, алгоритмы выбора трассы и т.п.);

· отладка всех уровней системы управления АПР методом «погружения» в среду имитирующего комплекса;

· использование комплекса в качестве тренажера для операторов АПР;

· использование АПР с произвольными параметрами при наличии соответствующего модуля динамики аппарата.

Далее в статье внимание будет акцентировано на некоторых аспектах моделирования бортовых устройств АПР, а также на применении комплекса для отработки ряда обследовательских задач.

2. Моделирование среды

Моделирование внешней среды для симулятора АПР необходимо для получения близкой к реальности информационной картины для замещения данных, получаемых от бортовых сенсоров, - оптических и гидролокационных. Оно служит нескольким целям. Имитация акустического оборудования является одной из главных отличительных особенностей разработанного комплекса. Другой целью моделирования среды является получение наглядной картины движения и функционирования аппарата в процессе выполнения миссии. Не менее важным назначением моделирования среды является и отладка методов/алгоритмов навигации и распознавания объектов подводной обстановки (трубопроводы, месторождения полезных ископаемых, затонувшие объекты).

Модель внешней среды состоит из геометрических и атрибутивных данных, описывающих подводную обстановку в районе выполнения мисси АПР. Составные части модели среды:

· полигональная модель рельефа дна.

· модели статических объектов на дне.

· модели движущихся объектов (в том числе анимированные) .

Для отображения среды в оптическом и акустическом каналах используются системы рендеринга на базе OpenGL. Для хранения трехмерных данных выбран широко распространенный формат 3DS. Это позволяет использовать для генерации сцены практический любой трехмерный редактор, имеющий экспорт в 3DS.

Реалистичность сцены достигается двояким образом, с одной стороны на рельеф может быть нанесена текстура, содержащая визуальные элементы, присущие морскому дну, а с другой пейзаж оживляется 3D объектами, «посеянными» на дне. Эти объекты являются объектами-деталями и могут встречаться на сцене как однократно (например, уникальный объект искусственного происхождения), так и получаться путем клонирования (естественные объекты морского дня: камни, звезды, ракушки и т.п.). Во втором случае применяется вариативность размеров и ориентаций объектов для достижения большей реалистичности.

Помимо трехмерной модели корпуса аппарата в сцене присутствует множество других движущихся объектов. В качестве таких объектов используются анимированные модели рыб, которые движутся по произвольным траекториям. Траектории ограничены картой глубин для предотвращения столкновений с элементами рельефа и другими объектами сцены. Основная цель внесения таких объектов – это создание возможностей для моделирования ситуаций быстрого изменения наблюдаемой обстановки. Это важно для отработки надежных и устойчивых к помехам алгоритмов обхода препятствий, навигации и распознавания различных объектов. Так же, как и статические объекты, динамические наблюдаются как визуально посредством бортовых камер, так и гидролокационными средствами.

Для оптимизации отрисовки объекты, имеющие большие полигональные сетки, разбиваются на части из соображений оптимизации. Разбиение производится на основе габаритов сетки в горизонтальной плоскости. На конвейер рендеринга поступают только видимые части. В режиме моделирования сенсоров используются свойства поля видимости реального оборудования. Дальность наблюдения под водой с бортовых камер невелика, и ограниченное поле зрения позволяет отсекать множество невидимых объектов на ранних этапах. Акустические средства имеют на порядок большую дальность, но при этом обладают очень маленьким углом наблюдения, что тоже позволяет отсекать "лишние" объекты.

Кроме ограничения поля зрения бортовых камер, реализована возможность имитировать на изображении размытие удаленных объектов за счет включения эффекта тумана. В настоящий момент комплекс позволяет моделировать работу трёх видеокамер, но при необходимости их количество может быть увеличено. Кадры с видеокамер могут формироваться или по запросу внешней управляющей программы или непрерывно с заданной частотой.

3. Моделирование гидролокационного оборудования

Специфика функционирования АПР в водной среде такова, что основную информацию о подводной обстановке он получает посредством гидроакустических сенсоров. Это связано с тем, что под водой дальность наблюдения оптическими средствами как правило на порядок меньше, чем акустическими. Поэтому АПР оснащены множеством гидролокационных устройств, таких как эхолокационные системы (ЭЛС) и гидролокаторы бокового обзора (ГБО). ЭЛС используются для обнаружения препятствий и движения на определенной высоте над дном. На аппаратах обычно монтируется несколько датчиков ЭЛС, каждый из которых наблюдает обстановку в своем секторе. ГБО, как это следует из названия, отслеживает обстановку с правого или левого борта. С его помощью решаются как поисковые так и обследовательские задачи. ГБО обладает шириной обзора в десятки и сотни метров и позволяет обнаруживать объекты различных размеров на фоне дна.

Рис. 3. Модель распространения ГБО-сигнала [8]

Применяемая модель гидролокатора базируется на методологии геометрической акустики, и поэтому мы сознательно избегаем некоторых вопросов моделирования явлений дифракции и интерференции, связанных с волновой природой упругих колебаний. Так как геометрическая акустика является предельным случаем волновой акустики при стремлении длины звуковой волны к нулю, то для нее в основном применимы те же законы, что и в геометрической оптике. Такое упрощение имеет определенные преимущества, так как позволяет нам применять методы и программное обеспечение машинной графики для формирования гидролокационных картин подводной обстановки.

Для моделирования излучателя и приемника однолучевого гидролокатора используется идеальная камера, совмещенная с источником света. Источник света помещается в фокус камеры и направляется вдоль оптической оси камеры (рис. 3). Внешние параметры камеры OpenGL устанавливаются таким образом, чтобы ее положение и направление соответствовали месту бортового излучателя в мировой системе координат. Внутренние параметры камеры формируют необходимую диаграмму направленности излучателя и задают характеристики виртуального «сенсора» сигнала. Разрешение камеры устанавливаются из соображений качества принимаемого сигнала. Далее происходит рендеринг всей подводной среды. Таким образом, сцена освещается источником и все видимые полигоны сцены получают засветку «акустическим сигналом».

Моделирование распространения сигнала осуществляется согласно модели отражения Фонга, в которой используется только рассеянная (диффузная) составляющая [8, 15]. Сигнал точечного источника отражается от идеального рассеивателя по закону косинусов Ламберта: интенсивность отражённого сигнала пропорциональна косинусу угла между направлением сигнала и нормалью к поверхности (рис. 3):

где I — интенсивность отражённого сигнала, I_t — интенсивность сигнала от точечного источника, K_d — коэффициент диффузного отражения, n — вектор нормали к поверхности, l — направление сигнала.

Рис. 4. Формирование отклика гидролокатора.
Общий вид сцены и апертура ИГЛ (a), интенсивность отраженного сигнала (b),
буфер глубины (c), шкала дальности для буфера глубины (d).

Для расчета эхо-откликов от отдельных элементов сцены, находящихся на различном удалении от гидролокатора, используется буфер глубины видеокарты. Этапы процесса формирования строки откликов на импульс гидролокатора можно увидеть на рис. 4 и рис. 5. На рис. 4-a показан фрагмент подводной обстановки тестового полигона: рельеф морского дна и затонувшая подводная лодка. Там же схематически показана апертура идеального гидролокатора. Так как реальная апертура составляет 0.5-1° по горизонтали, то для иллюстративных целей горизонтальный угол раскрыва намеренно увеличен до 10°, чтобы более подробно передать детали изображения. рис. 4-b - это изображение интенсивности откликов, сформированное видеокартой, рис. 4-с – изображение буфера глубины, приведенного к линейной шкале (рис. 4-d). Нетрудно заметить, что на изображении буфера глубины легко различимы только те предметы, которые имеют рельеф или геометрически выделяются на общем фоне.

Опираясь на уровни сигнала на заданных заранее интервалах расстояния, рассчитывается значение мощности отраженного сигнала. Далее по набору откликов методами линейной интерполяции на интервале значений строится непрерывная функция мощности получаемого модельного сигнала.

Предусмотрено разделение объектов с точки зрения отражения и поглощения звука – достаточно задать величину коэффициента K_dдиффузионного отражения материала и таким образом отрегулировать его поглощающие свойства.

При моделировании ГБО камера жестко закреплена на борту модели подводного робота и направлена строго влево или вправо по азимуту и под углом к горизонту таким образом, чтобы обеспечить максимально возможный обзор донного рельефа. Движение АПР проходит по траектории, рассчитанной на основе модели миссии со всеми особенностями реальной динамики и управления АПР. Таким образом, последовательность положений и ракурсов камеры максимально приближена к реальным наблюдениям при движении аппарата.

Рис. 5. Моделирования отклика гидролокатора. Положение аппарата на сцене и апертура
излучения ГБО (вверху), отдельная строка откликов ГБО (в середине), полученное из
совокупности накопленных окликов гидролокационное изображение (внизу.)

Параметры камеры задаются таким образом, чтобы соответствовать диаграмме направленности излучателя гидролокатора: его луч имеет широкий угол по вертикали и узкий по горизонтали. Используется камера с вертикальным углом 45 градусов и горизонтальным 0.6 градуса. В качестве сенсора гидролокатора используется окна размером 100х8000 или 200х16000 пикселов. Размеры сенсора влияют на чувствительность и угловое разрешение гидролокатора. Большие размеры сенсора позволяю избежать нежелательного эффекта муара [15]. Окна таких больших размеров затруднительно получить на большинстве современных мониторов, поэтому применяется техника внеэкранного рендеренга во фрейм-буфер видеокарты. По результатам рендеринга формируется строка сигналов-откликов гидролокатора с использованием значений интенсивности в буфере цвета и глубины в z-буфере (рис. 5). По мере движения аппарата по заданной траектории над рельефом дна, формируется гидролокационная картина, обычно наблюдаемая с борта АПР посредством ГБО. Строка откликов E_sявляется результатом суммирования интенсивности пикселов I_x_,_y, попадающих в соответствующий диапазон расстояний от источника [d_s_-1; d_s):\

где x, y — координаты пикселя на изображении камеры; W — ширина сенсора; H — высота сенсора; s — номер отклика в строке ГБО (s=0...S-1); S — размер строки эхограммы; d_x_,_y — расстояние до точки с координатами (x; y) [8, 15].

Для моделирования ЭЛС также используется видеокамера, но с узкими вертикальными и горизонтальными углами.

На рис. 6 показан процесс движения аппарата по тестовому полигону, на котором присутствует рельеф, затопленная подводная лодка и лежащий на дне кабель. На гидролокационном изображении видны отдельные детали корпуса и акустическая тень от лодки и достаточно хорошо различим тонкий кабель (диаметром 5см), находящийся на расстоянии свыше 100 метров от излучателя. В ходе экспериментов выяснилось, что при движении аппарата на высоте 5-10 м над рельефом, приемлемый с точки зрения качества и реализма результат достижим при размере треугольников сетки не более 2м. В противном случае изображение получается довольно грубым - видна структура треугольников. Также для повышения реалистичности гидролокационной картины используется искусственное зашумление эхо-сигнала [15].

Рис. 6. Движение АПР над рельефом дна. Показана диаграмма направленности
излучателя ГБО, накопленное изображение ГБО (внизу слева) и вид с бортовой
камеры в направлении работы ГБО (вверху справа). Красная линия обозначает
пройденный путь, зеленая – планируемую траекторию.

4. Навигация по оптической информации

На базе моделирующего комплекса были проведены исследования по оценке эффективности визуального подхода (обработка захватываемого видеопотока) к навигации автономного подводного аппарата. Автоматизация исследований обеспечивалась в рамках комплекса возможностями моделирования траекторий разной сложности для различных сцен виртуальной подводной обстановки, а также возможностями интерактивного изменения параметров применяемых алгоритмов и визуализации результатов работы метода.

Навигация на основе визуальной информации может служить альтернативой и дополнением к использованию традиционных средств навигации (гидроакустические сенсоры, компасы, допплеровский лаг и др.). Применение визуального подхода целесообразно, главным образом, в условиях локального маневрирования ПА, когда гидроакустические сонары не всегда обеспечивают требуемую точность позиционирования подводного робота. С некоторыми результатами в этом направлении можно ознакомиться, например, в работах [10-14].

В рассматриваемой ниже постановке автономный подводный аппарат (АПА) оснащен двумя видеокамерами (стереопара), которые выполняют синхронную съемку дна при движении аппарата по траектории. Задача навигации заключается в точном вычислении траектории автономного робота (его 3D положение и ориентацию) при движении в априори неизвестной среде. Она сводится к вычислению матрицы преобразования из мировой в локальную систему координат (ЛСК), привязанную к аппарату в каждой позиции его траектории. Если H_i матрица локального преобразования из позиции (i-1) в позицию i, то искомая матрица Hw_i может быть получена перемножением локальных матриц всех предшествующих позиций. Принципиальная схема вычисления матрицы локального преобразования показана на рис. 7.

Рис. 7. Схема вычисления матрицы локального преобразования.

Сопоставление точечных особенностей выполняется на 4-х изображениях 2-х стереопар, соответствующих двум последовательным позициям ПА на траектории. Схема сопоставления построена на применении двух процедур (библиотека OpenCV):

а) детектора SURF для некалиброванных пар изображений (изображения разных стереопар). В этом случае выполняется построение дескрипторов и вычисление оценки расстояний между ними (с фильтрацией по порогу); и б) алгоритма вычисления диспарантности для калиброванных очищенных пар (стереопара). Для каждой пары изображений выполняется сопоставление слева направо и справа налево (cross - checking).

Результатом является множество особенностей, сопоставленных по всей цепочке из 4-х изображений. Это позволяет построить на следующем этапе два облака 3D точек, отвечающих двум стереопарам (двум позициям ПА).

Вычисление положения и ориентации ПА по 3D облакам точек – особенностей. Наличие двух сопоставленных 3D облаков точек-особенностей, каждое из которых определено в своей ЛСК, позволяет вычислить матрицу H_i геометрического преобразования, задающего вращение и смещение аппарата при переходе в очередную позицию i. Делается это решением оптимизационной задачи, где в качестве целевой функции берется суммарное расхождение по всем точкам двух облаков:

F_i = ∑ || c1_k – c2_k · H_i ||, здесь i - номер позиции на траектории, k – номер точки в облаке, {c1_k} – множество точек в первом облаке и {c2_k} – множество точек во втором облаке.

Тогда с учетом вычисленной матрицы H_i новое положение ПА вычисляется через предыдущее как p_i = p_i_-1· H_i. В качестве точки, описывающей траекторию ПА, можно рассматривать точку (0,0,0) ЛСК камеры. С учетом знания локальных преобразований для всех предшествующих точек траектории преобразование из мировой СК в СК i-той точки вычисляется как последовательное произведение локальных преобразований:

Hw_i = H₀ · H₁ ·…· H_i. Соответственно, мировые координаты i-ой точки траектории ПА вычисляются как p_i = p₀ · Hw_i^-1.

Результаты вычислительных экспериментов. Тестирование визуального метода проводилось на ряде модельных сцен подводной обстановки для траекторий различной сложности. Съемка стереопар изображений осуществлялась с частотой 25 кадров/сек виртуальным ПА, движущемся по заданной траектории. Высота траектории в экспериментах задавалась от 1м до 10м над морским дном. Оценивалось отклонение вычисленной траектории (положение и ориентация ПА по 3-м углам) от реальной (заданной). Вычисление параметров выполнялось в позициях траектории с шагом 16 или 32 кадра. Эксперименты проводились на PC с графической платой NVIDIA GeForce GTX 470. CUDA-ускорение применялось на этапе сопоставления особенностей (при работе процедур OpenCV) и давало при этом ускорение вычислений примерно в 9 раз. На рис.9 представлен график поведения абсолютной ошибки навигации вдоль траектории и относительной (между соседними позициями). Среднее по траектории значение абсолютной ошибки 2.5. см, среднее значение относительной ошибки 0.044 см. В целом, эксперименты показали, что для коротких траекторий продолжительностью порядка 120 сек усредненная по всем позициям абсолютная ошибка, отнесенная к к расстоянию до дна, изменялась в пределах 0.3% - 1.0%. Ошибка в вычислении углов составляла в среднем 0.15°. Для «длинных» траекторий, в силу характерного для описанной схемы накопления ошибки вычислений, ошибка навигации становится значительной. Например, при продолжительности траектории в 900 сек, ошибка в вычислении положения ПА увеличивается до 30 – 60 см. Скорость процессорной обработки параметров навигации (положение и ориентация ПА в МСК) при использовании CUDA-ускорения соответствовала в среднем обработке 10 позиций/сек, что близко к режиму реального времени. Однако в отсутствии CUDA-ускорения эта скорость на порядок ниже. Поэтому одной из задач ближайшей перспективы является увеличение вычислительной производительности программно-алгоритмического комплекса для обеспечения режима реального времени.

Рис. 8. Навигация АПР по оптической информации.

Рис. 9. Ошибка в вычислении положения АПР (м). По оси абсцисс пройденный
путь по траектории (м): а) абсолютная ошибка; б) относительная ошибка
(при переходе из предыдущей позиции в текущую).

5. Применение комплекса для решения различных задач

5.1. Автоматическая инспекция трубопровода

Характерной обследовательской задачей, решаемой с помощью ГБО, является автоматическая инспекция подводных коммуникаций (трубопроводов, кабелей) с целью проверки их состояния [9]. В задачи инспекции входит сбор данных о состоянии как самого трубопровода, так и его окрестности (обследование донной поверхности, обнаружение посторонних предметов и т.д.). ГБО обладает высокой разрешающей способностью, большим радиусом действия и позволяет оценить состояние коммуникационных линий и примыкающей донной поверхности. Кроме того, данное устройство может быть использовано для организации движения подводного аппарата вдоль коммуникации. Для этого необходима обработка информации от гидролокатора на борту АПР в режиме реального времени с целью определения взаимной ориентации и положения робота и инспектируемого объекта.

Выделение линий на ГБО-изображении производится по границам объектов, которые в свою очередь определяются величиной и направлением градиента яркости. Для вычисления градиента в центральной точке скользящего окна (3´3 пикселя) использовался оператор Щарра, как обладающий наилучшей круговой симметрией (по сравнению с операторами Собела и Превита). Поскольку проекция ГБО-изображения на поверхность дна обладает неравномерной решеткой (поперечное расстояние между пикселями меняется в зависимости от удаленности точек от АПР, а продольное — зависит от скорости движения подводного робота), то при использовании этих операторов вносились соответствующие поправки. Кроме того, при расчете продольной составляющей вектора градиента использовалось допущение о прямолинейности перемещение аппарата без существенного изменения курса, что является основным режимом движения АПР во время проведения гидролокационной съемки. Если для определения этой компоненты использовать изменения продольной координаты, то несущественные колебания аппарата по курсу могут исказить значения производной в точках изображения, находящихся на большом отстоянии от него.

Модули градиента в каждой точке изображения определяют границы объектов на гидролокационном снимке. Нетрудно видеть, что границам объектов (рис. 10-а) соответствуют более высокие значения модулей градиентов по сравнению с другими точками изображения (рис. 10-б — темные участки). Кроме того, поскольку генеральное направление инспектируемого объекта, как правило, известно, то карту градиентов можно отфильтровать. Применялась следующая фильтрация: если направление границы в точке (перпендикуляр к градиенту) близко к ожидаемому направлению инспектируемого объекта, то вес точки увеличивается, в противном случае — уменьшается.

Рис. 10. Обработка изображений ГБО во время инспекции трубопровода: а) исходное изображение; б) карта модулей градиентов; в) местоположение распознанного объекта

Для идентификации протяженных коммуникационных линий, необходима информация о пространственном расположении точек изображения в горизонтальной плоскости. Для этого производится проецирование гидролокационного снимка на горизонтальную плоскость (вид сверху) с привязкой точек изображения к географическим координатам. При определении географических координат пикселей изображения используется поперечное смещение точек, а также местоположение подводного робота по данным системы счисления пути, курс аппарата и продольное местоположение антенн ГБО на борту АПР. Таким образом, трубопровод на эхограмме ГБО (рис. 10-а) выглядит как изогнутая кривая (из-за изменения курса АПР во время выхода на объект), однако, в проекции на горизонтальную плоскость он представляет собой прямолинейный объект.

Выделение прямых линий на изображении производилось с использованием модифицированного преобразования Хафа (Hough). Оригинальное преобразование Хафа с успехом применяется для поиска протяженных объектов на фотоизображениях. В отличие от фотоснимков, каждая строка эхограммы гидролокатора поступает с определенным интервалом. Помимо этого, длина ГБО-изображения может составлять сотни тысяч строк, а расстояние от центра координат до линии (один из параметров накопителя Хафа) может существенно меняться во время перемещения подводного аппарата вдоль протяженного объекта. Для исключения ситуации выхода за пределы массива, накопитель сделан циклическим по дистанции до линии c периодом порядка 1000 ячеек (что эквивалентно пройденному пути порядка 1000 м), а для «забывания» устаревшей информации и предотвращения «бесконечного накапливания» значений массива — экспоненциально затухающим по времени.

Состояние накопителя Хафа во время идентификации трубопровода приведено на рис. 11. На правом изображении хорошо виден максимум, который соответствует распознанному объекту, чего не обнаруживается в случае отсутствия трубопровода (рис. 11 — левое изображение). Таким образом, максимальные значения в накопителе соответствуют наиболее выраженным прямым линиям на ГБО-изображении.

Поскольку значения накопителя меняются каждый раз при появлении новой строки гидролокатора (от 5 до 10 раз с секунду в зависимости от настроек ГБО), то для анализа его состояния удобнее использовать изменения параметров распознавания в пространстве. На рис. 10-в отражены максимальные значения накопителя — показатель вероятности существования трубопровода в каждой точке эхограммы. Из графика следует, что пикселям, принадлежащим трубопроводу и его окрестности (рис 10-а), соответствуют большие значения в накопителе (рис. 10-в — темная полоса). Аналогичная картина получается, если привязать данные максимальные значения к географическим координатам. Таким образом, распознанному прямолинейному объекту на плоскости соответствует полоса с максимальными значениями весов накопителя. Исходя из этого, можно определить местоположение и направление инспектируемого объекта (подробнее см. [16]).

Рис. 11. Состояние накопителя при наличии
трубопровода (справа) и без него (слева)

Во время проведения вычислительного эксперимента был подготовлен донный рельеф, включающий три основных уровня детализации. Объекты микроуровня имеют измерения порядка сантиметров, что соответствует разрешению по дальности современных акустических средств АПР. Средний уровень соответствует перемещениям подводного аппарата за время обновления гидролокационных данных (десятки сантиметров). Крупномасштабные изменения рельефа определяются макроуровнем и имеют величины от метра и более [8].

На поверхность был уложен акустически жесткий объект (трубопровод). Положение трубопровода было выбрано таким образом, чтобы в совокупности с формами донной поверхности обеспечить все возможные состояния объекта: заглубления, провисы, присыпанное состояние.

Затем была подготовлена элементарная миссия, состоящая из одного галса в заданном направлении. Отлаживаемые программы на борту АПР получали и обрабатывали ГБО-снимки построчно в режиме реального (модельного) времени. При приближении к трубопроводу, когда уровень достоверности существования протяженного объекта на текущем фрагменте ГБО-изображения превышал установленный порог, программы переходили в активное состояние и осуществляли управление целевым курсом таким образом, чтобы обеспечить движение вдоль трубопровода. В вертикальной плоскости АПР двигался по эквидистанте.

В результате эксперимента подводный аппарат обнаружил трубопровод и уверенно прошел вдоль него. По мере движения вдоль объекта уровень достоверности (существования протяженного объекта) всегда превышал заданное пороговое значение в 2-3 раза. При этом своих максимальных значений он достиг в районе провиса трубопровода, что объясняется хорошей видимостью объекта в этом месте.

На полученном ГБО-изображении (рис. 10-а) хорошо видны провисы, присыпания трубопровода, а также расположенные невдалеке посторонние предметы и подозрительный объект, установленный непосредственно на трубопровод. Провис трубопровода является потенциально аварийным местом, которое должно быть тщательно обследовано. Для этого при обнаружении провиса осуществляется его детальная ГБО-съемка с обеих сторон (рис. 12).

Рис. 12. Обследование провиса трубопровода

5.2. Движение среди препятствий на основе эхолокационной информации

Эхолокаторы АПР используются для организации безопасного движения вблизи дна.

Задача управления движением АПР вблизи дна сводится к задаче достижения целевой точки в неизвестной среде. Пространственный характер движения АПР вблизи дна обусловливает специфику алгоритма прокладки трассы, определяя, помимо требования достижения целевой точки, ряд требований, которым должна удовлетворять форма траектории:

· должны быть гарантированы минимальное время и энергозатраты, соответственно, траектория должна иметь минимальную длину;

· траектория движения АПР должна быть эквидистантой по отношению к рельефу дна, т.е. должна воспроизводить профиль рельефа вдоль по трассе движения;

· необходимо принимать во внимание ограничение на максимально возможный дифферент, создаваемый движителями аппарата.

Рис. 13. Огибание препятствия на основе эхолокационной информации

Выполнение такого типа траекторий требует от АПР одновременного маневра в вертикальной и горизонтальной плоскостях. Для управления используются данные от эхолокаторов, расположенных в передней полусфере робота. Конфигурация эхолокационной системы может быть различной. На рис.13 показано движение АПР с системой, состоящей из пяти лучей с фиксированными диаграммами направленности.

При движении специального сканирования поверхности не производится, что приводит к задаче аппроксимации рельефа плоскостями, вычисленными по данным локаторов. При этом в каждой точке вычисляются параметры поверхности в пределах прямой видимости, определяющие направление последующего движения. Другими словами, траектория АПР представляется серией сопряженных отрезков, каждый из которых оптимизирует путь по отношению к элементам плоскостей, аппроксимирующих видимый рельеф в каждой точке траектории [1].

Возможности комплекса позволяют моделировать рельефы различных типов, что даёт возможность проверить различные аспекты работы алгоритма. Данные визуализации используются для оценки качества получаемого движения.

5.3. Визуальная отладка миссий в среде моделирующего комплекса

Задание (миссия) аппарата перед запуском должно быть тщательно проверено. Один из возможных путей для этого – имитация выполнения миссии с помощью моделирующего комплекса. Эта возможность комплекса также крайне востребована при обучении операторов АПР.

В зависимости от целей и квалификации оператора миссия готовится с использованием одного из доступных средств: текстового или графического редакторов. На рис. 14-а показан процесс подготовки миссии в графическом редакторе. Поскольку моделирующий комплекс сопряжен с базой данных, хранящей как результаты запусков АПР, так и картографическую информацию, то в качестве подложки (карты) может быть использована та и другая.

Далее миссия выполняется в среде МК с использованием моделей аппарата и внешней среды. В соответствии с используемыми в текущей копии среды системы управления алгоритмами АПР воспроизводит движение в заданном районе. Оператор имеет возможность оценить полученную траекторию с различных ракурсов, выбираемых им по своему усмотрению. Например, на рис. 14-б показаны четыре ракурса одной и той же траектории, полученных с использованием различных виртуальных камер.

Для имитации обнаружения объектов последние могут быть помещены на дно в районе выполнения миссии. В этом случае процесс моделирования миссии будет развиваться в соответствии с заложенным в миссию сценарием.

а) б)

Рис. 14. Подготовка миссии в редакторе (а) и трёхмерное представление
движения АПР средствами интерпретации миссий (б)

5.4. Формирование поведения АПР в условиях структурированной обстановки на основе обработки видеоинформации

При решении многих задач, связанных с маневрированием АПР вблизи подводных объектов, используется обработка видеоизображений для формирования надлежащего управления. Одним из примеров подобной работы является выполнение заданий на международных студенческих соревнованиях ROBOSUB. В данных соревнованиях принимают участие около 30 команд из 10-12 стран. Команда ДВФУ с АПР Junior-AUV принимает участие в данных соревнованиях с 2012 года и в 2013 году заняла третье место, пропустив вперед только Корнельский и Флоридский университеты.

Большая часть заданий для АПР, которые предлагаются командам, связаны именно с обработкой изображений. Среди традиционных заданий можно отметить следующие:

- прохождение ворот – подводный робот должен обнаружить в толще воды ворота и пройти через них не касаясь стоек (рис. 15);

- касание подводных буев - роботу необходимо коснуться двух из трех шарообразных буев заданного цвета (рис. 16);

- прохождение перевернутых ворот лагом (боковым движением);

- распознавание на дне двух заданных мишеней из четырех и бросание на них маркеров (рис. 17);

- стрельба дротиками по заданным мишеням указанного цвета (рис. 18);

- перемещение между последовательными заданиями путем распознавания на дне прямоугольных дорожек размером 1.2 м*0.2 м и определения по ним направления на следующее задание.

Рис. 15. Задание для АПР - прохождение ворот.

Рис. 16. Задание для АПР – касание буев.

Поиск объектов осуществляется с применением методов выделения границ, аппроксимации контуров полигонами, бинаризации по яркости или границам H-канала в цветовом пространстве HSV. Для поиска прямолинейных и эллипсообразных объектов используется алгоритм на основе преобразования Хафа, учитывающий направления градиентов на изображении. При реализации широко использовалась библиотека OpenCV.

Перед непосредственной отладкой алгоритмов выполнения заданий в воде, предварительно они тестировались с использованием моделей заданий, сформированных с помощью разработанной системы моделирования (рис. 19). На рис. 20 показан момент выполнение АПР Junior-AUV заданий во время соревнований Robosub 2013.


Рис. 17. Задание для АПР – бросание маркеров на заданные мишени.

Рис. 18. Задание для АПР - стрельба дротиками по заданным мишеням указанного цвета.

Рис. 19. Моделирование работы алгоритмов в ИМК.	Рис. 20. Выполнение АПР Junior-AUV заданий во время соревнований Robosub

Заключение

Использование визуальных средств имитационного комплекса позволяет быстро и эффективно проводить отладку управляющих алгоритмов и программ верхнего уровня для АПР. Вычислительные ресурсы современных видеокарт позволяет одновременно моделировать движение аппарата и работу оптических и гидролокационных сенсоров практически в режиме реального времени. Модельные эксперименты подтвердили целесообразность применения визуального подхода к навигации АПР в условиях локального маневрирования. Результаты моделирования процесса инспекции подводных коммуникаций с помощью ГБО позволяют сделать вывод, что разработанные алгоритмы распознавания и управления могут применяться в бортовых системах АПР. Применение комплекса для визуальной отладки миссий позволяет операторам-стажёрам почувствовать специфику движения робота под водой, а также особенности работы его системы управления.

Дальнейшее развитие комплекса будет идти по пути: а) повышения достоверности имитации и расширения типов моделируемых устройств (в перспективе должен быть реализован поддонный профилограф, электромагнитный искатель, многолучёвый и сканирующий эхолокаторы); б) совершенствования алгоритмической базы для повышения точности навигации, повышения реализма виртуальной подводной обстановки и более полному соответствию режиму реального времени работы бортового ПО; в) разработки и модификации методов для решения новых обследовательских задач (комплексная инспекция подводных коммуникаций с использованием данных от ГБО, фото и ЭМИ; интеллектуальный поиск объектов и т.п.).

Список литературы

1. Автономные подводные роботы: системы и технологии / М.Д. Агеев, Л.В. Киселев, Ю.В. Матвиенко и др.; под общ. ред. акад. М.Д. Агеева. – М: Наука, 2005. – 398 стр.

2. Теоретические основы проектирования информационно-управляющих систем космических аппаратов / В.В. Кульба, Е.А. Микрин, Б.В. Павлов, В.Н. Платонов; под ред. Е.А. Микрина; Ин-т проблем упр. Им. В.А. Трапезникова РАН. – М.: Наука, 2006. – 579 с.

3. Инзарцев А.В., Боровик А.И., Баль Н.В. Разработка программного обеспечения системы управления АПР на базе модифицированной платформы Player / Материалы Всеросс. научно-практ. конф. «Перспективные системы и задачи управления», Таганрог, 4-9 апр. 2011 г., – Таганрог: Изд-во ТТИ ЮФУ, 2011, С. 380-390.

4. Инзарцев А.В., Сидоренко А.В., Сенин Р.А., Матвиенко В.Ю. Комплексное тестирование программного обеспечения АПР на базе имитационного моделирующего комплекса // Подводные исследования и робототехника, №1(7), 2009, С. 9-14.

5. Инзарцев А.В., Львов О.Ю., Сидоренко А.В., Хмельков Д.Б. Архитектурные конфигурации систем управления АПР // Подводные исследования и робототехника, №1, 2006, С. 18-30.

6. Бобков В.А., Борисов Ю.С., Инзарцев А.В., Мельман С.В. Моделирующий программный комплекс для исследования методов управления движением автономного подводного аппарата // Программирование, 2008, том 34, №5, C. 257-266.

7. Инзарцев А.В., Киселев Л.В., Медведев А.В., Павин А.М., Севрюк А.В., Сенин Р.А., Бобков В.А., Борисов Ю.С., Мельман С.В. Имитационный моделирующий комплекс для «интеллектуального» автономного подводного робота // Мехатроника, Автоматизация, Управление, №2, 2009, C. 46-52.

8. Багницкий А.В., Инзарцев А.В., Павин А.М., Мельман С.В., Морозов М.А. Модельное решение задачи автоматической инспекции подводных трубопроводов с помощью гидролокатора бокового обзора // Подводные исследования и робототехника, №1(11), 2011, С. 17-23

9. Inzartsev A., Pavin A. AUV Application for Inspection of Underwater Communications / Underwater Vehicles, ed. by Alexander V. Inzartsev, In-Tech Publishers, Vienna, January, 2009, 582 pages, pp. 215-234. open access: http://www.intechopen.com/books/underwater_vehicles

10. Miguel Angel Garcia, Agusti Solanas. 3D Simultaneous Localization and Modeling From Stereo Vision. International Conference on Robotics and Automation, ICRA, 2004, vol. 1, pp. 847-853.

11. J.M. Saez, A. Hogue, F. Escolano, M. Jenkin. Underwater 3D SLAM through Entropy Minimization. Proceedings 2006 IEEE International Conference on Robotics and Automation, ICRA 2006, pp. 3562-3567.

12. Бобков В.А., Борисов Ю.С. Восстановление траектории подводного аппарата и структуры среды по изображениям // Мехатроника, автоматизация, управление, №9, 2006, C. 25-31.

13. J. Salvi, Y. Petilot, E. Battle. Visual SLAM for 3D Large – Scale Seabed Acquisition Employing Underwater Vehicles // IEEE International Conference on Intelligent Robots and Systems, 2008, pp. 1011-1016.

14. Matthew Johnson-Roberson, Oscar Pizarro, Stefan B. Williams, Ian Mahon. Generation and visualization of large-scale three-dimensional reconstructions from underwater robotic surveys // Journal of Field Robotics, Special Issue: Three-Dimensional Mapping, Part 3, 2010, volume 27, Issue 1, pp. 21–51.

15. Бобков В.А., Морозов М.А. Моделирование работы гидролокационных устройств средствами машинной графики // Подводные исследования и робототехника. – 2012. – №1. – С. 46–51.

16. Павин А.М. Идентификация подводных протяженных объектов на акустических снимках гидролокатора бокового обзора // Приборы, 2009, №12. С. 43-50

17. A.V. Inzartsev, Yu.V. Matvienko, A.M. Pavin, Yu.V. Vaulin and A.Ph. Scherbatyuk. Investigation of Autonomous Docking System Elements for Long Term AUV. Proceedings of the OCEANS 2005 MTS/IEEE Conference, September 18-23, 2005, Washington, USA, ISBN CD-ROM: 0-933957-33-5.

18. А.А. Борейко, С.А. Мун, А.Ф. Щербатюк. Определение движения подводного аппарата на основе обработки видео изображений. Мехатроника, автоматизация и управление, N8, 2008, Приложение - с. 2-8.

19. A.A. Kushnerik, A.V. Vorontsov and A.Ph. Scherbatyuk. Small AUV Docking Algorithms near Dock Unit Based on Visual Data. Proceedings of the OCEANS 2009 MTS/IEEE Conference, October 26-29, 2009, Biloxi, USA, ISBN CD-ROM: 978-0-933957-38-1.

20. Борейко А.А., Воронцов А.В., Кушнерик А.А., Щербатюк А.Ф. Алгоритмы обработки видео изображений для решения некоторых задач управления и навигации автономных необитаемых подводных аппаратов. Подводные исследования и робототехника, №1, 2010, стр.29-39.

21. Авербух В.Л., Байдалин А.Ю., Бахтерев М.О., Васёв П.А., Казанцев А.Ю., Манаков Д.В., Опыт разработки специализированных систем научной визуализации // Научная визуализация, 2010, том 2, № 4, С. 27-39. URL: http://sv-journal.com/2010-4/02.php?lang=ru

22. Васёв П., Кумков С., Шмаков Е., Конструктор специализированных систем визуализации // Научная визуализация, 2012, том 4, № 2, С. 64-77. URL: http://sv-journal.com/2012-2/05.php?lang=ru

SIMULATION SYSTEM FOR UNDERWATER RESEARCH VEHICLE

V. Bobkov¹, M. Morozov¹, A. Bagnitsky², A. Inzartsev², A. Pavin², A. Scherbatyuk², I. Tuphanov²

¹ Institute for Automation and Control Processes, Far Eastern Branch of the Russian Academy of Sciences, Vladivostok, Russia

² Institute of Marine Technology Problems, Far Eastern Branch of the Russian Academy of Sciences, Vladivostok, Russia

bobkov@iacp.dvo.ru, inzar@marine.febras.ru, alex-scherba@yandex.ru

Abstract

The underwater robotics is actively used lately for the decision of wide circle of practically important tasks, including mapping, search-and-rescue operations, oceanological and ecological measuring, automatic inspection of underwater structures etc. The informatively-control system of autonomous underwater vehicle (AUV) executing similar operations must possess the developed intellectual possibilities and flexible growing functionality as far as appearance of new inspection tasks and board sensors. All functions and algorithms of this system must be tested before installing on the robot. The effective means of this aim achievement are development and use of simulation system, that, finally, allows to shorten organizational, financial and temporal expenses of actual tests realization. The simulation system is presented in this article. The system is intended for automation of the investigations related to the questions of control system development by motion of AUV and implementations of survey and inspection works. Fundamental characteristic of complex are the developed possibilities of graphic interactive interface, visualization and animation on all stages of functioning, that allows to estimate visually the efficiency of the offered solutions. A structure and functional possibilities of complex are described. An accent is done on facilities for underwater environment generation, hydroacoustic sensors simulation, method of AUV visual navigation and visual debugging of missions in the modeling environment. Examples of complex usage are made. Simulation technique, providing the imitation of underwater environment, video/sonar and some other AUV subsystems operation, is fixed on basis of simulation complex. It allows to conduct the research and to debug the methods of AUV management by "immersion" in environment of the complex. Ability of onboard software debugging in the environment of the modeling system was implemented using the abstract interfaces and “bridges” of serial interfaces. Computer graphics techniques and hardware capabilities of modern video accelerators are used for environment modeling and data simulation from the sonar. Obtained performance allows the underwater robot mission simulation in real time. Computer vision methods and non-linear optimization method were applied for calculation of the trajectory parameters in visual approach to AUV navigation. The original architectural decisions (abstract interfaces and "bridges" of serial interfaces) and simulation tools allow the software debugging onboard in the form that will be used in the AUV control system. Effectiveness of simulating complex has been confirmed by its successful application for investigation of visual navigation method, for visual debugging of missions and for modeling decision of practical task of pipeline inspection.

Key words: autonomous underwater vehicle (AUV), information and control system, software architecture, 3D environment model, motion modeling and visualization, echo-sounding imaging, computer graphics, echo-sounder and sonar modeling, OpenGL,video stereo pair, SLAM, visual navigation, feature matching.

References

1. M.D. Ageev, L.V. Kiselev, Yu.V. Matvienko. Avtonomnye podvodnye roboty: sistemy i tekhnologii [Autonomous Underwater Robots: Systems and Technology] edited by M.D. Ageev. Moscow: Nauka, 2005, p. 398.

2. V.V. Kulba, E.A. Mikrin, B.V. Pavlov, V.N. Platonov. Teoreticheskie osnovy proektirovaniya informatsionno-upravlyayuschikh sistem kosmicheskikh apparatov [Theoretical Bases of Designing Information-Control Systems of Space Vehicles] edited by E.A. Mikrin. Moscow: Nauka, 2006. p. 579.

3. Inzartsev A.V., Borovik A.I., Bal N.V. Razrabotka programmnogo obespecheniya sistemy upravleniya APR na baze modifitsirovannoy platformy Player [AUV Control System Development on the Base of Modified Player Robotics Server]. Proceedings of All-Russian Conference “Advanced systems and control problems”, Taganrog, 4-9 April, 2011. Taganrog: Publishing house TTI SFU, 2011, pp. 380-390.

4. Inzartsev A.V., Sidorenko A.V., Senin R.A., Matviyenko V.Y. Kompleksnoe testirovanie programmnogo obespecheniya APR na baze imitatsionnogo modeliruyuschego kompleksa [Comprehensive AUV Software Debugging Based on Simulation Modeling Complex]. Podvodnye issledovaniya i robototekhnika [Underwater Investigation and Robotics], 2009, vol.7, № 1, pp. 9-14.

5. Inzartsev A.V., Lvov O.Yu., Sidorenko A.V., Khmelkov D.B. Arkhitekturnye konfiguratsii sistem upravleniya APR [Architectural Configurations of AUV Control Systems]. Podvodnye issledovaniya i robototekhnika [Underwater Investigation and Robotics], 2006, № 1, pp. 18-30.

6. Bobkov V. A., Borisov Yu. S., Inzartsev A. V. and Mel’man S. V. Modeliruyuschiy programmnyy kompleks dlya issledovaniya metodov upravleniya dvizheniem avtonomnogo podvodnogo apparata [Simulation Program Complex for Studying Motion Control Methods for Autonomous Underwater Vehicle]. Programming and Computer Software, 2008, vol. 34, № 5, pp. 257–266

7. Insartsev A.V., Kiseljev L.V., Medvedev A.V., Pavin A.M., Sevrjuk A.N., Senin R.A., Bobkov V.A., Borisov , Melman S.V. Imitatsionnyy modeliruyuschiy kompleks dlya «intellektualnogo» avtonomnogo podvodnogo robota [Simulating Complex for “Intelligent” Autonomous Underwater Vehicles]. Mekhatronika, avtomatizatsiya i upravlenie [Mechatronics, Automation, Control], № 2, 2009, pp. 46-52

8. Bagnitskiy A.V., Inzartsev A.V., Pavin A.M., Melman S.V., Morozov M.A. Modelnoe reshenie zadachi avtomaticheskoy inspektsii podvodnykh truboprovodov s pomoschyu gidrolokatora bokovogo obzor [A Model Solution of an Automatic Underwater Pipelines Inspection Problem Using Side Scan Sonar]. Podvodnye issledovaniya i robototekhnika [Underwater Investigation and Robotics], 2011, vol. 11, №1, pp. 17-23.

9. Inzartsev A., Pavin A. AUV Application for Inspection of Underwater Communications. Underwater Vehicles, ed. by A.V. Inzartsev, In-Tech Publishers, Vienna, January, 2009, 582 pages, pp. 215-234. Aviable at: http://www.intechopen.com/books/underwater_vehicles

10. Miguel Angel Garcia, Agusti Solanas. 3D Simultaneous Localization and Modeling From Stereo Vision. International Conference on Robotics and Automation - ICRA, 2004, vol. 1, pp. 847-853.

11. J.M. Saez, A. Hogue, F. Escolano, M. Jenkin. Underwater 3D SLAM through Entropy Minimization. Proceedings, 2006, IEEE International Conference on Robotics and Automation - ICRA 2006, pp. 3562-3567.

12. Bobkov V.A., Borisov Y.S. Vosstanovlenie traektorii podvodnogo apparata i struktury sredy po izobrazheniyam [Recosntruction of the trajecory of autonomous vehicle and its surroundings from images]. Mekhatronika, avtomatizatsiya i upravlenie [Mechatronics, Automation, Control], 2006, № 9, pp. 25-31.

13. J. Salvi, Y. Petilot, E. Battle. Visual SLAM for 3D Large – Scale Seabed Acquisition Employing Underwater Vehicles. IEEE International Conference on Intelligent Robots and Systems, 2008, pp. 1011-1016.

14. Matthew Johnson-Roberson, Oscar Pizarro, Stefan B. Williams, Ian Mahon. Generation and visualization of large-scale three-dimensional reconstructions from underwater robotic surveys. Journal of Field Robotics, Special Issue: Three-Dimensional Mapping, Part 3, 2010, vol. 27, № 1, pp. 21–51.

15. Bobkov V.A., Morozov M.A. Modelirovanie raboty gidrolokatsionnykh ustroystv sredstvami mashinnoy grafiki [Simulation of sonar devices by means of computer graphics]. Podvodnye issledovaniya i robototekhnika [Underwater investigation and robotics], 2012, № 1, pp. 46–51.

16. Pavin A.M. Identifikatsiya podvodnykh protyazhennykh obektov na akusticheskikh snimkakh gidrolokatora bokovogo obzora [Underwater Extended Objects Identification on a Side Scan Sonar Images]. Pribory [Devices], № 12, 2009, pp. 43-50.

17. A.V. Inzartsev, Yu.V. Matvienko, A.M. Pavin, Yu.V. Vaulin and A.Ph. Scherbatyuk. Investigation of Autonomous Docking System Elements for Long Term AUV. Proceedings of the OCEANS 2005 MTS/IEEE Conference, September 18-23, 2005, Washington, USA, ISBN CD-ROM: 0-933957-33-5.

18. Boreyko A. A., Moun S. A., Scherbatyuk A. Ph. Opredelenie dvizheniya podvodnogo apparata na osnove obrabotki video izobrazheniy [Underwater Autonomous Vehicle Motion Detection Based on Video Images processing]. Mekhatronika, avtomatizatsiya i upravlenie [Mechatronics, Automation, Control], № 8, 2008, Appendix, pp. 2-8.

19. A.A. Kushnerik, A.V. Vorontsov and A.Ph. Scherbatyuk. Small AUV Docking Algorithms near Dock Unit Based on Visual Data. Proceedings of the OCEANS 2009 MTS/IEEE Conference, October 26-29, 2009, Biloxi, USA, ISBN CD-ROM: 978-0-933957-38-1.

20. Boreyko A. A., Kushnerik A.A., Vorontsov A.V., Scherbatyuk A.Ph. Algoritmy obrabotki video izobrazheniy dlya resheniya nekotorykh zadach upravleniya i navigatsii avtonomnykh neobitaemykh podvodnykh apparatov [Video image processing algorithms for the solution of some problems of control and navigation of autonomous unmanned underwater vehicles]. Podvodnye issledovaniya i robototekhnika [Underwater Investigation and Robotics], 2010, № 1, pp. 29-39.

21. V.L. Averbukh, A.Yu. Baydalin, M.O. Bahterev, P.A. Vasev, A.Yu., Kazantsev, D.V. Manakov, Experience in Developing of Specialized Scientific Visualization Systems. Scientific Visualization, 2010, vol. 2, № 4, pp. 27-39. Aviable at: http://sv-journal.com/2010-4/02.php?lang=en

22. P. Vasev, S. Kumkov, E. Shmakov. Extensible Scientific Visualization System. Scientific Visualization, 2012, vol. 4, № 2, pp. 64-77. Aviable at: http://sv-journal.com/2012-2/05.php?lang=en