1.   Введение

При принятии решений в различных сферах зачастую руководители разного уровня должны принимать во внимание большое количество разнообразных факторов, а также учитывать внешние условия. Зачастую эти решения принимаются интуитивно и базируются в основном на опыте и знаниях лица, принимающего решения (ЛПР). Однако это не единственный способ принятия решений. В современной науке достаточно широкое распространение получили разнообразные методы принятия решений, основанные на специализированных подходах и алгоритмах [1]. При этом эффективное решение многокритериальных задач принятия решений с применением этих специализированных подходов и алгоритмов может существенно снижаться, когда альтернатив становится десятки и сотни, и все они имеют более десятка критериев. Такие ситуации достаточно часто встречаются, когда источником альтернатив являются, например, многосенсорные системы [2], или же, например, когда с помощью специализированных систем в ходе многократного имитационного моделирования формируется исходное множество альтернатив [3, 4].

Поэтому в подобных случаях прибегают сначала к фильтрации исходного множества альтернатив, а применение методов принятия решений осуществляется уже на отфильтрованной выборке альтернатив. Традиционно для фильтрации применяются статистические методы. С учетом того, что в ходе принятия решения ЛПР активизирует мыслительную деятельность, то этот же фактор можно использовать и для решения задачи фильтрации альтернатив. Для этого можно направить мыслительную деятельность ЛПР на сравнительный анализ визуальных образов альтернатив (визуальных представлений векторных критериальных оценок) [5]. Но для этого необходимо разработать эффективные алгоритмы визуальной фильтрации альтернатив, чтобы основные усилия ЛПР были сконцентрированы именно на интеллектуальном визуальном выборе, а не на сопутствующих действиях или вычислениях.

2.   Алгоритм визуализация альтернатив в многокритериальных задачах принятия решения

В многокритериальных задачах принятия решений критерии, характеризующие альтернативы, могут быть заданы как количественными значениями, так и качественными характеристиками. Для того чтобы работать с разнообразными по природе критериями, необходимо сперва привести их к числовому виду. Для этих целей применяется широкий спектр различных алгоритмов и методов [1]. С помощью этих методов и алгоритмов можно осуществить преобразование исходных значений критериев в числовые значения в виде соответствующих функций f_i(k), где , K – количество критериев. Преобразующая функция f_i(k) обычно не линейна и может содержать дополнительные условия для различных интервалов исходных значений k критерия i. При этом размерность (т.е. диапазон возможных значений) функции f_i(k) для различных критериев i может существенно отличаться. По этой причине для дальнейшей работы с визуальными образами альтернатив с этими критериями необходимо провести нормализацию функций f_i(k). Один из традиционных подходов в этом случае является нормализация на интервал [0;1] исходя из максимально и минимально возможных значений функции.

1.    , в случае если большее значение критерия соответствует лучшему варианту;

2.    , в случае если меньшее значение критерия соответствует лучшему варианту.

Значения f_i,min и f_i,max определяются на заданном множестве альтернатив , , ,

где N – количество альтернатив, либо из области допустимых (ожидаемых) значений, либо по формулам:

,

.

Для визуализации множества альтернатив в настоящее время используются различные методы [6]: ломаные значений критериев (рис. 1), гистограммы (рис. 2), лучевые диаграммы (диаграммы Кивиата [7], рис. 3), круговые диаграммы (рис. 4) и др.

Большинство из этих подходов ориентировано на отображение нескольких альтернатив на одной диаграмме (рис. 1-3). Такой подход достаточно неплохо себя зарекомендовал при небольшом количестве альтернатив (порядка 3-10) и критериев (порядка 3-7). Однако такие способы визуализации плохо подходят в случае, когда приходится анализировать десятки и сотни альтернатив, каждая из которых может иметь свыше 10 критериев, т.к. диаграмма становится слишком перегруженной и сложна для анализа. Большое количество альтернатив можно визуализировать, например, с помощью набора круговых диаграмм, каждая из которых представляет отдельную альтернативу (рис. 4). Однако при этом для эффективной фильтрации альтернатив необходимо более целостное восприятие их визуального образа. Круговые диаграммы в достаточной мере не обеспечивают такого восприятия при большом количестве критериев из-за цветового разнообразия.

 

Рис. 1. Визуализация альтернатив в виде ломанной значений критериев

 

Рис. 2. Визуализация альтернатив в виде гистограмм

 

Рис. 3. Визуализация альтернатив в виде лепестковой диаграммы

 

Рис. 4. Визуализация альтернатив в виде круговой диаграммы

 

С учетом рассмотренных особенностей сформулируем основные критерии для построения алгоритма визуализация альтернатив в многокритериальных задачах принятия решения с целью их фильтрации.

1.    Каждая альтернатива должна представлять собой единый образ.

2.    Так как альтернатив может быть слишком много, то необходимо предусмотреть механизм фокусировки внимания на небольшой выборке из них и возможности смены этого фокуса.

3.    Выделение равнозначных критериев разным цветом не целесообразно, т.к. цвет может негативно влиять на выбор ЛПР.

4.    Цветовой эффект целесообразно применять при визуализации альтернатив для значений критериев близких к оптимальным, чтобы дополнительно сфокусировать внимание ЛПР на них.

Основываясь на этих критериях, предлагается разработать соответствующий алгоритм. В рамках этого алгоритма можно выделить два основных аспекта.

1.    Визуализация одной альтернативы.

2.    Размещение альтернатив и метод фокусировки на их подмножестве (подмножество фокусировки).

Построение визуального образа будем базировать на идее круговых и лепестковых диаграмм (рис. 3, 4). Общее у них то, что значение альтернативы по отдельному критерию располагается на отдельном луче (лепестковая диаграмма) или секторе (круговая диаграмма) окружности. Однако, отходя от традиционного представления лепестковых диаграмм, мы будем размещать каждую альтернативу на отдельной окружности (как в круговых диаграммах).

Чтобы альтернатива воспринималась как единый образ, целесообразно использовать заливку единым стилем по всем критериям: для круговой диаграммы заливаются соответствующие сектора, а для лепестковой диаграммы заливается соответствующий многоугольник. С учетом того, что радиус сектора в круговой диаграмме и положение точек многоугольника определяется близостью нормализованного значения критерия соответствующей альтернативы к 1 (чем ближе к единице, тем лучше), то целесообразно использовать градиентную радиальную заливку – в центре круга цвет нейтрален, а ближе к границе контрастный (например, красный).

Помимо цветового эффекта в таком подходе дополнительным источником фокусировки внимания и выбора предпочтений в альтернативах становится площадь соответствующей её фигуры.

1.    Для круговой диаграммы площадь фигуры определяется как сумма площадей секторов:

,

где  для случая, если все сектора занимают одинаковый угол (обычно это характерно для случая, где все критерии равноправны) и радиус сектора равен нормализованному значению соответствующего критерия (алгоритм «Сектора (радиус)»). Если же имеется некоторое отношение предпочтения критериев, то в этом случае для более предпочтительных критериев может быть задан сектор с большим углом. Обозначим этот угол как  (радиан), тогда

.

Само значение угла  может быть определено на основе алгоритмов ранжирования или взвешивания критериев, применяемых в методах принятия решений [1]. У данного подхода есть особенность, заключающаяся в том, что площадь сектора пропорциональна квадрату значения альтернативы по критерию, что может излишне привлекать внимание к альтернативам, имеющим максимальное значение одного из критериев. Чтобы снизить эту степень влияния, можно установить не квадратичную, а линейную зависимость между площадью сектора и значением альтернативы по соответствующему критерию: . Тогда радиус соответствующего сектора будет определяться формулой:  (алгоритм «Сектора (корень радиуса)»).

2.    Для лепестковой диаграммы площадь фигуры определяется как сумма площадей треугольников:

,

где ,

.

Основная особенность расчета площади многоугольника по этой формуле в том, что на её итоговое значение дополнительно сказывается порядок размещения критериев, т.к. при размещении рядом критериев с большими значениями   итоговая площадь получается больше, а значит такие альтернативы в большей степени фокусируют на себе внимания ЛПР заметны, чем другие. С другой стороны, фокусирующим фактором в этом случае также может быть наличие большего числа острых углов в многоугольнике. Поэтому для этого типа диаграммы рассмотрим две модификации определения перестановки критериев:

•      группировка рядом критериев с большими значениями для отображаемых альтернатив;

•      чередование критериев с большими и меньшими значениями для отображаемых альтернатив.

В обеих модификациях сначала рассчитаем среднее значение m_i для каждого критерия на множестве отображаемых альтернатив , где , T – количество отображаемых альтернатив:

.

Далее отсортируем по убыванию m_i с запоминанием исходной позиции i. Представим полученный результат в виде последовательности

,

где .

Для первой модификации (группировка) перестановку p₁ определим следующим образом (алгоритм «Лепестковая (перестановка p₁»):

Для второй модификации (чередование) перестановку p₂ определим следующим образом (алгоритм «Лепестковая (перестановка p₂»):

Например, пусть у нас есть две альтернативы A₁ = {1.0; 0.4; 0.8; 1.0} и A₂ = {0.5; 1.0; 1.0; 0.2}. Средние значения критериев будут такие: {0.75; 0.7; 0.9; 0.6}. Тогда p₀ = {3; 1; 2; 4} (т.е. максимальное значение у нас для 3-го критерия, а минимальное для 4-го). Перестановка p₁ будет следующая: p₁ = {3; 2; 4; 1}, а p₂ = {3; 2; 1; 4}. Т.е. для p₁: A₁(p₁) = {0.8; 0.4; 1.0; 1.0}, A₂(p₁) = {1.0; 1.0; 0.2; 0.5}, а для p₂: A₁(p₂) = {0.8; 0.4; 1.0; 1.0}, A₂(p₂) = {1.0; 1.0; 0.5; 0.2}.

Построение визуального образа альтернатив в случае использования лепестковых диаграмм будем начинать с применения одной из двух рассмотренных перестановок критериев: p₁ или p₂.

При размещении визуальных образов альтернатив на экране монитора будем руководствоваться следующими принципами:

1.    Необходимо визуализировать все альтернативы в упрощенном виде в меньшей части экрана в рамках прямоугольника (упрощенное отображение). В этой части экрана необходимо поместить область выделения альтернатив (целесообразно также это выполнить в виде прямоугольника). Эта область должна быть перемещаемой.

2.    При смене положения области выделения на упрощенном отображении необходимо определить список альтернатив полностью лежащих внутри неё. Эти альтернативы выводятся в области фокусировки, которая также представляет собой прямоугольную часть экрана, занимающую существенно больше места по сравнению с областью упрощенного отображения.

Положение альтернатив в этих областях будет определяться соответствующей сеткой, состоящей из строк и столбцов (рис. 5). Сами альтернативы будут размещаться в узлах этой сетки. При этом для более равномерного распределения альтернатив сетка имеет не ортогональную форму, а со смещением в четных рядах на радиус круга, в котором визуализируется альтернатива.

3.   Описание программного обеспечения для визуальной фильтрации альтернатив

Описанные выше алгоритмы были реализованы в специальной программе «AlternativesVisualizer». Разработанное программное обеспечение позволяет загрузить из табличного представления список альтернатив с числовым представлением значений по соответствующим критериям, а также в режиме визуализации осуществить их фильтрацию (рис. 6).

Для фильтрации программа предусматривает два подхода – ручная фильтрация путём сокрытия или отображения альтернативы (центральная часть формы на рис. 6), а также фильтрация на основе пороговых значений критериев (правая часть формы на рис. 6) – все альтернативы, которые содержат не удовлетворяющие пороговым значения, скрываются.

В нижней части формы  представлена упрощенная область визуализации альтернатив, на которой пользователь может выбрать диапазон альтернатив, отображаемых в основной области, путём перемещения соответствующего прямоугольного блока. С помощью кнопок панели инструментов пользователь может перейти в режим сокрытия или отображения альтернатив. Само сокрытие или отображение осуществляется путём нажатия кнопки мыши над соответствующей альтернативой на основной области визуализации.

 

Рис. 5. Сетка размещения альтернатив

 

Рис. 6. Интерфейс программного обеспечения визуальной фильтрации альтернатив «AlternativesVisualizer»

 

Программа «AlternativesVisualizer» поддерживает все 4 варианта визуализации, рассмотренные в работе:

•      сектора с радиусами пропорциональными значениям критериев для альтернативы;

•      сектора с радиусами пропорциональными корням значений критериев для альтернативы;

•      лепестковая диаграмма с перестановкой критериев p₁;

•      лепестковая диаграмма с перестановкой критериев p₂.

Работая с программой, пользователь может несколько раз провести эксперименты по фильтрации альтернатив, используя разные способы их визуализации. Полученные результаты сводятся в единую таблицу (рис. 7).

Дополнительно на основе полученной таблицы программа «AlternativesVisualizer» проводит анализ результатов и в отдельный список выводит номера альтернатив, которые пользователь выбрал во всех экспериментах. Такой подход позволяет дополнительно сократить результирующее множество отфильтрованных альтернатив, оставив только те, которым ЛПР отдал предпочтение для всех способов визуализации.

С помощью разработанной программы «AlternativesVisualizer» был проведен эксперимент. Случайным образом было сгенерировано множество альтернатив (200 альтернатив) с 15 критериями. К этому множеству была добавлена альтернатива с максимальными значениями по всем критериям из всех 200 сгенерированных (с целью проверить, что такая альтернатива не будет отфильтрована). Таким образом, всего альтернатив было 201. Задача фильтрации альтернатив решалась 5 раз с использованием разных методов: 4 метода разных вариантов визуализации и один метод – установка небольших пороговых значений для всех критериев с целью уменьшить количество отображаемых альтернатив на порядок. Результаты проведенных экспериментов представлены в табл. 1.

С помощью программы (на вкладке «Результаты») найдём пересечение множеств альтернатив, найденных в 1-4 экспериментах, и получим 18 альтернатив (рис. 7). При определении пересечения множеств альтернатив, полученных во всех экспериментах, получаем всего 7 альтернатив: 4, 5, 27, 62, 83, 155, 201. В случае объединения множеств альтернатив (эта функция также доступна на вкладке «Результаты» программы), полученных в 1-4 экспериментах, получим 68 альтернатив. А если объединить множества альтернатив, полученные во всех пяти экспериментах, то получим 78 альтернатив.

Таблица 1. Результаты экспериментов по фильтрации альтернатив с применением различных методов.

 

Рис. 7. Интерфейс вкладки «Результаты»

 

Анализируя полученные результаты, можно сделать вывод, что наибольший эффект по фильтрации альтернатив достигается при поиске пересечения множеств, получаемых в ходе экспериментов с различными способами визуализации в сочетании с пороговой  фильтрацией альтернатив. Дальнейшую работу по выбору оптимальной альтернативы целесообразно осуществлять с этим подмножеством с применением других методов принятия решений, рассчитанных и применимых на небольшом количестве альтернатив.

4.   Эксперимент

С помощью разработанного программного обеспечения «AlternativesVisualizer» также был проведен эксперимент для реальных альтернатив. Для вычислительной задачи оценки точности расчетов невязкого обтекания конуса с помощью нескольких солверов OpenFoam (rhoCentralFoam, pisoCentralFoam, sonicFoam, rhoPimpleFoam, QGDFoam) были получены оценки по 144 критериям для норм L1 и L2 [8, 9].

После предварительной обработки исходных данных по норме L1 было оставлено только 88 критериев (т.к. по остальным критериям данные были неполные). Построив и проанализировав визуальные образы для разных алгоритмов было определено, что альтернатива, соответствующая солверу pisoCentralFoam, практически всегда занимает большую площадь и является более контрастной за счет использования красной заливки на границе соответствующего визуального образа, поэтому можно сделать вывод о том, что этот алгоритм является наиболее предпочтительным (рис. 8-11).

 

Рис. 8. Визуализация альтернатив методом «Сектора (радиус)» для критериев по норме L1

 

Рис. 9. Визуализация альтернатив методом «Сектора (корень радиуса)» для критериев по норме L1

 

Рис. 10. Визуализация альтернатив методом «Лепестковая (перестановка p₁)» для критериев по норме L1

 

Рис. 11. Визуализация альтернатив методом «Лепестковая (перестановка p₂)» для критериев по норме L1

 

При сравнении альтернатив по 2-м нормам было отобрано 176 критериев, а одна из альтернатив была исключена из рассмотрения, т.к. по ней отсутствовали данные по норме L2. В результате визуальной фильтрации было определено, что из четырёх альтернатив визуально две альтернативы имеют большую площадь, а также более контрастны (за счет применения красного цвета на границах визуального образа) – эти образы определяли солверы rhoCentralFoam и pisoCentralFoam (рис. 12-15). Однако предпочтение снова можно отдать солверу pisoCentralFoam, т.к. он практически во всех образах визуально занимает немного большую площадь по сравнению с солвером rhoCentralFoam.

 

Рис. 12. Визуализация альтернатив методом «Сектора (радиус)» для критериев по нормам L1 и L2

 

Рис. 13. Визуализация альтернатив методом «Сектора (корень радиуса)» для критериев по нормам L1 и L2

 

Рис. 14. Визуализация альтернатив методом «Лепестковая (перестановка p1)» для критериев по нормам L1 и L2

 

Рис. 15. Визуализация альтернатив методом «Лепестковая (перестановка p₂)» для критериев по нормам L1 и L2

 

5.   Заключение

Рассмотренные в работе подходы к размещению и фокусировки альтернатив и алгоритмы построения визуальных образов для многокритериальных альтернатив (четыре алгоритма) показали, что визуальная фильтрация может быть достаточно эффективным методом в сужении исходного множества альтернатив. В результате проведения нескольких экспериментов по фильтрации с помощью разработанного программного обеспечения исходное множество из 201 альтернативы было сокращено до 27-50 альтернатив. Выделение из результатов разных экспериментов общего подмножества, присутствующего в результатах всех экспериментов позволило сузить это множество всего до 7 альтернатив, т.е. примерно в 28 раз.

В работе было рассмотрено 4 варианта построения визуальных образов. Однако, возможно дальнейшее расширение этих вариантов за счет применения дополнительных техник визуализации: трехмерная визуализация, другие виды диаграмм, другие виды определения перестановок критериев и т.п.

Также было проведен эксперимент по визуальному выбору лучшей альтернативы (солвера) по известным критериям, характеризующих точность расчетов. Сравнение производилось для 5 альтернатив, а количество критериев достигало 176. В результате сравнительного визуального анализа было наглядно видно, что солвер pisoCentralFoam даёт более точные результаты расчетов.

Дополнительной особенностью разработанного математического и программного обеспечения является то, что оно пригодно, в том числе и при использовании группой экспертов, каждый из которых может проводить серию экспериментов с различными видами построения визуальных образов, а после чего полученные результаты можно сводить воедино.

6.   Благодарности

Работа выполнена при финансовой поддержке Российского научного фонда (РНФ), грант № 18-11-00215.

7.   Литература

[1]   Figuera J., Greco S. and Ehrgott M. (Eds).  Multiple Criteria Decision Analysis: State of the Art Surveys. – New York: Springer, 2005. – DOI: 10.1007/b100605.

[2]   Zakharova A., Vekhter E., Shklyar A., Pak A. Visual modeling in an analysis of multidimensional data // Journal of Physics: Conference Series. – 944. – 012127, 2018. DOI: 10.1088/1742-6596/944/1/012127.

[3]   Isaev R.A., Podvesovskii A.G. Generalized Model of Pulse Process for Dynamic Analysis of Sylov’s Fuzzy Cognitive Maps // CEUR Workshop Proceedings of the Mathematical Modeling Session at the International Conference Information Technology and Nanotechnology (MM-ITNT 2017), Vol. 1904. – P. 57-63. – DOI: 10.18287/1613-0073-2017-1904-57-63

[4]   Podvesovskii A.G., Isaev R.A. Visualization Metaphors for Fuzzy Cognitive Maps // Scientific Visualization, 2018, Vol. 10, Num. 4, P. 13-29. – DOI: 10.26583/sv.10.4.02

[5]   Zakharova, A.A., Shklyar, A.V. Informative features of data visualization tasks // Scientific Visualization, 2015, Vol. 7, Issue 2, P. 73-80.

[6]   Pomerol J-C., Romero S. Multicriterion Decision in Management: Principles and Practice. – Kluwer Academic Publishers: Boston, 2000. – DOI: 10.1007/978-1-4615-4459-3.

[7]   Morris M.F. Kiviat graphs: Conventions and “figures of merit” // ACM SIGMETRICS Performance Evaluation Review. – V. 3, N. 3. – P. 2-8. – New York: ACM, 1974. – DOI: 10.1145/1041691.1041692.

[8]   Bondarev A.E., Kuvshinnikov A.E. Analysis of the Accuracy of OpenFOAM Solvers for the Problem of Supersonic Flow Around a Cone // ICCS 2018, Lecture Notes in Computer Science (LNCS) 10862. – P. 221–230, 2018. – DOI: 10.1007/978-3-319-93713-7_18.

[9]   Bondarev A., Kuvshinnikov A. Comparative Estimation of QGDFoam Solver Accuracy for Inviscid Flow Around a Cone // IEEE The Proceedings of the 2018 Ivannikov ISPRAS Open Conference (ISPRAS-2018). – P. 82-87, 2018. – DOI: 10.1109/ISPRAS.2018.00019.

---

Visualization Algorithms for Multi-criteria Alternatives Filtering

Authors: A.A.  Zakharova^1,А,В, D.A.  Korostelyov^2,B, O.N.  Fedonin^3,B

^A Keldysh Institute of Applied Mathematics Russian Academy of Sciences

^B Bryansk State Technical University

¹ ORCID: 0000-0003-4221-7710, zaa@tu-bryansk.ru

² ORCID: 0000-0002-0853-7940, nigm85@mail.ru

³ ORCID: 0000-0002-3511- 699X, rector@tu-bryansk.ru

 

Abstract

The article considers a decision-making problem for multi-criteria problems characterized by a large number of criteria and alternatives. As one of stages in making decisions in such situations, it is proposed to use a filtering of alternatives based on their visual images. For these purposes, the paper describes main aspects of this approach, as well as a statement of the algorithms for constructing the corresponding visual images based on radar and radial diagrams. A description of data preparation for operation of visualization algorithms for multi-criteria alternatives with an aim of their filtering is given. The paper describes software “AlternativesVisualizer” that implements the proposed algorithms, as well as providing interaction with an expert for visual filtering of multi-criteria alternatives. Additionally, the capabilities of the developed software are described. They include filtering alternatives based on threshold values, as well as the possibility of conducting a series of experiments in order to obtain the union or the intersection of filtered sets of alternatives. An experimental study of the developed algorithms and approaches effectiveness based on a synthetic test and an experiment on visual filtering of real alternatives describing the accuracy of calculating the inviscid flow around a cone using several OpenFoam solvers (rhoCentralFoam, pisoCentralFoam, sonicFoam, rhoPimpleFoam, QGDFoam) is presented. Each solver is characterized by 288 criteria, and with the help of the developed algorithms during visual filtering, the clear predominance of two solvers over the others is established.

 

Keywords: choice set visualization, alternative visual image, visual filtering, multi-criteria alternatives, radial diagrams, radar charts.

 

References

               

[1]   Figuera J., Greco S. and Ehrgott M. (Eds).  Multiple Criteria Decision Analysis: State of the Art Surveys. – New York: Springer, 2005. – DOI: 10.1007/b100605.

[2]   Zakharova A., Vekhter E., Shklyar A., Pak A. Visual modeling in an analysis of multidimensional data // Journal of Physics: Conference Series. – 944. – 012127, 2018. DOI: 10.1088/1742-6596/944/1/012127.

[3]   Isaev R.A., Podvesovskii A.G. Generalized Model of Pulse Process for Dynamic Analysis of Sylov’s Fuzzy Cognitive Maps // CEUR Workshop Proceedings of the Mathematical Modeling Session at the International Conference Information Technology and Nanotechnology (MM-ITNT 2017), Vol. 1904. – P. 57-63. – DOI: 10.18287/1613-0073-2017-1904-57-63

[4]   Podvesovskii A.G., Isaev R.A. Visualization Metaphors for Fuzzy Cognitive Maps // Scientific Visualization, 2018, Vol. 10, Num. 4, P. 13-29. – DOI: 10.26583/sv.10.4.02

[5]   Zakharova, A.A., Shklyar, A.V. Informative features of data visualization tasks // Scientific Visualization, 2015, Vol. 7, Issue 2, P. 73-80.

[6]   Pomerol J-C., Romero S. Multicriterion Decision in Management: Principles and Practice. – Kluwer Academic Publishers: Boston, 2000. – DOI: 10.1007/978-1-4615-4459-3.

[7]   Morris M.F. Kiviat graphs: Conventions and “figures of merit” // ACM SIGMETRICS Performance Evaluation Review. – V. 3, N. 3. – P. 2-8. – New York: ACM, 1974. – DOI: 10.1145/1041691.1041692.

[8]   Bondarev A.E., Kuvshinnikov A.E. Analysis of the Accuracy of OpenFOAM Solvers for the Problem of Supersonic Flow Around a Cone // ICCS 2018, Lecture Notes in Computer Science (LNCS) 10862. – P. 221–230, 2018. – DOI:10.1007/978-3-319-93713-7_18.

[9]   Bondarev A., Kuvshinnikov A. Comparative Estimation of QGDFoam Solver Accuracy for Inviscid Flow Around a Cone // IEEE The Proceedings of the 2018 Ivannikov ISPRAS Open Conference (ISPRAS-2018). – P. 82-87, 2018. – DOI: 10.1109/ISPRAS.2018.00019.