1. Введение

Очевидно, что визуализация знаний – это одно из актуальных направлений развития современной инженерии знаний, причем имеющее очень большое значение для повышения эффективности образовательного процесса.

В работе В.В. Магалашвили и В.Н. Бодрова дается следующее определение визуализации знаний: «это область, граничащая с менеджментом знаний, психологией, графическим дизайном, педагогикой. Основная цель визуализации (знаний) – улучшить передачу знаний, стимулировать когнитивные процессы» [1, с.421]. Там же отмечается, что «визуализация знаний – это набор графических элементов и связей между ними, используемый для передачи знаний от эксперта к человеку или группе людей, раскрывающий причины и цели этих связей в контексте передаваемого знания» [1, с. 422].

Martin J. Eppler и Remo A. Burkhard дают следующее определение: «Knowledge visualization designates all graphic means that can be used to construct, assess, measure, convey or apply knowledge (i.e. complex insights, experiences, methods, etc.)» (в переводе: «Визуализация знаний обозначает все графические средства, которые можно использовать для построения, оценки, измерения, передачи или применения знаний (т. е. сложные идеи, опыт, методы и т. д.)») [2, c. 112].

В работе В.Ю. Давыдовой отмечается, что визуализация не сводится к иллюстрациям: «Под визуализацией имеется в виду когнитивная технология трансформирования семантической информации в зримую картину» [3, с. 25].

В.Д. Лобашев и И.В. Лобашев говорят о следующих проявлениях визуализации знаний как важнейшего направления усовершенствования дидактических средств:

- визуализация знаний стимулирует адресное развитие когнитивных процессов;

- обеспечивает процесс передачи знаний в форме обработанной, апробированной суммы информации;

- обеспечивает интегративный характер областей знаний с точки зрения логики взаимопроникновения исходных понятий, постулатов, закономерностей;

- имеет тенденцию к саморасширению и др. [4].

В работе C. Vieira, P. Parsons, V. Byrd [5] отмечается, что визуальное восприятие образов имеет достаточно сложную перцептивно-сенсорную природу и что инструменты визуализации задействуют когнитивные и перцептивные способности человека.

J. Thomas и K. Cook пишут о необходимости разработки нового набора визуальных парадигм, которые смогут решать следующие задачи:

- облегчить восприятие постоянно растущих массивов данных различных типов;

- обеспечить основу для анализа пространственных и временных данных;

- способствовать пониманию неопределенной и неполной информации;

- предоставлять управляемые визуализации, адаптируемые под пользователя;

- поддерживать несколько уровней абстракции данных и информации;

- содействовать обнаружению знаний посредством синтеза информации на основе интеграции данных [6, с.99].

На основании вышесказанного можно сделать вывод, что визуализация знаний – это сложное, многокомпонентное понятие, имеющее ряд особенностей в контексте дидактических принципов образовательного процесса, теории когнитивной модели личности и особенностей перцептивного свойства мышления.

Цель данного исследования – рассмотреть теоретические и практические аспекты визуализации знаний в учебном процессе, изучить различные модели представления знаний, привести пример построения онтологии для представления предметной области визуализации знаний в процессе обучения, а также пример применения Карт Кохонена для визуализации успеваемости студентов.

2. Модели представления знаний

Модель представления знаний включает в себя способы формализации и структурирования знаний, предназначенных для отражения характерных признаков знаний, например, их внутреннюю интерпретируемость, связность, структурированность и т.д.

В работе [2] рассматриваются следующие п римеры визуализации знаний:

- структурированный текст и таблицы для систематизации знаний;

- эвристические наброски (рисунки, которые используются для помощи личному или групповому осмыслению и процессу общения);

- концептуальные диаграммы, представляющие собой схематические изображения абстрактных идей с помощью стандартных форм (таких как стрелки, круги, пирамиды и пр.);

- визуальные метафоры, которые переносят элементы понимания из освоенного предмета в новую область;

- карты знаний как схемы применения знаний;

- интерактивные визуализации и анимация.

В [7] отмечается, что к примерам основных моделей и форм представления знаний можно отнести:

- продукционную модель, описывающую знания в виде набора правил типа «Если - то»;

- фреймовую модель, основанную на теории фреймов Марвина Минского, в концепции которой фрейм (в пер. с англ. рамка) состоит из слотов (своего рода набора рамочных условий) для размещения объектов, характеризующих текущую ситуацию;

- семантическую сеть, представляющую систему знаний некоторой предметной области в виде целостного графического образа сети. Дуги этой сети соответствуют отношениям между объектами, а узлы – основным понятиям и объектам предметной области (один из примеров – онтологии как способ формализации предметной области с помощью некоторой графической концептуальной схемы);

- логическую модель, основанную на системе исчисления логических функций (так называемых предикатов) первого порядка.

При описании знаний также достаточно часто используется теория нечеткой логики и нечетких множеств. Как известно, с оздание теории нечетких множеств - это попытка формализовать способ рассуждения человека, используя понятие лингвистической переменной. При этом лингвистическая переменная – это переменная, которая может принимать значения фраз из естественного языка.

В качестве моделей представления знаний также могут выступать и определенные языки и нотации. Под нотацией при этом будем понимать определенную систему условных обозначений, принятых в какой-либо области знаний.

В современной литературе также широко используется термин поле знаний – условное частично формализованное описание основных понятий и взаимосвязей между понятиями предметной области, выявленное из знаний эксперта и имеющее вид графа, диаграммы, таблицы и др.

Анализируя современные тренды визуализации знаний, Т.А. Гаврилова, А.И. Алсуфьев, Э.Я. Гринберг приводят следующие критерии классификации методов визуализации в управлении знаниями [8]:

- создание визуальных образов;

- кодификация;

- передача;

- идентификация;

- применение;

- изменение;

- маркетинг.

Рассмотрим особенности моделирования знаний в учебном процессе.

Если рассматривать знания с позиции инженерии знаний, то знания - это закономерности предметной области (в виде принципов, связей, законов и др.), полученные в результате практической деятельности и профессионального опыта.

При этом знания могут рассматриваться как на эмпирическом уровне (например, наблюдения, факты), так и на теоретическом (законы, абстракции, обобщения).

Концептуальная модель знаний о предметной области может быть построена в зависимости от ее уровня представления:

- на объектном уровне – представляет собой множество объектов предметной области и множество отношений, связывающих объекты (например, в виде графа, инфологической модели и др.);

- на функциональном уровне – отражает модель рассуждений и принятия решений (например, в виде функциональной модели);

- на поведенческом уровне – отражает изменение предметной области в результате возникновения некоторых событий (может быть представлено, например, с использованием табличной модели).

Учебный процесс имеет при этом свою специфику, отражающую гносеологический аспект формирования знаний.

Гносеологичность передачи знаний заключается в том, что знания и опыт преподавателя интерпретируются сознанием студента, что служит уже основой для построения его собственного поля знаний. Знания студента являются синтезированным отражением научной школы преподавателей его курса, отражением имеющихся учебных ресурсов, а также результатом личностной работы и личностного познания (рис. 1).

При том также можно отметить, что учебный процесс включает в себя и концепцию метазнаний – как знания о порядке и правилах применения знаний (знания о знаниях).

 

Рис. 1. Структура поля знаний визуализации учебного процесса

 

Визуализация средств обучения при этом соответствует концепции дидактического принципа наглядности обучения. В работах [6, 9] выделяют такие принципы визуализации информации как соответствие задаче, уместность, понятность и др. (рис 2).

 

Рис. 2. Принципы визуализации

 

Визуальное восприятие базируется на особенностях перцептивного свойства мышления – отражать события, предметы, явления внутреннего и внешнего мира через работу зрительных органов чувств.      При этом компетенция визуализации складывается из таких элементов как аналитический компонент, наглядно-образный, пространственно-образный, абстрактно-логический и т.д. (рис. 3).

 

Рис. 3. Структура компетенции визуализации

 

Используя работы [10, 11] можем сказать, что визуализация знаний в ходе учебного процесса помогает решать следующие дидактические задачи:

- реализовывать в учебном процессе принцип наглядности через образное представление знаний, их передачу, получение и обобщение на основе зрительной информации;

- активизировать учебную и познавательную деятельность студентов с учетом их индивидуальных когнитивных особенностей;

- развивать аналитическое и критическое мышление, совершенствовать умение и навыки анализа данных;

- формировать и развивать наглядно-образное и пространственно-образное мышление, зрительное восприятие;

- формировать навыки систематизации и структурирования информации, изучать приемы систематизации и структурирования данных , используя наглядно-образные и логико-символические модели;

- развивать абстрактно-логическое и алгоритмическое мышление, логические навыки, а также навыки ассоциативного мышления;

- повышать визуальную грамотность и культуру визуализации, формировать профессиональную компетенцию по работе с визуальной информацией в области будущей профессиональной деятельности.

3. Пример разработки онтологии для представления предметной области «Визуализация знаний в учебном процессе»

С целью изучения основных понятий визуализации знаний в учебном процессе и их взаимосвязи был разработан пример модели онтологии, охватывающей ряд аспектов визуализации учебной информации с точки зрения образовательных целей кафедры информатики и информационных технологий.

Для программной реализации онтологии был ис­пользован редактор онтологий Protégé, предназначенный для построения баз знаний и основанный на язы­ке веб-онтологий OWL. Данный редактор позволяет выстраивать иерархию клас­сов рассматриваемой предметной области (поля знаний) и имеет свой собственный механизм определения классов и индивидов, а также задания их свойств [12].

В качестве основных классов онтологии выступили такие понятия как:

- Disciplines – учебные дисциплины, формирующие навыки визуализации (например, Информатика, Математика, Базы данных, Проектирование информационных систем, Программирование, Компьютерная графика, Web-дизайн, Интеллектуальные информационные системы, Web-программирование);

- Software – программные средства, используемые в ходе учебного процесса и отвечающие концепции формирования компетенции визуализации (например, аналитические и статистические пакеты, электронные таблицы, компьютерная математика, пакеты моделирования логических схем, системы моделирования, системы компьютерной графики, средства проектирования программных интерфейсов, системы компьютерной анимации, системы веб-дизайна, компьютерные презентации, системы инженерной графики, САПР, геоинформационные системы, системы моделирования ландшафта и др.);

- Knowledge_Models – основные модели представления знаний (продукционная, фреймовая, семантическая, логическая);

- Skills – основные навыки визуализации с точки зрения компонент компетенции визуализации (аналитический, наглядно-образный, пространственно-образный, абстрактно-логический и т.д.);

- Visualization – виды классов визуальных объектов (например, рисунки, иллюстрации, схемы, модели, презентации, блок-схемы, формы интерфейсов программ, анимация, 3d графика, макеты дизайна, графы, чертежи, фотографии, геоинформационные карты, графики, поверхности, диаграммы, инфографика, бизнес-графика, OLAP-кубы, семантические сети, онтологии, графы нейронных сетей, кластеры, когнитивные карты и др.).

Ряд классов имеет еще и свои подклассы, например, с точки зрения нотаций модели подразделяются на подвиды:

- ER-модели;

- модели IDEF;

- модели ARIS;

- модели BPMN;

- модели UML и др.

Классы и подклассы включают в свой состав подмножество индивидов, охватывающих заданный объект предметной области.

Например, в состав класса программных средств «Электронные таблицы» входят такие экземпляры класса как MS Excel, LibreOffice Calc, OpenOffice Calc и др. К классу визуальных объектов «Диаграммы» можно отнести такие виды диаграмм как гистограмма, линейчатая, круговая, кольцевая, точеная, комбинированная, график, поверхность и т.д.

На рис. 4 и 5 представлены он­тографы построенной онтологии для предметной области «Визуализация знаний в учебном процессе». При этом на рис. 4 представлена общая структура иерархии классов онтологии. Рис. 5 содержит фрагмент онтологии межклассовых связей, отражающих примеры взаимосвязи учебных дисциплин с классами визуальных объектов.

 

Рис. 4. Структура иерархии классов

 

Рис. 5. Фрагмент онтологии связей между классами

4. Пример применения Карт Кохонена для визуализации данных об успеваемости студентов

Как пример визуализации компонентов учебного процесса, рассмотрим возможность применения Карт Кохонена для визуального представления успеваемости студентов.

Карты Кохонена выступают как один из примеров самоорганизующихся карт (англ. Self-Organizing Map - SOM), основанных на принципах нейронной сети с моделью обучения «без учителя». Карты состоят из ряда проекций, каждая из которых соответствует определенному анализируемому показателю [13].

Выбор Карт Кохонена в ходе данного исследования был обусловлен их эффективностью применительно к задачам кластеризации структурированных массивов данных, доступностью с точки зрения программной реализации и высокой степенью наглядности полученных результатов. Эффективность применения самоорганизующихся карт к задачам анализа успеваемости студентов на примере массовых открытых онлайн-курсов показана, например, в [14]. При этом говорится, что данный алгоритм кластеризации позволяет облегчить исследование сложных многомерных данных электронного журнала оценок, что может привести к лучшему пониманию моделей решения задач учащимися в выявленных кластерах. Там же отмечается, что SOM отличается от других алгоритмов кластеризации тем, что он размещает схожие точки данных (например, студентов, демонстрирующих одинаковое поведение при обучении) близко друг к другу в плоскости X-Y, что позволяет легко визуализировать и исследовать сложные данные.

В нашем случае были рассмотрены оценки, полученные студентами первого курса направления подготовки Бизнес-информатика Башкирского ГАУ за лабораторные работы (ЛР) в электронном курсе дисциплины «Информационные системы» в среде управления электронным обучением Башкирского ГАУ (edu.bsau.ru).

В качестве оцениваемых показателей выступили следующие виды работ:

- ЛР1 «Создание однотабличной базы данных»;

- ЛР2 «Создание многотабличной базы данных»;

- ЛР3 «Запросы с вычислениями и параметрами»;

- ЛР4 «Запросы-действия»;

- ЛР5 «Создание и редактирование отчетов»;

- ЛР6 «Разработка графических элементов форм»;

- ЛР7 «Кнопочные формы»;

- ЛР8 «Создание подчиненных и связанных форм»;

- ЛР9 «Макросы»;

- Текущая аттестация.

Количество студентов на курсе - 63 человека.

Для проведения кластерного анализа был использован инструмент многомерного кластерного анализа «Карты Кохонена» аналитической программы Deductor Studio [15]. Данный программный комплекс содержит большой набор инструментов для аналитики многомерных данных, позволяя, в том числе, реализовывать задачи кластерного анализа на основе самоорганизующихся карт с использованием визуализатора в виде набора наглядных многоцветных графических объектов-проекций карт. Работа с данным инструментом не требует применения навыков программирования и включает следующие основные этапы: подготовка обучающей выборки; нормализация значений полей с целью их приведения к выбранной числовой шкале; обучение нейронной сети, включая настройку параметров обучения из предлагаемого готового набора компонент; настройка визуализатора отображения данных [15, с. 141-145]. Числовая характеристика исследуемого массива входных данных при этом может изменяться на каждой проекции карты в рамках цветовой шкалы от темно-синего цвета (для наиболее низких показателей в выборке) до красного цвета (для наиболее высоких показателей) (рис. 6).

В данном случае целью кластерного анализа являлось выявление групп студентов, имеющих сходные показатели с точки зрения комплексной характеристики уровня успеваемости (для выстраивания различных траекторий дальнейшего обучения групп в электронном курсе), а также выявление заданий, вызвавших наибольшее затруднение у студентов (для дальнейшего пересмотра методики преподавания данных тем).

Как видим из рисунка 6, по результатам кластерного анализа были построены три кластера с номерами 0, 1, 2, соответствующие разным уровням подготовки студентов.

Самые высокие показатели наблюдаются в кластере №2, находящемся в правой части каждой из проекций карт, в него вошли студенты с самой высокой успеваемостью (желтого и красного цвета). У студентов данного кластера практически отсутствуют неудовлетворительные (темно-синие) оценки за текущие работы, большинство работ, за редким исключением, было выполнено на оценки «хорошо» (желтый цвет) и «отлично» (красный цвет).

Средние показатели успеваемости показали студенты кластера №1, расположенного в средней части каждой из проекций. Данных студентов можно отнести к группе «условно успевающие». В целом, студенты справились с большинством заданий курса, но имеют отдельные неудовлетворительные оценки, что может быть исправлено за счет некоторой коррекции дальнейшей образовательной траектории.

И наиболее слабые показатели продемонстрировали студенты, отнесенные к кластеру №0, находящемуся в левой части всех проекций. Студенты данного кластера показали крайне низкие (темно-синие) результаты при выполнении ЛР4, ЛР5, ЛР7, ЛР8, а также получили низкие оценки за другие лабораторные работы. Успеваемость данных студентов нуждается в значительной коррекции. Необходимо проведение для них дополнительных консультаций, усиление мониторинга за их самостоятельной работой и др.

 

Рис. 6. Пример применения Карты Кохонена для визуализации успеваемости студентов

 

Сводный анализ «Профили кластеров» и фамилии студентов, вошедших в тот или иной кластер, можно увидеть непосредственно в системе Deductor Studio. В данном случае в кластер №2 вошли 30 студентов (47,6% от общего количества), в кластер №1 – 15 студентов (23,8%), в кластер №0 – 18 студентов (28,6%).

Также можно сделать выводы относительно сложности выполнения отдельных заданий курса. Как видим из рисунка 6, наиболее сложной для изучения оказалась ЛР8 «Создание подчиненных и связанных форм», данная проекция карт имеет наибольший объем темно-синей окраски, соответствующей наиболее низким оценкам студентов. С данной работой не справились почти все студенты кластера №0 и большинство студентов кластера №1, а часть студентов кластера №2 получили за эту работу нехарактерные для них оценки «удовлетворительно». Кроме этого, большой объем синего цвета (неудовлетворительные оценки) наблюдается также в проекциях ЛР4 «Запросы-действия», ЛР7 «Кнопочные формы». Необходимо обратить особое внимание на данные работы, пересмотреть методику преподавания данных тем, проводить по ним дополнительные консультации, переработать методические указания к выполнению данных лабораторных работ, увеличить в них количество разобранных примеров, включить дополнительные подробные рекомендации к выполнению заданий индивидуальных вариантов и др.

В целом можно заключить, что Карты Кохонена дают наглядное представление об успеваемости студентов в разрезе отдельных тем, а также визуализируют интегрированное общее представление о степени усвоения учебного материала студентами в контексте их кластерного разбиения.

5. Заключение

В качестве заключения можем сделать следующие выводы:

- визуализация знаний – это сложное, многокомпонентное понятие, имеющее ряд особенностей в контексте дидактических принципов образовательного процесса, теории когнитивной модели личности, особенностей перцептивного свойства мышления, философского восприятия, гносеологической теории познания и теории отражения действительности в сознании человека;

- визуализация знаний в ходе учебного процесса помогает решать ряд дидактических задач, связанных с активизацией познавательной деятельности учащихся и развития у них образного и аналитического мышления;

- формирование навыков визуализации в ходе учебной деятельности является комплексной задачей, зависящей от большого числа компонент; данные навыки являются базовыми факторами для формирования компетенции визуализации;

- решение задачи визуализации знаний требует применения современных инновационных технологий, охватывающих сквозные цифровые технологии, технологии обработки больших данных, интеллектуальный анализ многомерных данных и т.д.

Список литературы

1. Магалашвили В.В., Бодров В.Н. Ориентированная на цели визуализация знаний // Образовательные технологии и общество, Т. 11, № 1, 2008, С. 420-433.

2. Eppler M., Burkhard R. Visual representations in knowledge management: Framework and cases // Journal of Knowledge Management, Vol. 11, No. 4, 2007, pp. 112-122 (doi: 10.1108/13673270710762756)

3. Давыдова В.Ю. Методология визуализации теоретических знаний // Вестник Самарского государственного университета. Серия: Экономика и управление, № 3 (84), 2011, С. 24-28.

4. Лобашев В.Д., Лобашев И.В. Визуализация знаний в образовательном процессе // Наука и школа, № 4, 2021, С. 75-86 (doi: 10.31862/1819-463X-2021-4-75-86)

5. Vieira C., Parsons P., Byrd V. Visual learning analytics of educational data: A systematic literature review and research agenda // Computers & Education, Vol. 122, 2018, рр. 119-135 (doi: 10.1016/j.compedu.2018.03.018)

6. Thomas J., Cook K. Illuminating the Path: Research and Development Agenda for Visual Analytics. IEEE-Press, 2005.

7. Андрейчиков А.В., Андрейчикова О.Н. Интеллектуальные информационные системы и методы искусственного интеллекта. М.: Издательство НИЦ ИНФРА-М, 2022.

8. Гаврилова Т.А., Алсуфьев А.И., Гринберг Э.Я. Визуализация знаний: критика Сент-Галленской школы и анализ современных трендов // Бизнес-информатика, № 3 (41), 2017, С. 7-19 (doi: 10.17323/1998-0663.2017.3.7.19)

9. Tversky B., Morrison J., Betrancourt M. Animation: Can It Facilitate? // International Journal of Human-Computer Studies, Vol. 57, Issue 4, 2002, рр. 247-262 (doi: 10.1006/ijhc.2002.1017)

10. Полякова Е.В. Применение способов и методов визуального мышления в современном образовании // Известия ЮФУ. Технические науки, № 10 (135), 2012, С. 120-124.

11. Шорина Т.В. Обоснование визуального компонента информационных образовательных ресурсов высшего образования // Современные проблемы науки и образования, № 2, 2021, С. 81 (doi: 10.17513/spno.30720)

12. Jain V., Singh M. Ontology Development And Query Retrieval Using Protégé Tool // International Journal of Intelligent Systems and Applications, Vol. 5, № 9, 2013, рр. 67-75 (doi: 10.5815/ijisa.2013.09.08)

13. Kohonen T. Self-Organizing Maps, 3rd Edition. Berlin: Springer-Verlag Berlin Heidelberg (Springer Series in Information Sciences), 2001, 502 p. (doi: 10.1007/978-3-642-56927-2)

14. Lee Y. Using Self-Organizing Map and Clustering to Investigate Problem-Solving Patterns in the Massive Open Online Course: An Exploratory Study // Journal of Educational Computing Research, Vol. 57, Issue 2, 2019, рр. 471–490 (doi: 10.1177/0735633117753364)

15. Deductor. Руководство аналитика. Версия 5.3. Компания BaseGroup Labs, 219 с. [Электронный ресурс]. URL: https://basegroup.ru/system/files/documentation/guide_analyst_5.3.0.pdf (дата обращения 25.02.2023)

---

Visualization of Knowledge in the Educational Process

Author: T.M. Shamsutdinova¹

Bashkir State Agrarian University, Ufa, Russia

¹ ORCID: 0000-0003-1809-3615, tsham@rambler.ru

 

Abstract

The purpose of the study is to examine the theoretical and practical aspects of knowledge visualization in the educational process, to compare different models of knowledge representation, give an example of building an ontology to represent the subject area of knowledge visualization in the learning process, as well as an example of using Kohonen Maps to visualize student performance.

In the study, modeling methods were used to learn ontological and cluster models, methods of visualization and data systematization.

It is concluded that the visualization of knowledge is a complex, multicomponent concept that has a number of features in the context of the didactic principles of the educational process, the theory of the cognitive model of personality, the features of the perceptual properties of thinking, philosophical perception, the epistemological theory of knowledge and the theory of reflection of reality in the human mind.

 

Keywords: knowledge, knowledge visualization, modeling, educational process, ontology, Kohonen Maps.

 

References

1. Magalashvili V., Bodrow W. Oriyentirovannaya na tseli vizualizatsiya znaniy [Goal-Oriented Knowledge Visualization] // Obrazovatel'nyye tekhnologii i obshchestvo [Educational Technology & Society], Vol. 11, № 1, 2008, рр. 420-433. [in Russian]

2. Eppler M., Burkhard R. Visual representations in knowledge management: Framework and cases // Journal of Knowledge Management, Vol. 11, No. 4, 2007, pp. 112-122 (doi: 10.1108/13673270710762756)

3. Davydova V.Yu. Metodologiya vizualizatsii teoreticheskikh znaniy [The Methodology of Vizualizationof Theoretical Knowledge] // Vestnik Samarskogo gosudarstvennogo universiteta. Seriya: Ekonomika i upravleniye, № 3 (84), 2011, рр. 24-28. [in Russian]

4. Lobashev V.D., Lobashev I.V. Vizualizatsiya znaniy v obrazovatel'nom protsesse [Visualizing knowledge in the educational process] // Nauka i shkola [Science and School], № 4, 2021, рр. 75-86 (doi: 10.31862/1819-463X-2021-4-75-86) [in Russian]

5. Vieira C., Parsons P., Byrd V. Visual learning analytics of educational data: A systematic literature review and research agenda // Computers & Education, Vol. 122, 2018, рр. 119-135 (doi: 10.1016/j.compedu.2018.03.018)

6. Thomas J., Cook K. Illuminating the Path: Research and Development Agenda for Visual Analytics. IEEE-Press, 2005.

7. Andreychikov A.V., Andreychikova O.N. Intellektual'nyye informatsionnyye sistemy i metody iskusstvennogo intellekta [Intelligent Information Systems And Artificial Intelligence Methods]. Moscow: Scientific Publishing Center INFRA-M, 2022. [in Russian]

8. Gavrilova T.A., Alsufyev A.I., Grinberg E.Y. Vizualizatsiya znaniy: kritika Sent-Gallenskoy shkoly i analiz sovremennykh trendov [Knowledge visualization: Critique of the St. Gallen School and an analysis of contemporary trends] // Biznes-informatika [Business Informatics], № 3 (41), 2017, рр. 7-19 (doi: 10.17323/1998-0663.2017.3.7.19) [in Russian]

9. Tversky B., Morrison J., Betrancourt M. Animation: Can It Facilitate? // International Journal of Human-Computer Studies, Vol. 57, Issue 4, 2002, рр. 247-262 (doi: 10.1006/ijhc.2002.1017)

10. Polyakova E.V. Primeneniye sposobov i metodov vizual'nogo myshleniya v sovremennom obrazovanii [Application Of Visual Thinking Methods In Modern Education] // Izvestiya YUFU. Tekhnicheskiye nauki, № 10 (135), 2012, рр. 120-124. [in Russian]

11. Shorina T.V. Obosnovaniye vizual'nogo komponenta informatsionnykh obrazovatel'nykh resursov vysshego obrazovaniya [Argumentation of The Visual Component of Information Educational Resources of Higher Education] // Sovremennyye problemy nauki i obrazovaniya [Modern problems of science and education], № 2, 2021, р. 81 (doi: 10.17513/spno.30720) [in Russian]

12. Jain V., Singh M. Ontology Development And Query Retrieval Using Protégé Tool // International Journal of Intelligent Systems and Applications, Vol. 5, № 9, 2013, рр. 67-75 (doi: 10.5815/ijisa.2013.09.08)

13. Kohonen T. Self-Organizing Maps, 3rd Edition. Berlin: Springer-Verlag Berlin Heidelberg (Springer Series in Information Sciences), 2001, 502 p. (doi: 10.1007/978-3-642-56927-2)

14. Lee Y. Using Self-Organizing Map and Clustering to Investigate Problem-Solving Patterns in the Massive Open Online Course: An Exploratory Study // Journal of Educational Computing Research, Vol. 57, Issue 2, 2019, рр. 471–490 (doi: 10.1177/0735633117753364)

15. Deductor. Rukovodstvo analitika. Versiya 5.3 [Analyst Guide. Version 5.3]. BaseGroup Labs, 219 р. [Electronic resource]. URL: https://basegroup.ru/system/files/documentation/guide_analyst_5.3.0.pdf (Accessed 25.02.2023) [in Russian]