Рис. 4.6 Распределение модуля электрического поля в острие кремниевого микрокатода.

 

Рис. 4.7 Распределение электронной температуры в острие кремниевого микрокатода.

 

Рис. 4.8 Распределение электронной энергии в острие кремниевого микрокатода.

 

В заключение данного пункта следует отметить, что геометрическое моделирование помогло решить большое множество проблем в данной прикладной области. Ближайшее будущее данной работы связано с переходом к полномасштабному трехмерному параллельному моделированию. Кроме того, будет рассмотрена задача динамического туннелирования через потенциальный барьер, зависящий от молекулярной структуры эмитирующей поверхности . Первый шаг в этом направлении сделан в работе [4.31].

 

5. Моделирование образования и миграции пор в межсоединениях электронных схем

Проблема образования пор в металлах при различных физических воздействиях известна уже долгое время. С появлением и развитием электронной техники процессы порообразования в металлических соединениях электрических схем стал одним из существенных препятствий на пути повышения надежности и отказо-устойчивости электронных приборов [5.1]. В современной электронике проблема порообразования остается актуальной в связи с переходом к производству приборов нанометрового диапазона. При таких размерах даже незначительные дефекты материалов очень быстро приводят к разрушению, как отдельных схем, так и чипов в целом. Поэтому производители микросхем вынуждены разрабатывать новые подходы к решению данной проблемы. Последнее невозможно без проведения детальных исследований процессов формирования и миграции пор по соединительным линиям микросхем [5.1-5.8].

В работе [5.8] был представлен один из возможных подходов к численному моделированию процессов образования и миграции пор в межсоединениях электрических схем . Для этой цели была развита нелинейная математическая модель порообразования . Эта модель включает стационарные уравнения для электрического поля, температуры и упругих напряжений, записанные для многослойной среды, содержащей электрические линии и межсоединения. Модель также включает нестационарное уравнение диффузии для концентрации атомов металла, который используется для изготовления электрических линий и межсоединений (это может быть алюминий, медь, золото, а также их сплавы).

В качестве примера рассмотрим указанную выше задачу в случае плоской геометрии. В качестве материала для линий и межсоединений выберем медь, ограниченную танталовыми прокладками по внешнему контуру (см. рис. 5.1). Для выбранной постановки задачи в [5.8] были предложены монотонные консервативные конечно-разностные схемы на декартовых неравномерных сетках. Дискретные аналоги эллиптических уравнений для потенциала электрического поля, температуры, компонент вектора смещений решались с помощью итераций. Нестационарное уравнение диффузии для массовой доли меди решалось по полунеявной схеме по времени. Вычисления проводились с помощью разработанного комплекса параллельных программ.

Данная математическая задача имеет близкую связь с методами геометрического моделирования. Дело в том, что процесс образования пор представляет собой фазовый переход вещество – вакуум. Математическое описание этого явления можно выполнить геометрическим методом, а именно с помощью введения в модель параметра порядка, в качестве которого используется массовая доля меди. Данная методика в деталях описана в книге Сетьяна [5.7]. Она состоит в том, что система дифференциальных или интегральных уравнений, описывающих процесс перехода фаз, включает линейные или нелинейные коэффициенты, зависящие от параметра порядка. Эти зависимости приводят к скачкообразным изменениям решения при изменении геометрической конфигурации модели.

В данной работе проиллюстрируем эту комбинацию геометрического и других методов моделирования. Для этого рассмотрим краткое описание математической задачи и некоторые результаты моделирования.

Рис. 5.1 Геометрия модельной задачи . Цифрами (1, 2, 3, 4) и цветами обозначены материалы, составляющие типичное окружение межсоединения: медь (1), тантал (2), карбид кремния (3) и изолятор (4). Стрелками показано направление протекания электрического тока.

 

Процесс образования и миграции пор может быть описан с помощью следующих основных безразмерных уравнений

 

(5.1)

(5.2)

(5.3)

(5.4)

Здесь и – вектор плотности электрического тока, нелинейная проводимость, вектор напряженности электрического поля и потенциал; – операторы дивергенции и градиента в декартовых координатах – расчетная область с линейными размерами , – вектор теплового потока, коэффициент теплопроводности, температура среды, – безразмерный параметр; – скалярное произведение в пространстве – векторы, состоящие из компонент тензора термоупругости – вектор смещений; и – коэффициенты Ламе и модуль сжатия, – функция давления, описывающая термическое и массовое расширение или сжатие среды; – массовая доля меди, t– время, – суммарный диффузионный поток, и – нелинейные диффузионные коэффициенты, – обобщенный термодинамический потенциал ( – след тензора ), – подобласть , занятая медью и порами.

Граничные и начальные условия ставятся следующим образом:

(5.5)

(5.6)

(5.7)

(5.8)

Здесь – значения плотности тока на металлических боковых границах, – полный ток, – температура чипа, – равновесное значение массовой доли меди до включения тока.

Коэффициенты уравнений (5.1) – (5.4) являются разрывными и зависят от температуры и массовой доли меди нелинейным образом. Конкретный вид этих коэффициентов определяется параметрами электрической схемы и использованных материалов. Термодинамический потенциал Ф имеет следующий вид

, (5.9)

где – некоторые числовые константы, – оператор Лапласа в координатах (x,y).

Для иллюстрации эффективности используемого геометрического подхода рассмотрим некоторые результаты численного моделирования. Сначала рассмотрим процесс электромиграции в геометрически симметричном фрагменте проводящей линии (см. рис. 5.2). Выбранный фрагмент имеет длину 8 мкм и толщину 0.6 мкм. Контур линии ограничен танталовыми прокладками толщиной 0.1 мкм с каждой стороны. В представляемой конфигурации левый край медной линии открыт, правый закрыт танталом. Предполагается, что в начальный момент времени фрагмент проводящей линии не имеет дефектов, то есть концентрации вакансий и атомов в объеме меди равны своим равновесным значениям. Например, будем считать, что массовая доля меди во всем образце равна 0.98. Предполагаем также, что электрический ток включается мгновенно. Значение тока равно пкА , что соответствует условиям тестирования чипов . Температура тестирования составляет 628 K , то есть ниже температуры плавления меди, которая равна 673 K . Длина диффузии меди в численных расчетах положена равной 10 нм, что соответствует экспериментальным данным. Соответственно, это ширина интерфейса между танталом и медью, где возникают поры.

Рис. 5.2 Симметричный фрагмент электрической линии . Синий и красный цвета соответствуют включениям меди и тантала. Все размеры указаны в микронах .

 

 

Результаты вычислений эволюции массовой доли меди вблизи закрытого конца линии представлены на рис. 5.3. Они показывают, что под влиянием электрического тока неравновесные вакансии атомов меди накапливаются вблизи правого закрытого конца линии и в углах формируются две симметричные поры ( Fig . 5.3б) . Далее эти поры начинают расти навстречу друг другу вдоль танталового слоя (рис. 5.3в-5.3д). В результате они объединяются в единую пору (рис. 5.3е), которая блокирует прохождение электрического тока по меди .

Распределения модуля плотности тока на старте образования пор и после завершения их эволюции показаны на рис. 5.4. В начале порообразования ток вблизи правого конца линии течет как по меди (основная часть), так и по танталу (малая часть) . После образования поры путь электрического тока по меди постепенно блокируется. В результате ток вблизи правого конца линии начинает течь только по танталу ( Fig . 5.4б). Сопротивление тантала почти на два порядка выше, чем у меди. Поэтому интегральное сопротивление линии резко возрастает. Этот эффект приводит к негативным последствиям: неправильная работа чипа или полный выход его из строя.

Рассмотрим далее результаты вычислений для более сложной геометрической конфигурации (рис. 5.1). В этой схеме имеется межсоединение двух электрических линий (на рис. 5.1 оно расположено в центре конфигурации). Поскольку межсоединение имеет малую толщину, по нему течет максимальный ток. На рис. 5.5, 5.6 показаны распределения массовой доли меди и модуля электрического тока в межсоединении перед образованием пор и в конце их эволюции. Как видно из рисунков, пора заблокировала основной канал прохождения тока по меди (рис. 5.6б). Слева и справа от межсоединения образовались два канала тока по танталу, которые также могут вывести из строя взаимосвязь двух электрических линий.

В заключение данного пункта подчеркнем, что геометрический подход к моделированию фазовых переходов оказался достаточно эффективным. С его помощью возможно изучить и разрушение электронных схем, и формирование новых механизмов и материалов для реализации приборов наноэлектроники.

Рис. 5.3 Распределения массовой доли меди в моменты времени сек.

 

Рис. 5.4 Распределение модуля плотности тока перед образованием поры (а) и после ее эволюции (б).

 

Рис. 5.5 Распределение массовой доли меди в межсоединении перед образованием поры (а) и после ее эволюции (б).

 

Рис. 5.6 Распределение модуля плотности тока в межсоединении перед образованием поры (а) и после ее эволюции (б).

 

6. Технологии решения многомерных задач с помощью суперкомпьютеров

Современные многопроцессорные системы обладают производительностью 10^14 и более операций с плавающей точкой в секунду, что потенциально позволяет за короткое время выполнять большие объемы вычислений. С помощью суперкомпьютеров возможно проведение вычислительных экспериментов, направленных на решение фундаментальных и прикладных задач из различных областей знания, в том числе и задач современной электроники. Несмотря на то, что потребность в проведении подобных экспериментов велика, большая часть современных суперкомпьютеров востребована далеко не в полной мере. Тому есть весомые причины.

Фундаментальной проблемой создания методов, позволяющих эффективно использовать совокупную мощность множества процессоров, является необходимость разработки алгоритмов, обладающих существенным запасом внутреннего параллелизма на всех этапах расчета. На каждом шаге решения задачи должно быть достаточное количество взаимно независимых операций, выполнение которых возможно одновременно на всех выделенных для расчета процессорах. В идеале всё множество операций, необходимых для решения задачи, следует равномерно распределить между всеми процессорами на протяжении всего времени выполнения расчета. Указанная проблема, безусловно, имеет определяющий характер, но она далеко не единственная.

Рост вычислительной мощности суперкомпьютеров обеспечивается сегодня за счет экстенсивного увеличения числа обрабатывающих элементов – процессоров, процессорных ядер, технологии гипертрединга, мультитредовых устройств и им подобных (далее просто процессоров). Увеличение вычислительной мощности за счет роста числа поддерживаемых потоков команд, а не за счет скорости обработки одного потока, обусловливает несоответствие между возможностями традиционных средств подготовки и анализа данных, и способностью многопроцессорных систем к генерации больших массивов результатов.

Одним из наиболее активно используемых методов изучения процессов, протекающих в сложных многомерных объектах, является метод математического моделирования. Часто этот метод является единственной возможностью изучения сложных нелинейных явлений. Там где натурный эксперимент невозможен, необходим эксперимент вычислительный. В его рамках создается математическая модель изучаемого явления. Использование математических методов приводит к описанию объекта исследования системой нелинейных многомерных уравнений в частных производных, решение которых определяется с помощью численных методов. Непрерывная среда заменяется дискретным аналогом – конечной сеткой по времени и пространству. Дифференциальные уравнения, действующие в непрерывном пространстве, заменяются алгебраическими, действующими в дискретном пространстве разностной сетки или конечных элементов. Решение алгебраических уравнений возлагается на суперкомпьютер.

В настоящее время уже накоплен значительный опыт применения многопроцессорных систем для моделирования физических и технологических процессов, но он ориентирован в первую очередь на параллельные системы средней производительности, содержащие относительно небольшое число процессоров. При переходе к вычислительным системам, количество процессоров в которых исчисляется сотнями и более, требуется создание адекватных средств обработки больших объемов данных.

Большие объемы данных неизбежно возникают при расчетах на суперкомпьютерах. Увеличение числа процессоров, используемых для решения задачи, приводит к уменьшению объема вычислений, выполняемых на каждом из процессоров. В свою очередь, это ведёт к относительному росту доли накладных расходов, обусловленных необходимостью обеспечения взаимодействия процессов, передачи данных между процессорами и наличием других операций, обеспечивающих согласованное решение задачи на многопроцессорной системе. С ростом числа процессоров наступает насыщение – момент, после которого увеличение числа процессоров уже не приводит к сокращению времени решения задачи.

Таким образом: за счет многопроцессорности сложно сокращать время решения задачи, но с помощью суперкомпьютеров можно решать более сложные задачи, увеличивая степень детализации изучаемых объектов, включая в рассмотрения дополнительные факторы, что влечет за собой увеличение объемов данных, описывающих эти объекты.

Оперирование большими объемами данных предъявляет новые требования и к используемым алгоритмам, и к самим принципам организации работы на суперкомпьютере. Работа становится невозможной без привлечения параллельных алгоритмов и средств, поддерживающих всю цепочку действий, требуемых для численного моделирования на подробных сетках. В том числе: методов формирования геометрических моделей высокого качества, генераторов поверхностных и пространственных сеток, средств декомпозиции сеток, библиотек распределенного ввода-вывода, алгоритмов и библиотек балансировки загрузки процессоров, средств визуализации результатов крупномасштабных экспериментов и многого другого.

Будем считать объем данных «большим», если выполняются некоторые из следующих условий:

•  вычислительной мощности любого отдельно взятого процессорного узла недостаточно для обработки всего объема данных за приемлемое время;

•  оперативной памяти любого отдельно взятого процессорного узла недостаточно для хранения всего объема обрабатываемых данных;

•  пропускной способности сетей передачи данных недостаточно для передачи за разумное время всего объема полученных результатов от сервера хранения данных до рабочего места пользователя.

В дальнейшем будем руководствоваться широко использующимся на практике методом геометрического параллелизма, в соответствии с которым элементы расчетной сетки и ассоциированные с ними сеточные данные равномерно распределяются по процессорам компактными группами. За счет того, что каждый процессор обрабатывает размещенные на нем данные, вычислительная нагрузка так же равномерно распределяется по процессорам. Будем предполагать, что узлы сетки разбиты на группы таким образом, что, с одной стороны, каждая из групп содержит примерно одинаковое число узлов, а с другой – минимизировано, по возможности, число разрезанных ребер [6.1-6.7,6.9,6.13].

6.1 Иерархическая обработка больших сеток

Моделирование на многопроцессорных вычислительных системах коллективного доступа сопряжено с выполнением длительных вычислений с помощью большого количества сравнительно коротких сеансов. Число используемых процессоров может меняться от одного сеанса к другому, что вынуждает многократно решать задачу балансировки загрузки. Такая же проблема возникает в ходе визуализации результатов. Большой объем данных предполагает использование множества процессоров для фильтрации изучаемых данных, следовательно, необходим метод их рационального распределения по выделенным для обработки процессорам. Несмотря на высокую эффективность иерархических алгоритмов, разбиение нерегулярных расчетных сеток большого размера занимает значительное время. Для уменьшения потерь целесообразно использовать иерархический метод хранения и обработки больших сеток. В соответствии с ним, расчетная сетка предварительно разбивается на множество блоков небольшого размера – микродоменов. В дальнейшем сетка хранится в виде набора микродоменов и графа, определяющего их связи между собой, называемого макрографом. Каждая из вершин макрографа соответствует микродомену. Перед очередным сеансом расчета производится разбиение макрографа, и каждому процессору назначается список микродоменов. Поскольку в макрографе значительно меньше вершин, чем в исходной сетке, его разбиение требует меньшего времени и может быть выполнено последовательными алгоритмами. Дополнительный выигрыш времени достигается за счет возможности распределенного хранения больших графов как совокупности микродоменов, что значительно уменьшает накладные расходы на чтение и запись сеток большим числом процессоров (рис. 6.1).

 

Рис. 6.1 Иерархическая обработка сеточных данных.

6.2 Распределенная визуализация

Говоря о проблеме визуализации сеточных данных важно иметь в виду её комплексный характер. Перечислим основные этапы визуализации.

1) В ходе численного моделирования:

- запись Сетки и Сеточной функции в нужном формате.

2) В ходе процесса визуализации:

- чтение Структуры сетки ;

- назначение фрагментов сетки на процессоры (декомпозиция сетки);

- чтение Сетки и Сеточной функции ;

- формирование объектов виртуальной сцены;

- отображение.

Следует подчеркнуть, что этапы чтения и записи данных на практике занимают существенное время. Во многих случаях именно они определяют накладные расходы на визуализацию и время отклика системы интерактивной визуализации. В связи с этим отдельное внимание в настоящей работе уделяется принципам организации процессов ввода-вывода данных, предназначенных для визуального анализа.

С ростом числа процессоров, используемых для проведения вычислительных экспериментов, сложность задачи преобразования больших объемов сеточных данных к виду, пригодному для наглядного отображения, качественно возрастает. Для визуализации уже недостаточно ресурсов компьютеров рабочих мест пользователей [6.8,6.9,6.10]. Наиболее естественным путем решения проблемы является использование технологии клиент-сервер, в соответствии с которой (рис. 6.2):

•  серверная часть системы визуализации, как правило, выполняемая на многопроцессорной системе, обеспечивает обработку большого объема данных;

•  клиентская часть системы визуализации, которая выполняется на компьютере рабочего места пользователя, обеспечивает интерфейс взаимодействия с пользователем и непосредственное отображение данных, подготовленных сервером. При этом используются аппаратные возможности персонального компьютера как для построения наглядных визуальных образов (с помощью графических ускорителей, стерео устройств), так и для управления ими (с помощью многомерных манипуляторов).

Рис. 6.2 Структура системы визуализации

 

На стороне сервера целесообразно готовить данные, обеспечивающие формирование на стороне клиента именно трехмерного образа объекта, манипулирование которым с целью его изучения в различных направлениях возможно уже без дополнительных обращений к серверу (рис. 6.2). В этом заключается одно из существенных отличий обсуждаемого подхода от методов, используемых в большинстве доступных систем визуализации, выполняющих на стороне сервера «рендеринг» - формирование двумерного растрового образа изучаемого объекта.

6.3 Визуализация изоповерхностей

Одним из наиболее мощных и наглядных методов визуализации трехмерных скалярных данных является визуализация изоповерхностей, описываемых множеством треугольников. Современные видеоускорители аппаратно поддерживают отображение массивов треугольников, что значительно повышает наглядность визуализации, как за счет высокой скорости вывода данных на экран, так и за счет возможности автоматического формирования стереоизображений.

Ядро системы визуализации представлено рядом алгоритмов фильтрации и огрубления первичных данных, позволяющих аппроксимировать результаты вычислений ограниченным объемом данных, достаточным, однако, для восстановления изучаемого образа с заданным уровнем качества. Фактически к алгоритму огрубления предъявляются два требования, проистекающие из желания обеспечить интерактивный режим работы, а следовательно – высокую скорость предоставления пользователю визуального образа. За короткое время необходимо огрубить данные и передать результат огрубления на компьютер пользователя. Следовательно, во-первых, алгоритм огрубления должен работать быстро. Во-вторых, необходимо выполнить огрубление данных до заданного объема , диктуемого временем, отведенным на передачу данных на компьютер пользователя.

Число описывающих изоповерхность узлов велико и по порядку величины может совпадать с числом узлов исходной трехмерной сетки, поэтому и необходим этап ее огрубления до размеров, допускающих их передачу через медленные каналы связи за короткое время. Необходимые коэффициенты «сжатия» - отношения объемов данных, описывающих исходную изоповерхность и её образ, достигают сотен тысяч и более, поэтому следует использовать методы сжатия с потерей точности (рис. 6.3). В первую очередь визуально воспринимаются основные контуры и формы трехмерного объекта, спроецированного на двумерный экран, следовательно, при изучении объекта «в целом» деталями можно пожертвовать. При необходимости фрагменты объекта можно изучить с большим увеличением и меньшей потерей точности.

Рис. 6.3 Пример огрубления поверхности

 

Огрубление триангулированных поверхностей. Эффективны алгоритмы огрубления триангулированных поверхностей на основе методов редукции [6.11, 6.12]. Их основная идея заключается в итерационном удалении из исходной поверхности некоторого количества узлов таким образом, чтобы триангуляция, определенная на оставшихся точках, аппроксимировала исходную поверхность с требуемой точностью. На рис. 6.4 представлен результат огрубления с помощью редукции сферы с вырезами. Методы редукции допускают огрубление изоповерхностей, обладающих достаточно сложной структурой, например, имеющих самопересечения (рис. 6.5).

Параллельный алгоритм построения и огрубления изоповерхностей основан на методе геометрического параллелизма. Каждый процессор формирует часть изоповерхности, проходящую через обрабатываемый процессором фрагмент сетки . Результаты огрубления фрагментов изоповерхности собираются на одном процессоре, на котором выполняется сжатие результата их объединения. Однако с помощью такого алгоритма невозможно обработать произвольно большой объем данных. Суммарный объем данных, описывающих огрубленные на процессорах фрагменты, не может превышать объем оперативной памяти того единственного процессорного узла, на котором выполняется окончательная обработка изоповерхности. Проблема решается разбиением процессоров на группы и введением дополнительных промежуточных этапов. После первого этапа огрубления результаты, полученные всеми процессорами одной группы, передаются на один из процессоров этой же группы. На каждом из таких процессоров выполняется второй этап огрубления. Полученные ими результаты передаются на один процессор для окончательной обработки. При необходимости можно использовать каскадную схему, увеличив число этапов, что в принципе снимает ограничения на исходный объем обрабатываемых данных.

Рис. 6.4 Триангулированная сфера: точек 98 880, треугольников 195 884 (слева) и ее редукция: точек 215, треугольников 375 (справа).

 

Рис. 6.5 Пример огрубления поверхности

 

Каскадная схема позволяет получить дополнительный выигрыш – существенно улучшить качество аппроксимации поверхности. При частичном огрублении на каждом из процессоров присутствуют узлы двух типов: внутренние и граничные. Узел считается граничным, если множество опирающихся на него треугольников распределено по нескольким процессорам. Разрешено удаление только внутренних узлов. Граничные не могут быть удалены, поскольку удаление разных узлов одной и той же границы разными процессорами может привести к возникновению разрывов триангулированной поверхности. При сильном огрублении внутренней части поверхности исключается большое число внутренних узлов. Поскольку все граничные узлы сохраняются, на огрубленной таким образом изначально гладкой поверхности возникают артефакты – изломы, описываемые большим числом точек, сглаживание которых на заключительном этапе затруднительно. Каскадная многоэтапная схема позволяет применять на каждом шаге меньшее сжатие внутренней части, что положительно сказывается на картине в целом. Полученная триангуляция передается на персональный компьютер пользователя, где выполняется отображение поверхности.

6.4 Пример визуализации результатов

Пример визуализации распределенных сеточных данных большого объема возьмем из области практических задач современной электроники, а именно, рассмотрим задачу моделирования воздушного охлаждения процессора в серверном блоке. В сущности, речь идет о задаче внешнего обтекания радиатора процессора потоком воздуха заданной температуры. Сам радиатор подогревается снизу теплом, исходящим от ядра чипа. Расчетная область задачи схематично изображена на рис. 6.6.

Рис. 6.6 Схематичная геометрия расчетной области. Слева – вид сбоку, справа – вид со стороны входного потока.

 

Математическая модель процесса охлаждения включает уравнения Навье-Стокса в области, занятой газом, и уравнение теплопроводности - в области, занятой медным радиатором. Вычислительная сложность задачи определяется, во-первых, множеством деталей геометрии (наличие до сотни «лепестков» радиатора на общем основании, реальным окружением процессора и т.д.), во-вторых, известной сложностью расчета низкомаховых течений (в данном случае речь идет о числах Маха порядка 0.003), в-третьих, возможностью расширения и упругого прогиба лепестков радиатора (их толщина может составлять до 0.1 мм ) под воздействием нагрева и избыточного давления газового потока. Даже в самом простом случае наличие двух характерных размеров (размер основания и толщина лепестка) и существенная трехмерность задачи потребуют использования подробных сеток и применения параллельных вычислений.

На рис. 6.7, 6.8 показаны примеры визуализации поверхностей постоянной температуры. Из рисунков видно, что при анализе распределенных неогрубленных данных на подробной сетке понимание ситуации весьма затруднено. После применения специальной процедуры огрубления данных (рис. 6.9, 6.10) возможен адекватный анализ распределения температур как в радиаторе, так и в потоке газа.

Рис. 6.7 Фрагмент неогрублённой поверхности заданной температуры.

 

Рис. 6.8 Изоповерхности температуры газового потока и элементов радиатора.

 

Рис. 6.9 Огрублённые изоповерхности соответствующие трём разным температурам.

 

Рис. 6.10 Огрублённая изоповерхность температуры 20 ° С.

 

6.5 Ввод-вывод данных

Как уже упоминалось, время чтения больших объемов сеточных данных составляет существенную часть общего времени их обработки в ходе визуализации (равно как и время записи в ходе вычислений). Для файлов, содержащих миллиард и более узлов сетки, оно может составлять десятки минут. Для его сокращения можно прибегнуть к сжатию данных перед их записью на диск, однако, использование стандартных методов сжатия без потерь применительно к вещественным числам неэффективно. Для увеличения степени сжатия данных, предназначенных для их анализа методом визуализации, допустимо игнорировать часть младших разрядов мантиссы каждого из значений сеточной функции, что значительно увеличивает коэффициент компрессии. Относительная ошибка огрубления данных, полученная в результате отбрасывания k двоичных разрядов мантиссы, приближенно может быть оценена как 2^(k-24). Использование иерархической двухуровневой схемы хранения позволяет задавать параметр огрубления независимо для каждого из записываемых блоков, что позволяет записывать значения сеточной функции, соответствующие разным фрагментам сетки, с разной точностью.

Результаты записи тестового файла, содержащего 10^9 узлов с различными значениями точности представления данных можно видеть на рисунке 6.11. Кривая ошибки показывает относительную локальную ошибку, выраженную в процентах. Вторая кривая соответствует размеру хранимой на диске информации, выраженной в Гбайтах. Исходные данные – четырехбайтовые вещественные числа. Объем массива без сжатия и огрубления – 3.54 Гбайт.

На рисунке 6.12 показано влияние огрубления на вид визуализируемых данных. Фактически все представленные кривые совпадают, что свидетельствует в пользу возможности применения данного подхода на практике. На рис. 6.13 представлены достигнутые коэффициенты сжатия с огрублением сеточных данных, полученных при численном моделировании процесса охлаждения радиатора на сетке 1000 х 3500 х 150 = 525 млн. узлов.

Результаты, представленные на рис. 6.11-6.13 показывают, что объем хранимых данных может быть сокращен в сотни и более раз без существенной, с точки зрения визуализации, потери точности их представления. Данный подход обеспечивает возможность сокращения на несколько порядков времени ввода-вывода данных и требований к объемам дисковой или оперативной памяти [6.14].

В заключение этого пункта подчеркнем, что рассмотренные в нем методы обработки результатов, полученных с помощью суперкомпьютеров, актуальны, если другие методы оказываются неприменимы, то есть если используются объемы данных, для обработки которых недостаточно ресурсов персональных компьютеров и/или недостаточно возможностей хорошо развитых и обладающих богатой функциональностью последовательных пакетов программ.

Рис. 6.11 Зависимость объема хранимых данных и точности их представления от числа отброшенных бит мантиссы 4х-байтовых float чисел.

 

Рис. 6.12 Влияние отбрасывания части бит мантиссы (правая колонка) на точность представления 4х-байтовых float чисел.

 

Рис. 6.13 Зависимость объема хранимых результатов моделирования теплового режима устройства охлаждения от числа отброшенных бит мантиссы 4х-байтовых float чисел.

 

7. Заключение

Рассмотрена роль геометрических методов и визуализации при моделировании задач современной электроники. Сформулированы основные направления применения геометрических методов к задачам данного класса. На конкретных примерах продемонстрирована эффективность использования геометрических методов. Структурное моделирование, которое здесь не рассматривалось, использует технику геометрических методов в еще большем объеме. Ориентация на суперкомпьютерные геометрические вычисления и распределенную визуализацию сеточных и несеточных данных больших объемов должна дать в будущем еще больший выигрыш в эффективности решения задач микро- и наноэлектроники.

 

Список литературы

[1.1] Татаренко Н.И., Кравченко В.Ф. Автоэмиссионные наноструктуры и приборы на их основе. – М.: ФИЗМАТЛИТ, 2006. – 192 с.

[1.2] Дьячков П.Н. Углеродные нанотрубки: строение, свойства, применение / П.Н. Дьячков. – М.: БИНОМ. Лаборатория знаний, 2006. – 293 с.

[1.3] Пасько А.А., Пилюгин В.В .Научная визуализация и ее применение в исследованиях наноструктур // Rusnanotech . Международный форум по нанотехнологиям. Сборник тезисов докладов научно-технических секций 2008. Москва. С . 189-190.

[2.1] Суков С.А., Якобовский М.В. Обработка трехмерных неструктурированных сеток на многопроцессорных системах с распределенной памятью. / В сб. " Фундаментальные физико-математические проблемы и моделирование технико-технологических систем ”, вып. 6 (под ред. Л.А. Уваровой), – М.: МГТУ “СТАНКИН”, 2003, с. 233-239.

[2.2] Кринов П.С., Якобовский М.В. Визуализация результатов вычислительных экспериментов на многопроцессорных системах и метакомпьютерах. / В сб. " Фундаментальные физико-математические проблемы и моделирование технико-технологических систем ”, вып. 7 (под ред. Л.А. Уваровой). – М.: МГТУ “СТАНКИН”, 2004, с. 229-234.

[2.3] Якобовский М.В. Алгоритмы параллельной сортировки для данных больших объемов. / В сб. " Фундаментальные физико-математические проблемы и моделирование технико-технологических систем ”, вып. 7 (под ред. Л.А. Уваровой). – М.: МГТУ “СТАНКИН”, 2004, с. 235-249.

[2.4] Iakobovski M.V. Parallel Sorting of Large Data Volumes on Distributed Memory Systems. / In: «Mathematical modeling: modern methods and applications». The book of scientific articles (edited by Lyudmila A. Uvarova). – Moscow, Yanus-K, 2004, pp. 153-163.

[2.5] Iakobovski M.V., Boldyrev S.N., Sukov S.A. Big Unstructured Mesh Processing on Multiprocessor Computer Systems. / In: Parallel Computational Fluid Dynamics: Advanced numerical methods software and applications. Proc. of the Parallel CFD 2003 Conference Moscow, Russia (May 13-15, 2003) (Ed. by B. Chetverushkin et аl.), Elsevier, Amsterdam, 2004, pp. 73-79.

[2.6] Якобовский М.В. Инкрементный алгоритм декомпозиции графов. // Вестник Нижегородского университета, Сер. «Математическое моделирование и оптимальное управление», 2005, 1(28), с. 243-250.

[2.7] Четверушкин Б.Н., Гасилов В.А., Поляков С.В., Карташева Е.Л., Якобовский М.В., Абалакин И.В., Бобков В.Г., Болдарев С.А., Болдырев С.Н., Дьяченко С.В., Кринов П.С., Минкин А.С., Нестеров И.А., Ольховская О.Г., Попов И.В., Суков С.А. Программный комплекс GIMM для решения задач гидродинамики на многопроцессорных вычислительных системах. // Математическое моделирование, 2005, 17(6), с. 58-74.

[2.8] Chetverushkin B.N., Gasilov V.A., Polyakov S.V., Iakobovski M.V., Kartasheva E.L., Boldarev A.S., Minkin A.S. Data Structures and Mesh Processing in Parallel CFD Project GIMM. / In "Parallel Computing: Current & Future Issues of High-End Computing" (Edited by G.R. Joubert, W.E. Nagel, F.J. Peters, O. Plata, P. Tirado, E. Zapata), Proceedings of the International Conference ParCo 2005, Published John von Neumann Institute for Computing, NIC Series, v. 33, Julich (Germany), 2006, pp. 351-357.

[2.9] Chetverushkin B., Gasilov V., Iakobovski M., Polyakov S., Kartasheva E., Boldarev A., Abalakin I., Minkin A. Unstructured Mesh Processing in Parallel CFD Project GIMM. / In: "Parallel Computational fluid Dynamics. Theory and Applications", Proceedings of the Parallel CFD 2005 Conference (College Park, MD, U.S.A., May 24-27, 2005), ELSEVIER B.V., Amsterdam, 2006, pp. 501-508.

[2.10] Marina A. Kornilina, Mikhail V. Iakobovski, Peter S. Krinov, Sergey V. Muravyov, Ivan A. Nesterov and Sergey A. Sukov. Parallel Visualization of CFD Data on Distributed Systems. / In: "Parallel Computational fluid Dynamics. Theory and Applications", Proceedings of the Parallel CFD 2005 Conference (College Park, MD, U.S.A., May 24-27, 2005), ELSEVIER B.V., Amsterdam, 2006, pp. 517-524.

[2.11] Якобовский М.В. Вычислительная среда для моделирования задач механики сплошной среды на высокопроизводительных системах. Диссертация на соискание степени доктора физ.мат. наук по специальности 05.13.18. – М., ИММ РАН, 2006 г ., 225 стр.

[2.12] Iakobovski M., Nesterov I., Krinov P. Large distributed datasets visualization software, progress and opportunities. Computer graphics & geometry, 2007, 9(2), pp. 1-19. (http://www.cgg-journal.com/2007-2/01.htm).

[2.13] Mikhail V. Iakobovski, Ivan A. Nesterov, Dmitrii V. Petrov, Sergey A. Sukov. Supercomputers simulation environment for CFD problems. / 20 th Int. Conf. on Parallel CFD 2008. (May 19-22, Lyon France), Booklet of Contributed Abstracts. Universite Claude Bernard. Lyon 1, pp. 37-41.

[3.1] Wolf S.A., Awschalom D.D., Buhrman R.A., Daughton J.M., von Molnar S., Roukes M.L., Chtchelkanova A.Y., and Treger D.M. A Spin-Based Electronics Vision for the Future, Science, 294 , pp. 1488-1495 (2001).

[3.2] Cronenwett S.M., Lynch H.J., Goldhaber-Gordon D., Kouwenhoven L.P., Marcus C.M., Hirose K., Wingreen N. S., Umansky V. Low-Temperature Fate of the 0.7 Structure in a Point Contact: A Kondo-like Correlated State in an Open System, Phys. Rev. Lett., 88 (22), p. 6805, (2002).

[3.3] Reilly D.J., Buehler T.M., O'Brien J.L., Hamilton A.R., Dzurak A.S., Clark R.G., Kane B.E., Pfeiffer L. N., West K.W. Density-Dependent Spin Polarization in Ultra-Low-Disorder QuantumWires, Phys. Rev. Lett., 89 (24), p. 6801 (2002).

[3.4] Hirose K., Meir Y., Wingreen N.S. Local Moment Formation in Quantum Point Contacts, Phys. Rev. Lett., 90 (2), p. 6804 (2003).

[3.5] Graham A.C., Thomas K.J., Pepper M., Cooper N.R., Simmons M.Y., Ritchie D.A. Interaction Effects at Crossings of Spin-Polarized One-Dimensional Subbands, Phys. Rev. Lett., 91 (13), p. 6404 (2003).

[3.6] Bird J . P. , Ochiai Yu . Electron Spin Polarization in Nanoscale Constrictions, Science, 303 (3), p. 1621 (2004).

[3.7] Sablikov V.A., Polyakov S.V., Buttiker M. Charging effects in a quantum wire with leads, Phys. Rev. B, 61 (20), pp. 13763-13773 (2000).

[3.8] Sablikov V.A. , Polyakov S.V. Electron transport in a mesoscopic wire: the charging and exchange interaction effects. / Proc. of 8th Int. Symposium, June 19-23, 2000, St .Petersburg, Russia, Nanostructures: Physics and Technology, Zh. Alferov and L. Esaki (Eds.), Ioffe Physico-Technical Institute, St.Petersburg, 2000, pp. 526-529.

[3.9] Polyakov S.V. A numerical method for simulation of nonlinear electron transport in a quantum wire. / Proc. of the 3rd International Conference FDS2000, September 1-4, 2000, Palanga, Lithuania, Finite Difference Schemes: Theory and Applications, R. Ciegis, A. Samarskii and M. Sapagovas (Eds.), IMI, Vilnius, 2000, pp. 173-180.

[3.10] Polyakov S.V. Simulation of nonlinear electron transport in a quantum wires, Journal of Computational Methods in Sciences and Engineering (JCMSE), 2 (1s-2s), pp. 207-212 (2002).

[3.11] Самарский А.А. Теория разностных схем. – М., Наука, 1983.

[3.12] Sablikov V.A., Polyakov S.V. Spin-Charge Structure of Quantum Wires Coupled To Electron Reservoirs. International Journal of Nanoscience (IJN), 2003, Vol. 2 , No. 6, pp. 487-494. (World Scientific Publishing Company).

[3.13] Polyakov S.V. Simulation of electron transport in quantum structures. In: "Mathematical modeling: modern methods and applications". The book of scientific articles/edited by Lyudmila A. Uvarova. – Moscow, Yanus-K, 2004. p. 183-195.

[3.14] Polyakov S.V. Simulation of steady state characteristics in models with non-local nonlinearity. Application to the impurity breakdown in GaAs. / In: “Book of Abstracts of Third International Congress on Industrial and Applied Mathematics”, 3-7 July, 1995, Hamburg, Germany (Ed. J. Sourer), p. 402. GAMM, Regensburg, 1995.

[3.15] Сабликов В.А., Поляков С.В., Рябушкин О.А. О механизме низкотемпературного примесного пробоя. // ФТП, 1996, 30(7), с. 1251-1264.

[4.1] Sellberherr S. Analysis and simulation of semiconductor devices, Springer, Wienn, 1984.

[4.2] Stratton R. Theory of field emission from semiconductors. // Phys. Rev. 1962, 125, p. 67-82.

[4.3] Fedirko V.A., Duzhev N.A., Nikolaeva V.A. Suppl. a la Revue “Le Vide, les Coushes Minces” (papers from the 7th IVMC '94), N 271, 1994, p. 158.

[4.4] Федирко В.А., Николаева В.А. Полевая эмиссия из кремния. // Математическое моделирование, 1997, 9( 9), с. 75-82.

[4.5] Fedirko V. A ., Polyakov S .V . Modelling of 2D Electron Field Emission from Silicon Microcathode. / In the book: “Mathematical Models of Non-linear Excitation, Transfer, Dynamics and Control in Condensed systems and Other Media” (ed. by L.A.Uvarova et al.), Kluwer Academic/Plenum Publishers, New York, 1999, p. 221-228.

[4.6] Fedirko V.A., Polyakov S.V. Hot Electron Transport in Semiconductor Field Microemitter. In: "Fourth All-Russian on Problems of Theoretical and Applied Electron Optics", Anatoly M. Filachev, Editor, Proceedings of SPIE, Vol. 4187 (2000), pp. 94-99.

[4.7] Fedirko V.A., Polyakov S.V. Polyakov. Simulation of semiconductor field emitter array microcell. Proc. No. 165 of Int. Conf. "Displays and Vacuum Electronics (DVE 2001)", May 2-3, 2001, Garmish-ParteanKirche, pp. 431-438.

[4.8] Fedirko V.A., Karamzin Yu.N., Polyakov S.V. Simulation of electron transport in semiconductor microstructures: field emission from nanotip. In: “Mathematical Modeling. Problems, Methods, Applications.” (Edited by L.A. Uvarova and A.V. Latyshev), pp. 79-90, Kluwer Asademic/Plenum Publishers, New York, Boston, Dordrecht, London, Moscow, 2001.

[4.9] Shoulders K.R. , Heynick L.N. Needle-type electron source , US patent 3, 1966, 453, p. 478.

[4.10] Gray H.F. Techn. Dig. of the 11th IVMC'98, 1998, p. 278.

[4.11] Karamzin Yu.N., Zakharova I.G. New additive difference method for solving semiconductor problems, Russ. J. Numer. Anal. Math. Modelling, 11 , N 6, 1996, p. 477-485.

[4.12] Fedirko V., Karamzin Yu., Polyakov S. , Zakharova I. Numerical modelling of 2D field emission from silicon wedge microcathode. In: “Recent Advances in Numerical Methods and Applications II”. (Eds. O.P. Iliev, M.S. Kaschiev, S.D. Margenov, B.H. Sendov and P.S. Vassilevski), Proc. of Fourth Int. Conf., NMA'98, Sofia, Bulgaria, 19-23 August 1998, pp. 890-897, World scientific, Singapore, 1999.

[4.13] Fedirko V.A., Polyakov S.V., Karamzin Yu.N., Kudryashova T.A. Numerical Model for Real Semiconductor Field Emitter Array Microcell. The 4th International Vacuum Electron Sources Conference (IVESC'2002), July 15-19, 2002, Saratov (Russia). Book of abstracts, pp. 232-233.

[4.14] Федирко В.А., Поляков С.В. Моделирование на МВС устройств вакуумной микроэлектроники. / В сб. "Фундаментальные физико-математические проблемы и моделирование технико-технологических систем", вып. 7, под ред. Л.А. Уваровой. - М.: Янус-К, ИЦ МГТУ "Станкин", 2004, с. 138-147.

[4.15] Федирко В.А., Поляков С.В. Программный комплекс для моделирования катодного микроузла

с полупроводниковым автоэмиттером. // Прикладная физика, 2008, вып. 2, с . 48-55.

[4.16] Popov I.V., Polyakov S.V. Constructing of irregular triangular grids for 2D multiply connected nonconvex domains. In: “Optimization of Finite Element Approximation, Splines and Wavelets (OFEA'2001)”. Abstracts of International Conference (June 25-29, 2001, St .-Petersburg, Russia), 2001, pp. 50-51.

[4.17] Попов И.В., Поляков С.В. Построение адаптивных нерегулярных треугольных сеток для двумерных многосвязных невыпуклых областей. // Математическое моделирование. 2002, 14(6), 25-35.

[4.18] Sergey Polyakov, Igor Popov, Igor Sedykh. Parallel Mesh Generation. CD-proceedings of "West-East High Speed Flow Field Conference (WEHSFF 2007)" (November 19-22, 2007, Moscow, Russia), 2007, pp. 1-5.

[4.19] Болдырев С.Н., Леванов Е.И., Якобовский М.В. Обработка и хранение нерегулярных сеток большого размера на многопроцессорных вычислительных системах. / В сб. “Сеточные методы для краевых задач и приложения”. – Казань, Изд-во КГУ, 2002, с. 33-39.

[4.20] Якобовский М.В. Обработка сеточных данных на распределенных вычислительных системах. // Вопросы атомной науки и техники, Сер. «Математическое моделирование физических процессов», 2004, № 2, с. 40-53.

[4.21] Карамзин Ю.Н., Поляков С.В., Попов И.В. Разностные схемы для параболических уравнений на треугольных сетках. // Известия высших учебных заведений. Серия Математика, 2003, 1(488), c. 53-59.

[4.22] Карамзин Ю.Н., Попов И.В., Поляков С.В. Разностные методы решения задач механики сплошной среды на неструктурированных треугольных и тетраэдральных сетках. // Математическое моделирование. 2003, 15(11), c. 3-12.

[4.23] Popov I.V., Polyakov S.V., Karamzin Yu.N. High Accuracy Difference Schemes On Unstructured Triangle Grids, In: "Numerical methods and Applications, 5th Int. Conf., NMA 2002, Borovets (Bulgaria), August 2002, Revised Papers" (Eds. I. Dimov, I. Lirkov, S. Margenov, and Z. Zlatev), pp. 555-562, Springer, Berlin, 2003.

[4.24] Карамзин Ю.Н., Поляков С.В., Попов И.В. Разностные схемы на треугольных сетках для параболических уравнений общего вида. / В кн. "Сеточные методы для краевых задач и приложения", - Казань: Казанский государственный университет, 2004, с. 97-100.

[4.25] Поляков С.В. Экспоненциальные схемы для решения эволюционных уравнений на нерегулярных сетках. // Ученые записки казанского государственного университета. Серия " Физико - математические науки ", 2007, т . 149, кн . 4, с . 121-131.

[4.26] Milyukova O.Yu. Parallel approximate factorization method for solving discrete elliptic equations. Parallel Computing, 2001, v. 27, pp. 1365-1379.

[4.27] Milyukova O.Yu. Parallel Iterative Methods with Factored Preconditioning Matrices for Solving Discrete Elliptic Equations, Parallel Computational Fluid Dynamics (Moscow, Russia, May 13-15, 2003), Edited by B. Chetverushkin, A. Ecer, J. Periaux and N. Satofuka - Assistant Editor: Pat Fox, Elsevier Science BV, Amsterdam, 2004, pp. 94-101.

[4.28] Кринов П.С., Поляков С.В., Якобовский М.В. Визуализация в распределённых вычислительных системах результатов трёхмерных расчётов. / Труды четвертой международной конференции по математическому моделированию, 27 июня - 1 июля 2000 г ., г. Москва (под ред. Л.А. Уваровой), том 2, с. 126-133. – М., Изд-во "СТАНКИН", 2001.

[4.29] Iakobovski M.V., Karasev D.E., Krinov P.S., Polyakov S.V. Visualisation of grand challenge data on distributed systems. In: “Mathematical Modeling. Problems, Methods, Applications.” (Edited by L.A. Uvarova and A.V. Latyshev), pp. 71-78, Kluwer Academic/Plenum Publishers, New York, Boston, Dordrecht, London, Moscow, 2001.

[4.30] Krinov P.S., Iakobovski M.V., Muravyov S.V. Large Data Volume Visualization on Distributed Multiprocessor Systems. In: Parallel Computational Fluid Dynamics: Advanced numerical methods software and applications. Proc. of the Parallel CFD 2003 Conference. Moscow, Russia (May 13-15, 2003). (Ed. By B.Chetverushkin et аl.), Elsevier, Amsterdam. - 2004. – pp. 433-438.

[4.31] Федирко В.А., Зенюк Д.А., Поляков С.В. Численное моделирование стационарного туннелирования электронов через потенциальный барьер. / В сб. "Фундаментальные физико-математические проблемы и моделирование технико-технологических систем", вып. 12, под ред. Л.А. Уваровой. Том 1. - М .: " Янус - К ", 2009, с . 170-184.

[5.1] Lloyd J.R. Electromigration in integrated circuits conductors. J. Phys. D: Appl. Phys., 1999, 32, R109-R118.

[5.2] Lloyd J.R., Clemens J., Snede R. Copper metallization reliability. Microelectronics reliability, 1999, 39, p. 1595-1602.

[5.3] Cahn J.W., Hilliard J.E. Free Energy of a Nonuniform System. I. Interfacial Free Energy. J. Chemical Physics, 1958, 28(2), p. 258-267.

[5.4] Barrett J.W., Blowey J.F. Finite Element Approximation of an Allen-Cahn/Cahn-Hilliard System. IMA J. Numer. Anal. 22 (1) (2002), p. 11 - 71.

[5.5] Bhate D.N., Kumar A., Bower A.F. Diffuse interface model for electromigration and stress voiding. J. Applied Physics, 2000, 87(4), p. 1712-1721.

[5.6] Sukharev V. Physically based simulation of electromigration-induced degradation mechanisms in dual-inlaid copper interconnects. IEEE Trans. On CAD of Integrated Circuits and Systems. 2005, 24(9), p. 1326-1335.

[5.7] Sethian J.A. Level Set Methods and Fast Marching Methods: Evolving Interfaces in Computational Geometry, Fluid Me. Cambridge University Press, 1999, 400 p.

[5.8] Карамзин Ю.Н., Поляков С.В., Попов И.В., Кобельков Г.М., Кобельков С.Г., Choy J.H. Моделирование процессов образования и миграции пор в межсоединениях электрических схем. // Математическое моделирование, 2007, 19(10), с. 29-43.

[6.1] Hendrickson B., Leland R. A Multi-Level Algorithm for Partitioning Graphs, Tech. Rep. SAND93-1301, Sandia National Laboratories, Albuquerce, October 1993.

[6.2] Hendrickson B., Leland R. An Improved Spectral Graph Partitioning Algorithm For Mapping Parallel Computations — SIAM J. Sci. Comput., 1995, vol.16. № 2.

[6.3] Karypis G., Kumar V. Multilevel Graph Partitioning Schemes. ICPP (3) 1995: 113-122

[6.4] Fiduccia C., Mattheyses R. A linear time heuristic for improving network partitions. In In Proc. 19 th IEEE Design Automation Conference , pages 175-181, 1982.

[6.5] Fiedler M. Eigenvectors of aciyclic matrices. - Praha, Czechoslovak Mathematical Journal, 25(100) 1975, pp. 607-618.

[6.6] Fiedler M. A property of eigenvectors of nonnegative symmetric matrices and its application to graph theory. - Praha, Czechoslovak Mathematical Journal, 25(100) 1975, pp. 619-633.

[6.7] Якобовский М.В . Инкрементный алгоритм декомпозиции графов. //   Вестник Нижегородского Университета им. Н.И.Лобачевского. Серия «Математическое моделирование и оптимальное управление». 2005. Вып. 1(28). Н . Новгород : Издательство ННГУ . с . 243-250.

[6.8] Iakobovski M.V., Karasev D.E., Krinov P.S., Polyakov S.V. Visualisation of grand challenge data on distributed systems. In: Mathematical Models of Non-Linear Excitations, Transfer, Dynamics, and Control in Condensed Systems and Other Media. Proc. of a Symp. , June 27 - July 1 2000, Moscow , Russia (Ed. by L.A. Uvarova), Kluwer Academic // Plenum Publishers. - New York , Boston , Dordrecht , London , Moscow . ISBN 0-306-46664-3, 2001, pp . 71-78.

[6.9] Якобовский М.В . Обработка сеточных данных на распределенных вычислительных системах. // Вопросы атомной науки и техники. Сер. «Математическое моделирование физических процессов». 2004, вып. 2, c . 40-53.

[6.10] Iakobovski M., Nesterov I. , Krinov P. Large distributed datasets visualization software, progress and opportunities. // С omputer graphics & geometry, 2007, 9(2), pp. 1-19.

[6.11] Krinov P.S., Iakobovski M.V., Muravyov S.V. Large Data Volume Visualization on Distributed Multiprocessor Systems. In: Parallel Computational Fluid Dynamics: Advanced numerical methods software and applications. Proc. of the Parallel CFD 2003 Conference. Moscow , Russia (May 13-15, 2003). ( Ed . By B . Chetverushkin et а l .), Elsevier , Amsterdam . - 2004. p . 433-438.

[6.12] Кринов П.С., Якобовский М.В., Муравьёв С.В. Визуализация данных большого объёма в распределённых многопроцессорных системах. / В кн.: Высокопроизводительные параллельные вычисления на кластерных системах. Материалы 3-го Международного научно-практического семинара. 13-15 ноября 2003. Н. Новгород: Изд-во ННГУ. C . 81 — 88.

[6.13] Якобовский М.В. Вычислительный эксперимент на многопроцессорных системах: алгоритмы и инструменты. // Известия ВУЗов. ПРИБОРОСТРОЕНИЕ, 2009, 52(10), с. 50-57.

[6.14] Якобовский М.В. Ввод-вывод сеток и сеточных функций . http://lira.imamod.ru/IOlibs.html