В настоящее время
использование методов машинного обучения и глубокого обучения на основе
свёрточных нейронных сетей стало одним из основных направлением в компьютерных
методах обработки и анализа медицинских изображений [1, 2]. Однако, данный
подход обладает и рядом недостатков (жесткая привязанность решения к набору
данных, на которых проводилось обучение нейросети, и непредсказуемость
результатов диагностики даже при незначительном отклонении от этого набора, отсутствие
обоснования решения с использованием стандартных медицинских критериев, недостаточный
контроль качества используемых изображений, отсутствие анализа зависимости
результатов диагностики от уровня артефактов изображений). В связи с этим
несомненную актуальность приобретает развитие гибридных методов обработки и
анализа медицинских изображений, использующих как методы машинного обучения,
так и аппарат классических методов математической обработки изображений, и
позволяющих существенно помочь в решении вышеприведенных проблем.
Идея гибридных
методов является достаточно новой, однако в литературе можно отметить ряд
примеров использования подобных алгоритмов. Так, в [3] гибридный подход в виде
связки свёрточной нейронной сети и классического нелокального алгоритма
шумоподавления используется в задаче подавления аддитивного гауссовского шума
на изображениях, а в [4] связка из классического алгоритма разреза графа и
сегментирующей свёрточной нейронной сети используется для обучения свёрточной
нейронной сети семантической сегментации изображений по слаборазмеченным данным
(англ. Weakly Supervised Learning).
В данной работе
вопрос применения гибридных алгоритмов для анализа медицинских изображений
будет рассмотрен на примере задачи сегментации слизистых желёз на гистологических
изображениях.
Алгоритмы
семантической сегментации желёз на гистологических изображениях [5] позволяют в
некоторых случаях разделить смежные железы на гистологических изображениях, однако
в общем случае проводимая сегментация не идеальна и нуждается в улучшениях.
Принципиальным улучшением является переход от задачи семантической сегментации
к задаче объектной сегментации для детектирования отдельных желёз на
изображении.
Среди нейросетевых
алгоритмов объектной сегментации изображений стоит выделить два основных
подхода, хорошо зарекомендовавшие себя на практике. Первый из них – сеть Mask
R-CNN [6], разработанная Facebook AI Research. На основе входного изображения Mask
R-CNN генерирует предположения об областях, где может находиться объект,
предсказывает класс объекта, уточняет ограничивающий прямоугольник и генерирует
пиксельную маску объекта. Принципиально иной метод объектной сегментации
реализован моделью Deep Watershed [7]. Она использует идею классического
алгоритма водораздела и аппарат современного глубокого обучения для создания
энергетической карты изображения, где отдельные объекты представлены в виде
энергетических бассейнов. Выполнение разреза по одному уровню энергии,
позволяет получить связанные компоненты, соответствующие сегментируемым
объектам.
Архитектуры Mask
R-CNN и Deep Watershed являются архитектурами объектной сегментации общего типа
и имеют свои недостатки при их применении к задаче сегментации желёз на
гистологических изображениях. В частности, Mask R-CNN требует большого объема
данных для обучения, а Deep Watershed склонен к неполному сегментированию
объектов и потере деталей вблизи границ объекта. Кроме того, никакая из
перечисленных архитектур не использует априорные сведения о форме выделяемых
объектов, что могло бы быть крайне полезным в случае гистологических структур
(границы выделяемых желёз являются достаточно гладкими, а в большом количестве
случаев близки к эллипсам).
Для работы с подобной
информацией хорошо подходит модель активных контуров (англ. Active Contour
Model) [8], которая представляет собой вариационный метода поиска границ на
изображении. В этой модели задача поиска границы объекта формулируется как
нахождение контура, на котором задаваемый функционал энергии достигает
минимума.
Основной
недостаток классической модели активных контуров заключается в ручном выборе
параметров контура для каждого изображения и использовании низкоуровневых
характеристик изображения при построении функционала энергии. В попытке
объединить хорошую способность свёрточных нейронных сетей к обобщению и
гибкость классической модели активных контуров в данной работе рассматривается модель
обучаемого активного контура [9] и, основанный на её применении, гибридный
метод сегментации желёз на гистологических изображениях.
Представим
активный контур как полигон , состоящий из вершин , где каждая представляет
собой вершину дискретизованного контура.
Согласно
классической модели [8] функционал энергии активного контура определяется как:
(1)
где – внешняя
энергия, зависящая от исходного изображения размера , – коэффициент,
контролирующий протяжённость контура (англ. membrane term), – коэффициент,
контролирующий гладкость контура (англ. thin plate term), – распирающий
коэффициент (англ. Balloon term). При этом через обозначим
значение в точке . В качестве внешней
энергии используются функция, зависящая от градиента изображения, остальные
параметры подбираются вручную для каждого изображения.
Основное отличие
обучаемой модели активного контура [9] от классической модели заключается в
том, что штрафные члены функционала энергии определяются независимо в каждой
точке изображения и предсказываются свёрточной сегментирующей нейронной сетью
по исходному изображению. То есть функционал энергии определяется как:
(2)
где – внешняя
энергия, зависящая от исходного изображения размера , – коэффициент,
контролирующий протяжённость контура, – коэффициент,
контролирующий гладкость контура, – распирающий
коэффициент, а соответствует
области внутри полигона .
Поле внешней
энергии определяет
области изображения, в которые должен переместиться активный контур. То есть должна принимать
малые значения вблизи границ сегментируемых объектов и большие значения в
остальных областях изображения. В процессе изменения активного контура
происходит его перемещение по направлению антиградиента .
В случае модели
обучаемого контура поле внешней энергии, равно как и поля внутренней энергии , и поле распирающего
коэффициента предсказываются
свёрточной нейронной в каждой точке изображения.
Согласно [9] производная
внутренней энергии контура по вершинам
полигона может быть
представлена в виде:
(3)
где –
трёхдиагональная матрица, а –
пятидиагональная матрица.
Распирающая сила контура
также может быть представлена в форме энергии:
(4)
Перемещение
вершины контура на приводит к
изменению значения энергии . Производная
энергии по вершинам
полигона равна
(5)
в случае сдвига на
и
(6)
в случае сдвига на
.
Энергию контура
(2) можно разбить на внутреннюю энергию контура , состоящую из
полей и , и внешнюю энергию
контура , состоящую из
полей и .
Принимая во
внимание то, что зависит только от
контура , и учитывая (6), можно
записать шаг перемещения контура в следующем виде:
(7)
В итоге, согласно [9],
шаг перемещения контура представляется в следующем виде:
(8)
Для того, чтобы
итерационный процесс (8) был более устойчивым, ограничим перемещение контура
некоторым максимальным значением , выраженном в
пикселях, на которое можно переместить любую точку контура по каждой оси за
одну итерацию. Обозначим желаемое перемещение контура за :
(9)
После чего
представим перемещение контура с учётом введённых ограничений в виде:
(10)
Чтобы сделать
перемещение активного контура более плавным и устойчивым, воспользуемся идеей
метода оптимизации с моментом [10], широко применяющегося в машинном обучении.
В частности, в качестве величины смещения контура будем использовать взвешенную
сумму посчитанного смещения текущей итерации (17) и перемещения,
использованного на предыдущей итерации:
(11)
где будем называть
моментом. Заметим, что при моменте формула (11)
превращается в (10).
В итоге,
перемещение активного контура описывается формулами (9), (11).
Таким образом,
схема работы алгоритма на основе описанной модели активного контура сводится к
тому, что по входному изображению сегментирующая
нейронная свёрточная нейронная сеть предсказывает поля энергий . Далее, по
начальному расположению контура и предсказанным полям энергии согласно (3, 9,
11) происходит расширение активного контура, результатом чего и является
отсегментированный объект.
Также стоит
отметить, что процесс перемещения контура может быть реализован непосредственно
внутри сети. То есть, на вход нейронной сети подаётся входное изображение и начальный
контур , а на выходе
нейронной сети получаем все представления контура от начального состояния до
конечного в виде тензора , где – количество
итераций. Это позволяет рассмотреть описанную последовательность шагов как
применение свёрточной нейронной сети со структурным предсказанием [11]. Такое
название подобные нейронные сети получили из-за того, что выходом модели
являются сложные структурированные данные, а не число или изображение (как в
случае классифицирующих или сегментирующих сетей).
Основная сложность
описанной модели структурного предсказания активных контуров заключается в невозможности
построение точных референсных данных. То есть при при фиксированном количестве вершин контура
границу объекта можно дискретизировать практически неограниченным числом
способов, что делает стандартное сравнение результатов предсказания
нейросетевой модели и референсных данных по метрике полностью
бессмысленным.
В [9] предлагается
способ обучения нейронной сети структурного предсказания, основанный на
генерации отрицательных примеров некорректной сегментации для дополнения
положительных примеров правильной сегментации. По всем парам контур/изображение
обучающей выборки, используя целевую функцию сравнения контуров , строится функционал
максимального отдаления (англ. Max-Margin Formulation). Далее на множестве
обучающей выборки находится контур, наиболее отклоняющийся от референсного
решения при текущих весах сети. Этот контур используется для вычисления
субградиента функционала максимального отдаления, что позволяет вычислить
требуемое изменение весов сети. В итоге, предложенный способ позволяет
одновременно уменьшать энергию референсного контура и увеличивать
энергию контура, наиболее отличающегося от желаемого, тем самым нейронная сеть обучается
предсказывать контуры, близкие к референсному по мере .
Общая схема
алгоритма предлагаемого гибридного метода приведена на Рис.1.
Рис. 1. Схема обучения
модели активного контура.
Рассмотрим вопрос
применения модели обучаемого активного контура для задачи сегментации желёз на
гистологических изображениях (этап инициализации активных контуров требует
более подробного рассмотрения и не включён в данную работу). В данной работе
используется набор гистологических данных PATH-DT-MSU [5],
представляющий собой 20 полнокадровых срезов прямой кишки. Для оценки качества
сегментации объектов на изображении будем использовать меру сходства Жаккара
(англ. Intersection over Union), обозначаемую как IoU.
Особенностью
описанной ранее модели обучаемого активного контура является возможность
одновременной работы только с одним контуром на изображении. Поэтому, как в
случае обучения модели, так и в случае тестирования, все исходные
гистологические изображения разбиваются на квадратные патчи фиксированного
размера, используя данные о начальных положениях активных контуров. Размер
патча выбирался эмпирически так, чтобы он превосходил по размерам железы,
представленные в наборе данных PATH-DT-MSU, размер стороны патча был выбран
равным 512 пикселям. При этом формирование патчей происходит таким образом,
чтобы центр тяжести начального положения контура по возможности совпадал с
центром патча (исключения составляют железы, лежащие близко к краю
изображения).
Набор патчей,
использующихся для обучения модели, расширяется искусственно сгенерированными
данными (англ. Data Augmentation). Генерация новых патчей происходит
путём поворота на случайный угол, случайного отражения, изменение масштаба,
нелинейных искажений и изменений яркости. При этом рассматривается только такие
последовательности этих случайных преобразований, при выполнении которых
референсный контур железы, соответствующей патчу, не выходит за пределы патча
(преимущественно это касается преобразования поворота).
В качестве
сегментирующей свёрточной нейронной сети для модели обучаемых активных контуров
в данной работе используется модифицированная версия сети U-Net [12]. Глубина
сети (количество свёрточных блоков в кодирующей части сети) выбрана равной 5,
также внутрь каждого блока добавлена операция нормализации. Для упрощения
задачи и ускорения обучения было решено осуществлять сегментацию сетью патчей
не исходного размера, а уменьшенных до разрешения . Основным
отличием используемой сети от оригинальной U-Net является количество выходных
тензоров, равное 4. В частности, после получения сетью итогового тензора в
конце декодирующего пути, выполняется не одна свёртка, уменьшающая количество
каналов до 2, как в случае U-Net, а четыре независимых друг от друга. Это как
раз и позволяет получить по единственному входному изображению 4 результирующие
карты: Все вычисления по
построению контура на основе начального расположения и предсказанных карт
энергии производятся внутри сети, тем самым формируя сеть структурного
предсказания, обучение которой было описано ранее.
Также, в
рассматриваемой задаче сегментации желёз на гистологических изображениях в связи
с ограниченным объемом обучающих данных было решено использовать вместо
индивидуального значения поля в каждой точке
патча усреднённое значение по всему патчу.
На данный момент
схема вычислений, перемещающих контур по предсказанным картам энергии,
реализована только для одиночного контура и не приспособлена для работы в
пакетном режиме. Поэтому выбор большого размера пакета приводит к низкой
скорости обучения нейронной сети. Для решения этой проблемы, внутри каждого
свёрточного блока вместо пакетной нормализации используется групповая
нормализация (англ. Group Normalization) [13]. Этот подход позволяет
оставить размер пакета небольшим (в текущей конфигурации он равен 2), при этом
сохранить скорость обучения сети, сопоставимую применению пакетной нормализации
с размером пакета равным 16.
Для обучения
используемой нейронной сети используется оптимизатор Adam (от англ. Adaptive
Moment Estimation) [14]. Стоит отметить, что в силу того, что в данной
нейронной сети не используется гладкая функция потерь, а оптимизация весов
проводится на основе субградиентного метода, обучение с постепенным уменьшением
скорости обучения (по фиксированному числу итераций или по достижении плато)
даёт плохие результаты. Гораздо более подходящей в подобном случае является циклическое
изменение скорости обучения. В данном случае, для обучения нейронной сети
используется изменение скорости обучения [15], при котором зависимость скорости
обучения от итерации представляется как осциллирующий процесс с резким линейным
возрастанием и плавным убыванием по косинусоиде с постепенным уменьшением
амплитуды.
Параметры модели
обучаемого активного контура для текущей задачи были выбраны следующим образом:
количество точек, из которых состоит контур , количество
итераций , максимальное
расстояние, на которое может быть сдвинута каждая точка контура за одну
итерацию, , момент
перемещения контура , начальные
положения контуров задавались как круги радиусом в 5 пикселей вокруг центра
тяжести референсного контура каждой железы.
Результаты
сегментации желёз на гистологических изображениях моделью обучаемого активного
контура на наборе данных PATH-DT-MSU с использованием всех вышеописанных приёмов
приведены на Рис. 2. Процесс обучения модели в виде зависимости меры IoU на тренировочных и
тестовых данных от эпохи обучения приведён на Рис. 5. Кроме того, на Рис. 3
приведена визуализация некоторых предсказанных карт энергий.
(а)
(б)
(в)
(г)
Рис. 2. Процесс
сегментации желёз на тестовом изображении из набора PATH-DT-MSU. Зелёным цветом
обозначен референсные контуры желёз, синим – предсказанный контур. (а), (б),
(в), (г) – положения контуров на 1, 20, 30 и 40 итерациях процесса
распространения контуров соответственно.
(а)
(б)
Рис. 3: Визуализация
предсказанных полей энергий для нескольких патчей тестового изображения из
набора PATH-DT-MSU: (а) – поле энергии , (б) – поле
энергии .
Описанный выше алгоритм
сегментации индивидуальных желёз на гистологических изображениях имеет один
существенный недостаток. А именно, процесс сегментации каждой железы активным
контуром, распространяющимся из своего первоначального положения, происходит
самостоятельно и не зависит от остальных желез, присутствующих на изображении.
В силу того, что сегментация каждой отдельной железы моделью активного контура
может быть не идеальной, в некоторых областях изображения может возникать
ситуация, при которой результирующие контуры нескольких желёз перекрываются.
Подобный эффект очевидно является ошибкой сегментации. Для устранения
описанного эффекта и предлагается использовать постобработку результатов
сегментации изображения активными контурами.
Рассмотрим набор из активных
контуров, каждый из которых состоит из узлов на
протяжении итераций их
распространения. При этом за будем обозначать
координаты -ого узла -ого активного
контура на итерации . Для
предотвращения возможности пересечения результирующих контуров предлагается
простой, но в то же время эффективный алгоритм постобработки (Алг.1).
1:
procedure REGULARIZE()
○
Обрабатываемые контуры }
2: for
t = 2 to
do
○ итерация по времени
3: shuffle()
○
перемешиваем контуры
4: for i = 1
to do
○
перебираем все контуры
5:
○
множество уже обработанных контуров
6:
○
множество ещё не обработанных контуров
7: fork = 1 to
L do
○
перебираем все точки контура
8:
○
сегмент, соединяющий и
точки
9:
○
сегмент, соединяющий и точки
10:
if then
○
если есть пересечения
11:
○
не двигать эту точку контура
12: return
○
результирующий набор контуров без коллизий
Алг.1: Алгоритм
разрешения коллизий при распространении активных контуров
Данный алгоритм
разрешения коллизий при распространении активных контуров работает следующим
образом. На каждой итерации алгоритм случайно
перемешивает набор имеющихся контуров, а затем поочередно рассматривая каждый
контур из последовательности перемещает те точки контура (из их положения в
момент времени в новое
предсказанное положение в момент времени ), перемещение
которых не приводит к пересечению обрабатываемого контура ни с каким из
оставшихся (Рис. 4). При этом при взаимодействии текущего обрабатываемого
контура с тем, который уже был обработан на текущей итерации, обработанный
контур рассматривается в уже обновленный момент времени , а при
взаимодействии с контуром, который ещё не был обработан на текущей итерации,
необработанный контур рассматривается в предыдущий момент времени . Случайное
перемешивание набора контуров перед каждой итерацией алгоритма, которое
определяет порядок рассмотрения контуров, позволяет добиться более устойчивых
результатов постобработки.
(а) (б)
(в) (г)
Рис. 4: Процесс
взаимодействия активных контуров. Этап движения левого контура. Зелёным цветом
отмечены точки контура, перемещаемые на текущей итерации, оранжевым цветом
отмечены их новые предсказанные позиции. На рисунках изображены: (а) – исходное
положение контура, (б) – возможные новые положения точек контура и пересечение
его сегментов с другими контурами, (в) – выбор точек, которые можно
переместить, (г) – результат движения.
Постобработка
множества активных контуров описанным алгоритмом разрешения коллизий позволяет
добиться того, что результирующие контуры на изображении не пересекаются. При
этом, так как исходная модель активного контура предполагала смещение каждой
точки контура на одной итерации по времени на расстояние, не превышающее 2
пикселей, то контуры, которые первоначально пересекались, будут располагаться
"вплотную" друг к другу.
(а) (б)
Рис. 5: Обучение гибридной
модели обучаемого активного контура: (а) – зависимость IoU от эпохи обучения
для на тренировочных и тестовых данных, (б) – зависимость IoU от эпохи обучения
для на тестовых данных с и без применения алгоритма разрешения коллизий.
Такая
постобработка активных контуров улучшает качество сегментации (Рис. 6). Так,
значение объектной меры сходства IoU на тестовых изображениях после применения
алгоритма разрешения коллизий увеличивается в среднем на 0.01 (Рис. 5). При
этом итоговая точность классификации по всем тестовым изображениям набора
данных PATH-DT-MSU составляет 0.81
по мере сходства IoU.
(а) (б)
Рис. 6: Применение
алгоритма разрешения коллизий при расширении активных контуров. Зелёным
отмечены референсные контуры желёз, синим – обучаемые активные контуры после
применения алгоритма разрешения коллизий, красным – изначальные участки контуров,
которые изменились после применения алгоритма.
В данной работе
представлен гибридный алгоритм сегментации желёз на гистологических
изображениях на основе обучаемой модели активного контура. Также предложен
алгоритм постобработки результатов сегментации активными контурами.
Предложенные методы были протестированы на наборе данных PATH-DT-MSU и
продемонстрировали достаточно хорошие результаты сегментации.
Дальнейшие
исследования будут связаны с разработкой алгоритмов инициализации активных
контуров на гистологических изображениях, что позволит построить полностью
автоматический обучаемый метод сегментации гистологических изображений.
Исследование выполнено за счёт гранта Российского
Научного Фонда (проект №17-11-01279).
[1] Mihalj
Bakator and Dragica Radosav. Deep learning and medical diagnosis: A review of
literature. Multimodal Technologies and Interaction, 2(3):47, 2018.
[2] Riccardo
Miotto, Fei Wang, Shuang Wang, Xiaoqian Jiang, and Joel T Dudley. Deep learning
for healthcare: review, opportunities and challenges. Briefings in
bioinformatics, 19(6):1236–1246, 2017.
[3] Cristóvão
Cruz, Alessandro Foi, Vladimir Katkovnik, and Karen Egiazarian. Nonlocality-reinforced
convolutional neural networks for image denoising. IEEE Signal Processing
Letters, 25(8):1216–1220, 2018.
[4] Di Lin,
Jifeng Dai, Jiaya Jia, Kaiming He, and Jian Sun. Scribblesup:
Scribble-supervised convolutional networks for semantic segmentation. In Proceedings
of the IEEE Conference on Computer Vision and Pattern Recognition, pages
3159–3167, 2016.
[5] Automatic
mucous glands segmentation in histological images / A. V. Khvostikov, A. S.
Krylov, I. A. Mikhailov et al. // ISPRS - International Archives of the
Photogrammetry, Remote Sensing and Spatial Information Sciences. — 2019. — Vol.
42, no. 2/W12. — P. 103–109.
[6] Kaiming
He, Georgia Gkioxari, Piotr Dollár, and Ross Girshick. Mask r-cnn. In Proceedings
of the IEEE international conference on computer vision, pages 2961–2969,
2017.
[7] Min Bai
and Raquel Urtasun. Deep watershed transform for instance segmentation. In Proceedings
of the IEEE Conference on Computer Vision and Pattern Recognition, pages
5221–5229, 2017.
[8] Michael
Kass, Andrew Witkin, and Demetri Terzopoulos. Snakes: Active contour models. International
journal of computer vision, 1(4):321–331, 1988.
[9] Marcos
D. et al. Learning deep structured active contours end-to-end //arXiv
preprint arXiv:1803.06329, 2018.
[10] Qian N.
On the momentum term in gradient descent learning algorithms //Neural networks.
– 1999. – V. 12. – №. 1. – pp. 145-151.
[11] Hannes
Schulz and Sven Behnke. Structured prediction for object detection in deep
neural networks. In International Conference on Artificial Neural Networks,
pages 395–402. Springer, 2014.
[12] Olaf
Ronneberger, Philipp Fischer, and Thomas Brox. U-net: Convolutional networks
for biomedical image segmentation. In International Conference on Medical
image computing and computer-assisted intervention, pages 234–241.
Springer, 2015.
[13] Yuxin
Wu and Kaiming He. Group normalization. In Proceedings of the European
Conference on Computer Vision (ECCV), pages 3–19, 2018.
[14] Diederik
P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv
preprint arXiv:1412.6980, 2014.
[15] Ilya
Loshchilov and Frank Hutter. Sgdr: Stochastic gradient descent with warm
restarts. arXiv preprint arXiv:1608.03983, 2016.
Trainable Active Contour Model for Histological Image Segmentation
Authors: A.V. Khvostikov1,A, A.S. Krylov2,A, I.A. Mikhailov3,B, P.G. Malkov4,B
A Laboratory of Mathematical Methods of Image Processing, Faculty of Computational Mathematics and Cybernetics, Lomonosov Moscow State University
B Department of Pathology, University Medical Center, Lomonosov Moscow State University
1 ORCID: 0000-0002-4217-7141, khvostikov@cs.msu.ru
2 ORCID: 0000-0001-9910-4501, kryl@cs.msu.ru
3 ORCID: 0000-0001-8020-369X, imihailov@mc.msu.ru
4 ORCID: 0000-0001-5074-3513, pmalkov@mc.msu.ru
Abstract
Lesions analysis of mucous glands, which depends on the glands segmentation in histological images, is an important task of surgical pathology. This paper presents a hybrid method of glands object segmentation in histological images, based on the trainable active contour model. The hybrid method combines the use of both modern convolutional neural networks and classical methods of mathematical image processing. Also, within this hybrid method a special postprocessing algorithm is implemented, which allows to correctly segment stucked glands in the image. The proposed method was tested on PATH-DT-MSU dataset and demonstrated good results. The average value of IoU for all test images is 0.81.
Keywords: image segmentation, hybrid algorithms, convolutional neural networks, active contours, histological images.
[1] Mihalj
Bakator and Dragica Radosav. Deep learning and medical diagnosis: A review of
literature. Multimodal Technologies and Interaction, 2(3):47, 2018.
[2] Riccardo
Miotto, Fei Wang, Shuang Wang, Xiaoqian Jiang, and Joel T Dudley. Deep learning
for healthcare: review, opportunities and challenges. Briefings in
bioinformatics, 19(6):1236–1246, 2017.
[3] Cristóvão
Cruz, Alessandro Foi, Vladimir Katkovnik, and Karen Egiazarian. Nonlocality-reinforced
convolutional neural networks for image denoising. IEEE Signal Processing
Letters, 25(8):1216–1220, 2018.
[4] Di Lin,
Jifeng Dai, Jiaya Jia, Kaiming He, and Jian Sun. Scribblesup:
Scribble-supervised convolutional networks for semantic segmentation. In Proceedings
of the IEEE Conference on Computer Vision and Pattern Recognition, pages
3159–3167, 2016.
[5] Automatic
mucous glands segmentation in histological images / A. V. Khvostikov, A. S.
Krylov, I. A. Mikhailov et al. // ISPRS - International Archives of the
Photogrammetry, Remote Sensing and Spatial Information Sciences. — 2019. — Vol.
42, no. 2/W12. — P. 103–109.
[6] Kaiming
He, Georgia Gkioxari, Piotr Dollár, and Ross Girshick. Mask r-cnn. In Proceedings
of the IEEE international conference on computer vision, pages 2961–2969,
2017.
[7] Min Bai
and Raquel Urtasun. Deep watershed transform for instance segmentation. In Proceedings
of the IEEE Conference on Computer Vision and Pattern Recognition, pages
5221–5229, 2017.
[8] Michael
Kass, Andrew Witkin, and Demetri Terzopoulos. Snakes: Active contour models. International
journal of computer vision, 1(4):321–331, 1988.
[9] Marcos
D. et al. Learning deep structured active contours end-to-end //arXiv
preprint arXiv:1803.06329, 2018.
[10] Qian N.
On the momentum term in gradient descent learning algorithms //Neural networks.
– 1999. – V. 12. – №. 1. – pp. 145-151.
[11] Hannes
Schulz and Sven Behnke. Structured prediction for object detection in deep
neural networks. In International Conference on Artificial Neural Networks,
pages 395–402. Springer, 2014.
[12] Olaf
Ronneberger, Philipp Fischer, and Thomas Brox. U-net: Convolutional networks
for biomedical image segmentation. In International Conference on Medical
image computing and computer-assisted intervention, pages 234–241.
Springer, 2015.
[13] Yuxin
Wu and Kaiming He. Group normalization. In Proceedings of the European
Conference on Computer Vision (ECCV), pages 3–19, 2018.
[14] Diederik
P Kingma and Jimmy Ba. Adam: A method for stochastic optimization. arXiv
preprint arXiv:1412.6980, 2014.
[15] Ilya
Loshchilov and Frank Hutter. Sgdr: Stochastic gradient descent with warm
restarts. arXiv preprint arXiv:1608.03983, 2016.