Национальная ассоциация ученых (НАУ) # 56, 20 20 49
ИССЛЕДОВАНИЕ И РАЗРА БОТКА АЛГОРИТМОВ ПОС ТРОЕНИЯ ТРЕХМЕРНЫХ
КОМПЬЮТЕРНЫХ МОДЕЛЕЙ РЕАЛЬНЫХ ОБЪЕКТОВ Д ЛЯ СИСТЕМ ВИРТУАЛЬНО Й
РЕАЛЬНОСТИ
Кашаганова Гульжан Бахытовна
PhD, доцент
Университет «ТУРАН»
г. Алматы
Мерғазиев Қалибек Қалиолдаұлы
Магист рант
Университет «ТУРАН »
г. Алматы
RESEARCH AND DEVELOP MENT OF ALGORITHMS F OR CONSTRUCTING THRE E-
DIMENSIONAL COMPUTER MODELS OF REAL OBJE CTS FOR VIRTUAL REAL ITY SYSTEMS
Kashaganova Gulzhan
PhD, lecturer
“TURAN” University, Almaty
Mergaziyev Kalibek
Under graduate
“TURAN” University, Almaty
Аннотация
В данной статье проведено исследование и разработка алгоритмов построения трехмерных
компьютерных моделей реальных объектов для систем виртуальной реальности.
Задача сформулирована след ующим образом: на вход п одается пара фотографий анфас и в профиль,
необходимо найти координаты ряда точек, описывающих характерные черты лица человека. По
результатам проведенного обзора области для решения поставленной задачи был выбран подход на основе
несвободных локальных мод елей, сочетающих в себе преимущества активных моделей формы и активных
моделей внешнего вида, и демонстрирующих по сравнению с ними существенно более точные результаты.
Для обучения и тестирования несвободных локальных моделей были использованы фотографии
анфас из базы лиц MUCT и подмножество незагороженных лиц без эмоций из базы BioID. Для обучения
модели лица в профиль была произведена ручная разметка базы из 705 фотографий лиц разных возрастов,
рас и пола.
Используется алгоритм обнаружения точек одноврем енно на паре изображений, учитывающий
внутренние энергии, штрафующие сложные деформации модели, внешние энергии, характеризующие
невязки искомых точек с картами отклика на фотографиях, и взаимную невязку моделей анфас и в
профиль.
Проведено сравнение с ком мерческими системами AvMaker от CyberExtruder Inc. и FaceGen от
Singular Inversions Inc., показавшее, что с помощью предложенной системы можно создавать модели
человека аналогичного либо более высокого качества, затрачива я при этом в 2 —3 раза меньше времен и.
Abstract
In this article, research and development of algorithms for constructing three -dimensional computer models
of real objects for virtual reality systems was carried out.
The task is formulated as follows: a couple of full -face and profile photos are fed to the input, you need to
find the coordinates of a number of points that describe the characteristic features of a person's face. Based on the
results of the region’s review, in order to solve the problem, an approach was chosen based on proprieta ry local
models that combine the advantages of active shape models and active appearance models and demonstrate
significantly more accurate results compared to them.
For training and testing of non -free loc al models, full -face photographs from the MUCT fac e database and a
subset of non -blocked individuals without emotions from the BioID database were used. To train a model of a
person in profile, a manual marking of the base was made of 705 photographs of pe ople of different ages, races
and sex.
An algorith m for detecting points simultaneously on a pair of images is used, taking into account internal
energies that penalize complex model deformations, external energies that characterize the residuals of the de sired
points with response maps in photographs, an d the mutual residuals of the full -face and profile.
Compared with commercial AvMaker systems from CyberExtruder Inc. and FaceGen from Singular
Inversions Inc., which showed that using the proposed system i t is possible to create human models of similar or
higher quality, while spending 2 -3 times less time.
Учитывая, что человек уделяет лицам больше
внимания, чем любым другим объектам на
изображении (см. рисунок 2 —3), наиболее сложная
и в ажная часть процесса построения модели
50 Национальная ассоциация учены х (НАУ) # 56, 20 20
человека — построение модели головы. Именно
этой теме посвящена эта статья.
Рисунок 1. (а), (б) — входные фотографии , (в) — построенн ая трехмерная модель
Рисунок 2. Траектория взгляда при свободном анализе изображ ени я (А. Л. Ярбус, ДАН [11 ])
Рисунок 3. Карта концентрации вни мани я при свободном анализе изображ ени я
(Т.Туллис и др., CHI, 2009 - ССС Р, 1954 [10 ])
Трехмерная модель головы может быть
представлена картой глубины, облаком точек,
полигональной моделью, параметрической
моделью, описывающей антропометрические
хар актеристики головы человека. Построение
трехмерной модели головы человека может
производиться с помощью активных (облучающих)
систем, либо с помощью пассивных.
Основными пассивными методами построения
трехмерной модели головы человека являются
фотометричес кие (дающие оценку нормалей к
поверхности при наблюдении объекта в разных
Национальная ассоциация ученых (НАУ) # 56, 20 20 51
условиях освещенност и), стереоскопические
(строящие карту глубины с помощью оценки
диспаритета между точками одного изображения
стереопары и точками второго изображения),
фотограммет рические (оценивающие трехмерные
координаты вершин объекта по характерным
точкам набора изобра жений), методы подгонки
параметрической модели напрямую к
изображению, а также методы оценки параметров
трехмерной модели головы человека с учетом
обнаруженных на входных изображениях
антропометрических точек лица.
Однако первые два подхода позволяют
моделировать только лицо, тогда как в системах
виртуальной реальности требуется построение всей
модели головы. Кроме того, построение модели
высокой точности, как по с тереопаре, так и с
использованием фотометрических методов,
требует откалиброван ной аппаратуры, что сильно
ограничивает практическую применимость
подобных подходов. Также фотограмметрия,
стерео сопоставление и фотометрия являются
общими методами построения трехмерных
моделей по изображениям, не учитывающими
особенности модели головы ч еловека.
Задача заключается в следующем. На вход
подается пара изображений лица человека анфас и
в профиль. Необходимо найти координаты
определенного количества антропометрическ их
точек лица, при этом должна обеспечиваться
согласованность положения одних и тех же точек
лица, присутствующих как на фотографиях анфас,
так и на фотографиях в профиль.
Антропометрическая точка представляет
собой характерную особенность, присутствующую
на большинстве рассматриваемых входных
изображений, например, уголок левого гла за,
правый уголок рта, кончик носа и т. п.
Можно выделить следующие категории
существующих алгоритмов:
— несвободные локальные модели
(являющиеся обобщением активных моделей
фор мы);
— активные модели внешнего вида;
— регрессионные алгоритмы;
— алгоритмы, о снованные на графических
моделях;
— алгоритмы совместного детектирования;
— независимые детекторы черт лица;
— алгоритмы на основе глубокого обучения
(также именуемого в ряде ру сскоязычных
источников глубинным обучением);
Форма — массив размера n×2, содерж ащий
координаты (x, y) антропометрических точек лица.
Стоит отметить, что для лучшего восприятия
некоторые антропометрические точки соединены
ребрами, однако ребра не входят в м одель и служат
только целям наглядности.
Модель формы определяет набор допустим ых
форм. Допустимость определяется с помощью
модели точечного распределения :
где — координаты i-й антропометрической
точки, — параметры деформируемой модели, —
коэффициент масштабирования, — матрицы
поворота, — вектор переноса, — среднее
значение положения i -й антропометрической точки
модели, а — относящаяся к i-й точке
подматрица матрицы , состоящей из собственных
векторов, соответствующих наибол ьшим
собственным значениям.
Входные данные : изображение лица,
обнаружить лицо н а изображении и сгенерировать
начальную форму цикл построить карту отклика в
окрестности каждой точки, оценить параметры
формы с учетом карт отклика, пока не достигнута
сходимос ть
Выходные данные : координаты
антропометрических точек лица.
Алгоритм сходитс я при достижении одного из
условий:
1) сумма смещений точек на очередной
итерации меньше заданного порога;
2) достигнуто максимальное число итераций.
Иллюстрация шагов алгорит ма приведена на
рисунке 11.
Рисунок 11. Несвободная локальная модель лица. Справа — модель формы лица, по центру —
карты отклика, слева — окна поиска и подогнанн ые антропометрические точки
52 Национальная ассоциация учены х (НАУ) # 56, 20 20
СПИСОК ИСПОЛЬЗОВАННЫХ
ИСТОЧНИКОВ
1.Bishop G., Bricken W., Bro oks F., Brown M.,
Burbeck C., Durlach N., Ellis S., Fuchs H., Green M.,
Lackner J., et al. Research Directions in Virtual
Environments // Computer Graphics, Vol. 26, No. 3,
1992. P. 153 —183.
2.Гебель М., Клименко С.В. Научная
визуализация в виртуальном окр ужении //
Программирование, Т. 4, 1994. С. 29 —46.
3.Афанасьев В.О., Байгозин Д.А., Батурин
Ю.М., Даниличева П.П., Долговесов Б.С.,
Еремченко Е.Н., Казанский И.П., Клименко А.С.,
Клименко С.В., Леонов А.В. и др. Системы
визуализации и виртуального окружения в задачах
исследования космоса: настоящее и будущее // В
кн.: Космонавтика XXI века. Попытка прогноза
развития до 2101. РТСофт , 2010. С. 185 —256.
4.Baturin Y.M., Danilicheva P.P., Klimenko S.V.,
Serebrov A.A. Virtual Space Experiments and Lessons
from Spa ce // Proceedings of ED -MEDIA 2007.
Vancouver BC. 2007. Vol. 1. P. 4195 —4200.
5.Даниличева П.П., Фомин С.А., Клименко
С.В., Батурин Ю.М., Серебров А.А., Щербинин
Д.Ю. Виртуальное повествование как
инновационная образов ательная технология //
Труды Первой ме ждународной конференции
«Трехмерная визуализация научной, технической и
социальной реальности. Кластерные технологии
моделирования». Ижевск. 2009. Т. 2. С. 123 —125.
6.Клименко С.В., Никитин И.Н., Никитина
Л.Д. Аванго: система разработки виртуальных
окружен ий. Москва —Протвино : Институт физико -
технической информатики , 2006. 252 с.
7.Cerf M., Harel J., Einhäuser W., Koch C.
Predicting human gaze using low -level saliency
combined with face detection // Advances in neural
information processing systems. 2008. P. 241 —248.
8.Palermo R., Rhodes G. Are you always on my
mind? A review of how face perception and attention
interact // Neuropsychologia, Vol. 45, No. 1, 2007. P.
75 —92.
9.Chien S.H.L. No more top -heavy bias: Infants
and adults prefer upright faces but not top -heavy
geometric or face -like patterns // Journal of Vision,
Vol. 11, No. 6, 2011. P. 1 —14.
10.Ярбус А.Л. Исследование закономерностей
движений глаз в процессе зрения // Доклады АН
СССР, № 4, 1954. С . 89 —92.
11.Tul lis T., Siegel M., Sun E. Are people d rawn
to faces on webpages? // CHI'09 Extended Abstracts on
Human Factors in Computing Systems. 2009. P.
4207 —4212.
12.Файн В.С. Опознавание изображений.
Основы непрерывно -групповой теории и ее
приложения. Москва: Наука , 1970. 295 с.
13.Файн В.С. Алгоритмич еское
моделирование формообразования. Москва: Наука,
1975. 141 с.
14.Parke F.I. Computer generated animation of
faces // Proceedings of the ACM annual conference —
Volume 1. 1972. P. 451 —457.
УДК 681.396.473+681.516
МЕТОД АДАПТИВНОГО СК АНИРОВАНИЯ ПОДСТИ ЛАЮЩЕЙ ПОВЕРХНОСТИ Л УЧОМ
ЛАЗЕРНОГО ЛОКАТОРА В РЕЖИМЕ ИНФОРМАЦИОНН ОГО ОБЕСПЕЧЕНИЯ
МАЛОВЫСОТНОГО ПОЛЕТА БЕСПИЛОТНОГО ТРАНСП ОРТНОГО СРЕДСТВА
Лисицын В.М.
кандидат технических наук
Мужичек С.М.
доктор технических наук
Обросов К.В.
кандидат технических наук
ФГУП «ГосНИИАС », г. Москва
THE METHOD OF ADAPTI VE SCANNING OF THE U NDERLYING SURFACE LA SER LOCATOR
BEAM IN THE MODE OF INFOR MATION SUPPORT OF LO W-ALTITUDE FLIGHT OF AN
UNMANNED VEHICLE
Lis itsyn V.M.
candidate of technical sciences
Muzhichek S.M.
doct or of technical sciences
Obrosov K.V.
candidate of technical sciences
State Research Institute of Aviation Systems
DOI: 10.31618/nas.2413 -5291.2020.1.56.230
Работа выполнена при финансовой поддержке РФ ФИ (проект № 19 -29 -06077 мк .)