HoloAVA | AR-приложение

Нашей командой был реализован проект "под ключ".

AR-приложение HoloAVA - это уникальное мобильное приложение для поздравления и просто развлечения. Поздравление с 3D аватаром доступно в дополненной реальности.

Пользователь может, просто сделав селфи, создать свой 3D аватар, который представляет точную копию пользователя. Форма и текстура головы (в том числе волос) и тела уникальные для каждого человека синтезируются с помощью алгоритма глубокого обучения. Все вычисления происходят в облаке, что не грузит мобильное устройство пользователя. Также добавляются кости, которые позволяют создать живую мимику и движения головы и тела. Анимации мимики (бровей, глаз, губ и других частей головы) формировались нашими аниматорами с учетом лицевой анатомии.

Пользователь может создать собственный текст или выбрать из готовых. Далее данный текст можно зачитать для записи звукового сообщение, которое будет наложено на 3D аватар. Мы прозвали этот эффект "говорящая голова", когда пользователь получается аватара, который разговаривает его голосом. Таким аватаром можно поделиться любым удобным способом с близкими, коллегой и в общем с кем угодно!

Поделиться 3D аватаром можно при помощи уникального кода, который генерируется на сервере. Для этого пользователю необходимо вбить код в приложении HoloAVA после чего подгрузится поздравление с 3D аватаром, которое можно просмотреть в дополненной реальности. Для отображения автара на плоскости в дополненной реальности мы использовали технологии ARKit и ARCore. Данные решения ограничивают количество поддерживаемых устройств, но являются сами стабильными для отображения 3D моделей на плоскости.

В приложении еще много фичей, которые постоянно добавляются и обновляются. К примеру, пользователь может выбрать фон, на котором будет отображаться аватар, данный фон используется при поздравлении. Или, к примеру, была реализована 3D платформа в дополненной реальности, которая создает дополнительный WoW-эффект.

Это приложение является хорошим примером применения AR технологий и нейронных сетей, что может применятся в образовании, развлечении и многих других сферах.