«Ожившая» сказка про Красную Шапочку с 3D-масками героев

Приложение для «умного» дисплея SberPortal

SberDevices logo
СберПортал
SberPortal

Клиент

Sber Devices - дочерняя компания «Сбера». Производит «умные» устройства и сервисы

Особенности проекта

Визуализировать сказку
и сделать 3D-маски героев. Сказка предустановлена в «умном» дисплее SberPortal

Задача


Красная Шапочка

Основная информация

01/
Проект разрабатывали с нуля: готовые решения нас не устраивали
Приложение «Чудо-книжки» –
это интерактивные сказки:
во время чтения можно «играть» одного из героев и менять фоны.
Решение

Схема работы

02/
Родитель
Ребёнок
рассказывает сказку
Камера распознает лицо в кадре
На нём появляется маска героя
Взрослый переключает текст и меняет фоны
по мере развития сюжета

Примеры масок

03/

Маска мамы

Маска волка

Как работает приложение

04/

Персонажи сказки

05/
Красная шапочка, Мама, Бабушка, Серый волк, Охотники
Красная Шапочка
Мама
Бабушка
Серый волк
Охотники

Передача эмоций

06/
Лица героев не статичны: они выражают удивление, радость, печаль.
У каждого героя – свой набор поз, который отражает его характер.

Отрисовка сцен

07/
Сцена с охотниками
Сцена с красной шапочкой, серым волком
Сцена с красная шапочкой, серым волком
Сцена с красной шапочкой, Мамой, Бабушкой

Процесс разработки

08/
1 месяц
1 месяц
1 месяц
3 месяца
2 месяца
изучение материалов, создание дизайна
разработка
и тестирование 3D-масок
подготовка тестовых демонстраций
запуск демо-версии приложения
QA-тестирование,
релиз

Трудности проекта

09/
Проблема
Из-за особенностей SberPortal мы не смогли использовать готовое решение для распознавания лиц и наложения масок.
Решение
Вместо использования готовых решений, по типу ARCore и Banuca, мы использовали предобученные сети BlazeFace и FaceGeometry.

Команда проекта

10/
Менеджер
Антон Шипов
Разработчик
Герман Тарасов
Технический директор
Сергей Веренцов
Команда дизайнеров -специалистов
по 3D-визуализации

Эмоции от проекта

11/
Было интересно поработать
над серьёзным дизайном
с 3D-визуализацией и отрисовкой всех персонажей. Горжусь, что наш проект увидят миллионы людей
Команда была в восторге:
это совершенно новый продукт на рынке, это сложный проект, аналогов которому нет в СНГ
Герман Тарасов
Антон Шипов
Менеджер проекта
Разработчик

Что нового мы узнали

12/
Как создавать Android-приложения
Сервис тестировали на прототипе «умного» дисплея
Как работать
со SberPortal
Сервис адаптировали под разные Android-устройства
Напишите нам