Нейросеть, которая добавляет в видео анимацию и яркие цвета

Анализ и обработка видеопотоков

ESSA logo

О проекте

01/

Клиент

Рекламное агентство APM – партнёр AB InBev Efes, производителя пива
и безалгокольных напитков
в России и Украине.

Предыстория

ESSA выпустили рекламу,
в которой человек и его фон окрашивались
в разные цвета.

Задача

Сделать сервис, в котором пользователи «ВКонтакте»‎
и Telegram смогут создавать похожие видео.
APM logo

Что мы придумали

02/

Нейросеть, которая создаёт разные видеоэффекты:

«Неоновый бум»
с появлением контрастных контуров тела, глаз и рта, одежды
«Суперволна»
с волной, заполняющей контур человека
«Яркая вечеринка»
со сплошной цветовой заливкой частей тела, глаз, губ, одежды
Волна, заполняющая контур человека
Сплошная цветовая заливка частей тела, глаз, губ, одежды
Появление контрастных контуров тела, глаз и рта, одежды

Что умеет нейросеть

03/
Отличать человека от мебели и фона
Сегментировать объекты
и раскрашивать их в разные цвета
Обозначать разными цветами глаза, волосы, рисунок на одежде
01
02
03

Как это работает

04/
Пользователь считывает телефоном QR-код
на бутылке с пивом ESSA
В телефоне открывается страница сервиса ESSA «ВКонтакте»
Чат-бот Essa
/start
*загружает видео*
*выбирает видеоэффект*
Привет! Это чат-бот Essa,и я могу анимировать любое твое танцевальное видео! Отправь мне свое зажигательное видео длительностью от 14 до 40 секунд!
Видео получено! Выбери стиль обработки для своего видео:
Неоновый бум
Суперволна
Яркая вечеринка
Мне потребуется некоторое время для обработки. Скоро всё пришлю.
Всё получилось! Твоё видео доступно по ссылке https://...
А вот как нейросеть «увидела»‎ нашу команду:
Нейросеть распознает несколько человек

Инструменты

05/
Для создания бота мы использовали собственные сервисы:
Простая и удобная платформа для разработки чат-ботов, голосовых ассистентов и систем автоматизации контакт-центров.

zDialog

ИИ-сервис аналитики чат-ботов. Позволяет проводить более глубокий анализ диалогов «человек-робот» и получать более точную оценку эффективности бота.

OneDash

Мы создаем хостинговую платформу для исполнения моделей компьютерного зрения на любом устройстве. Модели исполняются на наших серверах и доступны по REST API

Vision Hub

zDialog фреймворк
OneDash сервис

Процесс разработки

06/
Шаг 01
Обучили нейросеть «видеть» и cегментировать на видео части тела и одежду
Шаг 02
Шаг 03
Шаг 04
Протестировали сервис, сделали отладку
Шаг 05
Шаг 06
Написали руководство для пользователей, как лучше снимать видео
Запустили сервис
Обучили нейросеть «видеть» и сегментировать на видео мебель
Сделали три разных эффекта для видео

Трудности проекта

07/
01
Проблема
Пользовательские видео были низкого качества, с плохим освещением.
Решение
Чтобы улучшить картинку, мы использовали четыре модели компьютерного зрения. Они предсказывали положение объекта в кадре, делая изображение более чётким.
02
Проблема
Нейросеть могла раскрашивать разные кадры по-разному; в видео появлялись шумы.
Решение
Мы улучшили работу алгоритма, который отвечал за чёткость картинки.
03
Проблема
Долгая обработка видео: на 15-секундный ролик могло уходить 15 минут. Был риск, что пользователь не станет ждать или серверы не справятся с нагрузкой.
Решение
Мы стали указывать позицию пользователя в очереди на загрузку видео, если нужно было ждать. Добавили резервные мощности для стабильной работы.

Результаты проекта

08/
Тонна новых знаний –это наш самый большой и сложный проект, связанный с сегментацией изображений на видео
01
02
Клиент остался доволен и решил запустить похожий сервис для пользователей в Украине и Белоруссии

Команда проекта

09/
2 менеджера проекта
3 backend-
разработчика
Технический директор
2 аналитика данных
ESSA logo

Чему мы научились

10/
Использовать сложные комбинации моделей машинного зрения
Обрабатывать видеозаписи разного качества, в том числе сжатые алгоритмами
Напишите нам