Нейросеть, которая добавляет в видео анимацию и яркие цвета

Анализ и обработка видеопотоков

О проекте

01/

Клиент

Рекламное агентство APM – партнёр AB InBev Efes, производителя пива
и безалгокольных напитков
в России и Украине.

Предыстория

ESSA выпустили рекламу,
в которой человек и его фон окрашивались
в разные цвета.

Задача

Сделать сервис, в котором пользователи «ВКонтакте»‎
и Telegram смогут создавать похожие видео.

Что мы придумали

02/

Нейросеть, которая создаёт разные видеоэффекты:

«Неоновый бум»

с появлением контрастных контуров тела, глаз и рта, одежды

«Суперволна»

с волной, заполняющей контур человека

«Яркая вечеринка»

со сплошной цветовой заливкой частей тела, глаз, губ, одежды

Сплошная цветовая заливка частей тела, глаз, губ, одежды

Появление контрастных контуров тела, глаз и рта, одежды

Что умеет нейросеть

03/

Отличать человека от мебели и фона

Сегментировать объекты
и раскрашивать их в разные цвета

Обозначать разными цветами глаза, волосы, рисунок на одежде

01

02

03

Как это работает

04/

Пользователь считывает телефоном QR-код
на бутылке с пивом ESSA

В телефоне открывается страница сервиса ESSA «ВКонтакте»

/start

*загружает видео*

*выбирает видеоэффект*

Привет! Это чат-бот Essa,и я могу анимировать любое твое танцевальное видео! Отправь мне свое зажигательное видео длительностью от 14 до 40 секунд!

Видео получено! Выбери стиль обработки для своего видео:

Неоновый бум

Суперволна

Яркая вечеринка

Мне потребуется некоторое время для обработки. Скоро всё пришлю.

Всё получилось! Твоё видео доступно по ссылке https://...

А вот как нейросеть «увидела»‎ нашу команду:

Инструменты

05/

Для создания бота мы использовали собственные сервисы:

Простая и удобная платформа для разработки чат-ботов, голосовых ассистентов и систем автоматизации контакт-центров.

zDialog

ИИ-сервис аналитики чат-ботов. Позволяет проводить более глубокий анализ диалогов «человек-робот» и получать более точную оценку эффективности бота.

OneDash

Перейти к zDialog

Перейти к OneDash

Мы создаем хостинговую платформу для исполнения моделей компьютерного зрения на любом устройстве. Модели исполняются на наших серверах и доступны по REST API

Vision Hub

Перейти к Vision Hub

Процесс разработки

06/

Шаг 01

Обучили нейросеть «видеть» и cегментировать на видео части тела и одежду

Шаг 02

Шаг 03

Шаг 04

Протестировали сервис, сделали отладку

Шаг 05

Шаг 06

Написали руководство для пользователей, как лучше снимать видео

Запустили сервис

Обучили нейросеть «видеть» и сегментировать на видео мебель

Сделали три разных эффекта для видео

Трудности проекта

07/

01

Проблема

Пользовательские видео были низкого качества, с плохим освещением.

Решение

Чтобы улучшить картинку, мы использовали четыре модели компьютерного зрения. Они предсказывали положение объекта в кадре, делая изображение более чётким.

02

Проблема

Нейросеть могла раскрашивать разные кадры по-разному; в видео появлялись шумы.

Решение

Мы улучшили работу алгоритма, который отвечал за чёткость картинки.

03

Проблема

Долгая обработка видео: на 15-секундный ролик могло уходить 15 минут. Был риск, что пользователь не станет ждать или серверы не справятся с нагрузкой.

Решение

Мы стали указывать позицию пользователя в очереди на загрузку видео, если нужно было ждать. Добавили резервные мощности для стабильной работы.