Портфолио
Продукты
zDialog
OneDash
VisionHub
ИИ-консалтинг
MAGE
Студии
Data Lab
Dialog Systems
О нас
О компании
AIC
Новости
Контакты
Ru
En
Портфолио
Продукты
zDialog
OneDash
VisionHub
ИИ-консалтинг
MAGE
Студии
Data Lab
Dialog Systems
О нас
О компании
AIC
Новости
Контакты
Youtube
Ru
En |
Нейросеть, которая сегментирует кадры мобильного видео и «ищет»
на них человека
Основная информация
Клиент
Разработчик популярного мобильного приложения для художественной обработки
фото и видео.
Задача
Создать инструмент, который будет сегментировать кадры видеопотока и выделять силуэт человека.
Сервис должен запускаться на смартфонах.
Применение
Пользователь приложения сможет менять фон, как
в Zoom, или «надевать» маску.
Входит
в топ-10 App Store
в категории «Фото и видео»
Решение
Три нейросетевых модели
для широкого диапазона мобильных устройств. Они работают
с разной скоростью и точностью.
Проблемы, с которыми мы столкнулись
Проблема
В нашей команде не было ни одного мобильного разработчика.
Решение
Мы подобрали специалистов, которые хорошо разбираются и в мобильной разработке, и в машинном обучении.
Проблема
Сервис должен был работать на разных смартфонах, включая «медленные».
Решение
Мы разработали три модели. Первую - для «медленных» смартфонов, вторую - для мощных флагманов и третью, оптимальную, - для основной группы устройств.
Этапы разработки
Изучили материалы
и инструменты
для разработки
Подобрали библиотеку видео
и изображений
Обучили нейросеть «видеть» человека
в кадре и очерчивать
его контур
На фото
На видео
Адаптировали
сервис к запуску
на мобильных устройствах
Результаты
Исходное
изображение
Идеальная маска
Нейросеть очертила контур согласно вероятности,
что пиксели относятся
к фигуре человека.
Итоговый контур. Нейросеть очертила его, предсказав положение человека в кадре.
Image
GT Mask
Predicted Probs
Predicted Mask
Протестировали нейросеть и передали клиенту
Пример тестирования модели на смартфоне Huawei P20 LTE
Инструменты
Vision Hub
Хостинговая платформа для моделей компьютерного зрения. Модели запускаются на наших серверах и встраиваются
в сторонние сервисы через REST API.
Перейти к Vision Hub
Команда проекта
Константин Кубрак
Менеджер проекта
Владислав Виноградов
Технический директор
Александр Гращенков
iOS-разработчик
Вячеслав Шульц
Сomputer vision engineer
Дмитрий Гордин
Android-разработчик
Между прочим
Это был наш первый опыт адаптации нейросетей
для запуска на мобильных устройствах.
Мы передали клиенту разработку и научили его воспроизводить эффект на своей платформе.
Итоги
Этот проект оказался сложнее, чем мы думали. Благодаря ему мы начали проводить аудит
и консалтинг в области машинного обучения.
Полученный опыт очень пригодился в другом проекте - когда мы разрабатывали приложение для снятия показаний счётчиков.
Что такое ML-аудит
«Умный» сервис для Фрисби
Планы
Сделать модель
кросс‑платформенной
- чтобы она запускалась на любых устройствах, а также в облаке.
Объединить модель сегментации с моделью воспроизведения глубины кадра. Это
повысит точность сегментации.
{"0":{"lid":"1531306540094","ls":"10","loff":"","li_type":"nm","li_name":"name","li_title":"Меня зовут","li_ph":"Иван Иванович","li_req":"y","li_nm":"name"},"1":{"lid":"1531306243545","ls":"20","loff":"","li_type":"em","li_name":"email","li_title":"Мой e-mail","li_ph":"mail@example.com","li_req":"y","li_nm":"email"},"2":{"lid":"1608756710070","ls":"30","loff":"","li_type":"ph","li_title":"Мой номер телефона","li_masktype":"a","li_maskcountry":"RU","li_nm":"Phone"},"3":{"lid":"1608756742134","ls":"40","loff":"","li_type":"ta","li_name":"Description","li_title":"Описание проекта","li_ph":"Нажмите сюда и опишите вашу задачу в свободной форме","li_req":"y","li_rows":"2","li_nm":"Description"}}
Напишите нам