Заполните форму
И наши менеджеры ответят на ваши вопросы
Нажимая на кнопку, вы соглашаетесь с нашей Политикой в отношении обработки персональных данных пользователя
Иннополис
ул. Университетская, д. 7
Позвоните нам
Напишите нам
Мы используем cookies и собираем технические данные
Находясь на сайте вы соглашаетесь с применением данных технологий
Находясь на сайте вы соглашаетесь с применением данных технологий
Чат-бот, помогающий женщинам подобрать подарки для мужчин
Анализ изображений
Основная информация
01/
Заказчик
Создать подборщик подарков через «Вконтакте»
Задача
Функция бота
Девушка загружает в чат-бот фотографию мужчины
Проект в рамках рекламной кампании Avon к 23 февраля
Аудитория
Девушки 25-45 лет
О проекте
Бот помогает с выбором подарка в зависимости от типажа мужчины
Персонаж проекта
02/
В рамках проекта шоумен Тимур Родригез примерил на себя роль профессионального переводчика с мужского на русский.
«Привет! Я Тимур Родригез. Я профессионально перевожу с «мужского» на русский. И помогу тебе выбрать лучший подарок для твоего мужчины»
После того, как девушка загружала фотографию мужчины, бот от лица Тимура давал шуточные комментарии:
Чат-бот раздавал оригинальные идеи подарков, основываясь на полученных данных о конкретном мужчине
искусственный интеллект
с Тимуром Родригезом
с Тимуром Родригезом
Команда проекта
03/
Техлид
Владислав Виноградов
Чат-бот разработчик
Роман Афанасьев
Менеджер проекта
Эмиль Магеррамов
Data Scientist
Рамиль Гиззатулин
Константин Кубрак
Computer Vision Инженер
Длительность разработки
04/
Интеграция
Разметка
Валидация
10.2%
13.6%
20.3%
Предобработка
10.2%
Тестирование
8.1%
Деплой
5.1%
Обучение
32.5%
Итого:
3.5
месяца работы
Для анализа изображений используется семь нейросетевых моделей
Интересный факт
Схема работы
05/
Девушка загружает в чат-бот фотографию мужчины
Нейросеть анализирует фотографию по параметрам:
01
Тип одежды
02
Тип фигуры
Цвет волос
03
Тип растительности на лице и голове
04
Нейросеть создает маску сегментации:
русый
усы
щетина
худой
бизнес
В зависимости от полученных параметров, мужчине на фото приписывается один из четырех типажей:
Брутал
Домосед
Метросексуал
Непоседа
Каждому типажу соответсутвует свой рекомендуемый подарок — косметическое средство Avon
Инструменты
06/
Для создания бота мы использовали собственные сервисы:
Простая и удобная платформа для разработки чат-ботов, голосовых ассистентов и систем автоматизации контакт-центров.
zDialog
ИИ-сервис аналитики чат-ботов. Позволяет проводить более глубокий анализ диалогов «человек-робот» и получать более точную оценку эффективности бота.
OneDash
Мы создаем хостинговую платформу для исполнения моделей компьютерного зрения на любом устройстве. Модели исполняются на наших серверах и доступны по REST API
Vision Hub
Немного статистики
07/
фотографий
175 435
аудио
78 434
За время кампании было загружено
2 343
сообщения
Техническая реализация
08/
выявление пола человека
01
Так как проект был рассчитан только на мужчин, нужно было научить нейросеть определять пол.
Для этого мы взяли большой набор данных, состоящий из фотографий людей с указанием пола.
Для увеличения точности мы использовали нейросеть dlib, которая детектировала на фото лицо.
анализ одежды
02
Для анализа одежды мы также использовали модель сегментации, то есть выделения одежды, а дальше присваивали ей один из пяти классов:
Кроме этого нужно было научить нейросеть находить обнаженные фото, т.е. отсутствие одежды на фото.
casual
спортивная одежда
военная форма
деловая одежда
экстремальная экипировка
анализ фигуры
03
Для того, чтобы определять типаж человека на фото более точно, нужно было обучить нейросеть распознавать фигуру.
Мы решили взять два основных параметра - научиться понимать комплекцию человека и его примерный вес.
Так мы смогли отделять четыре класса:
худой
полный
нормальный
мускулистый
анализ зон растительности на лице и цвета волос
04
Для начала нужно было определить тип растительности по зонам или ее отсутствие, а дальше определить цвет волос/бороды.
Для этого нам также понадобился детектор лица, а следующим шагом мы использовали предобученную модель Tiramisu и набор правил, чтобы детекция была более точной.
После этого нужно было определить цвет волос:
анализ фона
05
Последней задачей была классификация фона — нужно было попробовать определить место съемки или характерные приметы, такие как море, машина и так далее.
Из-за низкого качества реальных данных результат получался не очень точным, поэтому в итоговой модели практически не учитывался.
Еще более подробную презентацию проекта можно посмотреть здесь
Трудности проекта
09/
«Как ни странно, трудностей почти не было. Сложнее всего было классифицировать фон. Мы очень долго с ним возились, но в результате просто решили убрать – оказалось, что остальных параметров достаточно».
Константин Кубрак
Computer Vision Инженер
Результаты проекта
10/
Было интересно и драйвово, потому что многие вещи были в новинку:
Первый чат-бот, где используется машинное зрение
Пайплайн из семи нейросетей внутри одного проекта
Первые попытки анализировать звук
Напишите нам