Чат-бот, помогающий женщинам подобрать подарки для мужчин

Анализ изображений

AVON logo
Тимур Родригез с розой в руке
О ПРОЕКТЕ
О ПРОЕКТЕ

О ПРОЕКТЕ

О ПРОЕКТЕ

Основная информация

01/

Заказчик

Создать подборщик подарков через «Вконтакте»

Задача

Функция бота

Девушка загружает в чат-бот фотографию мужчины
Проект в рамках рекламной кампании Avon к 23 февраля
AVON

Аудитория

Девушки 25-45 лет

О проекте

Бот помогает с выбором подарка в зависимости от типажа мужчины

Персонаж проекта

02/
В рамках проекта шоумен Тимур Родригез примерил на себя роль профессионального переводчика с мужского на русский.
Стикер с Тимуром Родригезом
Avon Россия, чат с Тимуром Родригезом
«Привет! Я Тимур Родригез. Я профессионально перевожу с «мужского» на русский. И помогу тебе выбрать лучший подарок для твоего мужчины»
После того, как девушка загружала фотографию мужчины, бот от лица Тимура давал шуточные комментарии:
Шутка от бота Avon
Avon шутит про мужчину
Avon шутит про фигуру мужчины
Avon шутит про головной убор мужчины
Тимур Родригез смеется до слез
Тимур Родригез смеется до слез
Тимур Родригез смеется до слез
Тимур Родригез смеется до слез
Чат-бот раздавал оригинальные идеи подарков, основываясь на полученных данных о конкретном мужчине
искусственный интеллект
с Тимуром Родригезом
Чат-бот выдал идею подарка для мужчины

Команда проекта

03/
Техлид
Владислав Виноградов
Чат-бот разработчик
Роман Афанасьев
Менеджер проекта
Эмиль Магеррамов
Data Scientist
Рамиль Гиззатулин
Константин Кубрак
Computer Vision Инженер
AVOB logo

Длительность разработки

04/
Интеграция
Разметка
Валидация
10.2%
13.6%
20.3%
Предобработка
10.2%
Тестирование
8.1%
Деплой
5.1%
Обучение
32.5%
Итого:
3.5
месяца работы
Для анализа изображений используется семь нейросетевых моделей

Интересный факт

Схема работы

05/
Девушка загружает в чат-бот фотографию мужчины
Нейросеть анализирует фотографию по параметрам:
01
Тип одежды
02
Тип фигуры
Цвет волос
03
Тип растительности на лице и голове
04
Мужчина в пальто с портмоне
Нейросеть создает маску сегментации:
Маска сегментации
русый
усы
щетина
худой
бизнес
В зависимости от полученных параметров, мужчине на фото приписывается один из четырех типажей:
Брутал
Домосед
Метросексуал
Непоседа
Брутальный мужчина
Мужчина домосед
Мужчина метросексуал
Мужчина непоседа
Каждому типажу соответсутвует свой рекомендуемый подарок — косметическое средство Avon

Инструменты

06/
Для создания бота мы использовали собственные сервисы:
Простая и удобная платформа для разработки чат-ботов, голосовых ассистентов и систем автоматизации контакт-центров.

zDialog

ИИ-сервис аналитики чат-ботов. Позволяет проводить более глубокий анализ диалогов «человек-робот» и получать более точную оценку эффективности бота.

OneDash

Мы создаем хостинговую платформу для исполнения моделей компьютерного зрения на любом устройстве. Модели исполняются на наших серверах и доступны по REST API

Vision Hub

zDialog фреймворк
OneDash сервис

Немного статистики

07/
фотографий
175 435
аудио
78 434
За время кампании было загружено
2 343
сообщения

Техническая реализация

08/

выявление пола человека

01
Так как проект был рассчитан только на мужчин, нужно было научить нейросеть определять пол.
Для этого мы взяли большой набор данных, состоящий из фотографий людей с указанием пола.
Для увеличения точности мы использовали нейросеть dlib, которая детектировала на фото лицо.
Схема определения пола человека с коэффициентом

анализ одежды

02
Для анализа одежды мы также использовали модель сегментации, то есть выделения одежды, а дальше присваивали ей один из пяти классов:
Кроме этого нужно было научить нейросеть находить обнаженные фото, т.е. отсутствие одежды на фото.
Схема определения вида одежды человека с коэффициентом
casual
спортивная одежда
военная форма
деловая одежда
экстремальная экипировка

анализ фигуры

03
Для того, чтобы определять типаж человека на фото более точно, нужно было обучить нейросеть распознавать фигуру.
Мы решили взять два основных параметра - научиться понимать комплекцию человека и его примерный вес.
Так мы смогли отделять четыре класса:
худой
полный
нормальный
мускулистый
Схема определения фигуры человека с коэффициентом

анализ зон растительности на лице и цвета волос

04
Для начала нужно было определить тип растительности по зонам или ее отсутствие, а дальше определить цвет волос/бороды.
Для этого нам также понадобился детектор лица, а следующим шагом мы использовали предобученную модель Tiramisu и набор правил, чтобы детекция была более точной.
После этого нужно было определить цвет волос:
Классификация цвета волос, список цветов волос

анализ фона

05
Последней задачей была классификация фона — нужно было попробовать определить место съемки или характерные приметы, такие как море, машина и так далее.
Из-за низкого качества реальных данных результат получался не очень точным, поэтому в итоговой модели практически не учитывался.
Схема определения фона на фото
Еще более подробную презентацию проекта можно посмотреть здесь

Трудности проекта

09/
«Как ни странно, трудностей почти не было. Сложнее всего было классифицировать фон. Мы очень долго с ним возились, но в результате просто решили убрать – оказалось, что остальных параметров достаточно».
Константин Кубрак
Computer Vision Инженер

Результаты проекта

10/
Было интересно и драйвово, потому что многие вещи были в новинку:
Первый чат-бот, где используется машинное зрение
Пайплайн из семи нейросетей внутри одного проекта
Первые попытки анализировать звук
Напишите нам