Мы используем cookies и собираем технические данные

Находясь на сайте вы соглашаетесь с применением данных технологий
CrossConf — крупнейшая конференция о трендах ИТ и кроссплатформенной разработке, которая ежегодно проходит в Иннополисе. Гости CrossConf рассказывают, как создают новые фичи и продукты, проводят исследования в крупных ИТ-компаниях, например «Яндексе», Ozon, Avito.

В этом году на конференции выступал CV-инженер EORA Владислав Патрушев. Он поделился опытом, как нам удалось улучшить поиск изображений (Image Retrieval) за счет распутывания эмбеддингов.
Влад Патрушев выступает в Технопарке им. Н.И. Лобачевского

Что такое Эмбеддинги?

Эмбеддинги — сжатые изображения, в которых отражаются ключевые элементы оригинала. Их можно увидеть, к примеру, в ленте рекомендаций интернет-магазина. На этих мелких картинках человеку видно только главное — к примеру, форму и цвет одежды.

В эмбеддинге как файле все ключевые признаки объекта семантически запутаны, поэтому компьютер не различает их. А чтобы поиск был лучше, нужно, чтобы различал.

Поможем подобрать решение для вашего бизнеса. Просто напишите нам

Как мы распутываем эмбеддинг?

С помощью нейросети. Мы обучаем ее различать признаки объекта: цвет, форму и так далее. Чтобы нейросеть могла искать похожие объекты (например, идентичные футболки разного цвета), мы используем мемори банк. В нем хранятся прототипы (векторы) отдельных признаков. Например, векторы цвета, определенной формы одежды, типа пуговиц.

Представим, что у нас есть изображение белой футболки, а нам нужно найти похожую красную. Сначала мы отдаем изображение нейросети и получаем описание (также вектор) совокупности признаков: цвета, формы, типа рукава. Затем мы берем из мемори банка вектор красного цвета, ставим его на место белого и выполняем поиск.

Как это можно использовать на практике?

Благодаря улучшенной системе работы с эмбеддингами человек может быстрее находить то, что ему нужно, реже прибегая к обычному поиску по сайту. Распутывание эмбеддингов позволило нам создать быстрый и эффективный поиск по изображениям в интернет-магазинах KazanExpress и Lamoda.

Эмбеддинги очень перспективны для сервисов на основе поиска изображений. Во-первых, они могут использоваться в интерактивном поиске: пользователь выбирает товар, меняет один из его атрибутов (к примеру, форму воротничка футболки), и система подбирает похожие товары исходя из новых данных.

Во-вторых, эмбеддинги позволяют сделать рекомендации еще более сложными и интересными. Мы можем показывать пользователю аксессуары, исходя из набора вещей, которые он уже просматривал. К примеру, предлагать сумочку или туфли, которые подойдут к платью с сережками.

Выступление Влада Патрушева можно посмотреть по ссылке. Все реализованные проекты с использованием компьютерного зрения вы найдете в портфолио EORA.
Поделиться
Сообщение об успешной отправке!

Медиа

Разработка чат-ботов
Разработаем чат-боты под ваши задачи: автоматизация, помощь, реклама. Интегрируем их на ваши платформы, социальные сети и мессенджеры.
на 30%
>1 000 000 ₽
Сокращает расходы на поддержку клиентов
В месяц вы экономите, используя бота
1/5

Услуги

2/5

Услуги

Навыки для голосового ассистента
Мы создадим навыки для любого голосового ассистента, который расскажет, повеселит и предложит товары и услуги под запросы ваших клиентов
65%
93%
Людей разного возраста пользуются голосовыми ассистентами минимум раз в день
Потребителей довольны голосовыми помощниками
3/5

Услуги

Робот для колл-центра
Поможем автоматизировать систему колл-центра вашей компании, чтобы разгрузить их и минимизировать риск выгорания сотрудников
250 000
72%
Звонков в месяц принимает голосовой помощник
Доля обращения клиентов в колл-центр, а не в чат
4/5

Услуги

Консультация в ИИ
Поможем избежать ошибок и потерь при внедрении ИИ. Пройдем вместе с вами путь от задумки до написания ТЗ и реализации проекта
> 100
с 2015
ИИ-проектов реализовано
Года с головой в ИИ
5/5

Услуги

Боты для интернет-магазинов
Увеличивайте продажи ваших товаров с помощью ботов в Телеграм, Whatsapp, ВКонтакте или на любой другой вашей платформе. Пройдем путь вместе с вами от идеи до запуска
24/7
на 70%
Бот поддерживает связь с клиентом круглосуточно
Снижение нагрузки на контакт-центр