CrossConf — крупнейшая конференция о трендах ИТ и кроссплатформенной разработке, которая ежегодно проходит в Иннополисе. Гости CrossConf рассказывают, как создают новые фичи и продукты, проводят исследования в крупных ИТ-компаниях, например «Яндексе», Ozon, Avito.
В этом году на конференции выступал CV-инженер EORA Владислав Патрушев. Он поделился опытом, как нам удалось улучшить поиск изображений (Image Retrieval) за счет распутывания эмбеддингов.
Влад Патрушев выступает в Технопарке им. Н.И. Лобачевского
Что такое Эмбеддинги?
Эмбеддинги — сжатые изображения, в которых отражаются ключевые элементы оригинала. Их можно увидеть, к примеру, в ленте рекомендаций интернет-магазина. На этих мелких картинках человеку видно только главное — к примеру, форму и цвет одежды.
В эмбеддинге как файле все ключевые признаки объекта семантически запутаны, поэтому компьютер не различает их. А чтобы поиск был лучше, нужно, чтобы различал.
Поможем подобрать решение для вашего бизнеса. Просто напишите нам
С помощью нейросети. Мы обучаем ее различать признаки объекта: цвет, форму и так далее. Чтобы нейросеть могла искать похожие объекты (например, идентичные футболки разного цвета), мы используем мемори банк. В нем хранятся прототипы (векторы) отдельных признаков. Например, векторы цвета, определенной формы одежды, типа пуговиц.
Представим, что у нас есть изображение белой футболки, а нам нужно найти похожую красную. Сначала мы отдаем изображение нейросети и получаем описание (также вектор) совокупности признаков: цвета, формы, типа рукава. Затем мы берем из мемори банка вектор красного цвета, ставим его на место белого и выполняем поиск.
Как это можно использовать на практике?
Благодаря улучшенной системе работы с эмбеддингами человек может быстрее находить то, что ему нужно, реже прибегая к обычному поиску по сайту. Распутывание эмбеддингов позволило нам создать быстрый и эффективный поиск по изображениям в интернет-магазинах KazanExpress и Lamoda.
Эмбеддинги очень перспективны для сервисов на основе поиска изображений. Во-первых, они могут использоваться в интерактивном поиске: пользователь выбирает товар, меняет один из его атрибутов (к примеру, форму воротничка футболки), и система подбирает похожие товары исходя из новых данных.
Во-вторых, эмбеддинги позволяют сделать рекомендации еще более сложными и интересными. Мы можем показывать пользователю аксессуары, исходя из набора вещей, которые он уже просматривал. К примеру, предлагать сумочку или туфли, которые подойдут к платью с сережками.
Выступление Влада Патрушева можно посмотреть по ссылке. Все реализованные проекты с использованием компьютерного зрения вы найдете в портфолио EORA.
Поделиться
Сообщение об успешной отправке!
Медиа
Разработка чат-ботов
Разработаем чат-боты под ваши задачи: автоматизация, помощь, реклама. Интегрируем их на ваши платформы, социальные сети и мессенджеры.
Увеличивайте продажи ваших товаров с помощью ботов в Телеграм, Whatsapp, ВКонтакте или на любой другой вашей платформе. Пройдем путь вместе с вами от идеи до запуска