Рассказали о работе с эмбеддингами
на CrossConf

CrossConf — крупнейшая конференция о трендах ИТ и кроссплатформенной разработке, которая ежегодно проходит в Иннополисе. Гости CrossConf рассказывают, как создают новые фичи и продукты, проводят исследования в крупных ИТ-компаниях, например «Яндексе», Ozon, Avito.

В этом году на конференции выступал CV-инженер EORA Владислав Патрушев. Он поделился опытом, как нам удалось улучшить поиск изображений (Image Retrieval) за счет распутывания эмбеддингов.

Эмбеддинги — сжатые изображения, в которых отражаются ключевые элементы оригинала. Их можно увидеть, к примеру, в ленте рекомендаций интернет-магазина. На этих мелких картинках человеку видно только главное — к примеру, форму и цвет одежды.

В эмбеддинге как файле все ключевые признаки объекта семантически запутаны, поэтому компьютер не различает их. А чтобы поиск был лучше, нужно, чтобы различал.

С помощью нейросети. Мы обучаем ее различать признаки объекта: цвет, форму и так далее. Чтобы нейросеть могла искать похожие объекты (например, идентичные футболки разного цвета), мы используем мемори банк. В нем хранятся прототипы (векторы) отдельных признаков. Например, векторы цвета, определенной формы одежды, типа пуговиц.

Представим, что у нас есть изображение белой футболки, а нам нужно найти похожую красную. Сначала мы отдаем изображение нейросети и получаем описание (также вектор) совокупности признаков: цвета, формы, типа рукава. Затем мы берем из мемори банка вектор красного цвета, ставим его на место белого и выполняем поиск.