Нейросетевой поиск похожих изображений для ReRooms

Компьютерное зрение
Система поиска на основе технологии компьютерного зрения.
Решение
Задача
Возможность искать изображения элементов интерьера (мебели, аксессуаров, напольных покрытий) в базе ReRooms. С этой базой работают дизайнеры интерьеров.
Клиент
ReRooms — интернет-магазин мебели, отделочных материалов и товаров для дома, в котором также можно заказать дизайн-проект и ремонт под ключ.
Как это выглядит изнутри
01/
База изображений на стороне клиента
Система поиска на платформе Mage
API для передачи данных об обновлениях

Этапы разработки

02/
Подготовка данных: индексация и описание изображений, устранение дублей
Шаг 01
Тестирование компьютерной модели на другой части изображений
Шаг 04
Обучение нейросети на части существующих изображений
Шаг 03
Разработка API для быстрой передачи обновлений базы в систему
Шаг 05
Подбор компьютерных моделей, построение гипотез
Шаг 02

Сроки разработки

03/
1 месяц
июль-август 2021 года
Когда мы копировали базу клиента, ReRooms обновили её, и у нас появился неудаляемый кусок избыточных данных.
Проблема
Весь массив изображений пришлось выгружать и индексировать снова. Для этого дождались ночи воскресенья, когда база ReRooms не изменяется.
Решение
Мы доработали API, чтобы система поиска оперативно реагировала на изменения в базе и заново индексировала старые и новые товары.
Решение
Ассортимент товаров клиента ежедневно меняется: например, распродали одни диваны, другие привезли.
Проблема
Трудности проекта
04/

Находки

05/
Во время работы над базой изображений мы выявили множество дублей товаров. Благодаря этому мы избежали ошибок при эксплуатации системы, а клиент актуализировал сведения о собственном ассортименте.
Факт
Точность поиска по изображениям очень высокая.
У товаров может быть разный артикул, наименование и описание, фотографии могут быть сделаны с разного ракурса. Но система быстро определяет сходство.

Команда проекта

06/
Руководитель проекта
Алексей Гучко
Data scientist
Вячеслав Шульц
Тимлид
Владислав Виноградов
Иван Измайлов
Бэкенд-разработчик

Технологии

В разработке мы использовали собственные решения:
Интегрируемая система поиска товаров по фото

Mage

Платформа EORA для хостинга нейросетей

Vision Hub

zDialog фреймворк
OneDash сервис
07/

Перспективы

08/
Внедрение рекомендательной системы на сайте ReRooms (блок «С этим товаром также покупают», «Вам также может понравиться»).
Предлагая пользователю похожие или сопутствующие товары, она повышает конверсию просмотров в продажи.
Распознавание товаров на отдельной области фотографии.
К примеру, клиента заинтересовала лампа — он её обводит курсором, а система подбирает похожие товары в каталоге ReRooms.

Похожие проекты

09/
Чат-бот с компьютерным зрением для подбора обоев Leroy Merlin
Нейросеть-оператор спортивных трансляций SportRecs
Сервис с компьютерным зрением для оценки массы растений
Напишите нам