Нейросетевой поиск похожих изображений для ReRooms

Компьютерное зрение
Система поиска на основе технологии компьютерного зрения.
Решение
Задача
Возможность искать изображения элементов интерьера (мебели, аксессуаров, напольных покрытий) в базе ReRooms. С этой базой работают дизайнеры интерьеров.
Клиент
ReRooms — интернет-магазин мебели, отделочных материалов и товаров для дома, в котором также можно заказать дизайн-проект и ремонт под ключ.

Как это работает

01/
Дизайнер загружает в систему фотографию интерьера
Система распознаёт предметы на фото и предлагает список похожих изображений из базы ReRooms
У каждого товара есть карточка с описанием, его можно найти и заказать
Как это выглядит изнутри
02/
База изображений на стороне клиента
Система поиска на платформе Mage
API для передачи данных об обновлениях

Этапы разработки

03/
Подготовка данных: индексация и описание изображений, устранение дублей
Шаг 01
Тестирование компьютерной модели на другой части изображений
Шаг 04
Обучение нейросети на части существующих изображений
Шаг 03
Разработка API для быстрой передачи обновлений базы в систему
Шаг 05
Подбор компьютерных моделей, построение гипотез
Шаг 02
Примеры работы системы
04/

Сроки разработки

05/
1 месяц
июль-август 2021 года
Когда мы копировали базу клиента, ReRooms обновили её, и у нас появился неудаляемый кусок избыточных данных.
Проблема
Весь массив изображений пришлось выгружать и индексировать снова. Для этого дождались ночи воскресенья, когда база ReRooms не изменяется.
Решение
Мы доработали API, чтобы система поиска оперативно реагировала на изменения в базе и заново индексировала старые и новые товары.
Решение
Ассортимент товаров клиента ежедневно меняется: например, распродали одни диваны, другие привезли.
Проблема
Трудности проекта
06/

Находки

07/
Во время работы над базой изображений мы выявили множество дублей товаров. Благодаря этому мы избежали ошибок при эксплуатации системы, а клиент актуализировал сведения о собственном ассортименте.
Факт
Точность поиска по изображениям очень высокая.
У товаров может быть разный артикул, наименование и описание, фотографии могут быть сделаны с разного ракурса. Но система быстро определяет сходство.

Команда проекта

08/
Руководитель проекта
Алексей Гучко
Data scientist
Вячеслав Шульц
Тимлид
Владислав Виноградов
Иван Измайлов
Бэкенд-разработчик

Технологии

В разработке мы использовали собственные решения:
Интегрируемая система поиска товаров по фото

Mage

Платформа EORA для хостинга нейросетей

Vision Hub

zDialog фреймворк
OneDash сервис
09/

Перспективы

10/
Внедрение рекомендательной системы на сайте ReRooms (блок «С этим товаром также покупают», «Вам также может понравиться»).
Предлагая пользователю похожие или сопутствующие товары, она повышает конверсию просмотров в продажи.
Распознавание товаров на отдельной области фотографии.
К примеру, клиента заинтересовала лампа — он её обводит курсором, а система подбирает похожие товары в каталоге ReRooms.

Похожие проекты

11/
Нейросетевой поиск похожих товарных знаков «Гардиум»
INTELSONLINE – визуальный поиск похожих товарных знаков
KazanExpress – поиск товаров по фотографиям
Напишите нам