Нейросетевой поиск похожих изображений для ReRooms

Компьютерное зрение

Решение

Система поиска на основе технологии компьютерного зрения.

Возможность искать изображения элементов интерьера (мебели, аксессуаров, напольных покрытий) в базе ReRooms. С этой базой работают дизайнеры интерьеров.

Задача

ReRooms — интернет-магазин мебели, отделочных материалов и товаров для дома, в котором также можно заказать дизайн-проект и ремонт под ключ.

Клиент

Как это работает

01/

Дизайнер загружает в систему фотографию интерьера

Система распознаёт предметы на фото и предлагает список похожих изображений из базы ReRooms

У каждого товара есть карточка с описанием, его можно найти и заказать

02/

Как это выглядит изнутри

База изображений на стороне клиента

Система поиска на платформе Mage

API для передачи данных об обновлениях

Шаг 01

Подготовка данных: индексация и описание изображений, устранение дублей

Шаг 04

Тестирование компьютерной модели на другой части изображений

Шаг 03

Обучение нейросети на части существующих изображений

Шаг 05

Разработка API для быстрой передачи обновлений базы в систему

Шаг 02

Подбор компьютерных моделей, построение гипотез

Этапы разработки

03/

04/

Примеры работы системы

Сроки разработки

05/

1 месяц

июль-август 2021 года

Проблема

Когда мы копировали базу клиента, ReRooms обновили её, и у нас появился неудаляемый кусок избыточных данных.

Решение

Весь массив изображений пришлось выгружать и индексировать снова. Для этого дождались ночи воскресенья, когда база ReRooms не изменяется.

Решение

Мы доработали API, чтобы система поиска оперативно реагировала на изменения в базе и заново индексировала старые и новые товары.

Проблема

Ассортимент товаров клиента ежедневно меняется: например, распродали одни диваны, другие привезли.

06/

Трудности проекта

Находки

07/

Во время работы над базой изображений мы выявили множество дублей товаров. Благодаря этому мы избежали ошибок при эксплуатации системы, а клиент актуализировал сведения о собственном ассортименте.