Нейросетевой поиск похожих изображений для ReRooms
Компьютерное зрение
Решение
Система поиска на основе технологии компьютерного зрения.
Возможность искать изображения элементов интерьера (мебели, аксессуаров, напольных покрытий) в базе ReRooms. С этой базой работают дизайнеры интерьеров.
Задача
ReRooms — интернет-магазин мебели, отделочных материалов и товаров для дома, в котором также можно заказать дизайн-проект и ремонт под ключ.
Клиент
Как это работает
01/
Дизайнер загружает в систему фотографию интерьера
Система распознаёт предметы на фото и предлагает список похожих изображений из базы ReRooms
У каждого товара есть карточка с описанием, его можно найти и заказать
02/
Как это выглядит изнутри
База изображений на стороне клиента
Система поиска на платформе Mage
API для передачи данных об обновлениях
Шаг 01
Подготовка данных: индексация и описание изображений, устранение дублей
Шаг 04
Тестирование компьютерной модели на другой части изображений
Шаг 03
Обучение нейросети на части существующих изображений
Шаг 05
Разработка API для быстрой передачи обновлений базы в систему
Шаг 02
Подбор компьютерных моделей, построение гипотез
Этапы разработки
03/
04/
Примеры работы системы
Сроки разработки
05/
1 месяц
июль-август 2021 года
Проблема
Когда мы копировали базу клиента, ReRooms обновили её, и у нас появился неудаляемый кусок избыточных данных.
Решение
Весь массив изображений пришлось выгружать и индексировать снова. Для этого дождались ночи воскресенья, когда база ReRooms не изменяется.
Решение
Мы доработали API, чтобы система поиска оперативно реагировала на изменения в базе и заново индексировала старые и новые товары.
Проблема
Ассортимент товаров клиента ежедневно меняется: например, распродали одни диваны, другие привезли.
06/
Трудности проекта
Находки
07/
Во время работы над базой изображений мы выявили множество дублей товаров. Благодаря этому мы избежали ошибок при эксплуатации системы, а клиент актуализировал сведения о собственном ассортименте.
Факт
Точность поиска по изображениям очень высокая.
У товаров может быть разный артикул, наименование и описание, фотографии могут быть сделаны с разного ракурса. Но система быстро определяет сходство.