Бот, который по фотографии считает разные типы труб

Компьютерное зрение
Проблема
Инвентаризация любого товара — непростое дело, если делается вручную, даже на складе. При транспортировке, когда надо сверять накладные — всё ещё сложнее. А особенно, если речь о предметах, которые перевозят без упаковки, как это обычно и бывает с трубами — так проще потерять что-то или украсть.
Мы разработали Телеграм-бота, который по фотографии сможет подсчитать число труб — в грузовике или на складе.
Решение
Задача
Автоматизировать рутину: упростить подсчёт труб при транспортировке и на складах.
Кому полезно
01/
Всем, кто работает с трубами:
строит
перевозит
использует на производстве
Как ещё можно использовать
02/
Таким способом можно считать что угодно
брёвна, анкеры, сваи, балки
Для этого нужно дополнительно тренировать модель
Не обязательно делать это через Телеграм-бота, можно и в веб-интерфейсе.
Как это работает
03/
Специалист на складе делает фото труб. Так, чтобы были видны срезы — модель считает по ним.
Отправляет фото в бот в Телеграме
Модель распознает число труб и подсчитывает, бот в Телеграме отправляет число обратно специалисту.
Специалист при необходимости может поправить цифру, но обычно такого не требуется.
Что мы сделали
04/
Интегрировали в бота, чтобы клиент мог взаимодействовать с продуктом
Сделали разметку и обучили модель на реальных данных
Собрали данные от клиента, ведь все трубы разные по типу, диаметру, материалам и так далее
Трудности, с которыми
мы столкнулись
05/
Проблемы
Нужно было много данных и очень тщательная разметка
Решение одно
Труб много и они разные
У всех разные камеры на телефоне, поэтому качество фото труб часто оставляло желать лучшего
Визуальные затемнения и перекрытия на фото. Бывает так, что трубы неровно лежат, заезжают друг на друга или где-то падает тень

Инструменты

06/
zDialog фреймворк

Yolo v5

Архитектура нейронных сетей для детекции объектов на изображении
OneDash сервис
Подробнее

MarkUp

Внутренний инструмент для разметки
Напишите нам