Днище автомобиля
Автомобили
ISS logo

Система обнаружения посторонних предметов на днищах автомобилей с помощью нейросети

Анализ изображений

Основная информация

Заказчик

ISS — Интеллектуальные Системы Безопасности — компания-интегратор решений по безопасности
ISS logo

Продукт

Задача

Программное обеспечение для стендов проверки автомобиля — днище осматривается человеком с помощью зеркал и по фотографиям
Найти аномальные предметы на дне автомобиля по фотографии

Где используется:

на военных объектах

Зачем нужно:

на приграничных постах
в местах с повышенными требованиями к безопасности
автоматизировать процесс проверки
ускорить работу оператора

Как это работает

Машина заезжает на стенд
Посторонний предмет на днище автомобиля
Осуществляется фото-съемка днища автомобиля
При нахождении аномалий показывает снимок оператору
Нейросеть анализирует снимок
Аномалия

Техническая реализация

Провели ML-аудит

Так как подобные задачи практически не решались, наш клиент заказал услугу ML-аудита

Нашли научную статью

В результате исследования
мы нашли научную статью
по похожей тематике

Модель

Мы воспроизвели статью и адаптировали модель под наши данные

VisionHub

Как интерфейс визуализации мы использовали наш хостинг моделей машинного зрения VisionHub
Модель данных
Хостинг моделей машинного зрения VisionHub

GAN

Основной метод — генеративно- состязательные сети (GAN), алгоритм машинного обучения.
Принцип работы:
Шаг 01
Запоминаем, как выглядит объект в нормальном состоянии
Шаг 02
Генерируем изображения и фиксируем на них аномалии
Объекты в нормальном состоянии
Зафиксирован аномальный объект
Зафиксирована
аномалия

Процесс разработки

Метрика - соотношение корректно определенных аномалий и ложно определенных

Аномалия: есть/нет на этом фрагменте. Не стояло задачи точно локализовать.

Входные данные

20
6
изображений
днищ автомобилей
с аномалиями
эталонных
изображений днища
Очень маленький датасет, недостаточный для качественного обучения нейронной сети
Изображения в большом разрешении — 4 тыс. на 10 тыс. пикселей

Обработка датасета

24
317
Разметили вручную изображения, отметили аномалии.
изображения
с аномалией
нормальных
Днище автомобиля
Разрезали фотографии на квадратики по 512 пикселей и отсматривали отдельно.
130
3221
аномальных
нормальных

Обучение модели

Обучили модель
на подготовленной выборке.

Точность метрики качества составила 0.73

Этапы разработки

Согласование
Аудит
Начало разработки
1,5-2 месяца
2 недели

Текущие результаты

Завершился этап аудита
Удалось построить первую модель
Готовимся
к большому проекту

Команда проекта

Менеджер
ISS logo
Михаил Евдокимов
Техлид
Влад Виноградов
Computer Vision инженер
Аэлита Шайхутдинова

Особенности проекта

Впервые использовали GAN в продакшене
Один из первых наших аудитов
Впервые работаем с компанией- интегратором и вообще с людьми, которые связаны с разработкой весьма опосредованно

Где могут пригодиться наработки

Например,
в медицинских приложениях
В системах, где нужно обнаружить отклонение от нормы

Трудности проекта

Непривычный материал
Cложности коммуникации, так как компания очень большая
Напишите нам