Машинное зрение для Контроля сборки паллет на складе
Система машинного зрения отслеживает укладку коробок на паллеты и фиксирует пересорт в реальном времени. В случае ошибки — отправляет оперативные уведомления через чат-бот видеофрагмент с нарушением. Результат за первый месяц — минимум рекламаций, прозрачный процесс сборки, прогнозируемая окупаемость — менее года.
О клиенте
Крупный логистический провайдер с масштабной складской сетью и собственным автопарком. Ежедневно через сортировочные линии проходят тысячи коробок, от точности сборки зависит стабильность поставок и удовлетворённость клиентов.
Проблема и задачи
На сортировочной зоне одновременно работают до 24 линий. Коробки движутся по лентам к укладчику, который снимает их и ставит на соответствующую паллету. Поток непрерывный: каждые несколько секунд появляется новая коробка. Иногда, когда укладчик обслуживает несколько лент одновременно, коробка может оказаться на соседней паллете. Так возникает пересорт — позиции смешиваются между заказами.
Для клиента это дополнительные издержки: рекламации, повторная доставка и время сотрудников, которое уходит на исправление ситуации. Одна рекламация обходится примерно в 3 500 рублей, а совокупные затраты могут достигать до 150 тыс. рублей в месяц.
Задача — внедрить надёжный контроль прямо на линии: выявлять укладку коробок не на свои паллеты и своевременно уведомлять ответственных сотрудников.
Задача — внедрить надёжный контроль прямо на линии: выявлять укладку коробок не на свои паллеты и своевременно уведомлять ответственных сотрудников.
Решение
Мы предложили клиенту внедрить систему ML Sense.
ML Sense — система машинного зрения для контроля качества продукции и процессов на производстве. Входит в Реестр отечественного ПО.
Сложность
Ключевым условием было решить задачу на уже имеющемся оборудовании, не увеличивая бюджет проекта и не меняя инфраструктуру склада. Это требование обеспечивало быстрой запуск, но создавало заметные технические ограничения.
Камеры системы видеонаблюдения изначально не предназначались для машинного зрения:
Чтобы компенсировать ограничения камер, мы сделали акцент на обучении модели и и дописали логику обработки видео под линии со сложной геометрией и перекрытиями объектов.
Камеры системы видеонаблюдения изначально не предназначались для машинного зрения:
- крайние паллеты частично перекрывались из-за угла обзора;
- качество изображения варьировалось и могло снижать точность распознавания;
- ракурсы отличались, что влияло на видимость объектов на дальних линиях.
Чтобы компенсировать ограничения камер, мы сделали акцент на обучении модели и и дописали логику обработки видео под линии со сложной геометрией и перекрытиями объектов.
Обучение
Проект полностью реализовывался дистанционно. Мы собрали сервер в лаборатории и настроили его для обработки видеопотока.
Дальше мы собрали записи с линий и разметили их вручную: отмечали людей, коробки всех типоразмеров и паллеты, а также когда человек берет в руки коробку.
В итоге нейросеть одновременно отслеживает человека, коробку и паллету. Когда сотрудник берёт коробку с транспортёра, система фиксирует, какая коробка взята и с какой линии. Далее нейросеть следит за движением коробки и моментом, когда её кладут на паллету. Если коробка оказалась на «своей» паллете — всё верно, если нет — фиксируется инцидент.
Когда программное обеспечение сервера было готово и нейронная сеть обучена, мы отправили его клиенту и помогли с настройкой сервера для получения видеопотока со склада FM Logistic.
Дальше мы собрали записи с линий и разметили их вручную: отмечали людей, коробки всех типоразмеров и паллеты, а также когда человек берет в руки коробку.
В итоге нейросеть одновременно отслеживает человека, коробку и паллету. Когда сотрудник берёт коробку с транспортёра, система фиксирует, какая коробка взята и с какой линии. Далее нейросеть следит за движением коробки и моментом, когда её кладут на паллету. Если коробка оказалась на «своей» паллете — всё верно, если нет — фиксируется инцидент.
Когда программное обеспечение сервера было готово и нейронная сеть обучена, мы отправили его клиенту и помогли с настройкой сервера для получения видеопотока со склада FM Logistic.
Как работает
ML Sense отслеживает процесс на 2 зонах контроля (24 линии транспортёра). Когда сотрудник переносит коробку, система сопоставляет её с нужной паллетой. Если коробка ложится не туда, нарушение фиксируется: время, линия, номер паллеты и короткий видеофрагмент момента инцидента.
Изначально клиент планировал получать уведомления на email, но в реальности это оказалось слишком медленно — пока письмо прочитают, заказ уже уйдёт дальше.
Мы предложили более оперативное решение — уведомления через Telegram-ботов. Для каждой зоны контроля был настроен отдельный бот.
Когда нейросеть фиксирует пересорт, система автоматически формирует видеофрагмент с моментом инцидента и отправляет его в чат-бот. В сообщении бот также указывает:
Отвественный сотрудник видит проблему сразу, может оценить ситуацию по видео и оперативно исправить пересорт до отправки заказа.
Мы предложили более оперативное решение — уведомления через Telegram-ботов. Для каждой зоны контроля был настроен отдельный бот.
Когда нейросеть фиксирует пересорт, система автоматически формирует видеофрагмент с моментом инцидента и отправляет его в чат-бот. В сообщении бот также указывает:
- номер паллеты, куда была положена коробка;
- номер линии, откуда она пришла;
- время события.
Отвественный сотрудник видит проблему сразу, может оценить ситуацию по видео и оперативно исправить пересорт до отправки заказа.
Результат
- Система фиксирует пересорт в реальном времени на всех 24 линиях.
- Оперативное уведомление об инцидентах в чат-боте.
- За первый месяц работы — 1 рекламация (в период настройки).
- Прогнозируемая окупаемость — менее года