приложение для распознавания маркировки и контроля ассортимента по фото

Производственная компания с широкой линейкой продукции. Для продаж и презентаций используются демонстрационные наборы и экспозиторы с образцами, которые необходимо регулярно обновлять и поддерживать в актуальном состоянии.

Перед встречами с клиентами менеджеры вручную проверяли состав демонстрационных наборов и сверяли артикулы с данными в учетной системе.

При этом:

• проверка десятков образцов занимала много времени;
• часть позиций могла остаться непроверенной;
• в наборах оставались образцы, которых уже не было в наличии или которые были выведены из ассортимента;
• результат проверки зависел от внимательности сотрудника.

В итоге подготовка к встречам занимала значительное время, а актуальность ассортимента не всегда удавалось соблюдать.

Задача состояла в том, чтобы автоматизировать проверку образцов, ускорить подготовку менеджеров и снизить количество ошибок.

Мы разработали систему на базе компьютерного зрения и машинного обучения, которая распознает артикулы на фотографиях образцов и автоматически сверяет их со справочником номенклатуры.

Для обучения модели собрали датасет из реальных фотографий продукции. Снимки делались на разные устройства, при разном освещении и под разными углами. Дополнительно учли особенности маркировки: разные шрифты, размеры символов, частичную видимость артикулов, блики и другие факторы, которые встречаются в реальной работе.

Это позволило добиться стабильного распознавания в условиях, близких к повседневному использованию.

Перед проверкой сотрудник открывает мобильное приложение и фотографирует нужный набор образцов.

Съемка выполняется по частям, а не одним общим кадром. Такой подход помогает точнее распознавать артикулы даже в случаях, когда часть маркировки плохо видна или попадает в блики.

После загрузки фотографий система:

• находит области с маркировкой;
• распознает артикулы;
• сопоставляет их со справочником номенклатуры;
• проверяет соответствие состава набора актуальным данным.

Результат отображается в приложении сразу после обработки.

Сотрудник видит:

• какие позиции успешно распознаны;
• какие отсутствуют в справочнике;
• где возникли проблемы с распознаванием;
• какие элементы требуют повторной проверки.

Система подсвечивает найденные позиции прямо на фотографии, поэтому результат легко сопоставить с реальным набором образцов.

Если часть артикулов не удалось распознать, можно переснять только проблемную область без повторной проверки всего набора.

История проверок сохраняется и доступна для просмотра в приложении.

Результаты проверки можно передавать в учетную систему через API и автоматически сверять с актуальной номенклатурой.

Решение может использоваться для:

• контроля состава демонстрационных наборов;
• проверки актуальности ассортимента;
• сверки фактических образцов с данными учетной системы;
• автоматизации регулярных проверок и инвентаризации.