приложение для распознавания образцов камней и контроля выкладки с помощью машинного обучения
Разработали систему распознавания изображений образцов камня для автоматической проверки выкладки перед встречами с клиентами. Решение на базе машинного обучения и компьютерного зрения позволяет распознавать объекты по фото: определяет артикулы, сопоставляет их с номенклатурой и показывает расхождения. Это позволяет менеджерам в 2–3 раза быстрее готовиться к продажам и снижает ошибки из-за ручной проверки.
О клиенте
Производственная компания, работающая с акриловым и кварцевым камнем. Поставляет материалы и изготавливает изделия (например, столешницы), ведет продажи через шоурумы и выездных менеджеров. Для демонстрации ассортимента используются чемоданы и экспозиторы с образцами камня.
Проблема и задачи клиента
Перед выездом к клиенту менеджеры вручную проверяли состав образцов в чемоданах и экспозиторах и сверяли их с остатками в системе учета (1С).
При этом:
В результате было сложно поддерживать выкладку в актуальном состоянии и гарантировать, что менеджер показывает клиенту только доступные позиции.
Задача — автоматизировать проверку: внедрить распознавание артикулов и распознавание объекта по фото, чтобы ускорить подготовку менеджеров и снизить ошибки.
При этом:
- проверка десятков образцов перед выездом занимала значительное время
- возникали пропуски при сверке — часть позиций могла остаться непроверенной
- в чемоданах оказывались образцы, не соответствующие актуальным остаткам или уже выведенные из ассортимента
В результате было сложно поддерживать выкладку в актуальном состоянии и гарантировать, что менеджер показывает клиенту только доступные позиции.
Задача — автоматизировать проверку: внедрить распознавание артикулов и распознавание объекта по фото, чтобы ускорить подготовку менеджеров и снизить ошибки.
Решение
Реализовали систему на базе распознавания изображений нейронными сетями, которая позволяет точно определять объекты на фотографиях образцов в реальных условиях.
В основе решения — модель компьютерного зрения, обученная на реальных образцах клиента. Для этого мы собрали собственный датасет: фотографировали камни с разных устройств, при разном освещении и под разными углами. Учли особенности маркировки — гравировку и наклейки, различия в шрифтах, смещения и частичную видимость артикулов. Это позволило приблизить качество распознавания к реальным условиям работы менеджеров.
В основе решения — модель компьютерного зрения, обученная на реальных образцах клиента. Для этого мы собрали собственный датасет: фотографировали камни с разных устройств, при разном освещении и под разными углами. Учли особенности маркировки — гравировку и наклейки, различия в шрифтах, смещения и частичную видимость артикулов. Это позволило приблизить качество распознавания к реальным условиям работы менеджеров.
Как работает решение
Перед выездом менеджер открывает мобильное приложение и выбирает нужный экспозитор или чемодан. Далее он делает серию фотографий: не всего набора целиком, а по зонам. Это важно — так система точнее распознает артикулы, даже если часть из них плохо видна или бликует.
После загрузки изображения отправляются на обработку. Алгоритм последовательно:
Результат возвращается в интерфейс в понятном виде. Менеджер сразу видит:
- находит области с маркировкой на каждом образце
- распознает артикулы с учетом разных типов нанесения (гравировка, наклейки, разные шрифты)
- сопоставляет их со справочником номенклатуры
Результат возвращается в интерфейс в понятном виде. Менеджер сразу видит:
- какие образцы распознаны и подтверждены
- какие отсутствуют в базе или не найдены
- где возникли проблемы с распознаванием (например, из-за качества фото)
Каждый элемент на изображении подсвечен: это позволяет быстро соотнести результат системы с реальной выкладкой и не тратить время на ручной поиск.
Если часть образцов не распозналась, менеджер может переснять конкретную зону — без повторной проверки всего чемодана. История сканирований сохраняется, поэтому можно вернуться к предыдущим проверкам.
Далее данные могут передаваться в учетную систему (1С): фактический состав образцов сопоставляется с остатками. Это позволяет использовать решение как элемент автоматизации ассортимента и контроля выкладки. На основе этого менеджер принимает решение — убрать отсутствующие позиции или заменить их перед встречей с клиентом.
В итоге процесс, который раньше занимал значительное время и требовал ручной внимательной проверки, превращается в быстрый и воспроизводимый сценарий с понятным результатом и минимальной зависимостью от человеческого фактора.
Если часть образцов не распозналась, менеджер может переснять конкретную зону — без повторной проверки всего чемодана. История сканирований сохраняется, поэтому можно вернуться к предыдущим проверкам.
Далее данные могут передаваться в учетную систему (1С): фактический состав образцов сопоставляется с остатками. Это позволяет использовать решение как элемент автоматизации ассортимента и контроля выкладки. На основе этого менеджер принимает решение — убрать отсутствующие позиции или заменить их перед встречей с клиентом.
В итоге процесс, который раньше занимал значительное время и требовал ручной внимательной проверки, превращается в быстрый и воспроизводимый сценарий с понятным результатом и минимальной зависимостью от человеческого фактора.
Результат
- Точность распознавания — до 100% на пилотной коллекции после обучения модели на реальных данных клиента.
- Сокращение времени проверки в 2–3 раза: вместо ручной сверки десятков образцов менеджер получает готовый результат за несколько минут.
- Снижение ошибок из-за человеческого фактора: система стабильно находит артикулы даже в сложных условиях (блики, мелкий шрифт, плотная выкладка).
- Быстрая адаптация под новые коллекции: дообучение модели на новых образцах позволяет масштабировать решение без переработки логики.
- Готовность к интеграции: решение передается в виде API и может быть встроено в существующее мобильное приложение и связку с 1С без изменения текущих процессов.