Распознавание одежды по фотографии

Решение состоит из двух инструментов: мобильное приложение и виджет для браузера. С помощью мобильного приложения можно сделать новую фотографию или выбрать готовую на устройстве. А виджет можно использовать на любом изображении, которое отображается на странице браузера.

Основой приложения служат несколько обученных алгоритмов.

Первый алгоритм определяет категорию одежды на изображении: брюки, платье, джемпер, юбка и т.д. Каждой категории присваивается вероятность совпадения. Категории с максимальным значением и будут использоваться для подбора похожих объектов.

Второй алгоритм классифицирует каждый пиксель на загруженном снимке: человек и фон. Таким образом мы получаем на выходе фигуру человека в одежде. Теперь можно распознать длину рукава, подола, наличие воротника и прочие характеристики одежды относительно тела человека.

Третий алгоритм преобразует одежду в набор чисел, каждое из которых соответствует цвету, длине рукава, наличию узора и т.д. Именно эти значения используются для подбора похожих элементов одежды: алгоритм ищет максимально схожие значения среди базы одежды.

Для создания такой базы, каждое изображение одежды из каталогов ритейлера распознается алгоритмом и тоже получает набор чисел.

Стек технологий: Python, Yolo, TensorFlow, Keras, NumPy, Spring, React Native.