Машинное Обучение (ML)

Разработка алгоритмов машинного зрения для определения эффективности работы сотрудников швейного производства

01 При большом количестве сотрудников швейного производства становится проблематично контролировать соответствие работы швей плановым показателям и внутренним стандартам производства.

02 Зачастую сотрудники покидают свои рабочие места по личным причинам, пользуются гаджетами и проявляют другие активности не связанные с рабочим процессом.

03 Заказчику было необходимо разработать решение, собирающее важные аналитические данные по каждому из сотрудников, а именно: время присутствия / отсутствия на рабочем месте, количество отшитых материалов, факт использования гаджетов на рабочем месте.

01 Было произведено обучение нейронной сети для определения сотрудников по лицам, для этого было использовано более 600 изображений на каждого сотрудника, наилучший результат показала модель Yolov8m.

02 Разработаны модели детекции человека и его лица с динамической перепривязкой ID таким образом, что модель детектирует определенного сотрудника даже если он отвернулся и его лицо не попадает в камеру.

03 Протестирована и внедрена модель обработки кадров видео таким образом, чтобы оптимизировать быстродействие системы и при этом корректно рассчитывать время проведенное за работой и другими активностями.

04 Разработан пользовательский веб-интерфейс с возможностью просмотра статистики по действиям сотрудников и их рабочей активности.

Разработка алгоритмов машинного зрения для поинтервальной количественной и качественной характеристики геологических объектов в керновом материале на базе растровых изображений.

01 При бурении породы извлекаются ее образцы (керновый материал), который используется для анализа глубинного строения земной коры и решения геолого-промысловых задач поиска и разведки полезных ископаемых.

02 Фотографии ящиков с керновым материалом обрабатывались в ручную. От геологов требовалось производить оценку состава керна на наличие жил, прожилок, разрушенного керна, цельной породы и других характеристик. Ручная обработка фотографий занимала много времени, что значительно усложняло процесс расчетов.

03 Кроме того, в расчетах присутствовали ошибки, обусловленные «человеческим фактором». Стояла задача автоматизировать процесс обработки фотографий через машинное зрение.

01 Произведена разметка датасета и обучение нейронной сети на автоматическое определение жильного материала, вмещающей породы, трещин, литотипов, цельного и разрушенного керна.

02 Разработанный продукт позволяет оператору при необходимости самостоятельно (без привлечения разработчиков) размечать объекты на изображениях керна, редактировать полученную разметку в ходе работы моделей и запускать процесс обновления построения геологической колонки.

03 Спроектированный web-интерфейс включает в себя главное меню системы с возможностью выбора проекта, модуль итогов классификации керна со встроенным редактором полученных масок, редактор глубин кернового материала и интерфейс визуализации геологической колонки.

Автоматизировать подсчет и отбраковку хлебобулочной продукции на конвейерной линии БКК Коломенский.

01 Батоны укладываются в лотки по 8 штук для дальнейшей транспортировки по конвейерной линии.

02 Существует несколько различных типов батонов отличающихся упаковкой.

03 Требовалось вести подсчет транспортируемой продукции по каждому SKU, а также своевременно отбраковывать лотки с отличающимся от нормы количеством батонов.

01 Осуществлена разметка датасета и обучена модель на базе YOLO для детекции лотков, подсчета количества батонов и классификации батонов по SKU.

02 Произведено подключение к установленной камере по RTSP, настроено «сканирование» видеопотока нейросетью и передача сигнала об отбраковке, осуществлен вывод собранных данных в пользовательский интерфейс.

03 В рамках реализации проекта достигнута точность по целевым метрикам заказчика более 95%.

Создать систему для оперативного и постоянного подсчета объема выходящего шлама на буровой станции.

Для нашего заказчика — нефтесервисной компаний, осуществляющей процесс бурения, было необходимо разработать систему машинного зрения, осуществляющую подсчет объема выходящего из вибросита шлама. Если порода плохо вымывается раствором, то можно испортить буровое оборудование, соответственно, зная объем выходящего шлама возможно своевременно корректировать бурение.

01 Произведено подключение к камере заказчика, настроено освещение.

02 Методами машинного зрения (OpenCV) произведен подсчет скорости движений фракций шлама.

03 Методами машинного обучения осуществлено детектирование шлама на видеопотоке, что позволило, зная скорость движения, осуществить подсчет объема выходящего шлама.

04 Разработан пользовательский интерфейс с онлайн трансляций видео и возможностью наглядного сопоставления план / факт, а также визуализацией других интересующих заказчика параметров.

05 Вычисления были перенесены на GPU, достигнута точность 85%, что являлось целевой точностью для заказчика.

Определять основные характеристики кожи по фото лица с телефона.

В рамках реализации мобильного приложения для сети клиник было необходимо разработать модель, определяющую основные характеристики кожи лица. При этом модель должна была обрабатывать фото за доли секунды.

01  Совместно с заказчиком была осуществлена подготовка и разметка датасета из более 3000 изображений в нашем разметчике CVAT.
02  Для обнаружения поражений кожи за основу бралась модель Fpn_vgg16 в комбинации с Feature Pyramid Network, которая использовала предсказания Vgg16 на каждом своем уровне. Для мобильной версии модель была преобразована в Tflite.
03  Разработан ансамбль моделей определяющих следующие показатели: тип поражения кожи (угри или прыщи), тяжесть поражения кожи в процентах, тип кожи (сухая, жирная, комбинированная).

Для заказчика (маркетплейс брендовых сумок, ресейл) было необходимо разработать модель, на вход которой подается загруженное пользователем фото сумки, а на выходе определяется ее бренд и модель для определения рекомендованной цены продажи.

01 Совместно с заказчиком был осуществлен сбор датасета более чем из 45 000 изображений, для увеличения объема часть датасета была синтетически сгенерирована нашими специалистами.
02  Были обучены и настроены модели для детектирования сумок и последующей их классификации.
03  Классификатор реализован на базе Resnet50, 400 эпох, 32 картинки в батче.

Задача была в создании инструмента, помогающего в раскрутке сообществ на тему критровалют в Телеграм. Для этого была создана система управления диалоговыми ботми. Сложность была в том, что тематика криптовалют достаточна специфична с точки зрения обилия отраслевой терминологии и слэнга, что осложняет обучение ботов до уровня общения, неотличимого от человеческого.

01 Для обучения диалоговой модели был проведен парсинг 25 релевантных телеграм-каналов и проведена выгрузка релевантных диалогов (более 100 000 записей).
02  Проведена очистка диалогов от стоп-слов и нежелательных тематик (названия определенных момент, недоброжелательное общение и т.д.).
03  На собранных диалогах проведено обучение модели на основе GPT-3 Davinci.
04  Создано несколько режимов общения ботов: боты инициируют общение с пользователями, боты отвечают на реплики пользователей, боты общаются друг с другом. Настроена работа ботов по расписанию, приближенному к расписанию людей (время активности, cон).
05  Создана панель управления ботами: создание ботов, добавление и удаление ботов из каналов, выбор режимов работы, статистика по активности, логирование событий.