Разработка любых моделей искусственного интеллекта, детекция брака, контроль сотрудников

Разработка и внедрение системы машинного зрения для автоматического обнаружения дефектов (пригар, гели) на движущейся прозрачной пленке с целью контроля качества.

Основные типы дефектов — это гели (прозрачные уплотнения) и окалины (черные уплотнения на пленке). Подобные задачи с глянцевыми поверхностями всегда требуют качественной проработки освещения объекта, поскольку дефекты могут визуализироваться только при определенном освещении и под определенными углами обзора. Также дополнительной амбициозности в проект добавляли следующие нюансы:

• высокая скорость прокрутки ленты (до 80 м/мин),
• необходимость обнаружения дефектов размером от 0,25 мм.

Для наблюдения за лентой было принято решение использовать промышленную линейную камеру, которая обладала необходимым быстродействием, разрешением, приемлемой ценой и позволяла интегрироваться с промышленным оборудованием. Камера отправляла результаты анализа для дальнейшей обработки. Было смонтировано освещение и камера. Детекция всех дефектов тестировалась как в отраженном, так и в проходящем свете.
Для обработки данных, полученных с камеры, были использованы следующие технологии компьютерного зрения для выявления дефектов:

• ручная разметка кадров с выявленным браком,
• нормализация (grayscale), ограничение ROI,
• бинаризация по порогу, инверсия, выделяющая «почти черные» пиксели как кандидатов в дефекты,
• пространственная постобработка (морфология), выделение объектов и геометрическая фильтрация.

Как итог — была разработана и смонтирована система обнаружения и контроля брака на полимерной пленке, удовлетворяющая стандартам качества Заказчика.

Разработка системы, которая ежемесячно анализирует использование и остатки по каждому SKU, оценивает вероятность использования в будущем периоде (до 12–18 месяцев) и выдает рекомендации по списанию или сохранению позиций. Система должна снижать общую балансовую стоимость складов, выявлять низкооборачиваемые запчасти и исключать необоснованные списания.

Компания Hyosung TNS занимается производством и обслуживанием банкоматов, а также другого оборудования для финансовых организаций. В процессе работы компании накапливаются значительные складские остатки запчастей — всего около 3500 SKU.

Проблематика:

01 Ручная аналитика не даёт надёжных оснований для списания.

02 Нет чётких вероятностных прогнозов, будут ли те или иные SKU использоваться в будущем.

03 Не учитываются неочевидные закономерности (например, связь конкретных SKU с редкими, но повторяющимися видами ремонта).

Обучена и провалидирована прогнозная модель, используя которую, сотрудник может получать рекомендации по каждой запчасти, видеть вероятность её использования в определенные периоды в будущем и принимать обоснованные решения о необходимых списаниях.

Для повышения точности итоговых предсказаний был построен и протестирован ансамбль трех взвешенных моделей, показавший себя наилучшим образом ‐ Random Forest, LightGBM и нейронная сеть. Использованный подход позволил объединить сильные стороны моделей и способность улавливать сложные нелинейные зависимости.

Заказчик — производитель электронных схем. Для того, чтобы рассчитать стоимость производства схемы ему необходимо посчитать все элементы на чертеже (конденсаторы, выключатели итд). Возникла идея переложить эту работу на искусственный интеллект.

Многие элементы на схемах имеют схожее обозначение. Для повышения точности определения было необходимо считывать подписи к элементам, а также понимать к какому элементу относится та или иная подпись.

Была разработана нейронная сеть, которая детектирует все элементы на чертеже схемы, определяет их тип, а также считывает надписи, относящиеся к каждому графическому изображению элемента. Далее программа направляет запрос в 1С Заказчика для определения стоимости каждого элемента и сводит всю информацию в Excel таблицу с итоговой стоимостью элементов платы.

У инженеров Заказчика уходило много времени на составление описаний технологического процесса изготовления деталей на основе чертежей. Появилась идея автоматизировать данный процесс и генерировать описания с помощью искусственного интеллекта.

У Заказчика есть широкий перечень различных классов деталей и типов технологических операций. Стояла задача генерировать корректную документацию по процессу изготовления детали, основываясь на чертеже, материале и внутренней классификации типов детали Заказчика

Была разработана и обучена нейронная сеть, принимающая на вход файл с чертежом детали и на выходе генерирующая технологическое описание процесса ее изготовления. Для удобства пользователей был создан программный интерфейс для загрузки чертежей и выставления различных настроек генерации.

Подсчет выхода печений с производственной линии, а также подсчет бракованных печений

Компании «Добрые Печеньки» для оценки качества технологической настройки оборудования, а также для учета объема списанной дефектной продукции требовалось вести учет выхода печений с производственной линии и проверять каждое печенье на предмет соответствия эталону, а также вести учет количества дефектных печений

Был проведен подбор и монтаж камеры, разработана система подсчета и определения качества печений. В данном проекте мы не проводили разметку датасета и классическое обучение нейронной сети, а использовали алгоритмы обработки изображений из OpenCV. Мы находили движущуюся зону конвейера, детектировали печенья и осуществляли их трекинг, далее классифицировали печенья на схожесть с эталоном и фиксировали события по сходу печений с конвейера

Разработка алгоритмов машинного зрения для определения эффективности работы сотрудников швейного производства

01 При большом количестве сотрудников швейного производства становится проблематично контролировать соответствие работы швей плановым показателям и внутренним стандартам производства.

02 Зачастую сотрудники покидают свои рабочие места по личным причинам, пользуются гаджетами и проявляют другие активности не связанные с рабочим процессом.

03 Заказчику было необходимо разработать решение, собирающее важные аналитические данные по каждому из сотрудников, а именно: время присутствия / отсутствия на рабочем месте, количество отшитых материалов, факт использования гаджетов на рабочем месте.

01 Было произведено обучение нейронной сети для определения сотрудников по лицам, для этого было использовано более 600 изображений на каждого сотрудника, наилучший результат показала модель Yolov8m.

02 Разработаны модели детекции человека и его лица с динамической перепривязкой ID таким образом, что модель детектирует определенного сотрудника даже если он отвернулся и его лицо не попадает в камеру.

03 Протестирована и внедрена модель обработки кадров видео таким образом, чтобы оптимизировать быстродействие системы и при этом корректно рассчитывать время проведенное за работой и другими активностями.

04 Разработан пользовательский веб-интерфейс с возможностью просмотра статистики по действиям сотрудников и их рабочей активности.

Разработка алгоритмов машинного зрения для поинтервальной количественной и качественной характеристики геологических объектов в керновом материале на базе растровых изображений.

01 При бурении породы извлекаются ее образцы (керновый материал), который используется для анализа глубинного строения земной коры и решения геолого-промысловых задач поиска и разведки полезных ископаемых.

02 Фотографии ящиков с керновым материалом обрабатывались в ручную. От геологов требовалось производить оценку состава керна на наличие жил, прожилок, разрушенного керна, цельной породы и других характеристик. Ручная обработка фотографий занимала много времени, что значительно усложняло процесс расчетов.

03 Кроме того, в расчетах присутствовали ошибки, обусловленные «человеческим фактором». Стояла задача автоматизировать процесс обработки фотографий через машинное зрение.

01 Произведена разметка датасета и обучение нейронной сети на автоматическое определение жильного материала, вмещающей породы, трещин, литотипов, цельного и разрушенного керна.

02 Разработанный продукт позволяет оператору при необходимости самостоятельно (без привлечения разработчиков) размечать объекты на изображениях керна, редактировать полученную разметку в ходе работы моделей и запускать процесс обновления построения геологической колонки.

03 Спроектированный web-интерфейс включает в себя главное меню системы с возможностью выбора проекта, модуль итогов классификации керна со встроенным редактором полученных масок, редактор глубин кернового материала и интерфейс визуализации геологической колонки.

Автоматизировать подсчет и отбраковку хлебобулочной продукции на конвейерной линии БКК Коломенский.

01 Батоны укладываются в лотки по 8 штук для дальнейшей транспортировки по конвейерной линии.

02 Существует несколько различных типов батонов отличающихся упаковкой.

03 Требовалось вести подсчет транспортируемой продукции по каждому SKU, а также своевременно отбраковывать лотки с отличающимся от нормы количеством батонов.

01 Осуществлена разметка датасета и обучена модель на базе YOLO для детекции лотков, подсчета количества батонов и классификации батонов по SKU.

02 Произведено подключение к установленной камере по RTSP, настроено «сканирование» видеопотока нейросетью и передача сигнала об отбраковке, осуществлен вывод собранных данных в пользовательский интерфейс.

03 В рамках реализации проекта достигнута точность по целевым метрикам заказчика более 95%.

Создать систему для оперативного и постоянного подсчета объема выходящего шлама на буровой станции.

Для нашего заказчика — нефтесервисной компаний, осуществляющей процесс бурения, было необходимо разработать систему машинного зрения, осуществляющую подсчет объема выходящего из вибросита шлама. Если порода плохо вымывается раствором, то можно испортить буровое оборудование, соответственно, зная объем выходящего шлама возможно своевременно корректировать бурение.

01 Произведено подключение к камере заказчика, настроено освещение.

02 Методами машинного зрения (OpenCV) произведен подсчет скорости движений фракций шлама.

03 Методами машинного обучения осуществлено детектирование шлама на видеопотоке, что позволило, зная скорость движения, осуществить подсчет объема выходящего шлама.

04 Разработан пользовательский интерфейс с онлайн трансляций видео и возможностью наглядного сопоставления план / факт, а также визуализацией других интересующих заказчика параметров.

05 Вычисления были перенесены на GPU, достигнута точность 85%, что являлось целевой точностью для заказчика.

Определять основные характеристики кожи по фото лица с телефона.

В рамках реализации мобильного приложения для сети клиник было необходимо разработать модель, определяющую основные характеристики кожи лица. При этом модель должна была обрабатывать фото за доли секунды.

01  Совместно с заказчиком была осуществлена подготовка и разметка датасета из более 3000 изображений в нашем разметчике CVAT.
02  Для обнаружения поражений кожи за основу бралась модель Fpn_vgg16 в комбинации с Feature Pyramid Network, которая использовала предсказания Vgg16 на каждом своем уровне. Для мобильной версии модель была преобразована в Tflite.
03  Разработан ансамбль моделей определяющих следующие показатели: тип поражения кожи (угри или прыщи), тяжесть поражения кожи в процентах, тип кожи (сухая, жирная, комбинированная).

Для заказчика (маркетплейс брендовых сумок, ресейл) было необходимо разработать модель, на вход которой подается загруженное пользователем фото сумки, а на выходе определяется ее бренд и модель для определения рекомендованной цены продажи.

01 Совместно с заказчиком был осуществлен сбор датасета более чем из 45 000 изображений, для увеличения объема часть датасета была синтетически сгенерирована нашими специалистами.
02  Были обучены и настроены модели для детектирования сумок и последующей их классификации.
03  Классификатор реализован на базе Resnet50, 400 эпох, 32 картинки в батче.

Задача была в создании инструмента, помогающего в раскрутке сообществ на тему критровалют в Телеграм. Для этого была создана система управления диалоговыми ботми. Сложность была в том, что тематика криптовалют достаточна специфична с точки зрения обилия отраслевой терминологии и слэнга, что осложняет обучение ботов до уровня общения, неотличимого от человеческого.

01 Для обучения диалоговой модели был проведен парсинг 25 релевантных телеграм-каналов и проведена выгрузка релевантных диалогов (более 100 000 записей).
02  Проведена очистка диалогов от стоп-слов и нежелательных тематик (названия определенных момент, недоброжелательное общение и т.д.).
03  На собранных диалогах проведено обучение модели на основе GPT-3 Davinci.
04  Создано несколько режимов общения ботов: боты инициируют общение с пользователями, боты отвечают на реплики пользователей, боты общаются друг с другом. Настроена работа ботов по расписанию, приближенному к расписанию людей (время активности, cон).
05  Создана панель управления ботами: создание ботов, добавление и удаление ботов из каналов, выбор режимов работы, статистика по активности, логирование событий.

Упростить поиск технической информации для сотрудников

При эксплуатации строительной техники у сотрудников регулярно возникают вопросы, требующие поиска информации в специализированной документации, что может занимать значительное количество времени

Нашей командой было проведено обучение большой языковой модели на документах заказчика (внутренние регламенты, руководства по эксплуатации и обслуживанию техники, строительные нормы итд) для корректного ответа на все технические вопросы, касающиеся спецтехники заказчика