Машинное Обучение (ML)

Определять основные характеристики кожи по фото лица с телефона.

В рамках реализации мобильного приложения для сети клиник было необходимо разработать модель, определяющую основные характеристики кожи лица. При этом модель должна была обрабатывать фото за доли секунды.

01  Совместно с заказчиком была осуществлена подготовка и разметка датасета из более 3000 изображений в нашем разметчике CVAT.
02  Для обнаружения поражений кожи за основу бралась модель Fpn_vgg16 в комбинации с Feature Pyramid Network, которая использовала предсказания Vgg16 на каждом своем уровне. Для мобильной версии модель была преобразована в Tflite.
03  Разработан ансамбль моделей определяющих следующие показатели: тип поражения кожи (угри или прыщи), тяжесть поражения кожи в процентах, тип кожи (сухая, жирная, комбинированная).

Для заказчика (маркетплейс брендовых сумок, ресейл) было необходимо разработать модель, на вход которой подается загруженное пользователем фото сумки, а на выходе определяется ее бренд и модель для определения рекомендованной цены продажи.

01 Совместно с заказчиком был осуществлен сбор датасета более чем из 45 000 изображений, для увеличения объема часть датасета была синтетически сгенерирована нашими специалистами.
02  Были обучены и настроены модели для детектирования сумок и последующей их классификации.
03  Классификатор реализован на базе Resnet50, 400 эпох, 32 картинки в батче.

Задача была в создании инструмента, помогающего в раскрутке сообществ на тему критровалют в Телеграм. Для этого была создана система управления диалоговыми ботми. Сложность была в том, что тематика криптовалют достаточна специфична с точки зрения обилия отраслевой терминологии и слэнга, что осложняет обучение ботов до уровня общения, неотличимого от человеческого.

01 Для обучения диалоговой модели был проведен парсинг 25 релевантных телеграм-каналов и проведена выгрузка релевантных диалогов (более 100 000 записей).
02  Проведена очистка диалогов от стоп-слов и нежелательных тематик (названия определенных момент, недоброжелательное общение и т.д.).
03  На собранных диалогах проведено обучение модели на основе GPT-3 Davinci.
04  Создано несколько режимов общения ботов: боты инициируют общение с пользователями, боты отвечают на реплики пользователей, боты общаются друг с другом. Настроена работа ботов по расписанию, приближенному к расписанию людей (время активности, cон).
05  Создана панель управления ботами: создание ботов, добавление и удаление ботов из каналов, выбор режимов работы, статистика по активности, логирование событий.