Веб-приложение для автоматизации разметки КТ-снимков для стоматологии на основе модели машинного обучения
Разработка веб-приложения для сети стоматологии, которое автоматизирует процесс разметки КТ-снимков. Создана модель машинного обучения, разработан вьюер и интегрирован в архитектуру веб-приложения.
Заказчик
Рентгенодиагностический центр, занимающийся современными методами исследований челюстно-лицевой области, в том числе с применением конусно-лучевой компьютерной томографии.
На сегодняшний день сеть организации насчитывает 7 центров на территории Москвы и МО.
В штате работают специалисты разных профилей:
- врачи-рентгенологи
- технические специалисты
- онлайн-поддержка
- личные менеджеры
Все центры оснащены современной техникой и обладают высокой степенью цифровизации, что позволяет проводить диагностику быстро и качественно.
С какой проблемой пришел Заказчик?
Процесс ручной разметки челюстей на 2D и 3D-снимках занимает у врача, в среднем, 40 ‒ 60 минут на одного пациента. С наплывом пациентов у заказчика возникла потребность в автоматизации процесса для облегчения работы врачей и повышения удовлетворенности клиентов центра.
Цель проекта
Разработать информационную систему по обработке DICOM-изображений, способную автоматизировать процесс разметки челюстей (черепа):
- определять расстояние между контрольными точками на челюсти
- измерять углы
- строить плоскости и определять их соотношение
- сравнивать соотношение с нормой
- учитывать расхождения с нормой и формировать выводы на основе расхождений
Задействованные нейросети и подмодули
- UNet – для точной сегментации изображений.
- YOLO (You Only Look Once) – для детекции объектов в реальном времени.
- ResNet (Residual Networks) – для извлечения признаков и предобработки изображений.
- Vision Transformers (ViT) – для обработки сложных материалов.
- GANs (Generative Adversarial Networks) – для аугментации данных и генерации дополнительных примеров.
- Fast R-CNN – для классификации и локализации объектов.
Реализация проекта
Условно весь проект можно разделить на следующие этапы:
На реализацию проекта от момента постановки ТЗ и до сдачи работ было отведено 6 месяцев.
В ходе работ выяснилось, что готовый вьюер невозможно интегрировать в разработанное нами веб-приложение, его возможностей не хватало для решения поставленных задач.
Это означало, что, помимо заявленных этапов, необходимо было разработать собственный вьюер. Нам пришлось срочно подключать штатных разработчиков, обладающих компетенциями по работе с 2D и 3D-изображениями, чтобы уложиться в срок.
Также в ходе проекта мы столкнулись с недостаточным количеством снимков для обучения нейросети, благодаря чему точность предиктивной разметки изначально была ниже ожидаемой.
Однако этот недостаток компенсируется постоянным обучением нейросети за счет того, что снимки со скорректированной врачом разметкой попадают обратно в ML-часть.
- разработка веб-приложения;
- создание модели машинного обучения (ML-модели);
- интеграция готового вьюера с разработанным веб-приложением.
На реализацию проекта от момента постановки ТЗ и до сдачи работ было отведено 6 месяцев.
В ходе работ выяснилось, что готовый вьюер невозможно интегрировать в разработанное нами веб-приложение, его возможностей не хватало для решения поставленных задач.
Это означало, что, помимо заявленных этапов, необходимо было разработать собственный вьюер. Нам пришлось срочно подключать штатных разработчиков, обладающих компетенциями по работе с 2D и 3D-изображениями, чтобы уложиться в срок.
Также в ходе проекта мы столкнулись с недостаточным количеством снимков для обучения нейросети, благодаря чему точность предиктивной разметки изначально была ниже ожидаемой.
Однако этот недостаток компенсируется постоянным обучением нейросети за счет того, что снимки со скорректированной врачом разметкой попадают обратно в ML-часть.
Результат
- Начало работы: врач загружает снимки в систему
- Нанесение разметки на снимок: система обрабатывает снимок и наносит разметку с помощью ML
- Корректировка разметки врачом: специалист редактирует разметку и/или подтверждает корректность расположения контрольных точек
- Сохранение изображения: система сохраняет подтвержденное изображение для «дообучения» ML-моделей
- Выявление отклонений: система анализирует изображение и выявляет аномалии
- Подробный отчет: через несколько минут готов наглядный отчет о текущем состоянии и возможных изменениях в зубочелюстных аномалиях
У вас есть запрос на разработку?
Свяжитесь с нами по почте request@codeinside.ru и мы поможем вам реализовать проект.