От тестов последовательной диагностики к практике: что ещё должен доказать медицинский ИИ

Microsoft 22 октября сообщила о публикации MAI-DxO в Science: сложные случаи — 83%, врачи — 36% со справочными материалами; неотложные случаи — 80% против 47%.¹ Это результаты конкретных тестов, а не сравнение частоты ошибочных диагнозов в повседневной работе больниц.

Иллюстрация, созданная ИИ: исследования диагностики с помощью ИИ и проверка доказательств; не реальная клиническая сцена.

Важно не только ответить, но и выбрать следующий вопрос

На медицинском экзамене необходимые сведения обычно уже включены в условие. В диагностике одна из трудностей — определить, чего ещё не хватает. SDBench превращает случай в последовательное взаимодействие: участник получает краткое описание, затем задаёт вопросы, назначает исследования или формулирует диагноз. Модель, управляющая выдачей информации, отвечает по материалам случая; если нужного результата нет, она может сгенерировать согласованный с ним условный результат. Другая модель оценивает диагноз относительно эталона.²

Такой подход позволяет исследовать путь получения информации, а не только конечный ответ. Однако условный результат — не новое обследование пациента. Если система нашла удачный путь в симуляции, ещё предстоит показать, что больница способна своевременно получить соответствующие сведения и что их качество не изменит решение. Приближение теста к диагностическому процессу не означает полного воспроизведения клинической ситуации.

В ранее опубликованной авторами рукописи описана подборка из 304 сложных случаев NEJM.³ Отобранные трудные случаи помогают проверять рассуждения, но не представляют всех амбулаторных пациентов. Поэтому результаты разных наборов следует показывать отдельно: одно среднее значение не объясняет одновременно работу с распространёнными болезнями, редкими нарушениями и экстренными состояниями.

Присутствие человека не гарантирует эффективный контроль

Сравнить самостоятельные ответы ИИ и врачей — не то же самое, что оценить врачей, использующих ИИ. Первое измеряет возможности системы, второе ближе к применению вспомогательного инструмента. Врач может обнаружить ошибку и исправить её, но может и преждевременно принять убедительно изложенный ответ. Это риски, которые необходимо исследовать, а не уже установленные клинические результаты данной работы.

Принципы машинного обучения для медицинских изделий, предложенные регуляторами США, Великобритании и Канады в 2021 году, подчёркивают представительность данных, независимое тестирование и работу команды человека и ИИ в клинически значимых условиях.⁴ Применительно к этому исследованию следующая оценка должна выходить за пределы рейтинга точности. Важно фиксировать, кто принял рекомендацию, когда её отвергли и как разрешили разногласия. Сами принципы не являются разрешением или сертификацией MAI-DxO.

Ошибка в сложном случае и пропуск состояния, требующего немедленного вмешательства, могут иметь разные последствия. При клинической оценке следует заранее определить типы ошибок, их тяжесть и порядок передачи ситуации ответственному специалисту. Иначе рост среднего балла не покажет, повысилась ли безопасность в наиболее важных моментах.

Расчётная стоимость исследований — не счёт пациента

Открытый код позволяет оценивать стоимость назначенных исследований; документация поясняет, что в статье расчёты опирались на публичный больничный прейскурант. Прямые оценки модели и оценки, сопоставленные с этим прейскурантом, не равнозначны.² Поэтому сравнение расходов прежде всего сопоставляет диагностические маршруты при выбранном методе расчёта. Оно не доказывает сокращения платежей пациентов или затрат всей системы здравоохранения.

С экономической точки зрения отказ от бесполезного исследования может сберечь ресурсы. Но если экономия получена за счёт пропуска необходимого исследования, последующее лечение может подорожать. Следует также учитывать внедрение, проверку человеком, повторные обращения и обработку исключительных ситуаций. Это статьи для будущего расчёта, а не уже наблюдавшиеся выгоды или убытки.

Открытых инструментов недостаточно для клинического доказательства

Доступность кода SDBench не означает свободного скачивания всех случаев: материалы NEJM требуют лицензии, а данные MIMIC — соблюдения условий доступа. Пять полностью синтетических примеров в репозитории предназначены для разработки и проверки, а не для публикации диагностических показателей.² Это различие определяет, воспроизводится ли исследование на сопоставимых данных и настройках или лишь запускается программа с тем же названием.

Microsoft планирует проспективное исследование с бостонским Beth Israel Deaconess Medical Center.¹ Пока такие работы не дали результатов, полезнее определить группы пациентов, рабочие процессы и ответственность при ошибках, чем переносить тезис «лучше врачей» на любую клиническую ситуацию. Улучшение диагностического рассуждения и более безопасная, своевременная помощь пациентам — два разных вывода, требующих отдельных доказательств.

Источники

1. 2026-10-22 · Microsoft AI, MAI Health Team · Building Medical Superintelligence («Создание медицинского сверхинтеллекта»). ↩ ↩²

2. Дата обращения: 2026-10-23 · Microsoft · SDBench: Sequential Diagnosis Benchmark («SDBench: тест последовательной диагностики») · Лицензия MIT. На официальной странице проекта указана статья Sequential Diagnosis with Language Models, Science, 2026, DOI: 10.1126/science.aeh7930. ↩ ↩² ↩³

3. Дата рукописи: 2025-11-08 · Harsha Nori и соавторы · Sequential Diagnosis with Language Models («Последовательная диагностика с языковыми моделями»). Авторская рукопись используется для описания методического контекста, а не как полный текст публикации 2026 года. ↩

4. 2021-10 · FDA, Health Canada и MHRA · Good Machine Learning Practice for Medical Device Development: Guiding Principles («Надлежащая практика машинного обучения при разработке медицинских изделий: руководящие принципы»). ↩