Российские ученые предложили новый способ проверки диагностических медицинских моделей на базе искусственного интеллекта. Разработанная ими методика дает возможность сравнивать ответы нейросетей с мнением группы врачей в формате, максимально близком к реальной клинической практике. В результате они назвали три языковые модели, результаты работы которых были наиболее близки с мнением реальных специалистов.Эксперимент проводили ученые НИИ искусственного интеллекта AIRI и НМИЦ имени Алмазова. Они разработали новый подход к оценке качества работы ИИ в медицинской диагностике.
В отличие от традиционных методов, где модель должна выбрать диагноз из заранее заданного списка, ученые предложили проверять нейросети в более реалистичном сценарии, когда диагноз формулируется в свободной форме, как это происходит в обычной работе врача. Кроме того, вместо сравнения ответа ИИ с одним диагнозом авторы сопоставили его с мнением группы специалистов. Такой подход, отмечают исследователи, позволяет точнее понять, насколько модель близка к врачебной практике и можно ли рассматривать ее как полноценного участника экспертной команды.
Читать статью в первоисточнике