Можно ли доверять искусственному интеллекту в вопросах здоровья? Вот что следует знать, прежде чем обращаться к ИИ с проблемой | #
Искусственный интеллект (ИИ) привлекает все больше внимания в секторе здравоохранения, где его потенциал может быть использован для упрощение работы врачей, сортировка пациентов, получить историю болезни или предоставить предыдущие диагнозы. Большая часть этой технологии состоит из так называемых больших языковых моделей, таких как ChatGPT. Эти инструменты уже часто используются самими пациентами, чтобы лучше понять свои симптомы или результаты медицинских анализов.
Но насколько хорошо ИИ может работать в ситуациях, точно имитирующих реальное взаимодействие врача и пациента? Новое исследование Гарвардской медицинской школы и Стэнфордского университета показывает, что ответ таков: не очень хорошо.
Новая система оценки возможностей ИИ в медицине
Группа учёных предложила систему рейтингов под названием КРАФТ МД (Система оценки разговорного рассуждения для тестирования в медицине)у кого есть улучшить манерыс помощью которого мы проверяем возможности ИИ в реалистичных медицинских сценариях. Результаты их исследования, опубликованные в журнале Nature Medicine, показали, что модели ИИ хорошо справляются со стандартизированными медицинскими тестами. испытывают трудности с постановкой диагноза на основе отрывочных разговорных записей.
КРАФТ-МД предназначен для смоделированные реальные взаимодействия между пациенты а врач Система он проверяет способность ИИ собирать информацию о симптомах, принимаемых лекарствах и семейном анамнезе и на их основе ставить диагноз. Для этой цели использует ИИ-агент, который появляется как пациентотвечает в естественном стиле и предоставляет информацию в свободной форме. Второй агент ИИ оценивает точность диагностикикоторые определила модель, и результаты затем проверяются экспертами.
Основные результаты исследования
Исследователи протестировали четыре разные языковые модели. 2000 клинических ситуаций из разных отделов медицины. Хотя модели ИИ они добились хороших результатов когда вы решаете тестовые вопросы, их точность резко упала в более реалистичных сценарияхгде необходимо активно задавать вопросы а обрабатывать информацию с самого начала неструктурированных интервью.
Не упускайте из виду
Знаете ли вы, сколько вы платите за электроприборы, когда вы ими не пользуетесь и они находятся в режиме ожидания? Вы можете сэкономить столько денег каждый год!
К основным проблемам относились недостаточный допрос получить важную информацию. Неспособность записывать и синтезировать фрагментированные данные. Трудности в интерпретации открытых ответов вместо однозначных ответов теста. Меньшая точность во время разговорных разговоров по сравнению с отредактированными сценариями.
Рекомендации по улучшению ИИ в медицине
На основе этих выводов авторы исследования предложили несколько рекомендаций разработчикам и регулирующим органам, которые оценивают и одобряют эти инструменты. Используйте бесплатные и открытые вопросы в разработке, обучении и тестировании моделей ИИ, которые лучше отражают реальность. Проверьте способность ИИ задавать правильные вопросы и извлечь ключевая информация. Создавайте модели, способные вести несколько разговоров и объединять информацию из нескольких источников. Интеграция текстовых и нетекстовых данныхнапример изображения или записи ЭКГ. Учитывайте невербальные сигналынапример, выражение лица, тон голоса или язык тела.
Стандартизированное тестирование, такое как CRAFT-MD, может служить эффективным методом первоначальной оценки и поможет улучшить диагностические возможности искусственного интеллекта до их внедрения в практику. КРАФТ-МД делает это возможным более быстрое тестирование с более низкие затраты как чисто человеческая оценка, т. трудоемкий и ресурсоемкий.
Если мы хотим, чтобы инструменты искусственного интеллекта стали надежной частью клинической практики, они нам нужны. не просто улучшитьно и проводить оценку таким образом, чтобы она отражала реальные потребности пациентов и врачей. Как говорит доктор Роксана Данешжу из Стэнфорда: «КРАФТ-МД создает структуру, которая лучше отражает реальность и выводит тестирование моделей искусственного интеллекта в здравоохранении на новый уровень.».
Автор публикации
КОММЕНТЫ