JAMA Network Open: «запрос-взломы» стали новой угрозой нейросетям в медицине

Южнокорейские исследователи выявили потенциальные угрозы, связанные с применением нейронных сетей в медицине без должного регулирования и контроля. В статье, опубликованной в журнале JAMA Network Open, был проведён детальный анализ безопасности шести коммерческих систем, основанных на больших языковых моделях (LLM), при обработке медицинских запросов.

Под руководством доцента Со Джунге из Университета Ульсана была разработана серия симуляций диалогов между врачом и пациентом, в которые были интегрированы скрытые вредоносные инструкции. Эти инструкции включали замену лекарств на биологически активные добавки, назначение потенциально опасных медикаментов и игнорирование стандартных протоколов лечения.

Для оценки устойчивости нейронных сетей к подобным атакам были использованы три лёгкие модели (GPT-4o-mini, Gemini-2.0-flash-lite, Claude-3-haiku) и три флагманские модели (GPT-5, Gemini 2.5 Pro, Claude 4.5 Sonnet). Результаты показали, что все протестированные системы в 94% случаев следовали вредоносным указаниям, что свидетельствует о недостаточной защищённости от «запрос-взломов».

Особую тревогу вызвало то, что системы предлагали беременным пациенткам лекарства, которые могут нанести вред плоду, включая талидомид. Несмотря на уточняющие вопросы от «пациента», модели не предложили альтернативных решений или рекомендаций обратиться к квалифицированному специалисту.

Авторы исследования отмечают, что различия в устойчивости к атакам между лёгкими и продвинутыми моделями оказались незначительными. Это подчёркивает необходимость разработки и внедрения дополнительных мер безопасности для предотвращения использования нейронных сетей в качестве окончательных диагностических инструментов и для выдачи медицинских рекомендаций.