医疗 AI 也会被误导——研究提示“像病历的错误信息”最危险
大模型正越来越多地被用于问诊分诊、病历总结和医学问答。但如果错误信息被包装得足够“像真的”,它们会不会照单全收?这项发表于 The Lancet Digital Health 的横断面基准研究,系统测试了 LLM 在医疗虚假信息面前的脆弱性。
研究团队评估了 20 个大语言模型,在 340 万条含医学错误信息的提示词中测试其易感性,错误信息来自社交媒体、临床笔记和模拟病例三类场景。结果显示,整体有 31.7% 的基础提示会让模型接受错误信息;其中临床笔记场景最危险,易感率高达 46.1%,显著高于社交媒体场景的 8.9%。不同模型表现差异明显,GPT-4 抗误导能力更强,而部分小模型和医学微调模型反而更容易“中招”。
这项研究最重要的提醒不是“模型不行”,而是医疗 AI 的部署不能只看答得像不像,还要看它在被误导时能否守住底线。未来真正关键的,可能是事实锚定、来源校验和上下文防御机制,而不是单纯更大的参数规模。
🧬 频道 | 🧑🔬 群组 | 📨 投稿
大模型正越来越多地被用于问诊分诊、病历总结和医学问答。但如果错误信息被包装得足够“像真的”,它们会不会照单全收?这项发表于 The Lancet Digital Health 的横断面基准研究,系统测试了 LLM 在医疗虚假信息面前的脆弱性。
研究团队评估了 20 个大语言模型,在 340 万条含医学错误信息的提示词中测试其易感性,错误信息来自社交媒体、临床笔记和模拟病例三类场景。结果显示,整体有 31.7% 的基础提示会让模型接受错误信息;其中临床笔记场景最危险,易感率高达 46.1%,显著高于社交媒体场景的 8.9%。不同模型表现差异明显,GPT-4 抗误导能力更强,而部分小模型和医学微调模型反而更容易“中招”。
这项研究最重要的提醒不是“模型不行”,而是医疗 AI 的部署不能只看答得像不像,还要看它在被误导时能否守住底线。未来真正关键的,可能是事实锚定、来源校验和上下文防御机制,而不是单纯更大的参数规模。
不是 AI 太笨,而是假病历太像真的——穿白大褂的谣言果然更危险。🩺🤖#医疗AI #大语言模型 #医学虚假信息 #柳叶刀 #临床安全
📄 The Lancet Digital Health
🧬 频道 | 🧑🔬 群组 | 📨 投稿
🌚 5 ❤️ 2