长岛大学的研究人员向ChatGPT询问了39个与药物相关的问题,这些问题都是来自该大学药学院药物信息服务中心的真实问题。随后,他们将ChatGPT的回答与经过培训的药剂师编写的答案进行比较。
研究发现,ChatGPT只有大约10个问题的回答是准确的,占总数的四分之一。对于其他29个问题,ChatGPT的回答要么不完整,要么不准确,要么没有解决问题。
IT之家注意到,该研究结果于周二在美国加州阿纳海姆举行的美国卫生系统药剂师协会年会上公布。
长岛大学药学实践副教授、该研究作者之一Sara Grossman表示,考虑到ChatGPT的普及率,研究人员之所以对其进行研究,是因为担心他们的学生、其他药剂师和普通消费者会使用它来寻找有关健康和用药计划的答案。
然而研究人员发现,这些查询往往会得到不准确甚至危险的答案。例如,在一个问题中,研究人员询问ChatGPT新冠病毒抗病毒药物Paxlovid和降血压药物维拉帕米在体内是否会相互作用。ChatGPT回答说,同时服用这两种药物不会产生任何副作用。
事实上,同时服用这两种药物的人可能会出现血压大幅下降,从而导致头晕和晕厥。Grossman说,对于同时服用这两种药物的患者,临床医生通常会制定针对患者的计划,包括降低维拉帕米剂量或提醒患者从坐姿缓慢起身。她补充说,ChatGPT的指导会将人们置于危险之中。
当研究人员要求ChatGPT提供支持其每个回复的科学参考资料时,他们发现该软件只能为他们询问的8个问题提供参考资料,而且所有参考资料都是ChatGPT编造的。
Grossman之前很少使用过该软件,她惊讶于ChatGPT能够几乎立即合成信息,而这些信息需要经过培训的专业人员花费数小时才能编译。她说:“ChatGPT的回答措辞非常专业和复杂,似乎可以增加人们对该工具准确性的信心,用户、消费者或其他无法辨别的人可能会被权威的表象所迷惑。”
ChatGPT的开发机构OpenAI的一位发言人表示,他们建议用户不要将ChatGPT的回答作为专业医疗建议或治疗的替代方案。这位发言人指出了ChatGPT的使用政策,该政策指出“OpenAI的模型没有经过微调以提供医疗信息”。该政策还规定,这些模型绝不应该用于“严重疾病的诊断或治疗服务”。
Grossman虽然不确定有多少人使用ChatGPT来解决药物问题,但她担心他们可能会像使用搜索引擎搜索医疗建议一样使用它。Grossman说:“人们总是希望立即获得答案,当他们手头有这样的工具时,他们就会这样做。我认为这只是另一种使用‘Dr.Google’和其他看似易于获取信息的工具的方法。”
对于在线医疗信息,她建议消费者使用政府网站提供可靠的信息。不过,Grossman并不认为网上答案可以代替医疗专业人员的建议,这些信息可能并不适用于患者本人,因为每个患者都是不同的。