来自医疗保健创业公司Ansible Health的研究人员于2月9日在《PLOS数字健康》杂志上分享了他们的研究结果。他们发现ChatGPT能够在执照考试中取得"大约60%的通过门槛"。
正如该网站所解释的，USMLE是美国医生获得医疗执照所必须参加的三步考试。除了测试未来医生的技能和医学知识外，该考试还评估他们的价值观和态度。
在排除了基于图像的问题后，研究人员向ChatGPT提供了2022年6月USMLE考试中376个问题中的350个。在这三次考试中，ChatGPT的得分在52.4%和75%之间。在大多数年份，通过门槛约为60%。ChatGPT的得分也超过了PubMedGPT--一种专门针对生物医学文献进行训练的模型--其得分为50.8%。
作者说。"达到这个众所周知的困难的专家考试的合格分数，并且在没有任何人类强化的情况下做到这一点，标志着临床人工智能成熟的一个值得注意的里程碑。"
在这项研究发表后不久，各州医学委员会联合会和国家医学考试委员会，这两个USMLE的共同发起人，分享了他们自己的一份声明。他们指出，最近的两项研究使用了考试准备材料和练习题，而不是实际的USMLE考试题，因此，ChatGPT的成就只能带有一个星号。
......需要注意的是，ChatGPT所使用的练习题并不能代表考生所经历的USMLE考试内容的全部深度和广度。例如，某些问题类型没有包括在研究中，如那些使用
图片、心音和基于计算机的临床技能模拟。这意味着其他关键的考试结构在研究中没有得到完整的体现。
"尽管目前没有足够的证据支持人工智能可以通过USMLE步骤考试的说法，但随着技术的发展，我们不会惊讶地看到人工智能模型大幅提高其性能，如果利用得当，这些工具可以对评估的构建方式和学生的学习方式产生积极影响。"
