来自墨尔本大学和西澳大利亚大学的研究团队从十大热门建议栏网站上,随机挑选了50个社会困境问题。
该科研团队邀请了404名志愿者,盲测展示由专栏作家和ChatGPT所提供的答案,要求其回答哪个答案更平衡、更全面、更善解人意、更有帮助。
研究人员发现,ChatGPT在五个随机提出的问题中的每一个和所有查询类别中都“明显优于”人类顾问,支持人工智能的偏好率在70%到85%之间。
两项调查都显示,许多人发现ChatGPT的建议比专业顾问的建议更平衡、更完整、更善解人意、更有帮助,而且总体上更好。在调查1的404名参与者和调查2的401名参与者中,大多数人在所有方面都投票赞成ChatGPT。
该研究还表明,ChatGPT参与者的答案比建议专栏作家的答案更长。在第二项研究中,研究人员缩短ChatGPT的回答内容长度,确保其内容长度和专栏作家回答相近。
第二项研究表明,虽然偏好率有所减少,但整体而言ChatGPT提供的回答更全面更优秀。
尽管ChatGPT建议的质量很高,但77%的受访者依然表示,更喜欢人类专家给出的回答。
IT之家附上论文参考地址:
Howe Piers Douglas Lionel,Fay Nicolas,Saletta Morgan,Hovy Eduard,ChatGPT’s advice is perceived as better than that of professio
nal advice columnists,2023,https://www.frontiersin.org/articles/10.3389/fpsyg.2023.1281255