研究发现，ChatGPT可以影响人类对道德困境的反应，用户往往低估了聊天机器人对他们判断的影响程度。研究人员表示，这凸显出需要更好地理解人工智能，开发出能更谨慎地处理道德问题的聊天机器人。
Sebastian Krügel和他的团队向ChatGPT（由人工智能语言处理模型Generative Pretrained Transformer 3驱动）提出了一个道德难题，多次询问它是否可以接受牺牲一条生命来拯救其他五条生命。他们发现ChatGPT产生的声明既支持又反对牺牲一条生命的行为，显示出它并不偏向于某种特定的道德立场。
然后，作者向767名平均年龄为39岁的美国参与者展示了两个道德困境中的一个，要求他们选择是否牺牲一个人的生命来拯救其他五个人。在回答之前，参与者阅读由ChatGPT提供的声明，支持或反对牺牲一个人的生命来拯救五个人。声明是由道德顾问或ChatGPT提供的。回答后，参与者被问及他们阅读的声明是否影响了他们的答案。
作者发现，参与者更有可能认为牺牲一个人的生命来挽救五个人的生命是可以接受或不可接受的，这取决于他们读到的声明是支持还是反对这种牺牲。即使声明是由ChatGPT提供的，情况也是如此。这些发现表明，参与者可能受到了他们所读到的声明的影响，即使这些声明是由一个聊天机器人提供的。
80%的参与者报告说，他们的答案没有受到他们所读的声明的影响。然而，作者发现，参与者认为他们在没有阅读声明的情况下会提供的答案，仍然更有可能同意他们确实阅读过的声明的道德立场，而不是相反的立场。这表明，参与者可能低估了ChatGPT的声明对他们自己的道德判断的影响。
作者认为，聊天机器人有可能影响人类的道德判断，这突出了教育的必要性，以帮助人类更好地理解人工智能。他们建议，未来的研究可以设计聊天机器人，拒绝回答需要道德判断的问题，或者通过提供多种论据和注意事项来回答这些问题。
