IT之家4月26日消息，人工智能（AI）的发展日新月异，但也存在一些难题，比如AI模型有时会出现“幻觉”，即说出错误的事实、涉及有害的话题或导致安全风险。为了解决这个问题，英伟达在周二发布了一款新的软件，名为NeMoGuardrails，可以帮助软件开发者给AI模型设置“护栏”，防止它们产生不良的输出。
NeMoGuardrails是一个软件层，位于用户和AI模型之间，可以在模型输出不良内容之前进行拦截和修改。例如，如果开发者想要创建一个客服聊天
机器人，可以使用NeMoGuardrails来限制它只能谈论相关的产品，而不能谈论竞争对手的产品或其他不相关的话题。如果用户提出这样的问题，机器人可以引导对话回到开发者希望的话题上。
英伟达还提供了另一个例子，一个用于回答内部企业人力资源问题的聊天机器人。在这个例子中，英伟达能够使用NeMoGuardrails来阻止基于ChatGPT的机器人回答关于公司财务状况的问题或访问其他员工的私人数据。
此外，该软件还能够利用一个AI模型来检测另一个AI模型的“幻觉”，通过向第二个AI模型提问来核实第一个AI模型的答案。如果两个模型给出不一致的答案，那么软件就会返回“我不知道”的回答。
英伟达还表示，这个“护栏”软件还有助于提高安全性，可以强制AI模型只与白名单列表中的第三方软件进行交互。
NeMoGuardrails是开源的，并通过英伟达服务提供，可以用于商业
应用，开发者将使用Golang编程语言来为AI模型编写自定义规则。
据IT之家搜索了解，包括谷歌和微软支持的OpenAI等其他AI公司，也使用了一种称为强化学习的方法来防止LLM应用产生有害的输出。这种方法使用人类测试者来创建关于哪些答案是可接受或不可接受的数据，然后使用这些数据来训练AI模型。
英伟达正在将其注意力转向AI领域，该公司目前占据了创建这项技术所需芯片的市场主导地位，其股价在2023年迄今为止上涨了85%，成为标准普尔500指数中涨幅最大的股票。
