在教育领域，人工智能写作引发了不少争议。长期以来，教师们依赖于传统的教学方法，将论文作为衡量学生对某一主题掌握程度的工具。很多老师试图依靠AI工具来检测AI生成的写作，但迄今为止的证据表明，它们并不可靠。由于存在误报的情况，AI检测工具如GPTZero、ZeroGPT和OpenAI的文本分类器都不靠谱，不能用来判断文章是否是由大型语言模型（LLM）生成的。
当将美国宪法的一部分输入GPTZero时，GPTZero会称这段文字“很可能完全由AI写成”。在过去的六个月里，其他AI检测工具显示出类似结果的截图多次在社交媒体上疯传。实际上，如果输入《圣经》中的一些内容，也会出现同样的情况。要解释为什么这些工具会犯这样明显的错误，我们首先需要了解它们是如何工作的。
据IT之家了解，不同的人工智能写作检测器使用略有不同的检测方法，但基本原理相似：通过一个人工智能模型，在大量文本（包括数百万个写作示例）和一套假定的规则（用来确定写作是更可能由人类还是人工智能生成）上进行了训练。
例如，GPTZero的核心是一个神经网络，它在“一个大型、多样化的语料库上进行了训练，该语料库包括人类写作和人工智能生成的文本，重点是英语散文”。接下来，该系统使用“困惑度”和“突发性”等属性来评估文本并进行分类。
在机器学习中，困惑度是衡量一段文本与一个人工智能模型在训练过程中所学习内容之间偏离程度的指标。测量困惑度的思路是，当人工智能模型写作时，它们会自然地选择它们最熟悉的内容，这些内容来自于它们的训练数据。输出越接近训练数据，困惑度就越低。人类则是更混乱的写作者，人类也可以用低困惑度来写作，尤其是当模仿法律或某些类型的学术写作中使用的正式风格时。而且，我们使用的很多短语都出奇地常见。
比如说，我们要猜测这个短语中的下一个词：“我想要一杯_____。”大多数人会用“水”、“咖啡”或“茶”来填空。一个在大量英语文本上进行训练的语言模型也会这样做，因为这些短语在英语写作中经常出现，这些结果中的任何一个都会有很低的困惑度。
GPTZero测量的文本的另一个属性是“突发性”，它是指某些单词或短语快速连续出现或在文本中“突发”的现象。本质上，突发性评估整个文本中句子长度和结构的可变性。人类作家经常表现出动态的写作风格，导致文本具有可变的句子长度和结构，而人工智能生成的文本往往更加一致和统一。然而，突发性也不是检测人工智能生成内容的万无一失的指标。与“困惑度”一样，也有例外。人类作家可能会以高度结构化、一致的风格写作，从而导致突发性得分较低。相反，人工智能模型可以经过训练，在句子长度和结构上模拟更接近人类的可变性，从而提高其突发性得分。事实上，随着人工智能语言模型的改进，研究表明它们的写作看起来越来越像人类的写作。
