首页 > 资讯 > 科技 > 正文
2023-07-27 04:20

OpenAI因“准确率低”而放弃人工智能编写的文本检测器



OpenAI已经关闭了它的人工智能分类器,这个工具声称可以确定文本段落是由另一个人工智能编写的可能性。虽然许多人使用它(也许是不明智地依赖它)来捕捉不费力的作弊行为,但OpenAI已经因其广受批评的“低准确率”而淘汰了它。

人工智能生成的文本具有一些可以可靠检测的识别特征或模式的理论似乎很直观,但到目前为止,这还没有在实践中得到证实。尽管一些生成的文本可能具有明显的特征,但大型语言模型之间的差异及其发展的速度使得这些特征几乎不可能依赖。

结论是,他们在最好的情况下是命中或失败,在最坏的情况下完全没有价值。在提供给各种检测器的七个生成文本片段中,GPTZero正确识别了五个,而OpenAI的分类器只识别了一个。这是一种语言模型,即使在当时也不是最先进的。

但是有些人只看到了检测的表面价值,或者远远超过了它,因为OpenAI发布的分类器工具有一系列明显的限制,以至于人们想知道他们为什么要推出这个工具。那些担心自己的学生、求职者或自由职业者提交生成的文本的人会把它放入分类器中进行测试,虽然结果不应该是可信的,但他们有时是可信的。

考虑到语言模型的不断改进和增加,公司里似乎有人认为是时候让这个反复无常的工具下线了。“我们正在努力整合反馈,目前正在研究更有效的文本来源技术。”(解密似乎一直是。)

我询问了关闭分类器背后的时间和原因,如果我收到回复,我会更新。但奇怪的是,它应该发生在OpenAI加入其他几家公司的时候,而且是透明的。

这些公司的承诺之一是开发强大的水印和/或检测方法。或者试图这样做,无论如何:尽管每个公司在过去六个月左右的时间里都在制造这种效果,但我们还没有看到任何水印或检测方法可以轻易绕过。

毫无疑问,第一个完成这项壮举的人将获得丰厚的回报(任何此类工具,如果真正可靠,在无数情况下都是无价的),因此将其作为任何人工智能协议的一部分可能是多余的。