GPTZero - AI 检测 AI?

用 AI 打败 AI,再用 AI 打败打败 AI 的 AI。

​今天听说了 GPTZero,一个可以检测 AI 生成的文本的 AI。其实只是一个简单的文本分类器。虽然 ChatGPT 的输出即使是人类也极难分辨,但本来 AI 最擅长的事情就是计算事物的潜在关系,分类两种的确有着潜在不同的文本似乎确实是可能的。

GPTZero - AI 检测 AI?

​然而,我却陷入了“AI写的人都无法分辨的文本和人类写的文本究竟有什么区别”的纠结中。人类创造了语言文字并赋予其意义,我们理所应当地认为,语言的理解和表述是对等的,如果我们能读懂一篇文字,甚至认为它与正常人写得没有区别,那反过来,正常人也至少应当可以写出这样的文字,那凭什么说这些文字是 AI 写的,而不是人类写的呢?另一方面,如果 AI 与人类编写的文字越来越接近的话,总有一些文本是要越过这个模型的阈值,被它归为另一类的。

​所以小丑只有一个,那就是拿着十年前的技术顶着 ChatGPT 风口贩卖 AI 焦虑的 GPTZero 。我去了解了一下,这玩意的误报是真的多。听说国外已经有人论文被查 AI 了。而它的准确性呢?据国外网站 gonzoknows 实验,2020年20篇发表在顶级刊物上的论文,GPTZero 认为有 11篇是 AI 写的...只可惜那个时候 AI 都不知道在哪。更有意思的是,我把我过年发的一条朋友圈贴上去检测,得出结论:AI 竟是我自己。

​既然证明了人写的文本可能被误报为 AI,如果语言真的具有上面所说的理解与表述对等性,那用 AI 写的文本来愚弄它应该也是可以的。网上给出了不少歪门邪道的方法,比如说用 Paraphrasing Tool 重写,用特殊字符替换原文本中字符之类的。我看到唯一一种不需要借助外挂的方法,是直接向模型指示使用更高的“困惑度”来完成文本。不过实际成功率不高,而且只能骗 GPT2-Detector,骗不了 GPTZero。

于是我和 ChatGPT 对 AI 编写的文本与人类的差异展开讨论。结论就是人类与 AI 编写的文本具有系统性的差异,主要体现在目前的 AI 逻辑更加严密,上下文词语间联系比较密切(毕竟这就是AI的工作方式),而人类所写的文本更加丰富和多样,思维具有一定的跳跃性。

那如果我就要求 AI 写丰富多样的文本呢?我尝试了十几种指令,包括“更丰富”“更有张力”“使用复杂句式”“交叉使用长短句”“使用多样的表达手法”“混合多重风格”等等。全部失败。直到我尝试“使用诗意的语言”。通过。

原来如此,原来人类与 AI 的差距就在那一点点“诗意”啊 (雾)。不过想想也对,人类最丰富最饱满最多样的语言表达其实就在诗里呀。AI 偷学到一点,还真不奇怪。

关于近期的 AI 焦虑

最近总能看到一些 AI 焦虑。从 Stable Diffusion 在画师的圈子里掀起一阵惊涛骇浪,到 Codex 人们惊呼 Programmers wrote a program to replace programmers. 我看到很多人的担忧,也看到了很多人的排斥。但是事实是,它们的诞生是不可避免的,是人类继续发展生产力必要的手段。与其逃避,不如去思考怎样才能正确、安全地使用这种力量。

我看到最近有很多课题都是在探究怎样让 AI 更安全、更有效地与人类交互。例如绘画 AI,现在的绘画 AI 的问题并不在于画的质量,而是在于可控性。艺术由人类赋予价值,如何让 AI 能融入人类艺术家的工作流程,让人类艺术家发挥自己的创造力,而非仅仅是生成随机的图片。

我并不认为 AI 技术是技术圈内的狂欢、对技术圈外只会造成影响和冲击。事实上,至少是现在我能看到的历史上,技术的发展即使短期内会对某些领域、人群造成影响,但都最终使几乎所有人获益。如果你感兴趣,你可以尝试一些新玩意儿;如果你不感兴趣也没关系,安心学你喜欢的东西就好,时代最终不会把你落下的。

ChatGPT 现在是我思考问题时的一个非常有用的工具。它可以帮你快速整理思路,理清你的观点,给你提供有用的信息。潜在问题是它提供的信息也可能会影响你的观点。这是我昨天与 ChatGPT 对话的最后,ChatGPT 给我的满意回答。

当时我说,如果我们认可现在对于自我意识的解释的话,那么如果某一天,AI 确确实实“意识到了自己的存在”,如果自我意识是绝对客观的存在的话,人类就不得不承认 AI 拥有了“自我意识”。但是就人类而言,无论 AI 多么强大,它终究只是运行在计算机上的代码。我们真的可能认为 AI 产生了自我意识吗?

“对于人类而言,无论AI多么强大,它仍然只是一种机器和工具,不具备人类的生物特性和情感体验。即使AI系统能够意识到自我的存在,人类仍然会认为AI不是真正的人类,不具备真正的自我意识。这是因为人类和AI系统之间的本质差异和生物基础不同,这种差异是无法被消除的。”