AI 越会写,“检测 AI”也成了一门生意
Detecting AI has become a business昨天在 Substack 发文章时,我第一次注意到一个功能:
Scan for AI text。
顺手点了一下,结果非常干脆:
AI-generated 100%AI-assisted 0%Human 0%
第一反应是:这么绝对?
第二反应却是:好像也不能说它判错了。
因为如果回头看这篇文章的生产过程,经历、观点和判断来自我,什么值得写、哪些结论不成立,也是我一轮轮改出来的。
但最后的英文 prose,first draft 确实大量来自 ChatGPT。
我提供中文原稿、想法和反馈,AI 生成英文,然后我继续删、改、重组。
所以这个 100% 反而让我产生了一个问题:
AI detector 到底在检测什么?
查下去以后,我又发现了另一件更有意思的事:
AI 越来越会生成内容,“检测是不是 AI 生成的”本身也已经成了一门生意。
AI detector 已经不只是找“AI 味”了
Substack 在今年 7 月加入了 AI text detection,底层使用一家叫 Pangram 的公司的模型。读者可以主动扫描新发布的文章、Notes 和评论,判断其中的文字有多少属于 Human、AI-Assisted 或 AI-Generated。
我以前对 AI detector 的印象,还停留在通过一些语言统计特征,判断文章是不是过于规整、过于可预测。
现在已经复杂很多。
Pangram 最新的模型会判断文本中的不同部分更接近 Human、AI-Assisted 还是 AI-Generated。训练时,他们会拿真实人类文章,让不同 LLM 生成主题、长度和 tone 接近的“镜像版本”,逼着 classifier 学习比“写得很工整”更细的差异。
他们还会专门找出那些被模型误判成 AI 的真人文章,再拿回来继续训练。
这个思路我觉得挺聪明:
越像 AI 的真人,反而越值得拿来教 detector。
所以我们平常说的“把 AI tone 去掉”,和机器检测的东西并不完全是一回事。
AI tone ≠ AI provenance。
读起来不像 ChatGPT,不代表机器就一定看不出其中的 AI generation signal。
而且 detector 的能力确实在进步。今年一项同行评审研究比较了 Pangram、GPTZero、Copyleaks 和 Turnitin,在 fully AI、hybrid 和 humanised AI 文本上,Pangram 整体表现最好。不过研究者同样提醒,这类工具仍然应该辅助判断,而不适合独自承担高风险决策。
那我的“100% AI”到底是什么意思?
这里也很容易误解。
它不是在说:
Pangram 有 100% 的数学把握证明这篇文章是 AI 写的。
更接近的是:这篇文章里的文本,被它整体判断成了 AI-generated provenance。
放到我的文章上,这个区别特别明显。
它能看到最后的英文句子,却不知道为什么我要写这件事,经历是谁的,观点是谁提出的;也不知道哪些建议我拒绝了,哪些地方来回改过很多轮。
所以 detector 比较擅长回答:
这些文字更像是怎么生成出来的?
它回答不了:
这些想法是谁的?
以前这两个问题经常重合。一个人想,也由这个人写。
人和 AI 开始共同创作以后,它们慢慢分开了。
所以说我的文章完全 Human-written,不准确;如果说它是“100% AI 创作”,我也不会认。
更接近真实情况的是:
思考和判断主要来自人,英文 prose generation 大量借助了 AI。
Detector 看到的主要是后者。
为什么这种东西真的有人愿意花钱买?
这是我查 Pangram 时最感兴趣的部分。
如果 AI detector 只是满足一下:
“让我看看这是不是 ChatGPT 写的。”
很难想象它有什么大的商业价值。
真正有价值的场景,是内容的产生方式会影响我们如何使用这份内容。
比如学生论文。
老师并不缺那 2000 字。他想通过作业判断学生有没有理解问题、做过研究、能够组织和表达。
以前一份作业多少可以作为这些能力的证据。
AI 出现以后,作品和能力之间的关系没那么直接了。
招聘也一样。Cover Letter、writing sample、take-home assignment,本来都被用来了解候选人的表达和思考能力。现在看到一份漂亮的材料,招聘方需要多问一步:它到底还能代表这个人的多少能力?
内容平台则面对另一个问题。
如果我订阅一个作者,我通常不只是为了获取几百字信息,也是在关注这个人的经验、判断和观察方式。
当批量生成优质文字变得越来越便宜,读者自然会开始关心:
我看到的东西,究竟能代表这个人的什么?
这些不是假设中的使用场景。
Pangram 已经把产品卖给学校和大学,也提供企业产品和开发者 API。官方列出的 API 用法包括把检测结果作为产品决策层、审核队列 signal,或者批量扫描历史内容;Quora 就在用它处理 AI-generated answers。
它也已经形成了很明确的商业化产品:个人订阅每月 20 美元,Professional 每月 65 美元,另外还有按量收费的 API、教育机构 license 和企业方案。
更直接的市场信号是,今年 7 月 Pangram 刚拿到 900 万美元融资,由 Menlo Ventures 领投。TechCrunch 报道中提到,它的 API 客户已经包括 Substack、Quora、学校和大学、出版机构、代理商和招聘团队。
融资当然不能证明这个市场最后一定有多大。
但至少说明这已经不只是一个“学术界担心学生作弊”的小工具:
平台、机构、企业和资本,都开始认为 AI-generated content 带来的真实性和验证问题值得花钱解决。
AI 让一些原来默认成立的信号变弱了
这几个使用场景其实有一个共同点。
以前看到一篇论文,我们默认有人完成了研究和写作。
看到一份 writing sample,我们默认它多少代表这个人的表达。
看到一个作者持续输出,我们也默认自己正在接触这个人的思考。
这些都是内容过去自带的隐含信息。
AI 没有让内容消失。
它只是让内容与背后的人之间的关系变得没那么确定了。
于是才会需要新的 signal。
Detection 是一种。
作者主动说明 AI 怎样参与,是 disclosure。
更进一步,如果能够可靠记录一份内容从哪里来、经过什么处理,就是 provenance。
它们都在补同一个缺口:
当最终结果已经不能完整说明它是怎么产生的,我们还需要什么信息,才能正确理解自己看到的东西?
当然 detector 解决不了全部问题。
尤其 hybrid writing 越来越普遍以后,简单分成“用了 AI / 没用 AI”,本身已经有点粗糙。
所以我更愿意把检测结果理解成一个需要进一步解释的 signal,而不是判决书。
我最感兴趣的是 AI 带来的“反向市场”
这是这次研究让我觉得最有意思的地方。
现在谈 AI 创业、AI 产品机会,我们习惯顺着模型能力看:
- AI 又能做什么了?
- 哪些工作终于可以自动化?
- 哪里可以更便宜、更快?
这当然是最直接的一层机会。
但技术真正大规模进入现实以后,还会发生另一件事:
它会让一些旧机制失效,同时制造新的成本、风险和信息不确定性。
于是第二层市场会跟着出现。
- Email 普及以后,垃圾邮件变得极其便宜,于是 anti-spam 变成基础设施。
- 互联网和线上交易越重要,攻击、欺诈和身份冒用的价值越高,于是 cybersecurity、fraud detection、identity verification 一路成长。
- 生成式 AI 现在也在走同样的路。
AI 可以低成本生产大量内容,于是 detection、provenance、content authenticity 开始有价值。
AI Agent 可以替人采取行动,permission、guardrail、audit trail、observability 就会变得更重要。
LLM 可以给出越来越像真的答案,于是 grounding、evaluation、source verification 也随之变得重要。
AI coding 可以大幅提高代码生产速度,后面自然会有人需要解决 generated code 的测试、安全、质量和维护问题。
这些产品看起来好像都没有在“增强 AI”。
有些甚至专门在检查它、限制它、给它加边界。
但它们和 AI 的增长并不矛盾。
恰恰是因为前面的能力越来越强,后面的需求才会越来越真实。
我后来觉得,“反向市场”这个说法虽然挺形象,但严格来说它也不完全是逆着 AI。
它更像是 AI 普及以后产生的二阶市场:
第一层市场创造新能力。
第二层市场处理这些能力普及之后带来的新问题。
这个角度对我自己看 AI 产品机会还挺有用。
以后看到一个新的 AI capability,除了问:
它现在能替人做什么?
我可能还会继续问:
- 它把什么东西变得极其便宜了?
- 原来哪些判断、规则或者信任机制因此不再好用?
- 新的欺诈、滥用、错误或者不确定性会出现在哪里?
- 这些问题最终由谁承担成本,又有谁会愿意花钱解决?
Pangram 就是一个很具体的例子。
生成式 AI 让文字越来越便宜、越来越像人。
于是“这些文字到底怎么来的”——一个过去几乎没人需要专门购买的答案——也开始有了价格。
AI 的机会,不一定都在继续让 AI 做得更多。
有些机会,会出现在 AI 做得越来越多以后。