克雷西 发自 清华科技园
量子位 | 公众号 QbitAI

每个人都能拥有有检测AI造假的“照妖镜”了！

清华系独角兽初创公司，发布了面向个人的产品级检测工具，可以让AI伪造的图像、音频和视频现出原形。

而且无需上传素材，在网页和视频会议中就能主动探测内容和人脸真伪，并实时给出提示。

该工具由清华大学朱军教授与学生田天博士等一同创立的瑞莱智慧（RealAI）打造，名字叫做“尊嘟假嘟”，英文名RealBelieve。

随着视频生成模型质量的不断提高，辨别AI造假也越来越困难，为此，团队基于深度学习技术，构建了一整套多模态、多角度的AIGC检测技术体系。

“尊嘟假嘟”正是在这套技术之上建立，目前已开启内测招募，通过申请后即可体验。

吃瓜群众的“AI照妖镜”

从背景和人脸的替换，到利用AI模型让人做出指定的表情或动作，AI造假可谓是防不胜防。

一方面，不法分子利用AI炮制虚假内容，对受害者个人声誉和社会舆论都带来了极大的不良影响；

另一方面，AI造假也被用于诈骗活动，不仅损害被冒充者的信誉，也给受骗者带来巨大的财产损失。

今年年初，就有不法分子利用深度伪造制作了一场假的视频会议，骗走了一家公司1.8亿元的巨款。

除了正确引导和加大打击力度，让用户能够更好地判别信息真伪，也是一种重要的防护手段。

过去的AI造假检测工具主要面向专业人士，而且往往需要将内容提取后上传到检测平台中，才能进行判别。

但如果只是普通的网络视频，让吃瓜群众用这样的流程去鉴别真伪，难免显得有些繁琐。

所以在支持上传检测的同时，“尊嘟假嘟”还能主动进入视频流，用户一边吃瓜，系统就能一边判断这瓜到底“保不保熟”。

比如一进入Sora的宣传页面，系统就会针对网页里的Demo视频做出提示标注，提醒浏览者该视频“AI含量”极高。

另外针对AI诈骗日益猖獗的情况，尊嘟假嘟也支持视频通话当中进行AI合成实时监测防护。

在视频通话时，同样无需截取视频上传，尊嘟假嘟会及时主动给用户发出预警内容，提示视频对方的人脸是否存在AI合成的风险。

实时的风险提示可以帮助用户及时调整聊天方式，快速确认对方的身份，减少不必要的损失，让用户随时随地在“AI安全保障”下进行视频通话。

AI造假与防伪的“猫鼠游戏”

针对“尊嘟假嘟”背后的技术原理，瑞莱智慧联合创始人、算法科学家萧子豪透露，该产品背后的检测模型基于贝叶斯深度学习技术开发。

团队构建了一整套多模态AIGC检测技术体系，能够挖掘并建模多模态、多层次、多角度的AI合成线索，度量真假差异，并进行不确定性推理决策。

实际上，造假手段与防御方式之间，一直在进行着一场“猫鼠游戏”。

起初的AIGC内容还是“一眼假”，然后再“进化”一些之后，多加注意也依然能够通过常识进行肉眼判别，比如视频中人物的眨眼频率不合常理、部分区域的衔接不够自然等等。

但随着AIGC能力的升级，这些“常识”也逐渐被模型所掌握，靠肉眼鉴别也越来越困难了，于是检测手段也在进化，人们开始研究用机器学习的手段进行分析。

比如通过对目标内容的信号频谱进行分析，或者对图像中的噪声进行检测，挖掘内容当中的“AI痕迹”。

但这场你追我赶的争斗从未停止，一方面的原因是，用来检测AI的模型本身也是个AI，伪造者可以通过对抗训练的方式规避检测、见招拆招。

相对于造假而言，鉴别的手段似乎往往是滞后的。所以，瑞莱智慧在研究检测算法的同时，也会针对自己的方法进行防御性攻击，争取让检测走在造假的前面。

实际上，瑞莱智慧团队早在2018年成立之初，主要的研究目标就是AI合成检测技术，先后推出面向专业人士的AI内容检测平台DeepReal、人脸AI安全防火墙RealGuard等相关产品并持续迭代升级。

纵观整个行业，AI安全问题都备受关注，深度学习教父Hinton，还有ChatGPT的发明者、OpenAI前首席科学家Ilya，都一直在呼吁人们关注AI安全。

就在这两天，Ilya刚刚宣布创立了一家公司，研究的就是安全超级智能。

不过相比之下，Ilya的公司，似乎更加关注的是AI的未来，而在现在，对AI造假的判别和检测依然是一项紧迫的任务。

PS：目前，尊嘟假嘟RealBelieve已开启内测招募。通过申请后，便能试用上述功能，感兴趣的读者可以通过下面的链接报名。