近日，公安部公布依法打击“网络水军”违法犯罪典型案例，其中，广州公安机关网安部门查明，叶某某等人为赚取网络平台流量收益，招募兼职人员注册自媒体账号，利用人工智能工具改写热门文章，批量发布虚假信息，累计发布引流图文信息50万篇。广州公安机关已抓获犯罪嫌疑人6名。
AI的应用范围和使用群体日益广泛，有人用于增进工作和学习效率，也有人用于非法牟利，典型行为包括合成和散布不实信息；合成公众人物形象进行带货、代言等。最近，张文宏、黄百鸣等公众人物的形象、声音被AI合成，在未经允许的情况下被用于带货、代言，也有人用AI合成演员“靳东”的形象用作网络诈骗，甚至于东来、雷军等企业家也成为受害者。
网络上的信息真假混杂，这类信息能产生恶劣影响的原因之一在于其显著的负面性。重庆警方日前公布5起运用AI工具造谣的典型案例，其中包括“某服务点遭暴力袭击”“某地一银行遭劫匪袭击”“北方一城市某工厂被大风夷为平地，多人死伤”等。好事不出门，坏事传千里，不论是真新闻还是AI谣言都逃不出这个规律。而不法分子也正是利用这一心理，制造这类有关公共利益、焦点议题、暴力色情的谣言，准确击中网民的恐惧和共鸣，进一步转化为流量利益为己所用。
另一个突出特点是借助“权威”，这也是AI时代谣言的新特征。在AI广泛运用以前，也曾发生不法分子假借名人身份行骗的案例，但其手段不过是通过图片编辑软件伪造一两张照片以证身份，这样的低劣手段轻易就能被识破。但通过AI能够快速提取他人的外貌和声音，个性化定制视频，别说对新技术应用较为陌生的中老年人难以判断，即便是生长于互联网环境中的Z时代青年，面对技术纯熟的AI合成视频也不一定能准确分辨。
上述特点已足够对公共情绪和舆论、名人和名企形象造成不良影响，叠加AI近乎无限的量产能力，其危害程度更是呈指数级上升。一些内容生产者尝试提醒网民如何辨别AIGC避免受骗，但是AI技术的迭代速度实在太快，仅仅在受众端做工作显然解决不了根本问题。
2023年8月15日起施行的《生成式人工智能服务管理暂行办法》规定，提供和使用生成式人工智能服务，应当遵守法律、行政法规，尊重社会公德和伦理道德，不得生成暴力、淫秽色情，以及虚假有害信息等法律、行政法规禁止的内容。因此，对AI造谣等的治理要从AI工具开始，应强化服务提供方对素材以及其生成的审核职责。网络平台也该担起主体责任，建立有效的溯源机制，同时完善平台的AIGC甄别技术，对疑似内容做出提示。而类似事件发生后，也需以儆效尤，严格追究不法分子的刑事或行政责任。