新华社发
不久前，某公众号运营者钟某为蹭“海啸预警”热点，利用AI生成“30万居民撤离上海”“数十万上海市民正排队登车”等耸人听闻的言论。这条假消息被大量阅读、转发，引发恐慌情绪。其后，钟某被警方拘留。
AI的广泛应用，为虚假信息的批量生产和病毒式传播提供了“温床”，给社会治理带来挑战。
9月15日，《人工智能安全治理框架》2.0版正式发布。中央网信办负责人表示，要强化规范引导，不断完善人工智能安全监管制度和标准规范体系，促进人工智能健康有序发展。
利用AI造谣日渐频繁
今年3月，福建厦门公安机关发现，网上有信息称：“2025年3月3日，厦门市某化工厂发生一起严重的闪爆事故，造成3人死亡、3人受伤……”公安机关调查发现，这是发布者许某通过网上AI助手软件生成的虚假文章。公安机关对许某予以行政处罚。
人工智能时代，利用AI造谣日渐频繁。公安部曾发布多起典型案例。如，湖南公安机关查处编造“民警离职潮”谣言案，江西公安机关查处MCN机构使用人工智能工具造谣案，重庆公安机关查处使用人工智能工具编造“爆炸事故”谣言案，广东公安机关查处编造“广州限制外卖配送”谣言案。相关人员均被绳之以法。
清华大学新闻与传播学院新媒体研究中心2024年发布的《揭秘AI谣言:传播路径与治理策略全解析》研究报告指出，2023年以来，伴随AIGC技术的高速发展，一些造谣者不当利用AI工具，使得AI谣言量高速增长。
报告指出，在各类AI谣言信息量占比中，经济与企业类谣言和公共安全类谣言占比最多、增速最快，其中餐饮外卖、快递配送等民生行业成为谣言重灾区。
流量变现驱动商业化黑产
去年3月，江西公安机关查处一起MCN机构使用人工智能工具造谣案。经查，王某某经营有5家MCN机构，共运营自媒体账号842个，长期组织公司人员选取热点文章，使用AI工具批量生成不实文章进行吸粉引流。
他平均每天通过AI工具发布4000到7000条信息，最高的一条收入是700元。经初步估算，每天收入在1万元以上。”办案民警说。
记者发现，多起AI造谣事件背后，不法者的造谣动机主要源于牟取互联网内容平台给予创作者的奖励，以及为电商平台经营引流等；一些造谣者还可以从广告收入、合同推广、直播带货或其他相关的商业活动中获益。
中国政法大学刑事司法学院教授于冲等法律专家指出，目前AI造谣已经形成商业化运作黑色产业链，一些造谣者以吸引流量变现牟取经济利益为目的。相关行业企业在应对AI谣言中面临维权难、舆论修复难等挑战。
全链条治理封住AI“黑嘴”
近期，公安部组织全国公安机关持续开展打击整治网络谣言工作，及时发现查处借热点舆情事件进行造谣传谣线索，重拳打击编造传播涉企业、涉民生、涉警情等领域网络谣言违法犯罪活动。
今年7月，中央网信办在全国范围内启动为期2个月的“清朗·整治‘自媒体’发布不实信息”专项行动，重点整治的突出问题包括“利用人工智能生成合成技术，仿冒他人，或编造社会民生等领域虚假信息，欺骗公众”。
面对AI谣言治理中的取证难、定性难、追责难等问题，单一治理手段已力有不逮。多位受访业内人士建议，遏制“AI谣言”需要多方协同发力，构建全链条治理体系。
中国社会科学院大学互联网法治研究中心执行主任刘晓春说，新媒体平台应加强对AI造谣和“水军”行为的智能识别机制研究，进一步改革涉及AI内容的流量分发和收益分成机制，最大限度压缩通过AI造谣牟利的空间。
专家指出，平台可通过逆向传播，利用相同渠道传播准确信息，抵消谣言影响；鼓励用户积极举报可疑内容，通过设立奖励机制增加参与度；持续研究谣言生成和传播机制，开发有效监测和防治技术等。
于冲等建议，司法治理也需要“链条化”思维，针对AI造谣链条的前端发布主体、中端采取的技术手段和末端的后果危害，分别进行评价和判断，进行全链条打击和预防。
最高人民法院研究室副主任喻海松等表示，治理涉企AI谣言，仅仅依靠刑法是不够的，要进一步修复社会信任机制，营造自觉抵制谣言的良好环境，同时鼓励AI治理合作，进一步推广AI伦理标准、治理技术和创新国际合作模式。据新华社