“假新闻并非新生事物，但AI大模型的崛起大幅降低了造假门槛。”浙江大学百人计划研究员、博导王永威表示，深度伪造技术（Deepfake）能轻松合成逼真的图片、视频等，实现换脸、视频无缝合成及语音精准模拟，内容令人难辨真伪。
如今AI模拟真实世界的能力显著提升，现在只需简短对话和操作，几秒钟内便能生成一篇图文并茂的假新闻。浙江绍兴警方曾抓获一个利用ChatGPT制作虚假新闻的团伙，其中有的成员仅有初中学历，此前从未接触过电脑技术，凭借易上手的AI大模型，就能批量生成AI假新闻。暴力冲突、灾难现场等社会热点议题，是AI假新闻的重灾区。
算法把肉眼难辨的假新闻推送到人们面前，大多数人易被情绪左右，不假思索地点赞、转发，不经意间成为谣言传播的帮凶。验证新闻的真实性，公检法、媒体等需调动大量资源，被造谣者会陷入无尽的自证陷阱，而等到水落石出，假新闻早已“吃饱”流量。
AI伪造不仅骗取公众的情感和流量，还被用于诈骗。
蚂蚁集团AI核身安全负责人刘健表示，AI模拟物理和生物信息的能力越来越强大，定制化诈骗让人防不胜防。如2024年香港一家公司财务被AI仿造的“高管”通过视频会议诈骗2亿港元。还有犯罪分子用AI换脸伪造事主的家人进行电信诈骗等案例。
“AI伪造给社会带来严峻的挑战，带来信任体系的崩塌。”刘健分析，大量虚假信息会让人难以分辨真伪，逐渐麻木，甚至可能侵蚀人类社会的温情与关怀。对网民来说，未来的数字世界里还能相信什么？