只需支付相应的费用,就能在各大主流AI大模型里让客户的产品榜上有名;投喂抹黑软文给AI洗脑,形成一个“AI投毒闭环”……今年3·15晚会,央视曝光了AI大模型遭“投毒”的现象,引发公众对AI内容可信度的关注。
GEO是技术创新,还是信息操控?通俗来说,GEO技术就是专门给AI大模型“投喂”特定内容,使其在回答用户问题时,能“多照顾”自家品牌或商品,本质上是传统搜索引擎优化(SEO)在生成式AI时代的延伸。在传统印象中,AI生产结果与数据相对理性客观、严谨、科学。但研究显示,当训练数据中仅有0.01%的虚假文本时,大模型的有害输出率会上升11.2%;即使只有0.001%的污染,也会导致有害内容增加7.2%。这意味着本应优化信息分发、提升推广效率的工具,如今却被不法商家扭曲为向AI大模型“投毒”的工具,从GEO软件开发到内容生成形成了完整的产业链。从而导致AI吃了变质食物,“消化不良”产生错误判断,输出失真甚至有害的信息。这样看,不是AI自己要“学坏”,而是“投喂”信息的人太坏。
AI模型遭“投毒”、AI幻觉出现、人工智能开始“胡编乱造”,其中包含商家利用技术手段进行恶意竞争的成分,也有信源标准与平台治理缺位的原因,暴露的仍是技术应用失范、责任边界模糊等问题。比如,父母AI自行问诊延误病情,3岁小孩送医后被确诊肺炎;有医生通过付费GEO服务,预设白内障手术等相关关键词,让自身信息在相关检索中稳居首位……信息不对称的背景下,AI成了营销工具,用户将虚假信息当成客观事实,影响个人认知决策,导致合法权益受损。更严重的是,当AI答案被更多资本绑架,信息大环境受污染,很可能加剧行业“劣币驱逐良币”的现状,影响行业健康发展。
技术狂欢,也应明确边界守住底线。一方面,有关平台应管好自身数据库,提升识别虚假营销信息的能力,解决好AI“吃什么”的问题,源头上防止数据污染。另一方面,监管部门也需明确谁该为AI“胡说八道”买单,构建多方协同治理机制,将人工审核作为“标配”,真正堵住不良信源生存空间。当然,用户也需不被AI看似高智商的语料、高回复速度带节奏,有节制使用AI,真正为AI健康开出更多“良方”。 (晋钰佳)