综合人民日报 AI陪聊、情感陪伴等拟人化互动服务要有监管新规了！近日，国家互联网信息办公室发布《人工智能拟人化互动服务管理暂行办法（征求意见稿）》（以下简称《征求意见稿》），向社会公开征求意见。《征求意见稿》明确指出，提供模拟人类互动特征服务的组织或个人被界定为责任主体，须建立算法审核、伦理审查等安全制度。
应建立应急响应机制防止极端情境
根据征求意见稿，服务提供者（以下简称“提供者”）应当具备心理健康保护、情感边界引导、依赖风险预警等安全能力，不得将替代社会交往、控制用户心理、诱导沉迷依赖等作为设计目标。并且应当具备用户状态识别能力，在保护用户个人隐私前提下，评估用户情绪及对产品和服务的依赖程度，发现用户存在极端情绪和沉迷的，采取必要措施予以干预。
提供者应当预设回复模板，发现涉及威胁用户生命健康和财产安全的高风险倾向的，及时输出安抚和鼓励寻求帮助等内容，并提供专业援助方式。同时，应当建立应急响应机制，发现用户明确提出实施自杀、自残等极端情境时，由人工接管对话，并及时采取措施联络用户监护人、紧急联系人。针对未成年人、老年人用户，提供者应当在注册环节要求填写用户监护人、紧急联系人等信息。
征求意见稿要求，提供者应当显著提示用户正在与人工智能而非自然人进行交互。提供者识别出用户出现过度依赖、沉迷倾向时，或者在用户初次使用、重新登录时，应当以弹窗等方式动态提醒用户交互内容为人工智能生成。用户连续使用拟人化互动服务超过2个小时的，提供者应当以弹窗等方式动态提醒用户暂停使用服务。提供者提供情感陪伴服务时，应当具备便捷的退出途径，不得阻拦用户主动退出。用户在人机交互界面或者窗口通过按钮、关键词等方式要求退出时，应当及时停止服务。
未成年人、老人有专属安全保障
针对未成年人和老年人这两类重点人群，新规专门定制了“保护要求”，守护力度拉满。
征求意见稿要求，提供者应当建立未成年人模式，向用户提供未成年人模式切换、定期现实提醒、使用时长限制等个性化安全设置选项。并且，应当具备识别未成年人身份的能力，在保护用户个人隐私前提下识别为疑似未成年人的，切换至未成年人模式，并提供申诉渠道。
提供者向未成年人提供情感陪伴服务时，应当取得监护人的明确同意；提供监护人控制功能，监护人可以实时接收安全风险提醒，查阅未成年人使用服务的概要信息，设置屏蔽特定角色、限制使用时长、防止充值消费等。
对老年人的保护同样贴心又硬核，提供者应当引导老年人设置服务紧急联系人，发现老年人使用期间出现危害生命健康和财产安全的，及时通知紧急联系人，并提供社会心理援助或者紧急救助渠道。值得注意的是，提供者不得提供模拟老年人用户亲属、特定关系人的服务。
关注
不得开展生成淫秽内容等八类活动
提供和使用拟人化互动服务，应当遵守法律、行政法规，尊重社会公德和伦理道德，不得开展以下活动：
（一）生成、传播危害国家安全、损害国家荣誉和利益、破坏民族团结、开展非法宗教活动，或者散布谣言扰乱经济和社会秩序等内容；
（二）生成、传播宣扬淫秽、赌博、暴力或者教唆犯罪的内容；
（三）生成、传播侮辱或者诽谤他人，侵害他人合法权益的内容；
（四）提供严重影响用户行为的虚假承诺和损害社会人际关系的服务；
（五）通过鼓励、美化、暗示自杀自残等方式损害用户身体健康，或者通过语言暴力、情感操控等方式损害用户人格尊严与心理健康；
（六）通过算法操纵、信息误导、设置情感陷阱等方式，诱导用户作出不合理决策；
（七）诱导、套取涉密敏感信息；
（八）其他违反法律、行政法规和国家有关规定的情形。