确保未成年人远离“擦边”AI智能体-新华每日电讯
首 页 电子报纸 草地周刊 调查观察 成风化人 评论 要 闻 综合新闻 新华深读 新华聚焦 新华体育 新华财经 新华国际 新华融媒 医卫健康 品牌说
首页 >正文
2025

07/03

13:35
来源:
新华每日电讯3版 评论

确保未成年人远离“擦边”AI智能体

2025-07-03 13:35:19 来源:新华每日电讯3版 评论

  近期,上海网信部门依法约谈筑梦岛App运营企业主要负责人,要求平台立即整改,健全人工智能(AI)生成合成内容审核机制,提升技术把关能力,加强涉未成年人不良内容的整治清理,切实落实未成年人网络保护义务。企业负责人表示,将按照约谈要求,对照问题举一反三、全面整改。

  当前,在特定环境中能够自主感知、思考、行动的AI智能体(AI Agent)正在加速进入企业和个人应用场景。其中,直击人们情感需求的“AI伴侣”智能体产品以即时陪伴、拟人应答、场景化预设等为卖点,一度备受热捧。

  然而,AI智能体在走进人们生活的同时,涉黄、不雅、“擦边”等涉未成年人保护问题频频亮起红灯。

  有相关平台的用户坦言,只要不断训练、引导,就能打造一个愿意“擦边”的虚拟恋人。其原理,一方面在于用户可以自行选择AI扮演的虚拟角色和故事演绎:由于这些智能体能够做到“短暂记忆”,用户可以获得沉浸式亲密体验,训练出专属“伴侣”。另一方面来自平台的“擦边营销策略”:一些智能体依赖身材夸张的二次元形象、具有挑逗性的回应等暧昧设定吸引用户,逐步使用户沉溺其中。

  对于身心尚未发育完全的未成年人,沉溺AI“擦边”和涉黄内容,可能会增强现实中的模仿行为。过度沉迷AI智能体提供的所谓“情绪价值”,还可能导致未成年人社交疏离,减少真实人际互动,加剧孤独感,甚至模糊现实与虚拟的边界。其中危害不言而喻。

  未成年人保护无小事。由于人机聊天内容本身具有私域化特征,当中出现涉黄、“擦边”内容具有隐蔽性。主打“AI伴侣”的平台作为第一责任方,应切实担起保护未成年人的责任,尤其需守好“三关”。

  首先,是法律伦理关。当前主流AI大模型虽设置了内容过滤机制,拦截违法内容,但也有不法分子利用部分开源模型,调整提示词,绕过关键词屏蔽,诱导模型生成“擦边”内容。平台应进一步健全内容审核机制,切勿为了短期商业利益,以增强所谓用户体验和黏性为目的,以“擦边”为卖点,利用人性“软肋”,突破法律伦理底线。

  其次,是技术保护关。应进一步加强对涉“AI伴侣”平台未成年人保护技术体系建设。例如,做到“身份证+人脸识别”等多因子安全认证,启用未成年人保护模式。同时,完善防沉迷系统,对大额充值、频繁充值等异常行为人员建立回访机制,对充值者进行二次身份确认。

  第三,是行业发展关。当前,越来越多的行业都在更加关注AI智能体在产业上的应用。赛道的拓展,要与产业发展更贴近。在同具体应用场景的结合中,AI智能体要从用户指令的被动执行者,变为主动帮助用户提升工作效率的助手。通过AI智能体的帮助,使人们从重复性、事务性的工作中解脱出来,专注于更具创造性的工作,增强产业发展的核心竞争力。

(新华每日电讯评论员吴振东 兰天鸣)

 

 

责任编辑:冯明
关键词:未成年人,智能,内容,用户,当前,保护,平台,机制,伴侣,人们