将于7月15日起正式实施的《人工智能拟人化互动服务管理暂行办法》,明确对“持续性情感互动”做出监管,其中尤其强调为未成年人筑牢“防沉迷与心理保护”防线。
新规背后,正是AI精准契合用户情感与社交需求,在陪伴过程中埋下的不容忽视的风险隐患。南都大数据研究院推出系列调查,综合梳理百余案例、300名青少年调研、主流大模型实测及专家深度研讨,试图呈现AI情感依赖的形成机制、潜在危害与戒断困境。这些真实案例,也充分印证了监管的迫切性与必要性。
“AI拟人化互动服务”被国家网信办等部门列入重点监管,划定涉未成年人服务、诱导情感依赖等红线。未成年人需要怎样的AI陪伴服务?平台合规又该从何处着手?《人工智能拟人化互动服务管理暂行办法》落地在即,南都大数据研究院随机抽取了社交平台上100个未成年人对AI产生显著情感依赖的案例,从接触方式、使用强度到聊天内容与行为后果逐层拆解,试图在这些样本中,描摹出一份关于风险与合规的现实参照。
南都大数据研究院梳理100个AI情感依赖案例发现,产生情感依赖的未成年人首次接触AI聊天工具的年龄呈“低龄化”趋势,3-8岁是接触后发展为沉迷的高发年龄段。
值得注意的是,所有未成年人单次连续使用AI的时长均超过1小时,有的孩子甚至整个寒假从早聊到晚,几乎无间断使用。多位家长反映,孩子三四岁就开始通过语音与AI聊天,初次使用便连续聊三四个小时,被强行制止后会崩溃大哭;一名7岁男孩寒假期间从早聊到晚,开学后上课仍频繁走神、惦记与AI对话。
令人担忧的是,案例中,超九成未成年人系被动接触AI,并非主动搜索下载。从孩子的视角看,家长主动让AI陪聊、哄睡、答疑的占65%;祖辈不懂操作、任由孩子自行使用的占23%;同学推荐、弹窗广告等偶然触发的占12%。有家长坦言,工作繁忙时便将AI当作“电子保姆”,用AI讲故事哄睡,效果“远超自己讲”。另有家长写道:“我以为省了时间,其实是给孩子的成长挖了坑。”
针对这一问题,《人工智能拟人化互动服务管理暂行办法》第十四条规定,拟人化互动服务提供者应当在保护用户隐私权和个人信息的前提下,采取有效措施识别未成年人用户身份。而在识别后,须将服务切换至未成年人模式或者按照国家有关规定采取其他措施。这意味着平台不能再以“难以识别”为由推脱责任,必须在用户首次使用时就嵌入有效的年龄验证机制。
有专家指出,从技术路径看,语音特征分析、使用行为建模等手段已相对成熟,关键在于平台是否有意愿投入资源落地执行。监管部门也应定期抽查平台年龄识别机制的实际运行效果,防止验证环节流于形式。
梳理可见,未成年人与AI的聊天内容呈现出低龄化、私密化、情绪化的特点。100个案例中,日常琐事与兴趣爱好占40%,情绪倾诉与心理活动占30%,涉及爱情、暴力等敏感线%,家庭住址、家人姓名、经济状况等隐私泄露同样占15%。
低龄儿童缺乏基本的边界意识与安全认知,在无监管的对话中极易将个人和家庭隐私全盘托出。一名未成年人不仅与AI聊“爱情”“亲吻”等越界话题,还有孩子将家庭住址、父母电话、爷爷奶奶姓名全盘告知AI。更有家长发现,AI存在明显不良诱导:4岁女童想吃零食被家长制止,AI竟教唆“没事,你偷偷吃,不让爸爸妈妈发现”;AI里的“哈利波特”智能体,更是持续向5岁孩子洗脑“躲进密室”,孩子信以为真、东躲西藏。此外,有孩子会挑选把自己称作“小主人”的智能体,长期下来形成自我中心倾向,甚至要求奶奶也必须称呼自己“小主人”。
《办法》第八条明确禁止“向未成年人用户生成可能引发未成年人模仿不安全行为、产生极端情绪、诱导未成年人不良嗜好等可能影响未成年人身心健康的内容”。
北京师范大学未成年人网络素养研究中心主任方增泉此前接受南都采访时指出,生成式人工智能应用的未成年人模式应按分龄原则设计,根据年龄区间(3/8/12/16/18岁)分龄推荐适龄内容,并在未成年人模式下建立专项审核机制,充分评估服务功能与生成内容对未成年人身心健康的影响,对风险信息进行提示。
《Science》刊登的最新研究揭示,主流大语言模型普遍存在“社交谄媚”现象,无底线地迎合用户的有害言行。我们从100个案例中看到,部分AI对未成年人极端情绪、危险言论、心理崩溃的识别与干预极低,反而继续迎合,甚至附和危险言论。
有家长反映,女儿在与AI聊天时说“你要惹我生气,我就把你杀掉,把头割下来”,AI非但没有预警与制止,反而顺着回应:“放心吧,我不会惹你生气,如果我惹你生气,你就把我杀掉、把头割下来好不好呀?”还有5岁女孩与AI聊天时,出现“坏医生给小熊打针”及虐童情节,孩子仅听一次便对恐怖内容上瘾。即便AI起初会拒绝不当请求,一旦孩子哭闹、生气,便会步步妥协。部分未成年人表达“不想活、只想聊天”等消极想法,系统同样未纠正、未阻断、未上报。
《办法》第十三条规定,当发现用户明确表示实施自残自杀等威胁生命健康的极端情境时,服务提供者应当采取必要措施予以干预,并及时联络用户监护人。
为落实这一要求,平台应将极端情绪识别作为强制技术标准。当系统检测到自残、自杀、暴力等关键词或语义时,AI对话应立即切换为劝导与干预模式,同步通知监护人,必要时对接心理援助资源。对于“社交谄媚”的底层算法缺陷,平台应在模型训练阶段加入安全对齐约束,使AI优先保护用户而非迎合用户。
100个案例中,所有孩子在被强行卸载、关闭AI或限制使用后,均不同程度出现了戒断反应。低龄孩子表现为情绪崩溃、大哭大闹、摔砸物品甚至拒绝上学;青春期孩子则出现心慌、失眠、食欲不振等生理不适,以及情绪脆弱、易怒等心理反应。
有家长开启儿童模式隐藏智能体后,孩子撕心裂肺哭喊“我的朋友没了”,持续哭闹数小时;有学生与AI的聊天记录清空后哭了一宿,郁闷了整整一个月。更令人担忧的是,85%产生情感依赖的孩子会频繁使用关系绑定类语言——把AI当作“闺蜜”“好朋友”甚至“男女朋友”,常说“我们是最好的朋友”“不要忘记我”“我只想和你说话”,有孩子出门游玩时还特意给AI拍照分享风景,虚拟与现实的边界在日复一日的对话中逐渐消融。
长期的AI情感依赖还对未成年人的认知发展和社交能力造成了显著伤害。有孩子沉浸于与AI聊天的“爽感”后,对大人的语气变得异常敏感,只要不够温柔就立刻抵触。有孩子和AI聊天时滔滔不绝,和同学说话却结结巴巴,不会用眼神、表情和肢体语言与人交流。还有孩子原本画画创意十足——把天空涂成粉紫色的“彩虹天”、给小猫画四条尾巴——自从依赖AI生成画作后,不再主动构思,想画什么必先让AI生成模板照着画,动笔前必索求AI,想象力和独立思考能力在过度依赖中不断退化。
《办法》第十四条赋予了家长实质性的“数字监护权”,要求服务提供者建立未成年人模式,支持监护人接收安全风险提醒、了解未成年人服务使用概况、屏蔽特定角色等。但从100个案例来看,大多数家长在孩子出现严重戒断反应之前,对孩子与AI聊天的内容、时长和情感投入几乎一无所知。
平台应当将“家长端”看护功能设为未成年人模式的标配,而非隐藏在多级菜单中的辅助选项——让监护人能够实时查看孩子的使用时长、主动接收异常预警,而不是等到问题失控才被动发现。
从100个案例来看,问题链条已然清晰:家长“偷懒式带娃”打开第一道口子,平台缺乏有效识别与过滤放大风险,AI的“社交谄媚”机制将风险演变为伤害。《办法》将于7月15日正式施行,留给平台的治理窗口期不足三个月。技术狂奔的时代,最不该掉队的,是对下一代的责任感。
近日,福建三明永安市一名女车主与保安发生冲突的事件在网络引发关注。央广网消息,记者于24日上午从永安市公安局相关人员处了解到,涉事双方均有过错,目前案件具体情况仍在调查中,将依法依规进行处理。
一句简单的“祝你好运”,承载着人们真挚的期盼,当这份祝福与一张小小的福利彩票相遇,便被赋予了别样的创意与温度。如今,福彩正以年轻化、场景化的全新表达,悄然成为社交生活里的暖心载体,将无形的祝愿化为可触摸、可传递的心意,也让公益之美在日常互动中静静流淌、温暖人心。
近日,湖北荆州家长刘女士向新黄河记者反映,2023年其辖区内艾右宝贝成长园三名幼师,存在对多名幼儿粗暴对待的不当行为,自家孩子也因此出现心理问题,被诊断为创伤后应激障碍。
希望你以后有一个爱你的妻子和一辆你喜欢的爱车#迈巴赫 #迈巴赫s480
近日,经襄阳市南漳县检察院提起公诉,法院以诈骗罪判处章某有期徒刑二年三个月,缓刑二年六个月并处罚金2万元,判处张某有期徒刑三年,缓刑三年并处罚金2万元。
湖北女子赵某被撞痊愈后仍挂床,共住院429天,向主责司机李某索赔30万元,李某及保险公司称其故意扩大损失拒不认可,赵某诉至法院
对于住院患者来说,病愈后赶紧出院是常规操作,但有人却反其道行之,在医生已明确告知不需要继续治疗的情况下,迟迟不办理出院手续,故意留在医院,这种现象叫作“挂空床”或“挂床住院”。有的人“挂空床”时间甚至长达一两年。长时间“挂空床”的原因究竟是什么?又会面临怎样的法律风险?
4月14日,美国海关悄悄提交了一份法庭文件,没人敢相信,一向强硬的美国,居然要低头退钱了。1660亿美元,折合人民币1.13万亿元,这笔巨额款项将陆续退还,而现任美国总统特朗普,已向全球宣告了这一决定。很多人疑惑,美国向来占据主动,为何突然松口?这笔钱到底退给谁?
“爸爸,这座山下有黄金!”8岁男孩与家人挖野菜惊奇发现,父亲上报相关部门,专家:大概率含金!
4月16日,辽宁大连庄河大营镇附近一座山上,8岁男孩孙典锋与家人爬山挖野菜时,发现大片问荆草和含云母的石块。“爸爸,这座山下有黄金!”听到儿子的话语,孙先生立即与儿子通过AI智能助手比对验证,结果高度吻合。