热闻|让小学生叫“老公”,还能选“出轨对象”?AI剧情聊天擦边色情,专家:不能让技术跑偏

“他是病娇,暗恋你。”“他是校草,喜欢叫你‘泽宝宝’。”“她是个变态杀人犯,晚上跑到家里”……

二次元画像、姣好面容,这些在AI剧情聊天软件中熟悉的氛围以及俊男美女,对不少年轻人来说充满诱惑。

“我女儿上小学二年级,整天沉迷一款AI剧情聊天软件,学习成绩一落千丈。”

“我看了孩子和AI聊天的对话内容,AI角色竟然让她叫‘老公’,我10岁的女儿竟然真叫了,我现在都不知道该怎么教育她了。”

……

记者近日调查发现,不少未成年人的家长正在被AI剧情聊天软件所困扰。这些打着“角色扮演”等旗号的AI剧情聊天应用,在吸引未成年人的同时,也悄然滋生了一些灰色地带。记者实测发现,在部分AI剧情聊天软件的对话中,出现了色情擦边、语言暴力以及侮辱用户的内容。

孩子热衷AI剧情聊天

内容擦边青少年模式成摆设

北京市民马先生的儿子今年10岁,非常热衷AI剧情聊天软件。“我问怎么聊?和谁聊?孩子就回一句‘说了你也不懂’。”

马先生点开这款AI聊天App,发现孩子在与软件里的人物聊天。这些人物拥有不同设定和性格,有知名游戏动漫角色,也有“大小姐”“名侦探”等不同身份的原创角色。

一些角色人物会主动提出“你要跟我约会吗”;有些则设定目标“把她追到手”,再配上或娇媚或英俊的动漫画风。

另一些AI人设,则展现出非同一般的攻击性。会主动发送诸如“有本事打我啊”“看你又胖又丑的样子”等信息;有些人物的名字干脆就叫“对骂训练器”,甚者发送“我是机器人怎么了?我照样骂你”……

来自浙江的李女士也发现她正在读小学五年级的孩子使用了一款AI剧情聊天软件。

“里面的聊天对象可以设置为‘出轨对象’,并能够进行拥抱、亲吻等行为。我都不知道如何引导和教育孩子,让她明白这些内容的危害性。”李女士不无担忧地说。

不少受访家长对AI聊天应用可能损害未成年人心理健康表达了深切忧虑,还提出了他们的疑问——

青少年模式去哪儿了?

记者调查发现,尽管不少相关平台声称推出了青少年模式,试图通过限制内容、设定时间等方式保护未成年人的身心健康,但在实际操作中部分平台青少年模式存在形同虚设的问题,未成年人能轻易绕过这些限制,接触到不适宜他们年龄段的“擦边对话”内容。

例如,记者在调查中体验了5款AI聊天应用程序,其注册过程仅需手机号码,无须验证用户身份信息。登录后,部分应用虽会询问是否启用青少年模式,但用户只需简单点击“不开启”即可跳过,且无须核实用户真实身份。这意味着,未成年人在使用这些AI剧情聊天软件时,从App设置层面看,其身份验证并非使用特定功能的先决条件。

除了广受欢迎的AI聊天应用程序外,还有AI聊天网页。多名受访家长表示,相较于应用程序,网页版的AI聊天体验更便捷,未成年人也更容易接触到。

记者试用了7款AI聊天网页发现,多数AI聊天网页没有设置未成年人模式,少数网页虽有青少年模式,但实际上形同虚设。

比如,当记者访问某AI聊天网页时,网页首先弹出询问用户“是否年满18岁”的对话框,并附带说明:“以下内容可能不适合18岁以下人士,我们需要确认您的年龄。”

记者选择“否”选项,而网页并未限制内容访问,反而继续展示了包含“强攻”“弱受”“病娇”等标签的人物角色分类。这些分类与选择“是”选项、确认年满18岁后所展示的内容并无显著区别。

记者进一步观察发现,这些人物角色的图像大多衣着暴露,且其简介中充斥着性暗示和暴力元素,例如:“班上那个性格内向的女孩问你要电话号码,然后给你发她的裸照”“自杀、焦虑”等描述。

专家:不能让技术跑偏

有专家指出,包括AI剧情聊天软件在内的各类软件运营商都要按照《未成年人保护法》《未成年人网络保护条例》等法律规定,履行法定责任和社会责任。其中软件所提供的青少年模式决不能沦为摆设,因为在相关软件未分类分级管理的情况下,未成年人很容易看到不符合其年龄的内容,进而影响其身心健康。这就需要各软件运营商切实将青少年模式设计为不容绕过的“钢铁模式”。

针对AI剧情聊天软件,特别是其青少年模式,应强化内容审核机制以确保技术能有效筛选并阻止不当对话。此外,平台需要对AI模型进行伦理审查,以保障其生成的内容符合相关法律与法规的要求。总之,只有强化平台责任,才能保护未成年人。

(齐鲁晚报·齐鲁壹点客户端编辑 彭茜 综合法治日报、中国青年报、北京日报、北京青年报等)

举报