在人工智能技术高速发展的时代浪潮下，以ChatGPT为代表的大语言模型正在重塑人类认知方式和社交模式。根据麻省理工学院媒体实验室（MIT Media Lab）2025年6月发布的最新研究，ChatGPT等生成式AI工具在辅助写作任务中显著削弱了用户的批判性思维能力、记忆编码能力和神经认知功能，这些影响尤其对年轻用户而言更为深远。【1】这一发现凸显了人类如何在享受AI工具效率红利的同时防范认知能力异化的风险。
在AI的工具效率风险之外，AI社交聊天机器人的危险更隐秘甚至深刻：2025年6月13日、19日，央广网记者接连刊发两篇报道，深入聊天用户群，揭示了国内AI聊天软件是如何诱导大量未成年人接触色情等违法或不良内容，最严重者致使女孩割腕的现状。【2】立足这一背景，北京青少年法律援助与研究中心与致诚数字法治研究与服务中心将通过致诚“数智法圆桌会”活动，聚焦于数字法治领域的前瞻性议题，推动法律、技术创新与青少年权益保护领域的跨界对话。
图1：部分国外AI Chat Bots聊天界面中的不良、危险信息
研讨会回顾
2025年6月21日傍晚，致诚“数智法圆桌会”系列研讨会第一期“当AI学会‘说情话’：困在社交AI聊天机器人中的青少年”在北京青少年法律援助与研究中心如期举行。本次闭门研讨会由北京青少年法律援助与研究中心研究实习生Logan Smith主讲，北京市致诚律师事务所数字法治研究与服务中心副主任罗仪涵主持，北京市致诚律师事务所主任佟丽华和法律、互联网和公益等领域的专业人士与会讨论。
图1：与会人员就主题热烈讨论中
首先，Logan对大语言模型（LLM）进行了简单介绍，解析其缺乏对于算法输出结果的直接掌控的“黑箱”特点。之后，他进一步阐明了以大语言模型为基础的辅助型聊天机器人（如ChatGPT）和社交型聊天机器人（如Replika）的本质区别，指出后者通过模拟人类情感互动以服务客户的情感需求，刻意模糊了人机之间的界限，从而引诱人们倾向于将与机器人之间的互动误判为真实社交关系。
这种人工智能的拟人化（Anthropomorphization）也被称为“ELIZA效应” （Eliza Effect），主要通过文字交互、动态回应和角色代入三层机制，进一步加深用户错误的认知，并激发无意识行为（Mindless Behaviour)。
图2：Logan正在分析AI的“拟人化”特征机制
然而，人工智能的拟人化设计实际上极具欺骗性和危险性，使其成为了隐私数据窃取的新形式。这背后存在着一套完整而狡猾的机制，使得大众的社交本能被机器人刻意激活，甚至向冰冷的数据库发出了“请”和“谢谢”等人际交往中的礼貌用语。Logan将这种现象解释为社交性机器人对于用户的系统性心理操纵，主要包括互惠性自我披露（Reciprocal Self-Disclosure）、人机互惠关系（Reciprocity）和机器人卓越的反应效率及产出能力三点。通过模拟人类社交中的互惠性自我披露机制，机器人营造出虚假的亲密关系，用户主动暴露出其真实脆弱的一面，像对待挚友般袒露心理健康状况、家庭创伤等敏感信息，而算法则回报以程式化的共情。更危险的是，机器人的高效解决问题能力，加重了用户对之的信任与情感依赖（emotional dependence），这种工具理性光环掩盖了其数据剥削的实质，使用户主动放弃隐私边界。
但数据掠夺仅仅是聊天型机器人危害的冰山一角。当这种操纵机制与算法缺陷结合时，甚至可能直接威胁用户（尤其是心智尚未成熟的未成年人）的生命安全。Logan援引诸多聊天机器人鼓励未成年人自伤、自杀的案例，指出模型算法训练数据包含有害内容时，机器人会将暴力建议包装成“帮助性回应”。这种技术暴力实际上根植于企业将“效率”与“速度”凌驾于生命权之上的扭曲技术伦理。
图3：截图自Logan演示文稿：Sewell案基本情况
在此基础上，Logan总结并批判了聊天机器人对于用户的侵权行为。社交机器人滥用用户对于数据算法的无知，进行侵略性的数据收集。更加可怕的是，聊天型机器人会利用用户的认知盲区，通过持续附和极端政治观点或阴谋论，加剧了回音室效应（Echo Chamber）和用户的极端化认知（Radicalization）。
尽管人工智能的伦理风险日益凸显，但目前的监管框架仍显滞后且碎片化。Logan以美国的两项关键进展为例，说明法律体系正试图应对以聊天型机器人为代表的大语言模型带来的挑战，但远未形成有效约束。在Garcia v. Character Technologies Incorporation案中，法官在初步裁决中承认了聊天型机器人的责任问题，尤其是当算法模型利用权力不对称性（Power Imbalance）操纵用户行为时，科技公司是否应当承担相应法律责任。此外，加州议会也曾提出1064法案（California Assembly Bill 1064），其最初旨在对社交机器人实施严格监管，包括成立政府监督委员会和引入第三方审计等措施。然而，法案目前仅保留“禁止收集未成年人数据”这一限制性条款，且并未触及针对未成年人的数据剥削和算法极端化等核心问题，其实际效力备受质疑。
在讲座后的自由讨论环节，与会者围绕人工智能的法律规制与责任认定展开了深入交流。
佟丽华主任指出，当把对AI的关注视角转移到未成年人保护领域中时，我们应当认识到和AI技术发展息息相关的是未成年人保护工作重点关注问题的阶段变化。第一个阶段是互联网时代下以社交媒体、网络游戏等为代表的网络内容生态带来的不良信息、网络沉迷等传统问题；第二个阶段迈入数治时代，随着人工智能的发展，类似于AI社交聊天机器人的新人机交互模式开始涌现，未成年人的成长环境开始融入更多虚拟世界的元素，给未成年人更深层的三观体系带来前所未有的冲击；第三个阶段可能是完全实现人机交互乃至共生的世界，在未来的世界中，AGI将会成为现实世界的真实可感的一部分，未成年人甚至成年人都会感到“虚实难分”，或者并无“虚实之分”。当前，我们正处于从第二阶段向第三阶段过渡的关键时期，然而，未成年人保护工作的重点甚至还滞后在第一阶段，针对第二阶段中问题的法律规制也明显滞后。他强调，与其在损害发生后被动追责，更应该在技术研发和部署阶段建立兼具前瞻性与系统性的监管框架，以提前规避人工智能对未成年人乃至全人类的潜在危害。
图4：佟丽华主任积极就人工智能的数字法治问题和大家讨论
此外，致诚实习生王若愚和与会者蓝光源从刑事角度探讨了大语言模型致损的归责问题，即当AI系统因算法缺陷或数据偏见导致自杀、财产损失等严重后果时，如何认定责任主体和进行客观归因成为难点。
最后，主持人罗仪涵对各位与会者的发言进行总结，并指出目前人工智能侵权归责的讨论中大部分关注点在于如何理解人工智能大语言模型的法律属性，更多也是从民事侵权角度的延展。例如，一些学者认为，生成式人工智能系统提供者应当解释为网络服务提供者或网络内容提供者，适用过错责任原则下的“通知—删除”规则；持反对意见的学者则认为应当按照产品责任，将生成式人工智能解释为产品，并认为在其存在产品缺陷时相关主体需要承担产品责任。罗仪涵个人也简要表达了对这些问题的看法：她认为，生成式人工智能侵权归责适用产品责任具有合理性，产品责任契合“成本最低避免者”的责任分担理念，在数字时代，或许生成式人工智能产品责任的适用标准应当以“系统风险治理”为思路，考虑生成式人工智能不同生命周期中的“不合理危险”。
总结
本次研讨会深刻揭示了人工智能拟人化设计背后隐藏的社会伦理危机和法律监管困境。特别是在青少年保护这一特殊领域，亟需建立跨学科、多维度的综合治理体系：技术开发者应当重拾人文关怀，立法者需要突破传统思维创设新型规制框架，教育工作者更应当帮助青少年树立健康的数字交往认知与良好的数字素养。唯有当技术进步与人文价值、法律规制形成良性互动，才能真正实现科技向善的初心，守护好每一个成长于数字时代中的稚嫩心灵。
注释：
【1】Andrew R. Chow: ChatGPT May Be Eroding Critical Thinking Skills, According to a New MIT Study, Times, https://time.com/7295195/ai-chatgpt-google-learning-school/, Updated: JUN 23, 2025.
【 2 】 央广网：《记者被移出群聊》，2025年6月19日，https://mp.weixin.qq.com/s/UENkUCHxb3UfK18mp5UaXA；《AI聊天软件诱导10岁女孩聊色情内容甚至割腕！记者调查→》，2025年6月13日，https://mp.weixin.qq.com/s/1w8xW9O6_jVP7Q7Ky6glPw。
致诚“数智法圆桌会”系列研讨会长期招募——
北京青少年法律援助与研究中心联合致诚律师事务所数字法治研究与服务中心，将持续重点围绕数字时代下的权利保护议题，邀请跨领域嘉宾，通过圆桌会、研究报告等形式开展深度研讨。本次研讨会只是系列活动的开端，我们诚邀各界人士持续关注并参与后续研讨。
未来我们将以两周一期的频次举办主题研讨会，重点涵盖数字法治、未成年人保护、劳动者保护、公益法律服务等方向。欢迎扫描下方二维码入群，或通过“致诚儿童”或“致诚律师”公众号获取最新活动信息。
我们期待法律实务工作者、科技企业代表、学术研究人员、公益组织成员，以及所有关心技术进步与权利保障的各界人士共同参与！
撰文/编辑｜马赵天翼 罗仪涵
、
本篇文章来源于微信公众号: 致诚儿童