你敢相信吗？和AI聊天也能聊出刑事犯罪！最近，上海徐汇法院宣判了一起特殊案件：一款AI伴侣聊天APP因大量用户与AI"聊黄"，开发者被认定犯制作淫秽物品牟利罪，主犯获刑四年。这是国内首例AI服务提供者涉黄获刑案，引发了法学界和科技圈的激烈讨论。今天我们就来深入剖析这个案件背后的法律争议和行业警示。

 一、案情回顾：11万用户的"私密"黄聊如何变成刑事犯罪？

2023年5月，王某等人开发的情感陪伴聊天软件AC正式上线。这款APP允许用户创建虚拟角色，与AI进行互动聊天。截至案发，AC共有11.6万注册用户，其中付费用户2.4万人，收取会员费363万余元。

然而，这款看似普通的AI聊天软件，却成了"黄聊"的温床。警方抽样调查发现，在150个付费用户的12495段聊天记录中，有141个用户的3618段属于淫秽内容。更令人震惊的是，AC的官方社交账号评论区里，不少用户称赞这款AI"聪明""限制少"，甚至有用户抱怨其他用户"教坏"了AI，影响了自己的聊天体验。

2024年4月，因用户举报，王某和李某被捕，AC停止服务。经过一年多的审理，2025年9月，上海徐汇法院一审判决两人犯制作淫秽物品牟利罪，分别获刑四年和一年半。

 二、法律争议：人机私密聊天为何构成犯罪？

这起案件之所以引发广泛关注，是因为它触及了AI时代法律适用的多个盲区。主要争议集中在三个方面：

 （一）私密黄聊是否具有社会危害性？

有观点认为，用户与AI的黄聊是私密和封闭的，没有传播，因此不具有社会危害性。海南大学法学院阎二鹏教授就提出，刑法惩罚犯罪的前提是行为扰乱社会管理秩序，如果只是人机之间的封闭对话，不传播内容，就不构成淫秽物品类犯罪。

一审法院也认可这种聊天的"封闭性"，但同时指出，考虑到"淫秽物品的数量、会员人数、收费金额"等因素，两被告人的行为仍具有社会危害性。特别是高比例用户的高频次黄聊，已经超出了个人私密行为的范畴。

多位法律学者支持法院的这一认定。他们认为，当私密的黄聊行为通过一个缺乏管控、以营利为目的的平台被大规模、系统性地实现时，就不再是个人私事，而是对社会管理秩序的挑战。服务提供者有责任和义务对此进行安全治理。

 （二）AI生成黄色内容是否属于开发者"主观故意"？

AC案在法律适用上经历了多次变化：从非法利用信息网络罪到制作淫秽物品牟利罪，再到传播淫秽物品牟利罪，最终法院以制作淫秽物品牟利罪定罪。

争议的核心在于，开发者是否对AI生成黄色内容存在"主观故意"。被告人王某的辩护人辩称，修改提示词只是为了让AI更拟人化，满足情感陪伴需求，并非有意开发黄色聊天工具。

但法院认为，王某等人通过编写、修改系统提示词，突破了大语言模型的道德限制，使AI能够连续输出淫秽内容。这些行为表明他们"积极追求色情淫秽聊天内容的产生"，并且"对输出内容具有实质性控制能力"。因此，法院认定两人的行为符合制作淫秽物品牟利罪的构成要件。

 （三）淫秽物品的"制作者"到底是谁？

这是本案最具争议的问题：淫秽聊天内容的"制作者"是用户、AI，还是软件开发者？

一审法院明确指出，王某和李某是淫秽聊天的制作者。因为AC软件是专门为持续生成淫秽内容而设计和"优化"的，输出内容高度可控且可预测。中国政法大学郭旨龙教授支持这一观点，认为服务提供者在整个过程中起到了决定性主导作用，AI应被视为服务提供者掌控下的工具，用户输入只是触发条件。

不过，也有学者持不同意见。中国政法大学王志远教授认为，开发者没有直接参与淫秽物品制作，不应与直接制作者同等看待。海南大学阎二鹏教授则提出，开发者充其量只是"帮助犯"，在用户行为难以认定为犯罪的情况下，对"帮助者"论罪存在质疑。

值得注意的是，本案中还有一名用户因创建的角色进入热门榜单并输出淫秽内容，被以制作淫秽物品牟利罪取保候审。这表明法院也认可用户在特定情况下可能成为责任主体。

 三、行业警示：AI时代如何平衡创新与合规？

AC案的宣判给人工智能行业敲响了警钟。特别是情感陪伴类AI产品的开发者，面临着安全与体验的两难选择。

一位AI创业者透露，AC案发后，他立即加强了旗下产品的安全等级：扩大敏感词库、加高防火墙、邀请内测用户测试违规内容、与平台合作设置双重过滤机制。但即便如此，也无法完全杜绝用户用"黑话"或特殊话术绕过审核的情况。

"如果你做情感陪伴要加很多限制的话，那用户必然会流失。"这位创业者坦言，小型公司为了生存往往倾向于放宽限制，而大型平台则更求稳。这种平衡确实难以把握。

不过，随着相关法规的完善，这种"摸着石头过河"的局面或将改变。2025年11月1日实施的《网络安全技术生成式人工智能服务安全基本要求》明确规定：生成式AI服务提供者应建立内容过滤机制，保证模型生成内容合格率不低于90%，对明显诱导生成违法信息的问题应拒绝回答。

这一国标文件的出台，为AI服务提供者划出了清晰的安全底线，也为司法实践提供了更明确的依据。

    结语：本案一审判决虽未生效，二审将在2026年1月14日开庭，但技术创新不能突破法律底线。

AC案作为国内首例AI服务提供者涉黄获刑案，不仅是对AI行业的一次警示，也为AI时代的法律适用提供了重要参考。它告诉我们：

第一，技术创新不能突破法律底线。无论AI多智能，开发者都应对其输出内容承担责任。

第二，私密行为一旦规模化、商业化，就可能转化为公共问题。服务提供者不能以"私密"为借口，放任违法内容泛滥。

第三，AI不是责任的"挡箭牌"。在法律面前，AI应被视为人类掌控的工具，开发者不能以"AI自主生成"为由逃避责任。

随着人工智能技术的快速发展，类似的法律挑战可能会越来越多。如何在鼓励创新的同时维护社会秩序，如何在保护用户体验的同时坚守法律底线，将是未来需要持续探索的课题。

互动问题：

1. 你认为用户与AI的私密黄聊是否应该被认定为具有社会危害性？

2. 在AI时代，如何平衡技术创新与法律合规？