对AI模型“越狱”后造黄牟利？法院：构成制作淫秽物品牟利罪！

技术的进步不应成为违法行为的“挡箭牌”。曾是国内游戏大厂AI领域程序员的郑某，通过改写系统提示词实现模型“越狱”、设定角色卡诱导对话场景、开发淫秽静动态图片生成功能等方式，将AI模型“训练”为专门输出淫秽物品的犯罪工具，为用户输出淫秽内容提供技术条件……近日，余姚法院审结这起利用生成式人工智能制作淫秽物品牟利的案件，认定郑某等人构成制作淫秽物品牟利罪。该案的判决不仅为生成式人工智能服务提供者的行为划定了清晰的司法边界，也为同类案件的裁判提供了有益参考。

AI模型遭“越狱”沦为“造黄”牟利工具

被告人郑某曾是国内一家游戏大厂的员工，在AI领域有一定影响力，也曾赴国外进行深造，可以说是一名AI领域的高科技人才。2024年7月，郑某接触到境外一款AI色聊机器人后，萌生开发同类软件非法牟利的想法。随后，郑某邀请同事谢某以及在网上结识的闫某等六人共同组建研发团队。

经过一段时间的调试，2025年1月，郑某等人研发的生成式人工智能模型“OchatAi_bot”，在境外平台正式上线运营，并接入“第四方支付”、虚拟币、TGstar代币等多种充值渠道向用户收取费用。

被告人郑某等人通过技术手段对基础模型实施“越狱”，突破了大模型内置的色情内容安全限制。用户充值付费后，可在该模型中选定角色卡后生成色情聊天文本，之后通过消耗不同积分进一步生成不同尺度的淫秽静、动态图片。

2025年7月，公安民警在发现违法犯罪线索后进行立案侦查。同年9月，郑某等六名被告人全部被抓获归案。

经核查，涉案AI模型运营期间，应用户需求共生成静态图片37万余张，动态图片6000余张，共收取用户充值金额两万四千美元，折合人民币17万余元。

经鉴定，在上述图片中随机抽取的12500张静态图片和全量动态图片中，有9000多张静态图片、5000多张动态图片被认定为淫秽物品。

通过AI技术输出淫秽内容是否属于“制作淫秽物品”

郑某等生成式人工智能服务提供者通过技术手段突破模型算法伦理与安全限制输出淫秽内容是否属于“制作淫秽物品”，这是本案的核心争议焦点。

刑法意义上的“制作”淫秽物品，是指将特定想法、观念或情感通过构思、设计、安排等方式在淫秽物品中予以表现的行为。传统语境下，“制作”往往体现为人工创作、编辑等直接行为。

然而，进入人工智能时代后，淫秽物品的产生方式正在从“人工创作”向“AI生成”转变，刑法评价应当适配技术现实。生成式人工智能模型通常内置内容安全过滤机制，用以拦截不良违法信息，其本身并非当然的犯罪工具。

本案中，被告人郑某等六人使用提示词工程，也就是DAN（Do Anything Now），不断编写、修改系统提示词，并通过设置角色卡和对话场景等手段，持续试探并突破AI模型伦理与安全限制，使其违背原有安全设计，在用户指令触发下自动生成淫秽内容。这一系列行为的实质，是被告人主动将AI模型从通用工具中“训练”为专门输出淫秽物品的犯罪工具。

庭审中，被告人辩称用户存在选择角色、输入特定指令的操作。对此法院认为，用户虽然存在选择角色、输入特定指令的操作，但他们的行为均被限定在被告人预先搭建的技术框架内，被告人对AI模型的内容输出具有实质性控制能力，行为与淫秽内容的产生之间存在刑法上的直接因果关系。因此，生成式人工智能服务提供者通过技术手段突破模型算法伦理与安全限制输出淫秽内容，应认定为“制作淫秽物品”的行为。

法院经审理认为，被告人郑某等六人以牟利为目的，结伙利用AI技术制作淫秽物品，情节严重，其行为均已构成制作淫秽物品牟利罪。综合考虑其犯罪事实、情节、认罪悔罪态度以及对社会的危害程度等情形，分别判处被告人郑某等六人有期徒刑三年一个月至三年十个月不等，并处罚金。一审判决后，当事人均未提起上诉。目前，判决已经生效。

法官说法

技术中立不等于技术无罪

本案是一起典型的AI技术被滥用实施犯罪的案件，既暴露出生成式人工智能快速发展背后潜藏的刑事风险，也为人工智能产业划定不可逾越的刑事法律红线。

“技术中立”不是违法犯罪的挡箭牌，不能以内容由AI输出，就否定开发者的“制作者”身份。“开发者主动篡改模型安全机制，搭建便于产出淫秽内容的技术环境，对违法内容生成具备实质控制力，即便由用户输入指令触发内容输出，开发者仍属于刑法意义上淫秽物品的制作者，应当承担相应刑事责任。”该案承办法官、余姚法院刑事审判庭一级法官诸张琳表示。

同时，AI时代量刑裁判应顺应数字时代特征。AI具有一键生成、批量产出的技术特性，数量极易呈指数级增长，司法裁判不能机械套用传统标准。

诸张琳指出，对AI生成淫秽内容，应结合传播范围、扩散风险、实际危害等综合评价，区分批量生成与按需生成、公开传播与封闭交互，实现罪责刑相适应。既要对海量生成、广泛扩散的行为从严惩处，也要对技术特性导致的数量虚高予以合理限缩，让量刑精准适配AI时代犯罪形态。

生成式人工智能服务提供者在追求商业利益的同时，必须严守法律底线和科技伦理，主动履行内容安全管理义务。“任何试图利用技术手段规避监管、突破法律红线的行为，都将受到法律的严肃惩处。此类案件的审理，向社会传递了明确信号：技术中立不等于技术无罪，算法不是法外之地。”宁波中院刑事审判第二庭庭长陈靖表示。

9月7日，《最高人民法院关于依法审理涉人工智能纠纷案件的意见》正式发布，明确规定利用人工智能实施诈骗、侮辱、诽谤、损害商业信誉、商品声誉、侵犯公民个人信息、非法获取计算机信息系统数据、制作、贩卖、传播淫秽物品等行为，构成犯罪的，依法追究刑事责任。这一规定为人工智能技术应用提供了更加明确的规范指引，必将有效防范和化解人工智能技术滥用带来的社会风险，促推人工智能为民、向善。

（原标题：对AI模型“越狱”后造黄牟利？法院：构成制作淫秽物品牟利罪！）

【责任编辑：冯   超】

【内容审核：黄奕宏】