人工智能生成内容（Artificial Intelligence Generated Content，以下简称“AIGC”），是指利用生成式人工智能（Generative Artificial Intelligence，以下简称“GAI”）技术生成的内容，也是继专业生成内容（Professional Generated Content, PGC）和用户生成内容（User Generated Content, UGC）之后，利用人工智能技术自动生成内容的新型生产方式。[1]

自ChatGPT问世以来，GAI强大的内容生成能力也为用户带来了前所未有的便利与创意。但随着GAI技术的广泛应用，AIGC的内容合规问题也逐渐浮出水面。由于GAI技术应用场景包含面向公众的服务场景，部分GAI技术具有舆论动员能力或社会动员能力，因而其内容是否符合法律的规定，是否符合公序良俗，是否有社会危害性，成为GAI治理的核心内容之一。

对此，《生成式人工智能服务管理暂行办法》（以下简称“《暂行办法》”）第四条[2]规定：生成式人工智能服务提供者和使用者均应避免生成包含“煽动颠覆国家政权、推翻社会主义制度，危害国家安全和利益、损害国家形象，煽动分裂国家、破坏国家统一和社会稳定，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情，以及虚假有害信息等法律、行政法规禁止的内容”（以下统称“不良信息”）的AIGC。

包含上述不良内容的AIGC因其对国家和公共法益的侵害，大部分已被纳入《刑法》的规制范围，比如，制作发布有关违法内容的行为，可能涉嫌煽动分裂国家罪，煽动颠覆国家政权罪，宣扬恐怖主义、极端主义、煽动实施恐怖活动罪，煽动民族仇恨、民族歧视罪，传播淫秽物品罪等（以下统称“内容型犯罪”）。同时，AIGC和GAI以互联网为基础，还可能涉及《刑法修正案（九）》新增的有关互联网犯罪的内容，包括拒不履行信息网络安全管理义务罪，非法利用信息网络罪，帮助信息网络犯罪活动罪等。

本文将深入探讨AIGC可能涉及的刑事风险，AIGC产业链上不同角色在不同情形下应承担何种责任，以期为相关从业者提供参考和借鉴。

AIGC的生成以GAI为基础，以GAI的训练为起点，AIGC的生成原理概述如下：

(一) 数据收集与预处理

GAI需要大量的训练数据。训练数据通常来自互联网，包括书籍、文章、对话等。但为保证训练质量，原始数据通常会经过清洗、分词、去除停用词等预处理操作，以确保模型能够有效学习。

(二) 模型构建与训练

GAI常用的模型架构包括循环神经网络（RNN）、变换器（Transformer）和生成式对抗网络（GAN）等。这些模型能够学习并捕捉数据中的上下文信息、结构特征和概率分布。为了提高模型的性能，这些模型通过大量的数据进行训练，不断改进其预测和生成结果的能力。

(三) 内容生成与输出

当GAI完成训练后，它可以接收用户或系统的输入。这些输入可以是文本、图像、音频等形式的数据，根据输入的上下文信息和学习到的概率分布，GAI会生成新的内容，此即为通常所说的AIGC。AIGC的形式同样可以是文本、图像、音频等形式。

基于AIGC的生成原理，如AIGC包含了不良信息，其原因可能包括：

(一) 训练数据存在问题

一方面，如果训练数据集包含了不良信息，模型就可能学习并生成类似的内容；另一方面，如果训练数据中的标签未正确标识不良内容，模型就无法区分不良信息和正常信息，进而导致模型的生成内容包含不良信息。

(二) 模型架构存在问题

部分GAI模型在设计时，没有充分考虑对不良内容的检测和过滤，模型仅根据数据分布生成内容，而不具备对内容的道德或伦理判断能力，此时也可能导致模型的生成内容包含不良信息。

(三) 输入内容存在问题

对于交互式GAI（例如聊天机器人），使用者输入的内容本身可能包含不良信息，GAI在生成回复内容时可能会继续该上下文，生成不良信息。此外，GAI如对用户输入的上下文理解不足，使用者可能通过输入隐晦或暗示性的语言，使得GAI无法有效过滤或拒绝生成不良信息。

(四) 缺乏适当的过滤和监控机制

最后，GAI如果对生成内容没有经过适当的后处理步骤（例如内容过滤、关键词屏蔽、不良信息检测等），可能会直接输出包含不良信息的内容。此外，在实时生成内容的应用（如对话系统）中，缺乏实时的监控机制也可能导致不良信息未被及时发现和处理。

(一) AIGC产业链上涉及的法律责任主体类型

参考《互联网信息服务深度合成管理规定》（以下简称“《深度合成规定》”）中，将深度合成产业链上的参与角色划分为深度合成服务提供者、深度合成服务技术支持者、深度合成服务使用者，结合前述对AIGC生成原理的介绍，AIGC产业链上涉及的法律责任主体类型亦可划分为：

生成式人工智能服务提供者（以下简称“服务提供者”），是指提供生成式人工智能服务的组织、个人。

生成式人工智能服务技术支持者（以下简称“技术支持者”），是指为生成式人工智能服务提供技术支持的组织、个人。

生成式人工智能服务使用者（以下简称“服务使用者”），是指使用生成式人工智能服务制作、复制、发布、传播信息的组织、个人。

在实务中，亦存在服务提供者以其自有模型和技术提供生成式人工智能服务。此时，服务提供者将同时是技术支持者，后文分析中有关技术支持者的部分也将适用于服务提供者，不再赘述。

值得注意的是，虽然《暂行办法》仅划分了生成式人工智能服务提供者和生成式人工智能服务使用者两类角色，但这不代表《暂行办法》未对技术支持者提出合规要求。例如《暂行办法》第七条[3]对GAI的训练数据处理活动进行了规定、第八条[4]对GAI研发过程中的数据标注进行了规定，实务中如相关活动是由技术支持者完成，则仍应遵守对应的规定。

(二) 不同原因下各主体的责任承担分析

除非服务提供者、技术支持者与服务使用者存在事前的共谋，以实施犯罪行为的故意创设、使用GAI，则可以按照共同犯罪追究其作为犯罪整体的刑事责任。一般情况下，服务使用者往往是不特定的用户群体，没有成为责任主体的条件。举例而言，搭建、租售VPN易触犯提供侵入、非法控制计算机信息系统程序、工具罪或非法经营罪。虽然目前对使用VPN的行为并未适用刑法评价（仍然是违法行为），但是如果使用者以GAI或其输出的AIGC作为工具从事其他犯罪活动，如使用AI换脸软件生成淫秽图片在网上贩卖、传播，则具有了独立的刑事可罚性。因此，下文主要讨论的是，AIGC产业链上的服务提供者、技术支持者们，在AIGC出现带有刑事风险内容时，根据不同情况应当如何归责的问题。

1. 训练数据或模型架构存在问题

如不良信息的生成是由于训练数据或模型架构存在问题，则技术支持者可能被追究刑事责任。但考虑我国刑法体系下，定罪以主客观相统一为基础原则，因此技术支持者是否应承担刑事责任，还应考察其是否具备生成或传播不良信息之主观故意。

AIGC的技术复杂性使得技术支持者主观上故意与否通常难以直接认定。同时，我国现行法律法规及监管规则、技术标准已就训练数据和模型训练提出了若干要求，实务中或可考虑通过判断技术支持者是否履行相关法律义务、是否实施了相关技术标准来推断其是否具有主观故意。具体而言：

①使用具有合法来源的数据和基础模型

《暂行办法》第七条明确要求 “使用具有合法来源的数据和基础模型”。

何谓“具有合法来源的数据”？通常理解上，应当系指通过合法途径，例如协议获取、合法公开收集等方式，而非窃取、未经许可收集等非法方式获取数据。

何谓“具有合法来源的基础模型”？目前《暂行办法》第十七条[5]对具有舆论属性或者社会动员能力的生成式人工智能服务已提出了明确的备案要求。此外，根据我们向国家网信办咨询得到的窗口意见，目前监管部门对“具有舆论属性或者社会动员能力”的认定标准较为宽泛，如服务使用者包含一般公众，则应当履行备案义务。因此，是否根据《暂行办法》完成备案工作，可作为判断相关基础模型是否合法的参考标准之一。当然行政监管的违法性，与刑事的违法性并非等同的概念，但是，完成备案的基础模型，备案中需要对模型的安全性进行评估，采用此类模型，可以大大降低服务使用者生成不良信息的风险。

②确保数据标注质量

根据《暂行办法》第八条，在生成式人工智能技术研发过程中进行数据标注的，服务提供者或技术支持者应当制定符合本办法要求的清晰、具体、可操作的标注规则，并在标注规则中，体现出对于违法内容予以识别的内容；服务提供者或技术支持者还应开展数据标注质量评估，抽样核验标注内容的准确性；对标注人员进行必要培训，提升尊法守法意识，监督指导标注人员规范开展标注工作。从而降低被认定为具有主观故意的可能性。

③语料安全与模型安全要求

除《暂行办法》，全国网络安全标准化技术委员会于2024年3月1日发布了《生成式人工智能服务安全基本要求》，其中对语料来源安全、语料内容安全、语料标注安全、模型安全、安全措施等均提出了要求。

2.缺乏适当的过滤和监控机制

无论是因训练数据、模型架构存在问题，还是因输入内容存在问题，致使GAI生成的内容包含了不良信息，服务提供者均有义务设置适当的过滤和监控机制以避免不良信息向服务使用者输出。

当然，《暂行办法》同时提出，坚持发展和安全并重、促进创新和依法治理相结合的原则，对AIGC实施包容审慎和分类分级监管。服务提供者应当以正确的价值观引导算法的设置，并以一般理性人的标准在算法适用过程中合理排除包含不良信息的内容，避免造成绝对的侵害结果。一方面，对于明显由算法设计或训练中人工引导而产生的不法/犯罪问题（例如算法筛选、过滤机制明显与公序良俗相违背），应当针对服务提供者适用严格责任标准；另一方面，若服务提供者、技术支持者已设置了适当的过滤和监控机制，如果服务使用者在具体操作时生成了服务提供者、技术支持者无法预见的不良信息，此时也不宜过分苛责服务提供者或技术支持者。[6]

3.输入内容存在问题

如AIGC中不良信息的出现，确由服务使用者通过其输入刻意引导（如隐晦或暗示性的语言）而诱使生成，该等情形下，由于服务使用者具有相关内容型犯罪之主观故意，可根据其具体行为确定涉嫌何种内容型犯罪。

而此种情形下，服务提供者或技术支持者的刑事责任承担，还需依据服务提供者或技术支持者对服务使用者违法/犯罪行为的态度，如追求还是放任，做不同区分。刑事犯罪中对主观故意的认定有两种方式，一是积极的故意，即行为人希望危害结果或危险能够发生，二是放任的故意，即行为人认识到其作为/不作为会招致危害结果或危险的发生，但不采取措施避免。

如案件证据足以证明服务提供者或技术支持者具有积极的故意，则毫无疑问应当承担相应的刑事责任。但实务中的难点或复杂点通常在于服务提供者或技术支持者是否具有放任的故意、如何证明其具有或不具有放任的故意。事实上，由于客观上AIGC输入数据的庞大性，算法的复杂性，以及算法的多重迭代会产生黑箱效应，即便服务提供者或技术支持者在训练过程中力求合法合规，也难以避免在具体使用场景中产生违法或犯罪问题。此时作为服务提供者或技术支持者，在实践中一般可以遵循如下原则，对于其所运营的AIGC产品上的服务使用者不法行为履行审查和监管义务，并以此作为自身对服务使用者违法/犯罪行为不具有放任的故意的证明：

①  避风港原则

避风港原则作为一项在著作权领域广泛应用的法律原则，是指在发生著作权侵权案件时，当网络服务提供者仅提供空间服务而未制作页面内容情况下，如果知晓侵权内容，则网络服务提供者有义务删除侵权内容，或者采取屏蔽、断开链接等措施。如果在明确知晓侵权事实后，仍不及时采取相关措施，则需要承担责任。避风港原则虽然是著作权领域的一项原则，但在判断技术支持者/服务提供者是否存在故意方面，仍有一定的参考意义。

②  红旗原则

红旗原则同样是著作权领域的一个原则，当侵权事实显而易见，像“红旗一样飘扬”时，服务提供者不能假装看不见，或者以不知道侵权为由推脱责任。即在按常理和应尽的基本审慎义务的情况下，服务提供者应当知道侵权行为的存在却不删除链接，即使权利人没有发出删除通知，服务提供者也应当承担侵权责任。

（三）技术中立原则的影响

1、技术中立的影响

在涉及互联网犯罪的案件中，当“技术中立”成为主要辩护点时，服务提供者或技术支持者通常会强调其产品设计、运营和宣传的合法合规性，并展示在监管和审查方面已尽到的义务。他们往往主张主观上对违法行为的不知情，或者在得知后已尽力对使用者的不法行为进行纠正，同时强调在客观上由于技术限制等因素，完全杜绝此类行为并不具备可行性。

事实上，技术中立在刑法上并无特别意义，也并非出罪理由。技术本身不应该成为刑法评价的对象，可能构成犯罪的是技术提供行为。而认定技术提供行为是否成立犯罪，只能基于刑法的正犯化特别立法和传统的共犯理论，并回归到主观认识与犯意联络当中去。典型如快播案件[7]中，辩护方强调“快播公司提供的是技术服务，没有传播、发布、搜索淫秽视频行为，也不存在帮助行为；快播技术不是专门发布淫秽视频的工具，而是提供缓存服务以提高网络传输效率，为用户提供P2P视频点播技术服务；基于技术中立原则，对快播公司的行为应适用避风港原则，快播公司不应为网络用户传播淫秽物品承担刑事责任。”而检方通过举证快播公司调度服务器不仅拉拽淫秽视频存储在缓存服务器里，也向客户端提供缓存服务器中的淫秽视频文件。从而证明快播公司实质介入了淫秽视频的传播行为，摧毁了其技术中立的基础。

快播案最终定性为传播淫秽物品牟利罪。事实上，在快播风头最盛之时，几乎就可以以淫秽视频启动器划等号，不法乱象早已明眼可见，应当适用“红旗原则”对其进行归责。当然，对于判罚合理性，学界也存在观点认为，若本案发生在《刑法修正案（九）》发布之后，则定性拒不履行信息安全管理义务罪更为合适。[8]

2、共同犯罪或是独立犯罪的考量

从立法趋势上来看，《刑法修正案（九）》后增设的帮助信息网络犯罪活动罪，拒不履行信息安全管理义务罪以及非法利用信息网络罪，均反映了我国关于网络犯罪及涉及AI犯罪的积极主义刑罚观，通过将传统共犯理论中的帮助犯独立正犯化以应对越来越活跃的互联网犯罪及涉及AI犯罪问题，也为服务提供者、技术支持者提出了更高的合规要求。即便与使用者之间不存在就特定犯罪的犯意联络，也可以通过主观上的推定明知，就网络产品及AI产品对实行犯犯罪行为的促进作用对服务提供者、技术支持者入罪。

具体而言，就AIGC方面，《暂行办法》第九条[9]要求服务提供者承担网络信息内容生产者责任，第十四条则明确要求“提供者发现违法内容的，应当及时采取停止生成、停止传输、消除等处置措施，采取模型优化训练等措施进行整改，并向有关主管部门报告。提供者发现使用者利用生成式人工智能服务从事违法活动的，应当依法依约采取警示、限制功能、暂停或者终止向其提供服务等处置措施，保存有关记录，并向有关主管部门报告。”

《深度合成规定》第十条亦规定：“深度合成服务提供者应当加强深度合成内容管理，采取技术或者人工方式对深度合成服务使用者的输入数据和合成结果进行审核。深度合成服务提供者应当建立健全用于识别违法和不良信息的特征库，完善入库标准、规则和程序，记录并留存相关网络日志。深度合成服务提供者发现违法和不良信息的，应当依法采取处置措施，保存有关记录，及时向网信部门和有关主管部门报告；对相关深度合成服务使用者依法依约采取警示、限制功能、暂停服务、关闭账号等处置措施。”

由此可见，我国监管部门目前对AIGC服务提供者提出了较高的注意义务，如服务提供者未履行上述注意义务，服务使用者利用GAI生成违法违规内容，会受到监管部门责令改正。

近日，九龙坡区网信办依法对属地“开山猴”AI写作网站运营主体重庆初唱科技有限公司未尽到审核管理义务、履行主体责任不到位的行为作出行政处罚。该企业运营的“开山猴AI写作大师”网站违规生成法律法规禁止的信息，未尽到主体责任义务，违反了《中华人民共和国网络安全法》《生成式人工智能服务管理暂行办法》等相关法律法规。九龙坡区网信办责令该公司限期全面整改，加强信息内容审核，健全信息内容安全管理相关制度，暂停网站信息更新及AI算法生成式写作功能15日。[10]

从一般的社会认知和社会常理出发，使用者通过AI换脸[11]、AI脱衣软件[12]制作淫秽物品传播牟利的行为已经受到刑事追责，而AI语聊夹带色情内容或生成淫秽图片等问题也开始受到社会关注，这些行为的社会危害性是显而易见的，但是，在法律法规不完善的背景下，合理设置产品提供者的刑事责任至关重要。如责任主体范围过大或责任过重，则可能不利AI产业的创新发展；若责任主体范围过小或责任过轻，则又可能使AIGC类产品成为违法犯罪的工具。

此外，对于服务提供者、技术支持者与服务使用者而言，在法律规则逐步完善的外部环境下，也应敬畏法律，尊重社会公共利益，从源头上树立合规意识，防范产品合规措施缺失而带来的风险。

注释：

[1] 中国信息通信研究院《人工智能生成内容（AIGC）白皮书（2022年）》

[2] 《生成式人工智能服务管理暂行办法》第四条 提供和使用生成式人工智能服务，应当遵守法律、行政法规，尊重社会公德和伦理道德，遵守以下规定：

（一）坚持社会主义核心价值观，不得生成煽动颠覆国家政权、推翻社会主义制度，危害国家安全和利益、损害国家形象，煽动分裂国家、破坏国家统一和社会稳定，宣扬恐怖主义、极端主义，宣扬民族仇恨、民族歧视，暴力、淫秽色情，以及虚假有害信息等法律、行政法规禁止的内容；（二）在算法设计、训练数据选择、模型生成和优化、提供服务等过程中，采取有效措施防止产生民族、信仰、国别、地域、性别、年龄、职业、健康等歧视；

（三）尊重知识产权、商业道德，保守商业秘密，不得利用算法、数据、平台等优势，实施垄断和不正当竞争行为；

（四）尊重他人合法权益，不得危害他人身心健康，不得侵害他人肖像权、名誉权、荣誉权、隐私权和个人信息权益；

（五）基于服务类型特点，采取有效措施，提升生成式人工智能服务的透明度，提高生成内容的准确性和可靠性。

[3] 《生成式人工智能服务管理暂行办法》第七条 生成式人工智能服务提供者（以下称提供者）应当依法开展预训练、优化训练等训练数据处理活动，遵守以下规定：

（一）使用具有合法来源的数据和基础模型；

（二）涉及知识产权的，不得侵害他人依法享有的知识产权；

（三）涉及个人信息的，应当取得个人同意或者符合法律、行政法规规定的其他情形；

（四）采取有效措施提高训练数据质量，增强训练数据的真实性、准确性、客观性、多样性；

（五）《中华人民共和国网络安全法》、《中华人民共和国数据安全法》、《中华人民共和国个人信息保护法》等法律、行政法规的其他有关规定和有关主管部门的相关监管要求。

[4] 《生成式人工智能服务管理暂行办法》第八条 在生成式人工智能技术研发过程中进行数据标注的，提供者应当制定符合本办法要求的清晰、具体、可操作的标注规则；开展数据标注质量评估，抽样核验标注内容的准确性；对标注人员进行必要培训，提升尊法守法意识，监督指导标注人员规范开展标注工作。

[5] 《生成式人工智能服务管理暂行办法》第十七条 提供具有舆论属性或者社会动员能力的生成式人工智能服务的，应当按照国家有关规定开展安全评估，并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。

[6]上海市法学会 东方法学，论大型内容生成式人工智能模型设计者及提供者的侵权责任，https://mp.weixin.qq.com/s/bvR8JPjuQpohyJoO3kaQgg，访问时间：2024年6月7日.

[7] 【刑事审判参考】第1192号快播案——网络视频缓存加速服务提供者构成传播淫秽物品牟利罪的认定

[8] 陈兴良，快播案一审判决的刑法教义学评判，《中外法学》2017年第1期

[9] 《生成式人工智能服务管理暂行办法》第九条 提供者应当依法承担网络信息内容生产者责任，履行网络信息安全义务。涉及个人信息的，依法承担个人信息处理者责任，履行个人信息保护义务。提供者应当与注册其服务的生成式人工智能服务使用者（以下称使用者）签订服务协议，明确双方权利义务。

[10] 网信重庆，首例！重庆网信部门对某生成式AI系统未尽到内容审核义务作出处罚，https://mp.weixin.qq.com/s/uvTosgFGkRgA4OojmoNk0A，访问时间，2024年6月7日.

[11] （2023）豫0203刑初11号

[12] 腾讯网，“AI去衣”是否涉及刑责？北京海淀法院一审开庭审理使用“AI去衣”软件制作淫秽物品案，https://new.qq.com/rain/a/20240419A09I9I00，访问时间：2024年6月4日.