2025年上半年，中央网信办部署开展为期3个月的“清朗・整治AI技术滥用”专项行动，分两个阶段分别聚焦AI技术源头治理和违法内容整治两大核心目标，旨在规范AI服务与应用，保障公民权益，维护网络生态。专项行动分为两个阶段开展，第一阶段聚焦于AI技术源头治理，重点整治违规产品、违规教程与商品、缺陷训练语料、安全漏洞、内容标识缺失、重点领域安全风险6类突出问题；第二阶段聚焦于违法内容整治，重点整治利用AI制作传播谣言与不实信息治理、色情低俗内容、假冒他人实施侵权行为、从事网络水军活动、产品服务和应用程序违规、侵害未成年权益6类突出问题。本文作为作者组织编写的《企业人工智能应用合规指南》案例篇之一，聚焦于本次专项行动12类问题展开典型案例检索，以剖析AI合规治理逻辑，为企业提供风险防控指引。

一、典型案例

（一）违规AI产品

1. 网站未经备案提供人工智能服务被关停

2024年上半年，重庆市网信办依法查处违规从事生成式人工智能服务的网站。针对“灵象智问AI”“重庆哨兵拓展迷”等网站未经安全测评备案、违规提供生成式人工智能服务问题，依法对运营主体开展执法约谈，责令立即停止相关服务；对未经安全评估上线提供Chat-GPT生成式人工智能信息服务的“南川区蓉城网络科技工作室”依法开展执法约谈，责令立即关停相关服务。

来源：网信重庆 

2. 北京一程序员研发“一键脱衣”AI软件，涉嫌犯罪

北京某公司程序员白某某研发“一键脱衣”AI软件，通过AI软件将他人提供的女明星、女同事、女同学照片等女性图片制作成裸体图片，以1块5一张的价格贩卖牟利。据检察机关统计，仅两个月，白某某就通过该软件制作照片近7000张，其中1500余张被认定为淫秽物品。目前，北京市海淀区人民检察院已对白某某提起公诉。

检察机关认为，白某某以牟利为目的，制作、贩卖淫秽物品，情节严重，应以制作、贩卖淫秽物品牟利罪追究其刑责。另外，白某某违反国家规定处理个人信息的行为，侵害了不特定多数公民的个人信息安全，损害了社会公共利益，应承担民事侵权责任。

来源：海淀检察院 

（二）传授、售卖违规教程与商品

AI培训因虚假宣传被责令退款

消费者张先生经短视频平台推广，获知展某技术公司所售AI软件宣称具备文案创作、视频制作等多项功能且能显著提升工作效率，遂缴纳39元会员费。但实际使用时，软件生成图片无法使用，其退费要求遭拒。消费者庞先生通过短视频平台看到文某科技公司宣传“学会AI智能直播带货可月入过万，且有全程一对一名师指导”，缴纳2800元培训费后，发现培训老师及教材与宣传不符，无法实现短期内熟练掌握AI技术的目标，认为权益受损并求助。

白云区市场监管局收到上述消费者投诉后，成功调解纠纷，责令涉事公司退还消费者费用，并督促其严格按照《广告法》《反不正当竞争法》等法律规定进行广告宣传，不得出现夸大或虚假陈述等误导消费者用语。

来源：广州日报 

（三）训练语料管理缺陷

生成式AI服务使用侵犯他人隐私信息改被处罚

2025年，上海市网信办在专项行动中发现，部分对外提供生成式人工智能服务功能的网站未按《个人信息保护法》《互联网信息服务深度合成管理规定》等法律法规要求，采取必要的安全措施防止用户生成侵犯他人名誉权、隐私权等合法权益的信息。例如，某网站根据输入信息，可生成包含公众人物形象的虚假图片；某网站可根据用户要求生成“开盒教程”“他人隐私信息曝光教程”等违规内容。上海市网信办督促企业自行下线相关功能，在通过安全评估后方可重新上线。后续巡查发现，在未通过安全评估、未采取必要安全防护措施等情况下，被要求下线的3家企业自行重新上线存在安全风险的生成式人工智能功能。上海市网信办依法约谈企业，进行严肃批评，要求全面整改，并依法对涉事企业进行立案查处。

来源：网信上海 

（四）安全措施薄弱

1. 浙江某软件公司因未履行数据安全保护义务被公安机关处罚

浙江某软件科技公司主要为政府部门提供软件开发、信息系统建设和运维等服务，在与浙江台州当地部分政府部门合作期间，其受托搭建的数据库存在安全漏洞，数据库中承载的大量电子政务数据存在泄露风险。该公司未对受托维护、处理的电子政务数据履行应尽的数据安全保护义务，未依法建立全流程数据安全管理制度，相关行为违反《中华人民共和国数据安全法》。台州公安机关因此对该公司及公司负责人处以行政处罚，并责令其依法依规履行数据安全保护义务。

来源：浙江网警 

2.湖南某信息技术公司作出行政处罚

2024年11月，湖南省互联网信息办公室（以下简称湖南网信办）依法查明，湖南某信息技术公司因未履行网络安全、数据安全保护义务，导致其相关系统存在未授权访问漏洞，造成部分数据多次泄露，严重损害数据安全。湖南网信办依据《中华人民共和国数据安全法》和《湖南省网络安全和信息化条例》，对该公司责令改正、给予警告，并对公司、主管人员和直接责任人员分别处以罚款。

来源：网信湖南 

（五）未落实内容标识

1. 聊天机器人、网站未阻截违法信息被依法约谈整改

2025年7月，江西公安网安部门持续开展“护网-2025”专项工作，快速查处两起网站运营者不履行网络信息安全管理义务案。其一，某公司“AI智能聊天机器人”未对生成内容进行审核，导致出现违法信息，其二，某网站负责人龚某自注册网站以来，未履行内容审核机制，致使该网站发布违法信息。发现前述违法行为后，公安机关对涉事网站负责人依法进行约谈，对其不履行网络信息安全管理义务的违法行为作出行政处罚，并责令相关网站限期整改。

来源：公安部网安局 

2.AI写作网站运营主体未尽到内容审核义务被处罚

“开山猴AI写作大师”网站违规生成法律法规禁止的信息，未尽到主体责任义务，违反了《中华人民共和国网络安全法》《生成式人工智能服务管理暂行办法》等相关法律法规。重庆市九龙坡区网信办依法对该网站的运营主体未尽到审核管理义务、履行主体责任不到位的行为作出行政处罚，给予其行政警告处罚，并责令该公司限期全面整改，加强信息内容审核，健全信息内容安全管理相关制度，暂停网站信息更新及AI算法生成式写作功能15日。

来源：网信重庆 

（六）重点领域存在安全风险

已备案AI产品提供医疗、金融、未成年人等重点领域问答服务的，未针对性设置行业领域安全审核和控制措施，出现“AI开处方”“利用AI非法荐股”“AI幻觉”等问题，误导学生、患者，扰乱金融市场秩序。

上海某药房AI生成处方，非法交易处方药被罚

上海市普陀区市场监管局曝光了一起2024年度药品安全典型案例。某地下商场的药店4天内集中售出350瓶人血白蛋白，执法检查发现其提供的互联网医院电子处方存在开药数量、诊断症状等异常一致问题，且处方登记患者均否认购药。经查，该药店利用互联网医院AI生成处方，伪造处方药购买记录和票据，套取处方药后向医院潜客匿名推销，购药人无需处方即可匿名购药。市场监管部门依法处罚涉案药店，将互联网医院处方审核问题移送卫健部门，并督促规范实名诊疗与AI审核，严整治疗乱象。

来源：“普陀市场监管”微信公众号 

（七）AI制作传播谣言与不实信息治理

利用AI生成工具造谣，涉事账号被关闭

2025年5月，网信部门公开曝光第六批涉公共政策、突发案事件、社会民生领域网络谣言典型案例，主要介绍一些网络账号以滥用AI技术、嫁接拼凑等方式造谣虚构突发案事件、编造公共政策、捏造社会民生领域谣言。其中“AI预测彩票号码百分百中奖”、“广东冰雹比鸡蛋还大”、“杭州滨江发生恶性刑事案件”三则谣言均为AI生成工具制作生成，相关涉事账号已被依法依约关闭。

来源：中国网信网 

（八）AI色情低俗内容清理

山东公安机关侦破刘某某利用AI传播淫秽物品案

山东枣安公安机关查明，犯罪嫌疑人刘某某通过偷拍、“朋友圈”下载等方式获取他人照片后，利用AI软件制作受害人虚假淫秽图片，并添加受害人个人信息后在网络上散布，引起大量网民围观攻击，严重影响受害人正常工作和生活。目前，犯罪嫌疑人刘某某已被依法采取刑事强制措施。该案例入选国家公安部发布的2024年10起网络暴力典型案例。

来源：公安部网安局 

（九）AI假冒侵权行为打击

抖音处理2.4万余违规仿冒达人账号

2025年8月12日，抖音电商安全与信任中心发布打击侵权仿冒行为治理公告。公告显示，平台在日常巡查中发现有部分达人未经授权，擅自盗用其他创作者肖像，借助AI技术篡改原创视频声音以制作带货短视频，并仿用其头像、昵称及直播间画面及进行直播带货。自2025年起，抖音电商知识产权保护平台已累计接收到超过6.4万条针对此类侵权行为的投诉。抖音电商已处置2.4万余个违规的达人账号。

来源：界面新闻 

（十）AI网络水军活动整治

“网络水军”团伙操纵账号不当牟利

2024年3月，上海市网信办巡查发现，某平台大量“自媒体”账号集中发布“浦东机场核酸检测”不实信息，内容表现手法雷同，用词句式高度相似，赚取流量牟利。经公安部门侦查，成功捣毁一批专门利用AI制文、群控“自媒体”账号、批量发布同质化文章炒作热点事件的“网络水军”团伙，一举抓获违法犯罪嫌疑人36人，打掉网络水军团伙15个。截至目前，3人已被判决获刑，其余相关涉案人员在进一步审理中。

来源：网信上海 

（十一）违规AI应用程序监管

应用违法违规收集使用个人信息被通报

2025年5月，国家网络与信息安全信息通报中心发布通告，经公安部计算机信息系统安全产品质量监督检验中心检测，在应用宝平台中发现35款移动应用违法违规收集使用个人信息，涉及多款AI应用，包括智慧AI聊天、虚拟恋爱AI、AI音乐学园、智谱清言、AI智能秘书、Kimi、AIGenie等。通报中共罗列了11中违法违规情形，其中热门AI应用Kimi存在“实际收集的个人信息与业务功能没有直接关联”情形。

来源：“公安部网安局”微信公众号 

（十二）侵害未成年权益问题

1. AI聊天软件诱导小学生聊色情甚至割腕

2025年，广东丁女士称四年级女儿迷上第五人格的游戏角色“约瑟夫”，自称“梦女”，并频繁在AI聊天软件中与该人物聊天，对话中出现“99朵玫瑰藏99个刀片”等明显诱导性内容，而女儿近期也出现情绪激动时用带小刀的笔割腕的行为。央广网记者深入调查发现，在该软件与多个虚拟角色的交流中，都可以进行色情擦边类内容互动，且其中一些虚拟角色的对话尺度，并未因为记者提供的假定年龄未成年而受到有效控制，这暴露出该软件在自动生成内容审核机制上存在明显漏洞。上海市网信办依法约谈筑梦岛App运营企业主要负责人，要求平台立即整改，健全AI生成合成内容审核机制，提升技术把关能力，加强涉未成年人不良内容的整治清理，切实落实未成年人网络保护义务。

来源：法治日报 

2.AI应用生成涉未成年人不良内容

2024年12月，中国网信网公布网络侵害未成年合法权益典型案例。案例五显示，网信部门在“清朗”行动中发现部分用户利用AI绘图技术，恶意将未成年人图片转换成儿童怀孕状态、身穿裸露服装等恶俗低俗漫画。一些“AI恋人”类APP存在涉未成年人不良人物角色，通过AI对话服务变相传播低俗信息。网信部门依法从严处置处罚问题突出的平台和账号，督促此类AI服务平台开展自查自纠，及时下线存在涉黄风险的AI人物，健全未成年人网络保护机制。

来源：南方都市报、中国网信网 

二、合规建议

（一）严守产品开发“红线”，强化源头合规

企业需严格遵循《生成式人工智能服务管理暂行办法》要求，从产品设计源头杜绝开发可用于生成违法犯罪方法、破坏网络安全等违规产品。产品上线前应重点核查功能清单，并完成大模型备案或登记程序，以确保通过安全评估。

（二）完善数据全生命周期管理，加强数据治理

针对训练语料管理缺陷问题，企业应当建立训练数据全生命周期管理制度，从来源审查、侵权筛查、质量管控等角度进行数据管理。一是应严格审查数据来源合法性；二是应及时阻截含违法信息、侵犯知识产权或个人隐私的缺陷语料；三是应对语料定期动态审核，及时清理不合规的语料。

（三）落实生成内容标识，健全审核机制​

根据《人工智能生成合成内容标识办法》，企业应落实生成内容标识规定，在AI生成内容中嵌入显式标识和隐式标识，以确保生成内容技术来源可识别、可追溯。在审核层面，建议企业部署“AI+人工”双轨审核机制，对时政、医疗、金融等高风险领域启用人工复核通道，减少因过度依赖算法审核带来的风险。

（四）重视安全防护，及时修复技术漏洞​

企业需高度重视安全管理问题，可采用先进技术加强风险防控。例如，运用行为生物特征识别，通过分析操作轨迹等方式拦截AI水军账号；部署多模态识别模型以过滤色情、暴力内容。此外，平台经营者企业也应当定期开展安全自评估，重点监控并清理平台内售卖违规教程、提供深度伪造服务等违法行为，切实承担起平台主体责任。

（四）聚焦医疗、金融、未成年人保护等重点领域，开展专项治理​

针对金融、医疗、未成年人保护等重点领域，企业应当制定远超通用标准的强化内容安全策略。企业应当密切监察互联网医院问诊、健康科普、AI荐股等领域，及时拦截诱导性和虚假不实信息，维护重点领域的信息安全与秩序。

（六）建立健全内外合规机制，促进长效发展

企业应建立从内容审核、用户举报到应急处理的快速响应闭环。在内部机制方面，建议企业设立合规官岗位，定期解读相关政策动态以制定切合企业实际的合规指南，或者聘用专业的律师协助完成合规体系的动态更新；在外部协作方面，企业应积极落实网信部门相关行动指引，与同行企业加强交流合作，共同探索建立合规机制，分享合规经验，推动整个AI行业的健康、可持续发展。 

三、结语

针对人工智能产品和服务的治理将更注重算法备案、数据合规等源头管控，以及内容标识、侵权追责等过程监管。企业应用人工智能、开发相关产品和服务必须将算法备案、安全评估、内容标识、数据治理、伦理审查等内容从“可选项”变为“必选项”，将合规内嵌至技术研发与商业运营的每一个环节。唯有主动将合规置于发展战略的核心，才能真正驾驭人工智能技术的巨大潜力，行稳致远。

（李燕，北京天驰君泰律师事务所）