近日，北京交通大学马克思主义学院教授、博士生导师吴琼，北京交通大学马克思主义学院博士研究生谭权洁在《传媒》2026年第16期刊发文章《生成式人工智能对网络文化安全的影响及其治理》。
文章提出，应构建起“价值对齐—源头净化—专项审核—技术防护”的四位一体协同治理体系，牢牢掌握网络文化主导权，维护和塑造网络文化安全。
全文如下：
以生成式人工智能为代表的新一代人工智能技术正以前所未有的深度和广度重塑网络文化的生产逻辑、传播机制与运行生态，成为文化建设数智化赋能、信息化转型的重要驱动力。生成式人工智能赋能网络文化安全的同时，其技术风险同步衍生：批量低质人工智能生成内容、模型幻觉与深度伪造、数据“投毒”与算法黑箱、流量逻辑催生的价值异化乱象交织涌现，污染清朗网络文化空间，威胁国家网络文化安全。鉴于此，厘清生成式人工智能语境下网络文化生产的范式转变、风险样态，构建多方协同的长效治理体系，既是落实“十五五”规划统筹发展和安全、推进国家安全体系和能力现代化的战略要求，也是维护国家网络文化安全、营造健康网络文化生态的紧迫议题。
一、生成式人工智能语境下网络内容生产的范式转变
生成式人工智能依托自主内容生成、自然语言交互、多模态融合等技术特性，正在重组网络文化生产的基本要素。其影响作用于内容生成方式、创作主体关系和价值判断机制，推动网络文化生产呈现出由检索整合向生成建构、由单一人工创作向人机共创、由人工规范判断向概率生成机制深度介入的三重转向。
1．创作逻辑革新：从检索式聚合到生成式建构。在生成式人工智能普及之前，创作者依托检索工具抓取互联网既有的文字、图像、影音素材，再通过改写与整合完成文艺生产。以大模型技术为代表的生成式人工智能推动网络内容生产迈入生成式建构的全新阶段。依托海量多模态语料预训练、概率推演等智能技术，大模型能够自主学习语言叙事的内在规律，依靠提示指令便可生成原创网络小说、短视频剧本等多元文化内容，极大地拓宽了网络内容创作的边界，为数字文化产业繁荣发展提供全新动能。但范式更迭的背后也衍生出新的文化风险，检索聚合模式依托人工筛选素材，可提前把控内容真伪、价值导向，而生成式建构模式中智能模型的幻觉问题极易导致失真、同质化的低质内容输出，使得海量未经充分校验的生成内容涌入网络空间，扰乱原有清朗有序的文化生态。
2．创作主体重组：从专业从业者到人机共创。传统网络文化生产中，专业创作者、平台编辑与内容监管机制共同承担内容生产和把关职责。生成式人工智能通过自然语言交互大幅降低专业创作门槛，使更多普通用户能够借助AI参与文化内容生产，创作主体由相对专业化的生产者进一步扩展为海量用户与智能工具共同参与的复合结构。主体扩张带来内容活力，也增加了治理难度：当生成内容呈爆发式增长时，依赖人工前置审核的传统把关模式难以完全覆盖，平台更多需要借助算法筛查、风险识别与后置处置等方式进行管理。因此，网络文化安全治理的重点也从单一主体把关转向对人机共创中责任主体、内容来源和传播过程的综合治理。
3．价值判断偏移：从人文价值判断到概率生成机制深度介入。在人工智能兴起前，网络文化的价值判断主要以人文价值为核心尺度，创作者与审核者能够基于社会规范、职业伦理和主流价值进行内容取舍。生成式人工智能语境下，文化内容的形成越来越受训练语料、参数权重和概率预测机制的影响。大模型的运行逻辑是优先输出传播热度更高、出现频次更多的内容，内容取舍的主导权从社会共识形成的人文规范，转移至算法模型的概率统计。若互联网训练语料长期混杂大量泛娱乐化、碎片化的内容，模型再根据高频内容输出迎合猎奇心理、弱化主流文化的作品，那么原本主流文化判断标准便不断弱化，网络文化内容将呈现出平庸化、娱乐化趋势。长此以往，概率驱动的价值判断机制，会消解网络文化的价值内核，催生价值异化等深层次文化安全风险，这也是人机协同文化生产模式下必须回应的现实问题。
二、生成式人工智能语境下网络文化安全的风险样态
生成式人工智能一方面提高了内容生产效率、拓展了文化表达空间，另一方面也使低质内容、虚假信息、算法操控和价值偏差以更低成本、更大规模进入传播链条。系统厘清四类风险的生成逻辑与外在表征，能够为搭建协同治理体系、坚守网络文化安全阵地提供现实依据。
1．内容质量风险：以“AI垃圾”为代表的“数字泔水”造成网络文化低质化。大语言模型的普及使得网络文化生产成本降低，原本创造性的劳动异化为机械的“流水线工作”，大批量无深度、低质量的“数字泔水”充斥网络空间，新一代模型再将部分“AI垃圾”作为语料进行训练，这一恶性循环导致网络文化内容质量降低。2026年初，中央网信办披露了一批借AI生成传播“数字泔水”的典型案例：快手账号“胖公公Ai”、抖音账号“情侣塌床日记”等，利用AI批量生成传播“胖妞掉水里”“大公公掉坑”等逻辑混乱、高度雷同的低质内容；微信账号“阿宥游戏解说”、小红书账号“跨界玩家”等，利用AI魔改《三国演义》《西游记》等经典名著，传播含有血腥、恐怖、诡异等画面的内容。流水线式的AI生产模式持续消解文化创作的思想深度，不仅会蚕食受众的认知，也在数字生态中形成低质文化生产的恶性循环，挤占优质文化内容的生存空间，构成网络文化最为直观的安全隐患。
2．媒介信任风险：AI幻觉与深度伪造破坏网络文化的真实性。媒介信任是网络文化有序传播的基础。传统新闻的事实核查多侧重于对虚假信息的事后纠偏，而AI幻觉与深度伪造导致失真信息被重复引用与再生产，形成自我循环的信息污染，进而影响网络文化可信生态。一方面，由于技术的无意识偏差，在数据不完备处，大语言模型的首要目标是生成合乎语言规律的文本而非客观事实；另一方面，部分内容创作者为达到一定目的，利用深度伪造技术低成本打造高度仿真的虚假视听内容。2026年4月，央视新闻报道，四川网民廖某为博取关注，使用生成式人工智能制作“重庆南岸立交桥垮塌”的虚假视频，造成社会恐慌并扰乱正常的社会秩序。AI幻觉的技术缺陷与深度伪造的人为滥用，模糊了信息真实与虚拟合成的应用边界，虚假合成内容持续传播致使公众对网络内容的质疑不断加深，媒介信任持续流失，影响网络文化传播秩序。
3．意识形态风险：AI“投毒”与算法黑箱加剧文化传播隐患。部分不法分子利用生成式人工智能的预训练数据与不透明算法机制，以AI“投毒”与算法黑箱实施隐性传播。一方面，通过向大模型训练数据集中植入歪曲历史、解构主流叙事的恶意样本，预埋隐性触发指令，模型在后续生成内容时会不自觉输出预设的观点；另一方面，算法的不透明机制形成算法黑箱，不法分子利用该技术特性实现对特定人群的精准推送。2026年4月，国家安全部提到AI“投毒”已形成黑灰产业链，从技术开发、内容生成、账号注册，到批量投放、刷量控评、榜单操控，环环相扣，部分链条呈现跨境特征，极易被境外势力利用，危害国家安全。由此可见，生成式人工智能降低了批量生成和精准扩散的技术门槛，一旦与黑灰产业链结合，可能进一步放大认知操控和意识形态传播风险。
4．价值异化风险：算法流量逻辑影响网络文化的正确价值导向。网络平台通常依据播放量、点赞量、评论量等用户行为数据进行内容分发，热度越高的内容获得的推送曝光越多，平台与创作者获利也越多，这种算法流量逻辑使创作者更容易围绕高点击量、高互动量内容进行模仿和复制，猎奇化、情绪化、娱乐化表达可能获得更高可见度。网络文化本该承担价值引导、美育教化的职能，但在流量导向规则驱使下，逐利成为内容创作者的首要目标，加之生成式人工智能技术降低文化内容的制作门槛，创作者难以坚守内容创作底线，影响网络文化的正确价值导向。2025年9月，“网信中国”披露，国家网信办依法查处了一批破坏网络生态的案件，部分平台未落实信息内容管理主体责任，热搜榜单主榜高位呈现大量炒作明星个人动态和琐事类词条等不良信息内容，反映出娱乐化倾向对网络生态的侵蚀。当平台评价、创作者收益和内容生成都过度围绕流量运行时，不仅会降低大众文化审美水平，还会削弱网络空间的价值传播效力。
本文刊发于《传媒》2026年16期 作者：吴琼 谭权洁