关于人工智能安全风险挑战

及治理的调研报告

        当前，全球科技创新正步入一个前所未有的、密集且充满活力的崭新时期，人工智能作为新一轮科技革命和产业变革的核心驱动力量，已成为引领新一轮科技和产业变革的战略性技术，它具有极强的“头雁”效应，是推动我国科技跨越发展、产业优化升级、生产力整体跃升的重要战略资源，是我们赢得全球科技竞争主动权的重要战略抓手。同时人工智能技术爆发式发展态势也是一把“双刃剑”，其不确定性和应用的广泛性引发了一系列问题风险及挑战，深度伪造、舆论操控、算法歧视、黑客风险、虚假信息泛滥等问题破坏社会稳定，侵犯个人隐私，冲击社会伦理，不断挑战国际准则，触犯法律和道德底线。习近平总书记主持中共中央政治局第九次集体学习时强调，要深刻认识加快发展新一代人工智能的重大意义，要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能安全、可靠、可控。要加快加强人工智能相关制度、法律、伦理、社会问题研究，建立健全保障人工智能健康发展的制度体系、法律法规、伦理道德，不断提升我国人工智能发展独立性自主性安全性。

一、人工智能发展的现状

近年来，各种新兴技术层出不穷，其中以生成式人工智能的发展最让人瞩目，由OpenAI研发的人工智能聊天机器人ChatGPT开启了人工智能大模型发展的新序幕，从2022年11月发布到2023年1月，短短2个多月的时间活跃用户已飙升到1个亿，成为历史上增长最快的消费应用程序。2023年3月14日，OpenAI又成功发布ChatGPT-4.0，其强大的内容生成能力，引来大量用户和企业的广泛热议和密切关注，通用人工智能技术作为引领新一轮科技和产业变革的战略性技术，已逐渐成为新的生产力引擎，推动人工智能进入新时代。

（一）迭代周期短及新兴技术不断涌现

1956年麦卡锡在美国达特茅斯学院举行的第一次人工智能研讨会上首次提出“人工智能”概念；2008年，中本聪发表了关于比特币的论文，提出了基于区块链技术的去中心化数字货币比特币；2011 年麦肯锡发布研究报告《大数据：下一个创新、竞争和生产率的前沿》，指出“大数据时代已经到来”；2016年由Google研发的人工智能AlphaGo战胜人类围棋世界冠军，人工智能迎来新一轮发展热潮；2021年元宇宙第一股Roblox在纽约交易所上市，元宇宙成为当年科技领域最关注的概念之一，同时这一年被定义为“元宇宙元年”；2022年人工智能聊天机器人ChatGPT问世，并于次年发布4.0版本，目前已迭代至多模态大模型GPT-4o，更擅长处理文本和音频，可以与人类进行实时对话并且支持50种语言，其强大的交互能力再次引发震撼；国内企业也不甘落后，相继发布了百度文心一言，讯飞星火认知大模型，阿里云的通义千问，华为盘古大模型。自21世纪以来，以人工智能为代表的新兴技术迅速发展，大数据、区块链、元宇宙、人工智能等如雨后春笋一般不断涌现，技术迭代周期以天为单位，不断刷新人们的认知。人工智能技术快速迭代更新，呈现出深度学习、强交互性、跨界融合、自主操控等新特征，引发全球变革。

（二）发展及应用呈指数级扩张趋势

当前，以AI大模型为代表的生成式人工智能蓬勃发展，人工智能在政务领域、新型工业化、金融、互联网、零售、医疗、教育、娱乐、自动驾驶等领域都有不同程度的应用，人工智能已经成为推动新质生产力发展的核心驱动力之一。从全球期刊发布数据来看，人工智能相关期刊从2015年的10万篇增加到2022年的约23万篇，期刊的发布数量增加了2.4倍；2022年全球人工智能专利授权量约为6.2万，比2021年的专利授权量大幅增长了62.7%，自2010年以来，获得授权的人工智能专利数量增长了31倍以上。2022年中国以61.1%的比例领跑全球人工智能专利来源国，大幅超过占比为20.9%的美国；在人工智能前沿技术研究方面，2014年以前对通用机器学习模型的研发主要来源于学术界，而2023年人工智能领域新发布出的51个前沿机器学习模型，21个主要来自于产学研合作，学术界仅贡献了15个。现今前沿人工智能大模型的研究受限于数据、算力和资金，由之前的学术研究逐渐转向产学研合作开发，实现了由实验室走向产业应用的转变，截至2023年底我国人工智能核心产业规模已超5000亿元，企业数量超4500家，产业规模迅速壮大，智能时代正在加速到来。

（三）各国对人工智能发展及治理持不同态度

欧洲严格监管，专门立法，持续推进立法进程。2020年欧盟委员会发布《人工智能白皮书》，提出一系列人工智能监管政策，指导负责任的人工智能发展，强调“可信性人工智能”。2021年，英国发布《国家人工智能战略》，旨在推动英国成为人工智能领域的大国，该文件提出了人工智能发展、治理和监管的三个方面的核心目标与行动建议。2023年，英国政府发布《支持创新的人工智能监管方法》提案，文件概述了人工智能监管应考虑的五项原则，即安全性和稳健性、透明度和可解释性、公平性、问责制和管理、可竞争性和补救性。2024年，经欧盟议会全会投票，正式通过了全球首个人工智能领域的综合性立法《人工智能法案》，该法案旨在解决人工智能技术快速发展带来的偏见、隐私等风险，并采取“强监管模式”，加大对人工智能的审查监管力度。

美国促发展，保安全，推动治理框架走向国际。美国以提升创新能力和负责任开发使用人工智能为主线广泛布局，一直处于人工智能发展全球领先地位，2016年白宫签发《国家人工智能研发战略计划》开始了系统性AI研究，并将人工智能安全视为国家安全战略的重要组成部分发布《人工智能与国家安全》《2018年国防部人工智能战略摘要》等国家安全战略文件与报告，以促进人工智能与国家安全深度融合；为保障在人工智能领域保持领先地位，美国政府并先后于2019年、2023年调整更新《人工智能研究和发展战略计划》，重点围绕人工智能基础研究、人机协同、伦理与社会问题、安全性、公共数据集等制定研发战略。促发展的同时也不断构建完善其人工智能风险治理框架，2021年美国发布有关公共责任的《人工智能监管框架》，为人工智能系统监管从理论走向实践迈出了第一步。2023年美国签署最新行政命令《关于安全、可靠和可信的人工智能行政命令》，该文件对人工智能安全标准、保护民众隐私、确保美国政府负责任且有效地使用AI等方面采取行动，确定美国在把握AI的前景和防范治理风险方面的领先地位。

中国支持创新，鼓励发展，建立监管框架。2017年，国务院发布《新一代人工智能发展规划》这是我国在人工智能领域发布的第一个系统部署文件，文件对我国人工智能发展进行了战略性部署，明确到2030年人工智能理论、技术与应用总体达到世界领先水平。科技部随后成立人工智能规划推进办公室、战略咨询委员会和人工智能治理专业委员会，启动实施新一代人工智能重大科技项目及创新平台。在“十四五”规划和2035年远景目标纲要中进一步提升人工智能优先级，强调“培育壮大人工智能、大数据、区块链、云计算、网络安全等新兴数字产业”。2019年，国家新一代人工智能治理专业委员会发布《新一代人工智能治理原则——发展负责任的人工智能》，提出和谐友好、公平公正、包容共享、尊重隐私、安全可控、共担责任、开放协作、敏捷治理8条治理原则。2023年，国家互联网信息办公室公布《生成式人工智能服务管理暂行办法》，办法旨在促进生成式人工智能健康发展和规范应用，维护国家安全和社会公共利益。2024年中国社会科学院法学研究所、中国互联网协会互联网法治工作委员会主办等联合发布了《人工智能示范法2.0（专家建议稿）》，其统筹发展与安全并行的治理思路，提出了负面清单管理等治理制度，并对人工智能产业链条各主体责任义务分配、成果保护与侵权等核心问题进行了回应。

二、人工智能带来的安全风险及挑战

当今世界正处于新一轮科技革命和产业变革的历史节点，人工智能成为推动科技革命和产业变革的重要战略资源，给产业创新和社会发展带来了重大机遇。然而，促进社会发展的同时人工智能等新兴技术的“双刃剑”属性日益凸显，对现有社会治理带来了前所未有的挑战，深度伪造、虚假信息传播、政治舆论安全、个人隐私、算法歧视、社会伦理等多方面风险问题频发。

（一）人工智能技术滥用破坏社会稳定

一是深度伪造技术滥用，加剧虚假信息泛滥。深度伪造技术是通过利用多种神经网络模型来生成、合成文本、图像、音频、视频等内容，该技术的滥用早期主要应用于制造色情虚假视频，后续逐渐延伸到假视频证据、电信诈骗、经济敲诈、编造重大假新闻等。深度伪造对生物信息的数字化模仿、篡改，加剧了隐私损害与道德伦理风险；假新闻等虚假信息的泛滥，也引发公众的信任危机，从而导致社会群体极化、群体价值冲突激化、网络谣言危机加深，严重扰乱社会秩序。 二是滥用技术优势操纵市场，破坏金融正常运行机制。人工智能技术在证券、期货市场应用中，通过其高强度的深入学习能力和数据信息分析能力，能够综合获取大量的数据和信息因素，并依据算法进行决策，一方面可以辅助投资者决策，另一方面在巨大利益诱惑下，操纵者利用人工智能技术实施违法市场操纵策略，影响证券、期货市场的稳定和有序运行，导致金融市场系统性风险的衍生，滋生新型操纵证券、期货市场犯罪风险。三是增加学术不端风险。利用生成式人工智能强大的文本生成能力，使用AI工具撰写学术论文的现象愈加泛滥。生成式人工智能通过算法模型对采集的数据进行梳理、归纳总结，经研究发现其生成的论文存在捏造、篡改和剽窃等内容，增加学术不端风险，引发对传统科研论文体系的冲击，违背学术伦理，带来科研诚信等问题。

（二）加剧意识形态舆论斗争威胁国家政治安全

人工智能的发展为舆论斗争带来了新的挑战和风险，如不善加引导，国家政治安全将面临严峻考验。一是国家舆论风险加大。现阶段，西方生成式人工智能技术领先，其算法存在政治倾向与国别偏见，有学者指出ChatGPT有塑造“西方中心论”的意图，反复输出可能强化各国对中国的偏见，加剧我国在国际舆论场中的不利地位。二是意识形态舆论斗争加剧。不法分子可能利用人工智能生成大量含政治倾向的虚假消息，雇佣网络水军操纵舆论，从而影响政府决策，危害政治稳定。或通过污蔑政府官员、抹黑革命历史、制造党派冲突等方式，试图对公众进行意识形态渗透。在选举前散布政府官员负面虚假信息，误导干扰选民，进而影响选民决策，破坏民主制度的正常运作。三是舆论导向管理面临挑战。互联网公司拥有的资本和技术优势，一旦被不法分子恶意利用，编造舆论炒作热点话题，就会形成错误舆论方向，对公众思想产生潜移默化的影响，激化不同群体间的矛盾，还会一定程度弱化政府机构和主流媒体的声音，不利于政府对舆论导向的管理工作。四是部分政治势力借助虚假信息加剧社会矛盾、煽动仇恨，导致社会乃至国际的紧张局势升级。由美方控制的“自由亚洲电台”蓄意宣扬“藏独”“台独”等有害思想，炒作涉华虚假信息，更有美方政客恶意散布“武汉实验室泄露”不实消息，试图激起对立、制造混乱，危及中国政治安全。

（三）加重数据安全问题引发算法操控挑战

生成式人工智能的发展离不开海量的训练数据，但是利用数据的过程中往往容易忽略其合规性、安全性、准确性问题，从而衍生出潜在风险。一是数据过度收集以及来源合法性问题风险。在没有获得授权的情况下收集、使用并深度加工非法来源的数据以及在合法网站上传侵权作品、盗版书籍或非法信息，可能构成违法犯罪。即使数据被合法收集，但在存储和传输过程中也可能遭受黑客攻击或内部人员恶意泄露，导致隐私信息外泄，引发严重的数据安全问题。二是数据权属不明，侵犯知识产权的风险。一方面在没有获得作者授权的情况下就对文本数据进行收集、处理、深加工，将触及挖掘行为授权、二次创作许可、侵犯著作权等法律风险，影响破坏市场秩序；另一方面对人工智能生成物的相关知识产权还没有明确的界定，存在潜在的法律问题和风险。三是数据滥用风险。由于受数据价值的利益驱动，在数据资源利用过程中，出现了数据超权限使用、超协定分析，甚至产生了非法数据交易的“黑灰产”利益链，可能会被用于进行精准营销、诈骗等商业或非法目的，侵犯用户的隐私权益，对个人隐私、商业秘密及国家安全造成了极大侵害。四是算法风险。大模型涉及大量的参数和复杂的计算过程，并高度依赖于训练数据的质量和数量，首先过度复杂的模型导致算法的可解释性差，带来“算法黑箱”问题，用户难以理解和信任模型的决策；其次数据质量会直接影响算法的准确性和鲁棒性，鲁棒性不足会造成算法失灵，产生“回音室”“信息茧房”等负面效应；另外是算法设计缺陷引发的算法歧视、“大数据杀熟”等问题，侵害了民事主体的合法权益，严重背离了社会主义公平正义的法制和道德理念。

（四）人工智能监管与治理体系滞后于技术发展

我国人工智能治理还处于初期探索阶段，相较于传统的治理模式，人工智能治理极具特殊性，其呈现出更为广泛的覆盖面、更高的复杂性、高可变性、高技术性等特征，给现有治理框架和体系带来极大挑战。一是法律体系建设滞后于技术发展。法律制定需兼顾稳定性与普遍性，往往滞后于技术革新的步伐，特别是在人工智能这一日新月异的领域，新兴技术领域面临法律监管缺失的困境，大大影响了监管的精准性、即时性和合法性，亟需转变立法模式和立法思路。二是传统监管方式难以适应新形势。人工智能应用场景复杂多变，涉及用户、企业、政府、数据权人、模型设计者等多样化主题，且各类主体责任难于划分，不确定性增加，传统政府自上而下单方面监管模式无法灵活应对多样化的治理难题，难以实现高效、灵活地监管，须创新优化治理监管模式。三是缺乏有效的治理工具与监管措施。人工智能等新兴技术是高技术的集合体且具有深度学习不断发展的能力，其复杂程度高和可解释性差增加了监管的难度，对治理决策者以及治理现代化手段都提出了新的要求，同时不少企业视人工智能风险管理为额外负担，加之行业监管机制缺乏统一标准和明确的奖惩措施，导致部分企业倾向于采取规避策略。

表  近年来人工智能安全风险事件

三、人工智能安全防范及治理对策建议

人工智能安全风险治理要贯彻总体国家安全观的治理要求，将全面治理与系统治理思维融入安全风险防范与风险化解流程中，坚持风险事前预防、事中控制与事后处置的协调统一，打通各自治理要素间的连接通道并充分统筹人工智能发展与安全，加快构建“制度＋法律＋数据＋监管＋平台”的一体化顶层治理框架，进一步提升治理能力现代化水平。

（一）统筹发展与安全与推进核心技术自主创新

一是坚持总体国家安全观，提高科技安全的认识。安全是科技发展的前提，深化科技安全意识，领悟科技安全使命要求，科技安全是支撑和保障其他领域安全的力量源泉和逻辑起点。面对日趋复杂的科技安全问题，应对颠覆式科技创新发展力量，竞争形式的严峻性和紧迫性前所未有，确定总体国家安全观的核心位置，贯彻全面治理思维，聚焦人工智能等新兴领域安全防范，持续推进科技治理体系和治理能力现代化。二是加强核心技术攻关，促进科技创新自主发展。发展是安全的保障，破解新技术发展带来的突出矛盾和问题，防范化解各类风险隐患，要靠科技创新发展。加强体系建设和能力建设，加速完善科技创新体系、优化配置创新资源，加强AI大模型、高端智能芯片、深度学习框架、核心算法等人工智能核心技术研究，加强关键核心领域战略研判和前瞻部署，统筹发展安全，确保关键核心技术自主可控，实现科技自立自强。三是推进创新资源开源共享，营造技术创新生态环境。大数据、通用型人工智能时代，算法、算力、数据三者缺一不可，其中数据资源已成为新的生产要素，算力则是技术发展和突破的基本支撑。统筹数据开放和共享，汇集高质量数据训练集，推进政府数据服务平台建设工作，集聚算力等创新资源，打造大模型训练研究基地，构建产学研多方协作人工智能开放服务平台，开放共享数据资源、算力资源、算法模型，打造开源技术研发生态，激发社会各类创新研发主体热情，促进新兴产业升级发展。

（二）推进依法治理进程和构建人工智能治理框架

应对人工智能风险和挑战，必须立足法治思维，依法治理是指导人工智能风险治理的基本原则，同时从顺应产业发展、平衡安全与效率的角度出发，厘清各主体权力义务边界，完善规制措施，以包容审慎的态度配合技术发展趋势形成有针对性的规范体系，健全立法体系，确保人工智能的安全、可控、健康发展。完备的政策法规是人工智能治理的前提和基础，人工智能背景下的科技安全治理应重点从法律法规、政策规章和标准体系三个方面来加强政策法规建设，为政府治理工作提供法律依据和行动指南。2023年国家互联网信息办公室联合发布《生成式人工智能服务管理暂行办法》，已基本形成治理框架，但是对算法审查标准、数据安全合理使用等方面的具体规范还比较薄弱，应加快制定人工智能安全治理相应配套政策，建立统一的人工智能算法规制法律体系，明确算法技术审查标准，规定各方责任义务。

（三）健全数据分级制度及保障数据安全

生成式人工智能的技术发展需要海量数据的支撑，并且高度依赖数据的处理加工以及高质量训练集，数据安全是人工智能技术等新兴技术健康发展最基本的要求，尤其涉及维度丰富、使用场景广、覆盖用户主体多的公共数据。因此，防范数据风险是统筹人工智能发展与安全关键所在。一是健全数据分类分级保护制度。结合人工智能底层技术所需数据的特性和作用，对训练数据库中的数据进行分类管理。根据数据主体不同分类成个人数据、企业数据、政府数据，根据数据处理程度不同分类成原始数据、加工数据、派生数据，充分考虑不同的领域场景、重要程度、影响范围等因素，规范差异化的数据获取利用内容，便于采取不同的安全保护措施，从而避免因对所有数据平均用力而顾此失彼，提高数据安全保护的实效。二是要压实人工智能研发应用全过程的数据安全保护责任。从模型算法训练的数据采集输入、数据处理加工到数据输出应用，一方面提升数据训练集的信息公开程度，完善数据加密存储、安全评估、风险应对措施，遵循数据的“合理必要”性，严格控制个人敏感数据、国家安全数据的数据加工处理；另一方面健全服务提供者承担内容管理义务与内容责任边界，明晰各链条数据安全负责主体，同时探索数据保护与利用的合理平衡支点，为人工智能持续提供科技创新驱动力的同时，保障数据主体的权益保护诉求。

（四）建立多元融合人工智能安全新型治理体系

人工智能安全新型治理监管体系，是面向以生成式人工智能为代表的新型技术范式展开的新型治理方式，以建立开放协同推进机制、强化事前审查、完善责任承担制度等为核心特征的多元融合监管治理模式，建立覆盖事前、事中、事后的全流程监管制度。一是要建立开放协同推进机制。人工智能涉及多行业、跨市场、跨领域，存在交叉性风险，势必需要多部门机构协同攻关，采取协同治理的方式，聚合多元主体的力量参与到安全治理中来。政府、企业、科研院所、用户共同开展合作监管，积极发挥企业、用户监督作用，建立多元融合长效监管机制；培育面向人工智能技术的伦理、算法、安全等认证和评估机制，探索第三方规制框架，探索共建共治共享治理新格局。二是强化事前审查制度。落实对生成式人工智能产品的安全评估和算法备案的事前审查环节。增加事前审查，结分类分级监管原则，进一步明确事前审查的审查范围以及方式方法，及时发现问题解决问题，提升人工智能产品向公众提供服务的合法性，增加其安全性、可靠性、可解释性，更好地防范风险保障安全，提高生成式人工智能产品质量。三是完善责任承担制度。建立责任体系，明确人工智能产业生态各方责任，在监管政策中除了明确生产端技术提供者的责任外，还需要适度规定消费端技术使用者的责任，引导使用者在应用内容生成技术时也应树立责任意识。

（五）建设安全监测预警平台及提升治理能力现代化水平

利用大数据和AI大模型等先进技术，处理分析海量数据，并从中识别出潜在的风险因素和威胁，为风险治理提供科学、准确的依据。围绕安全监测预警和安全防范应对两大领域，加快研发针对智能产品和服务的可靠性、安全性检测工具，提升人工智能产品和服务质量，积极发展面向人工智能的治理科技，建立以“AI治理AI，以算法监管算法”的治理体系，搭建安全监测预警平台，通过“识别安全风险—评估安全风险—预警安全态势”的逻辑思路，密切跟踪人工智能等新兴技术发展趋势，构建关键领域核心技术安全风险评价指标体系和监测预警模型，及时诊断存在的风险及其程度，并通过动态监测实现实时预警，并对可能出现的风险威胁发出警报信号，完成从被动应对到主动防范的转变，推进安全风险治理的智能化、自动化、现代化。

（声明：刊载此文是出于传递更多信息之目的。若存在使用不当的情况，敬请相关权利人随时与我们联系及时处理。）

编辑 | 段鹏程   审核 | 李向东  来源 | 贵州省科学技术情报研究所