国家安全视角下的人工智能风险与治理

来源：国家治理    编辑：王岩

人工智能是新一轮科技革命和产业变革的重要驱动力量。加快发展人工智能是我们赢得全球科技竞争主动权的重要战略抓手，是推动我国科技跨越发展、产业优化升级、生产力整体跃升的重要战略资源。人工智能依靠其通用性、多模态和智能涌现能力，与千行百业深度融合，在引发生产方式、技术创新范式、内容生成方式和人机关系等多领域深刻变革的同时，也带来诸多风险。

党的十八大以来，以习近平同志为核心的党中央把发展人工智能提升到战略高度。习近平总书记指出：“我们要深入把握新一代人工智能发展的特点，加强人工智能和产业发展融合，为高质量发展提供新动能。”同时强调：“要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能安全、可靠、可控。”为确保人工智能安全、可靠、可控，我国逐步加强对人工智能发展的规范和治理。例如，2019年6月，国家新一代人工智能治理专业委员会发布《新一代人工智能治理原则——发展负责任的人工智能》；2023年10月，中央网信办发布《全球人工智能治理倡议》。在大力发展人工智能、提升我国在人工智能领域国际竞争力的同时，也要对人工智能带来的技术安全风险、网络安全风险、经济社会风险、意识形态风险，以及伴随的伦理、法律和安全问题进行约束和监管，建立并逐步完善人工智能风险治理体系，推动人工智能安全、健康、有序发展。

国家安全视角下的人工智能风险

人工智能技术逐步进入实用阶段，赋能千行百业，创造出新的产品、服务和商业模式，为人类社会发展带来重大改变。作为一种追赶人类智能的特殊技术，人工智能对社会发展的推动力、对社会伦理与秩序的冲击力，以及其些作用背后的复杂性，都是人类既往的技术发明所不具备的。这其中蕴含着许多前所未有的、不容小觑的风险。

国家竞争力风险。人工智能是发展新质生产力的重要引擎，不仅是经济的推动力，而且在科技创新、国防建设中都发挥着重要作用。当前，我国人工智能技术发展迅速，人工智能领域的学术论文和发明专利都居国际前列，但在人工智能原创性技术领域与美国还有一定的差距，诸如ChatGPT、Sora等里程碑式技术创新均最早出现于美国，我国尚处于“跟跑”阶段。近年来，以美国为首的西方国家实施“小院高墙”政策，意图对我国人工智能的发展进行系统性打压，对我国造成不利影响。目前，我国的人工智能发展在人才、数据、算力等方面尚难打破西方霸权的垄断。例如在人才方面，2019年全球顶尖人工智能研究人员中中国研究人员占10%，2022年这一比例增加到26%，美国仍然吸引最多的人工智能人才。在数据方面，截至2024年，美国Common Crawl开源数据集每月对全网爬取会增加大约386TB的数据，其每月增量比我国多数开源数据集的总量还大。在算力方面，国产芯片的计算速度与世界顶尖水平相比还有不小差距；与图形处理器（GPU）配套的国产编程环境及软硬件生态尚未成熟，制约了算力效率。整体而言，我国人工智能产业创新生态与国际人工智能产业创新生态相比尚有很大提升空间。

技术安全风险。一是人工智能“黑箱效应”可能生成偏误信息，从而误导使用者。人工智能模型存在非透明性的算法“黑箱”局限，使用者难以观察模型从输入到输出的过程。当数据来源良莠不齐时，特别是有人使用特殊设计的输入数据对训练模型进行对抗性攻击时，人工智能模型生成内容的事实解释性以及可理解性缺失，不仅使得输出信息秩序紊乱、传递内容扭曲失真，也使得审查和纠正偏见、错误或不当行为变得困难。再者，由于植根于人类社会根深蒂固的偏见以及因话语权不同导致的数据资料分布不均衡，人工智能模型训练的数据是有偏的，导致人工智能模型对某些人群或事物作出不公正或不均衡推断。二是人工智能模型训练需要运用大量个人、企业和组织的数据，存在隐私和国家机密泄露风险。人工智能生成文本、图像和视频所需的大量数据可能涉及敏感的国家信息、商业信息和个人信息，在大范围应用时经常面临数据过度采集、窃取、泄露和滥用风险。三是人工智能技术研发与应用过程中存在知识产权侵犯和知识生产生态破坏等风险。随着人工智能技术的快速发展，人工智能在艺术作品、科学研究、发明创新等领域的应用愈发深入，这些活动涉及到版权、专利权、商标权等多个方面知识产权。如何在知识产权、原创性等方面平衡技术使用和创作者权益目前仍存在争议，包括但不限于人工智能生成作品的版权归属和保护范围、人工智能作为发明者的专利申请资格等问题。

网络安全风险。一是人工智能技术可能引发新型、难以管控的网络犯罪。人工智能技术能够提高网络攻击的隐秘性，降低高级网络攻击的技术门槛，拓宽网络犯罪的时空范围，使犯罪从传统的个体或小团伙作案变为普及率高且低成本的活动，同时也使得国际网络攻击、渗透更加易发多发，加大了我国对网络攻击预防和溯源的难度。二是深度伪造等技术诱发传统犯罪模式升级。人工智能的深度应用涉及经济利益、保密利益、使用性能等多重维度，当技术被恶意利用、大规模生成误导性信息，将带来智能诈骗风险。这种手段比传统的网络钓鱼和电话诈骗更具欺骗性和破坏力。还有恶意用户通过公开或非法手段收集资料，利用深度伪造技术制作虚假甚至淫秽图片或者视频传播，侮辱霸凌他人。三是人工智能技术风险可能引发网络空间衍生灾变。随着人工智能技术与网络空间的深度融合，人工智能的本体风险有可能随着网络空间特别是物联网的泛在互联而加以放大，衍生演化出网络空间的重大灾变，给物理世界带来巨大风险。无人机、无人驾驶汽车、医疗机器人等无人化智能系统设计缺陷可能直接威胁公民生命权和健康权。例如，2018年Uber自动驾驶汽车凌晨撞死行人事故即起因于Uber系统将行人判定为塑料袋等漂浮物，导致未能及时刹车。

经济社会风险。一是人工智能对简单重复性劳动所产生的替代作用或将引发技术性失业。人工智能使得部分劳动密集型制造业实现了自动化生产，从而替代这部分行业中的劳动力。当人工智能适用于工业设计、药物研发、材料科学、信息服务等领域，其发展伴随的大规模技术性失业或将引发全球结构性失业，成为经济社会的不稳定因素。二是人工智能的技术依赖加深致使认知浅层化风险加剧。人工智能的深度应用将减少人类主动思考的机会，并限制了其视野和思维深度，或将造成认知能力缺陷。例如，Sora等生成式人工智能的应用将会抑制学生抽象逻辑和批判性思维的发展，给科学和教育事业带来巨大挑战。三是技术复杂性带来的数字鸿沟和信息茧房加剧社会阶层分化。不同社会群体在理解和使用人工智能技术方面存在显著差距的问题普遍存在。技术采纳者在通过人工智能技术不断优化效率、积累资源和权力的同时，致使技术知识或信息匮乏者被不断边缘化，从而引发社会不公平现象。此外，凭借人工智能算法绘制“数字脸谱”以精准迎合个体视觉偏好与信息需求的行为，加强了“信息茧房”的回音壁效应。用户长时间处于同质化信息空间，容易对固有观念产生偏执认同，滋生排他性倾向，进而诱发群体极化现象，导致经济社会不稳定。

意识形态风险。一是人工智能语料差异内嵌意识形态，具有价值取向不可控风险。大模型训练语料库中的意识形态差异很有可能被利用生成大量“可信”文本，以加深对客观事实认知的分歧。2023年5月8日，布鲁金斯学会评论文章《人工智能的政治：ChatGPT和政治偏见》指出ChatGPT存在政治偏见。华盛顿大学、卡内基梅隆大学和西安交通大学的一项研究发现，不同的人工智能模型具有不同的政治偏好，OpenAI的GPT-4是最左翼自由派，Meta的LLaMA是最右翼。具有不同国家立场的人工智能产品在敏感事件或国际关系等问题上容易生成具有预设倾向的内容，其传播将潜移默化地影响年轻一代的价值观，或将为西方国家向我国进行意识形态渗透及干涉提供便利，威胁社会意识形态安全。二是人工智能技术带来的创作者责任缺失导致各种假信息泛滥，蛊惑社会人心。技术黑箱导致确定人工智能系统行为的道德法律归属变得复杂，由此带来创作者责任缺失。随着人工智能的发展和应用，虚假新闻制作和传播的成本变得更低。借助人工智能文本、音频、视频大模型，恶意用户制造大量真假难辨的假信息，篡改历史，伪造事实，煽风点火带节奏，为吸引眼球不择手段。假信息泛滥可能导致人们对数字内容的真实性产生普遍怀疑，影响社会信任与秩序。三是新型“数字殖民”引发意识形态偏移风险。在国家对于数据和算法依赖程度日益增强的情况下，领先掌握新一代人工智能技术的国家凭借技术优势占据规则和标准制定主导地位，这种技术霸权可能产生新的“数字殖民地”。

人工智能风险的治理策略

我国应坚持包容审慎的监管方式，在大力发展人工智能的同时，加强对关键性风险的治理，统筹技术发展和规范引导，防范化解各种风险，构建安全与发展兼容的人工智能治理生态。

加强顶层设计和系统性治理。一是坚持系统性谋划和整体性推进，制定人工智能发展与治理规划。对人工智能的发展趋势和应用前景进行综合研判和分析，以系统观念协调好人工智能发展和安全。在发展方面，发挥新型举国体制优势，建立人工智能产业良性发展生态，通过技术预见识别关键技术和市场需求，重点布局，推动人工智能安全有序发展。在安全方面，国家层面上成立专家委员会或咨询委员会，遴选人工智能技术、伦理、法律、安全等领域的专家，并和社会公众代表一起，对人工智能的风险治理提出前瞻性建议，提升全方位多维度综合治理能力。二是构建完备法律体系，推进制度建设。加快建立健全协调安全与发展、统筹效率和公平、平衡活力与秩序、兼顾技术和伦理的法律法规体系，推动人工智能监管制度体系建设；依法出台人工智能发展与治理的地方性法规和地方政府规章，引导创意者公平、安全、健康、有责任地将人工智能技术用于地方特色创新活动中，更有针对性地满足地方需要。三是加快成立负责任人工智能技术的职能管理机构，加强政策引导与监管。建议成立专门的监管机构，通过制定有关人工智能技术开发和应用的政策，确保技术发展符合社会公共利益和道德标准；制定人工智能技术开发和应用的标准和规范，确保技术安全性、透明性和公平性；建立人工智能风险评估与预警机制，防止技术滥用和潜在危害。

降低数智社会转型对民众的冲击。一是持续谨慎观察人工智能带来的“数字鸿沟”与失业风险，通过综合性应对措施维护社会稳定。加强人工智能教育与普及，缓解数字鸿沟，提高民众对人工智能技术的认知与应用能力；密切关注人工智能技术发展可能带来的结构性失业、技术性失业与非对称性失业等“创造性破坏”，建立失业预警制度，加大就业指导培训，提供税收优惠，出台兜底性失业保障政策。二是面向未来培养新型技术治理和社会治理协同的复合型人才。在高校设置跨学科课程，支持人工智能相关学科建设，大力培养人工智能技术人才和管理人才，奖励优秀人才和团队，为人工智能技术发展与治理提供人才储备；建立终身学习机制，提供系统化的人工智能技术职业培训，鼓励在职人员持续学习人工智能新技术以适应快速变化的技术环境。三是推动包容性技术发展的同时加强网络安全保护。在人工智能技术研发和应用过程中充分考虑老年人、残疾人等弱势群体的特殊需求，设计和开发符合其使用习惯和能力的人工智能产品和服务，避免扩大“数字鸿沟”；建立健全数据保护法律法规，明确数据收集、存储、处理和共享规范，提高数据全生命周期的安全性；加大对网络犯罪的打击力度，组建专业的网络安全执法队伍，提升技术侦查能力，及时发现和遏制网络犯罪活动；提升企业信息安全责任，推动企业采取有效措施防止数据泄露和滥用；通过多种渠道和形式，向公众普及信息安全知识和防护技能，提高民众的信息安全意识和防范能力。

构建人工智能技术风险治理体系。一是夯实人工智能公共数字基础设施一体化平台建设，完善数据资源体系。加强对数据中心、超算中心、智能计算机中心等基础设备建设，夯实数字基础设施安全；加快推进数据共享平台建设，制定统一的数据标准和规范，建立高质量国家级数据资源库，以解决人工智能大模型的数据质量及算法偏见问题。二是前瞻布局人工智能大模型的风险防御技术体系，巩固发展人工智能技术底层架构以保障产业生态安全。针对人工智能全生命周期关键环节进行风险预判，打造动态升级、科学前瞻的防御技术体系，通过精准安全防范措施建立人工智能技术安全保障体系；在算法安全、数据安全、模型安全、系统安全、应用安全等方面加强前沿安全技术研发，并推动关键核心技术应用；加强对芯片、集成电路等基础产业的保护力度，推动国家和企业重点开发自主可控的人工智能技术，夯实核心技术安全。

完善人工智能国家治理体系。一是技术与制度双向赋能治理机制设计。面对飞速更迭的人工智能技术与复杂多样的国家治理应用场景，需加强技术应用与制度创新的协同治理，依靠制度设计引导技术方向的同时，通过技术发展帮助完善制度设计从而提升治理能力。二是加强人工智能意识形态风险的治理，大力开展人工智能内容识别民众素质教育，培养民众对人工智能获取的信息自觉进行多源验证；开发人工智能生成式内容溯源技术，高概率辨识可疑内容的来源；建立生成式人工智能信息失真检查和披露平台，把正确信息及时公示于社会。三是积极推动人工智能治理国际平台建设，参与国际规则制定。积极与国际社会合作，建立人工智能技术联盟，防范算法世界政治霸权和数据跨境安全风险；建立广泛、权威的国际对话机制，依托共建“一带一路”倡议、金砖国家、上合组织、东盟等具有国际影响力的多边机制，合理助力后发国家进步，促进人工智能全球治理成果的普惠共享；总结国内人工智能治理经验并强化国际交流，在促进互信共识的过程中，推动多方、多边主体间形成公开报告、同行评议等协同机制的标杆示范，切实推动人工智能治理原则落地。

（作者：中国科学院数学与系统科学研究院研究员 杨晓光，中国科学院大学公共政策与管理学院特聘教授、国家前沿科技融合创新研究中心副主任 陈凯华）