转载学习:综合人工智能安全:人工智能与安全的共舞、PPT |综合人工智能安全:安全与人工智能的共舞,人工智能时代的安全图景
背景
人工智能的概念在20世纪50年代被提出后,由于受到发展条件的整体限制,人工智能技术的突破和进展未尽如人意。21世纪伊始,人类社会的数据积累呈指数级增长态势,随着算法、算力和存储等软件、硬件条件的不断进步,人工智能技术开始实现新一轮的跨越式发展,并逐步作为通用性技术走向大规模社会化应用,在促进经济发展、产业升级和科技创新等方面发挥着重要作用。2025年初,杭州深度求索人工智能基础技术研究有限公司(DeepSeek)发布并开源大语言模型DeepSeekR1,在全球范围内引发轰动,进一步推动人工智能的价值从“功能增强”向“生态重构”转变。2025年3月5日,十四届全国人大三次会议的《政府工作报告》首次提及培育具身智能产业、大力发展智能机器人,并提出要持续推进“人工智能+”行动。可见,目前人工智能已深度融入社会生活的各个层面,并成为我国重要发展战略。
然而,人工智能技术在飞速发展的同时,也对法律规范、道德伦理和社会治理等方面造成巨大冲击,使人类加速进入风险社会。随着人工智能技术的创新发展与广泛应用,其呈现出高度的复杂性、涌现性和不确定性等特征,大量且多元的安全风险持续聚集于人工智能技术的基础内里层面(如算据异化、算法黑箱和算力垄断等)和外在表现层面(如技术滥用),并不断向政治、军事、经济和文化等多领域蔓延,对全球范围内的多领域安全构成威胁和挑战。2024年3月21日,联合国大会通过首个关于人工智能的全球决议,即《抓住安全、可靠和值得信赖的人工智能系统带来的机遇,促进可持续发展》,并敦促各成员国在人工智能发展过程中,确保人权得到尊重、个人数据隐私得到保护,并对相关安全风险进行有效管控。2024年7月18日,党的二十届三中全会审议通过了《中共中央关于进一步全面深化改革 推进中国式现代化的决定》,作出“建立人工智能安全监管制度”“完善生成式人工智能发展和管理机制”等重要部署。可见,人工智能安全已上升至国家安全乃至全球安全的战略高度,开展人工智能安全研究具有重要的理论与现实意义。
近年来,美国及部分欧洲国家高度关注人工智能的发展、安全和治理等议题,我国政府和社会各界亦是如此。现有人工智能安全相关研究主要包括三大方面:
- 一是战略层面的人工智能安全研究,主要涉及全球视野、大国竞争和人类发展等背景下的人工智能安全治理,以及对中国、美国和欧盟等不同国家和地区的人工智能安全战略研究;
- 二是社会层面的人工智能安全研究,主要涵盖人工智能的发展与安全、法律治理和伦理问题等,以及人工智能引发的文化和意识形态等各领域的安全问题;
- 三是技术层面的人工智能安全研究,主要包括人工智能的算法安全风险及治理路径、人工智能算力基础设施安全体系架构、人工智能算据(数据)安全风险和人工智能安全风险技术评估与技术应对策略等。
但总体来看,现有人工智能安全研究仍存在以下三点不足:
- 一是现有研究多为人工智能安全在某一具体领域(如军事、科技等领域)的讨论,而具有通用性的人工智能安全理论研究不足;
- 二是现有研究的切入视角大多是单一学科(如法学、人工智能科学等)视角,而从系统科学视角切入的系统性研究缺乏;
- 三是现有研究多停留在对人工智能安全的局部认识,而从综合安全(即安全科学)视角出发的关于人工智能安全的全面审视和认识缺乏,尚未呈现人工智能安全的整体图景。
总之,目前仍缺乏基于人工智能与安全二者深度融合的视角对人工智能安全开展综合、总体且全面的研究,未实现人工智能与安全的共舞,这严重阻碍对人工智能安全的全面解构和系统性推进。
鉴于此,本文在提出综合人工智能安全概念的基础上,构建基于综合安全矩阵的综合人工智能安全三维模型,并分别从系统安全维、安全系统维和安全影响维出发,深入分析人工智能系统要素的安全、安全人工智能系统的要素和人工智能对安全的影响。本文旨在从人工智能与安全二者深度融合的视角全面分析人工智能安全问题,进一步凝聚综合人工智能安全的共识,以期为未来人工智能安全研究和实践提供一个更为全面和系统的理论框架。
系统安全的人工智能安全
(一)人工智能算法安全
算法是指将信息进行变换的计算过程所体现的方法。在人工智能领域,人工智能算法表示计算机模拟人类某些思维过程或智能行为的程序与指令,它是人工智能的核心要素之一。目前,人工智能算法安全深刻影响着人工智能安全的整体态势,在多个层面产生了一系列安全问题。因此,对人工智能算法安全的理解不能仅停留在技术层面,还必须考虑更高的层面和更广泛的影响。
1.技术层面的人工智能算法安全
技术层面的人工智能算法安全指物理意义上的算法系统安全,其基本要求是保障算法系统免受由自身缺陷和外界攻击而导致的自身的功能失效或性能下降。在自身缺陷方面,人工智能算法系统自身的设计漏洞、不稳定性、不可解释性、鲁棒性不足和缺乏适用性等问题是算法系统的先天不足;在外界攻击方面,针对人工智能算法安全系统的投毒攻击、成员推理攻击、对抗样本攻击、后门攻击、逆向攻击和逃逸攻击等均可能对系统造成威胁。例如,具身智能领域的智能机器人可能受到人工智能算法层面的对抗样本攻击,导致智能机器人执行危险动作,引发安全事件。因此,针对技术层面的人工智能算法安全问题,可通过运用同态加密保护训练、隐私保护训练、联邦机器学习、安全多方机器学习、对抗样本训练、算法透明性评估和算法可解释性增强等人工智能算法安全技术,构建技术层面的人工智能算法安全体系,保障人工智能算法系统安全。
2.社会层面的人工智能算法安全
社会层面的人工智能算法安全主要关注人工智能算法在社会应用过程中算法行为与用户权益失配所引发的安全问题。随着人工智能算法对人类社会的影响力日益增强,其部分行为与人类社会的普遍价值观发生剧烈冲突,衍生出算法歧视、算法偏见、算法霸权、隐私泄露和观点极化等一系列安全问题,并进一步引发侵权性风险、责任性风险与失控性风险等社会安全风险,对现有的社会治理结构造成一定威胁。例如,信息推荐算法使用户受困于信息茧房,导致群体观念异化,激发社会矛盾;算法掌控者利用异化的算法权力攫取社会财富,并开始同党团和政府等传统政治主体竞争权力,引发相关社会关系错位。因此,针对社会层面的人工智能算法安全问题,应以“技术向善”为宗旨,通过推动监管体系和法律法规的建设,确保人工智能算法在融入社会结构过程中的实质公平性,避免对个体与公众权益造成损害,保障人工智能算法的创新与社会价值观的和谐共融。
3.战略层面的人工智能算法安全
战略层面的人工智能算法安全主要考虑人工智能算法在介入国家战略行为过程中由内生性变革引发的安全问题。随着人工智能算法优势的不断提升,人工智能技术已逐步嵌入国家战略行为的各个环节,在带来模式内生性变革的同时,也产生了难以预测的安全风险。一方面,人工智能算法的发展需要长期的高成本投入,这导致算法超级大国与其他国家直接形成力量代差,人工智能技术被进一步垄断,对国际战略竞争平衡产生剧烈冲击,进而引发国际层面的系统性安全问题。另一方面,算法黑箱状态使人工智能算法逻辑在某种情况下(如追求模糊目标、调整战略位次和考虑社会道德与情感标准等)难以理解人类战略智慧,可能导致在战术上成功却在总体战略上失败的情况发生。因此,从国家层面看,必须主动开展算法竞争,提高算法的核心竞争力,同时保证人工智能算法在国家战略决策中的合理应用,以此保障战略层面的人工智能算法安全。
(二)人工智能算力安全
所谓算力,一般指计算能力,其本质反映信息处理的效率,可衡量以计算机为载体的信息系统执行计算任务的能力。在人工智能时代,算力的内涵已从单纯支持人工智能的芯片算力拓展为一个更为广泛的社会生态概念,涵盖算法创新、并行计算架构和大数据处理平台等多方面内容,可为算据处理和算法运行提供强大支撑。然而,在此过程中,人工智能算力发展鸿沟、算力盗用和算力竞争等安全问题也日益凸显,确保人工智能算力安全成为人工智能领域的重要目标之一。
1.技术层面的人工智能算力安全
技术层面的人工智能算力安全主要关注人工智能算力基础设施的安全,确保其能为人工智能系统提供安全的算力环境。人工智能算力基础设施具有节点复杂、接入设备多样和用户数量庞大等特点,在其建设、运营和应用过程中面临严峻的安全挑战,影响人工智能算力的充分释放。因此,通过运用安全支撑技术,保障人工智能算力基础设施的自身安全、运行安全和应用安全,才可实现技术层面的人工智能算力安全。
- 第一,人工智能算力基础设施要保障自身安全,需重点关注传统安全(如物理安全等)、算力网络安全和供应链安全,确保自身安全、可靠及稳定地运行;
- 第二,人工智能算力基础设施要保障运行安全,需通过运用多项技术保护数据模型免受恶意攻击和不被窃取,确保人工智能系统的机密性和完整性;
- 第三,人工智能算力基础设施要保障应用安全,需协助用户加强安全管控力、提升安全认可度和增强安全合规性。
2.社会层面的人工智能算力安全
社会层面的人工智能算力安全重点关注算力盗用和算力资源浪费等可能造成社会影响的算力安全问题。一方面,目前的算力资源已具备实体和虚拟财产属性,算力盗用可导致硬件设施损耗和能源成本增加等实体维度的风险,以及算力资源损失和数据隐私泄露等虚拟维度的风险。另一方面,在突破现有算力中心高能耗等问题之前,算力资源的社会总量有限,纯粹的市场导向算力资源发展模式可能造成算力资源的重复建设和大量高精度算力资源浪费,影响社会公共资源的合理分配。此外,在算力调度、算力度量、算力交易和算力运营等过程中,也具有一定的安全风险。因此,必须通过构建全面的算力相关法律规范体系,加大对算力的行政监管力量,以及提高针对算力的社会治理能力,确保社会层面的人工智能算力安全。
3.战略层面的人工智能算力安全
战略层面的人工智能算力安全主要关注国家在人工智能算力领域的战略规划和布局,以及如何在国际竞争中确保算力安全并持续保持优势。在经济战略方面,人工智能算力对经济发展具有显著的促进作用,但各国的算力基础水平存在差距,其所能享受到的算力对经济的提升效益差距明显,故确保人工智能算力安全是形成新质生产力和推动经济持续发展的重要前提。军事战略方面,信息化、智能化和智慧化是目前军事科技、军事装备和作战方法等发展的重点方向,人工智能算力对推动人工智能技术与军事领域的融合至关重要,故确保人工智能算力安全是提升军事战略优势和维护国家安全的关键。此外,在科技战略和生态战略等方面,也存在人工智能算力产业发展受到基础技术和关键核心技术落后的制约,以及人工智能算力高能耗对生态环境产生负面影响等安全问题。总体看,国家需制定长远的人工智能算力发展战略,确保战略层面的人工智能算力安全。
(三)人工智能算据安全
算据即数据,是任何以电子或其他方式对信息的记录。人工智能算据是人工智能系统运行的“燃料”,可为人工智能提供学习样本,其质量直接影响人工智能算法模型的训练效果和泛化能力。随着海量算据与人工智能技术深度耦合,一系列具有不确定性、复杂性和扩散性等特征的安全风险不断涌现,为人工智能算据安全带来诸多不可预测的因素。如算据的不准确性和偏见性可能导致算法模型的决策出现偏差,进而影响人工智能系统的公正性和可靠性,甚至可能被不法分子或敌对势力利用,造成严重的社会问题甚至危害国家安全。因此,确保人工智能算据安全是人工智能领域面临的重大挑战。
1.技术层面的人工智能算据安全
技术层面的人工智能算据安全关注算据输入、算据存储、算据运算和算据输出等技术环节中的人工智能算据安全。
- 第一,在算据输入环节,人工智能可通过主动抓取与被动收录获取海量算据,形成数据集并供其优化自身性能,但其间可能面临算据违规获取、算据过度采集和算据投毒等安全问题。
- 第二,在算据存储环节,人工智能算据易面临算据泄露和遭受恶意攻击的安全风险,如部分未经脱敏、脱密的敏感信息可能在未来的人机交互中重新呈现,攻击者可能利用系统漏洞操纵算据排序、篡改模型参数和破坏语料库。
- 第三,在算据运算环节,人工智能算据可能遭受裁剪、合成等操作,并被用于构建具有偏见性的语料库,从而导致输出内容呈现出特定的价值倾向。同时,人工智能算法的自我迭代和算法黑箱,可能导致人工智能算据运算失控和被违规处理的安全风险。
- 第四,在算据输出环节,人工智能算据输出的内容是基于对海量算据的学习和预测,本质上是一种经验的再现,但对于输出内容的真实性、准确性和价值倾向等问题,人工智能则难以准确判断,这可能引起虚假内容的传播和误导等安全问题。以具身智能为例,若在训练或者微调具身大模型时误用中毒数据,则后门可能会被植入其中,当后门被触发时,会造成智能车辆加速冲向障碍物、智能机器人危险使用刀具等极端情况。
因此,在技术层面,加强面向人工智能算据的加密技术、匿名化处理、访问控制和完整性验证等多种技术手段,建立严格的人工智能算据治理机制,以及规范管理人工智能算据的输入、存储、运算和输出等环节,是确保人工智能算据安全的必要途径。
2.社会层面的人工智能算据安全
社会层面的人工智能算据安全主要关注算据在社会应用中可能引发的法律、伦理和价值导向等安全问题。在法律方面,人工智能算据可能存在侵犯著作权(如获取未经授权的数据)、侵犯个人信息(如非法收集和公开个人信息),以及自身包含违法不良信息(如数据中涉及色情、暴力等内容)的安全风险。在伦理方面,首先,人工智能算据在精准投放下可将用户划分为“三六九等”,并基于用户画像重复推送相关内容,这不但涉嫌算据歧视,还会使用户受困于“信息茧房”,极易激化社会矛盾。其次,人工智能算据在商业行为中的滥用也会导致对用户差异化定价,即所谓的“大数据杀熟”,导致用户基本权益受损,引发社会舆论。此外,人工智能(特别是具身智能)算据安全问题引发安全事件时,在责任划分和法律界定方面涉及相关伦理问题。例如,自动驾驶汽车发生事故时,涉及算据分析、硬件故障和用户操作等多方面原因,事故中的责任难以明确划分,可能引发社会层面的伦理探讨。在价值导向方面,人工智能数据的来源、规模及质量,以及设计者对于反馈和立场的处理策略,均可能在一定程度上影响人工智能的倾向性,并可能产生与社会主流价值观相悖的内容,从而引发社会问题。因此,必须强化人工智能算据的法治建设,提升公众对人工智能算据安全的意识,并借助技术手段完善算据处理全过程的安全性,进而确保社会层面的人工智能算据安全。
3.战略层面的人工智能算据安全
战略层面的人工智能算据安全聚焦于国家对人工智能算据的管控,以及如何在国际竞争中确保算据主权和算据安全。首先,随着人工智能成为大国之间竞争的焦点,人工智能算据在跨境流动过程中的风险持续增加,已成为国家战略层面的问题。例如,当我国境内关键算据被非法传输出境后,我国将失去对该部分算据出境的管控利益和对境外算据的自主控制利益,极易造成国家关键领域安全风险,并威胁国家算据主权。其次,当前各种意识形态观念与价值观念可借助网络迅速传播,海量的人工智能算据可能面临滥用和误用的风险,进而危害国家安全和社会稳定。例如,人工智能算据被用于生成特定内容进行意识形态渗透、操纵社会舆论和破坏政治选举等活动。此外,金融、交通和能源等重要领域的人工智能算据一旦被窃取和攻击,会对国家经济、社会发展和公众利益造成巨大损失。因此,国家应制定相应的战略规划与政策法规,加强人工智能算据资源的治理和保护,确保人工智能算据的安全利用,同时加强国际合作,积极参与制定国际算据安全标准,推动构建公平合理的国际算据秩序,从而在战略层面保障人工智能算据安全。
人工智能的影响
正向
2023年6月,“天擎”美亚柏科公共安全大模型的发布,标志着人工智能技术在公共安全领域的重要突破,旨在实现公共安全领域业务的智能化。2025年2月基于DeepSeek-R1-671B“满血版”大模型深度定制开发的“宁安晴”,成为全国首个垂直领域应急管理政务大模型。从微观的角度看,人工智能作为一种应用型技术工具,不断与安全领域的多个层面深度耦合、紧密关联,已逐步成为安全领域中不可或缺的支撑,持续为安全领域注入新的活力并带来积极的正面影响。
- 首先,人工智能技术极大增强了安全监控和应急响应等方面的能力,为各领域的安全风险防控提供强有力的支持。
- 例如:行为识别等人工智能技术可对生产现场工作人员的行为数据进行采集与分析,实现对不安全行为的即时警报,避免工作人员的不安全行为导致安全事件发生;
- 人工智能驱动的监控系统可通过利用先进算法实时分析视频数据,及时发现人群中的异常行为(如突然奔跑和长时间徘徊等)并进行预警,为预防犯罪和快速响应提供技术支持。
- 其次,人工智能技术在风险评估和灾害预警方面也展现出显著优势,其可通过对海量数据的深度挖掘和分析,更精准地预测潜在风险,提前发出预警并有效减少损失。
- 例如,在气象灾害预警中,人工智能可利用先进的数据分析模型处理和分析海量的气象数据,识别潜在的天气模式和异常变化,提升对极端天气风险的预警能力;
- 在地震灾害预警中,人工智能可实时分析地壳活动数据,提前数秒至数十秒发出警报,为公众避险赢得宝贵时间。
- 再次,在公众安全教育方面,人工智能可通过智能化的教育平台和工具,提供个性化的安全知识培训,提升公众的安全意识和应急能力。
- 例如,在安全培训与模拟演练过程中,人工智能结合虚拟现实和增强现实技术,能够复现真实的环境和场景,使得参训人员能够在无实际危险的条件下进行安全培训和模拟演练。
- 此外,在高风险作业方面,人工智能机器人等具身智能体具备替代人类执行繁重及高风险任务的能力,可显著降低人员伤亡的风险。
- 例如,在核辐射环境、深海探测和太空探索等极端条件下,人工智能机器人可以执行人类难以完成的任务,同时减小对人员健康和安全的威胁。
宏观来看,人工智能作为一种全局性技术,正推动各领域安全向智能化转型,在增强安全能力的同时,又提高安全服务的智能化水平,对国家安全、社会稳定和人民福祉具有积极的正面影响。2017年,哈佛大学贝尔弗科学与国际事务研究中心在题为Artificial Intelligence and National Security的研究报告中指出,“人工智能的进步将通过推动军事优势、信息优势和经济优势的变革来实现国家安全”,这凸显出人工智能在宏观安全领域的重要性。
- 以军事安全领域为例,人工智能在认知、预测、决策和集成等方面的核心功能与军事安全领域的活动高度适配,可应用于各种军事场景,提高作战效率、降低风险并增强军队的战斗力。具体而言,
- 军事情报方面,人工智能强大的数据处理与分析能力使得军事情报系统能够快速、精准地从海量信息中挖掘关键线索,预测潜在威胁,实时感知全球军事安全态势;
- 军事决策方面,人工智能赋能的作战指挥系统和仿真训练平台可进行动态战场仿真推演,快速给出可行决策,大幅缩短作战筹划决策周期,保障军事安全;
- 军事作战方面,借助人工智能的精确算法和数据分析能力,军事系统能够更准确地识别目标、预测敌方行动,并实施精准打击,有助于减少误伤和附带损害,提高军事打击的效果,同时,人工智能机器人和机器狗等具身智能体也可胜任一些高危、高难的军事任务,避免己方人员伤亡。可见,在宏观安全领域,人工智能扮演着赋能主体的角色,其正以不同的角色嵌入宏观安全的各个领域,有力地塑造着智能时代的安全形态。
总体而言,微观层面,人工智能在具体安全实践中具有提高安全预测的准确性、增强安全决策的科学性和提升安全执行的及时性等重要优势;宏观层面,人工智能可进一步推动安全领域的智能化发展,为构建更加安全、和谐的社会环境提供强有力的支撑。因此,人工智能在安全领域的应用具有深远的意义和广泛的正面影响。
负向
随着人工智能基础研发的快速推进和产业应用的加速落地,其正负两方面的外部性影响不断释放,在推动经济社会发展方面产生巨大收益的同时,也从内生风险、应用风险和经济社会风险等多个层面对各领域安全造成不容忽视的负面影响。就微观层面而言存在以下问题:
- 第一,人工智能的技术失控问题。随着人工智能技术的不断进步,其自主决策能力日益增强,这可能导致特定情境下人工智能技术的自主性和智能性超出人类的控制范围,导致其无法精确预测或控制自身行为。例如,在自动化生产线中,人工智能机器人在执行任务时,算法出现偏差或受到外部干扰,可能导致机械故障或操作失误,进而对员工和生产系统造成伤害与破坏,引发安全事件。在处理复杂社会问题(如公共安全事件)时,人工智能可能作出不公正或不合理的决策,进而影响相关事件的及时响应和处理,造成社会舆论和秩序混乱等严重后果。
- 第二,人工智能的伦理道德问题。一方面,随着人工智能技术在监控、数据分析和预测等领域的应用,敏感数据和隐私信息的保护受到严峻挑战,如面部识别技术的广泛应用可能导致个人隐私泄露。另一方面,使用人工智能进行犯罪预测也会引发对特定群体的歧视和标签化,容易造成社会矛盾和冲突。
- 第三,人工智能的工作取代问题。人工智能在多领域的广泛运用,尤其是高度自动化和智能化的机器人,可能占据大量人类工作岗位,特别是在一些低技能劳动密集型行业,人工智能的替代效应尤为显著。这不仅可能导致部分员工失业,还可能引发经济结构的变动,影响社会安全。
此外,在政治安全、经济安全以及军事安全等宏观安全领域,人工智能技术作为一种系统性的扰动因素,正潜移默化地对这些领域的安全内涵产生深远的影响。其中,负面影响包括:
- 第一,在政治安全领域,敌对势力等可借助社交媒体平台,运用人工智能技术,通过内容引导或深度伪造等手段扭曲事实真相,危害意识形态安全,甚至引导民众的政治选择,形成政治安全的新威胁;
- 第二,在经济安全领域,人工智能技术具有颠覆传统经济结构和全球价值链格局的潜力,在引发现代经济体系发生巨变的同时,也可能导致经济安全风险空前加剧,造成经济危机和发展困境;
- 第三,在军事安全领域,人工智能技术的应用可能加剧军事冲突的自动化和无人化趋势,从而降低战争的门槛,并增加冲突升级的风险,如自主武器系统可能在缺乏人类直接干预的情况下发起攻击,国家间在人工智能技术上的竞争和对抗可能形成新的军备竞赛,从而对全球稳定与和平构成威胁。
显然,人工智能技术的双刃剑效应,既为各安全领域带来效率的提升,也引发了一系列潜在的负面影响。因此,为减少人工智能在安全领域的负面影响,应从技术、管理和社会等多个层面采取综合措施,如制定严格的法律法规,确保技术的透明度和可解释性,并加强人工智能系统的安全性和可靠性测试、伦理审查和公众参与等,以此平衡人工智能技术进步与潜在风险之间的关系。此外,国际社会应建立相应的规范和机制,包括制定国际法律和条约,限制或禁止某些危险的人工智能应用,推动国际对话和合作,共同制定人工智能的伦理和安全标准等,促使人工智能充分发挥正面影响的同时,最大限度地减少其对各安全领域的负面影响。
来源:程序园用户自行投稿发布,如果侵权,请联系站长删除
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作! |