2024人工智能安全概述

目錄 11.1 31.1.1 31.1.2 61.1.3 71.2 101.2.1 101.2.2 121.3 171. 172. 183. 194. 19人工智能（ArtificialIntelligence，AI）是研究用機(jī)器模擬實(shí)現(xiàn)人類(lèi)智能的一門(mén)技術(shù)科學(xué)，第一次浪潮出現(xiàn)在20世紀(jì)50年代末到70隨人工智能這一新興概念的興起，人們對(duì)人工智能的未來(lái)充滿(mǎn)了想象，大量研究人員投和使用英文程序，相關(guān)研究主要圍繞機(jī)器的邏輯推理能力展開(kāi)。其中，20世紀(jì)6070年代初，以愛(ài)德華費(fèi)根鮑姆為首的一批年輕科學(xué)家提出了知識(shí)工程的概念，開(kāi)始了大人工智能寄予了很高的期望，甚至預(yù)言十年以后人工智能將超越人類(lèi)思維。但受限于當(dāng)非常有限，更談不上超越人類(lèi)思維，因此，人們對(duì)于人工智能的發(fā)展轉(zhuǎn)為持懷疑態(tài)度。1972年，受英國(guó)科學(xué)委員會(huì)委托，劍橋大學(xué)詹姆士萊特希爾對(duì)人工智能的研究狀況進(jìn)行智能開(kāi)始了第一個(gè)嚴(yán)冬（In）。第三次浪潮出現(xiàn)在21場(chǎng)景結(jié)合落地，相關(guān)產(chǎn)業(yè)煥發(fā)新生機(jī)。2006年深度學(xué)習(xí)算法的提出、2012年x在g訓(xùn)練集上圖像識(shí)別精度取得的重大突破，直接掀起了新一輪人工智能發(fā)展的浪潮。2016年，pho打敗圍棋職業(yè)選手，人工智能再次收獲了空前的關(guān)注度；2017年，pho以3∶0的比分完勝世界圍棋冠軍柯潔；之后，phoo從零開(kāi)始，完全不需要任何歷史棋譜和人類(lèi)先驗(yàn)知識(shí)，通過(guò)自己左右互搏490萬(wàn)盤(pán)棋局，最終無(wú)師自通，戰(zhàn)勝pho。相繼多個(gè)吸引人們眼球的、在局部領(lǐng)域內(nèi)超過(guò)人類(lèi)水平的人工智能成果的展示，讓人們真切感受到人工智能的威力，人工智能創(chuàng)業(yè)公司層出不窮，科學(xué)研究進(jìn)一步推進(jìn)，助推人工智能呈現(xiàn)加速發(fā)展態(tài)勢(shì)。特斯拉汽車(chē)ModelS以74英里（1英里≈1.61千米）的時(shí)速，直接撞上了拐彎中的白色拖掛車(chē)未生效6。其實(shí)，早在1978年9月就發(fā)生過(guò)機(jī)器人傷人事件，日本廣島一家工廠的切割界上第一宗機(jī)器人殺人事件。人工智能技術(shù)正在推動(dòng)教育信息化的快速發(fā)展，教育是人工智能技術(shù)對(duì)教育產(chǎn)業(yè)的賦能，通過(guò)將人工智能與傳統(tǒng)教育相融合，尤其是新一代人工智能技術(shù)應(yīng)用覆蓋教學(xué)全過(guò)程，實(shí)現(xiàn)學(xué)生的個(gè)性化學(xué)習(xí)、跨媒體學(xué)習(xí)和終身學(xué)習(xí)等8。然而，在人工智能協(xié)助學(xué)生學(xué)面面得到應(yīng)用時(shí)，有可能對(duì)某些群體（學(xué)生群體）產(chǎn)生一定障礙。同時(shí)，智適應(yīng)的互動(dòng)設(shè)計(jì)也會(huì)因?yàn)楦鞣N數(shù)據(jù)原因存在一些設(shè)的機(jī)會(huì)9。在金融領(lǐng)域，人工智能被用于銀行信貸智能風(fēng)控管理11。銀行信貸業(yè)務(wù)的風(fēng)險(xiǎn)管理核心智能手機(jī)和時(shí)下流行的移動(dòng)應(yīng)用程序（博）用戶(hù)興趣和喜好為其量身定制數(shù)以千計(jì)的新興新聞和視頻。例如，2021過(guò)1.2億人使用今日頭條來(lái)看新聞、視頻和其他內(nèi)容。在這個(gè)過(guò)程中，系統(tǒng)實(shí)時(shí)收集用戶(hù)程中，存在個(gè)人數(shù)據(jù)被收集及隱私泄露的風(fēng)險(xiǎn)?！兜虑谌虬l(fā)展白皮書(shū)》指出，未來(lái)同汽車(chē)相關(guān)的智能出行生態(tài)的價(jià)值正在被重新評(píng)估，出行的三大元素人車(chē)路被賦予類(lèi)人的決策、行為，整個(gè)出行生態(tài)也會(huì)發(fā)生巨大的改變。有專(zhuān)家認(rèn)為：自動(dòng)駕駛汽車(chē)是未來(lái)網(wǎng)絡(luò)的節(jié)點(diǎn)。強(qiáng)大的計(jì)算力與海量的高價(jià)值研究院發(fā)布的《人工智能安全框架（2020年）》，2020年7月，蘇州發(fā)布了全球首條城市微循環(huán)無(wú)人小巴市民體驗(yàn)線路，落實(shí)了全國(guó)首個(gè)常態(tài)化運(yùn)營(yíng)的城市公開(kāi)道路無(wú)人小巴項(xiàng)目。2020年10月，百度自動(dòng)駕駛出租車(chē)服務(wù)在北京全面開(kāi)放，10月12日單天呼單量突破2600單。人工智能給產(chǎn)業(yè)、職業(yè)結(jié)構(gòu)變化及就業(yè)帶來(lái)的風(fēng)險(xiǎn)，源于人工智能（特別是智能機(jī)器人對(duì)第一、第二產(chǎn)業(yè)崗位的替代，這會(huì)導(dǎo)致大量體力勞動(dòng)者和簡(jiǎn)單腦力勞動(dòng)者的結(jié)構(gòu)性失業(yè)、轉(zhuǎn)業(yè)，增加人民群眾的生活壓力和政府的行政壓力。2017越多地替代人力完成任務(wù)，如車(chē)輛駕駛、醫(yī)療診斷及新聞報(bào)道撰寫(xiě)等，預(yù)計(jì)未來(lái)20工智能會(huì)對(duì)就業(yè)問(wèn)題造成較大的影響。orh預(yù)測(cè)，人工智能技術(shù)將在2025年之前取代美國(guó)7的工作崗位，其中16的美國(guó)工人將被人工智能系統(tǒng)取代。在新的社會(huì)瓦爾赫拉利于2017年7月預(yù)測(cè)，未來(lái)二三十年內(nèi)超過(guò)50的工作會(huì)被人工智能取代，人工智能的產(chǎn)業(yè)化推進(jìn)將使部分現(xiàn)有就業(yè)崗位減少甚至消失，導(dǎo)致結(jié)構(gòu)性失業(yè)1。研究實(shí)現(xiàn)新的技術(shù)突破，促進(jìn)科學(xué)新成果的發(fā)現(xiàn)，增強(qiáng)經(jīng)濟(jì)競(jìng)爭(zhēng)力，鞏固國(guó)家安全。年3月，美國(guó)參議院軍事委員會(huì)舉行主題為國(guó)防部人工智能計(jì)劃的聽(tīng)證會(huì)，美國(guó)國(guó)防部高級(jí)研究計(jì)劃局（）、國(guó)防創(chuàng)新小組（）、國(guó)防部聯(lián)合人工智能中心（）及應(yīng)用與軍方之間的聯(lián)系，推動(dòng)美國(guó)的人工智能軍用化步伐進(jìn)一步加快。以為場(chǎng)情報(bào)偵察和目標(biāo)打擊任務(wù)：烏軍使用土耳其制造的旗手2部隊(duì)，俄軍使用前哨察打一體無(wú)人機(jī)摧毀烏方多管火箭炮系統(tǒng)。此外，有分析認(rèn)為，受指控平臺(tái)的打擊命令，實(shí)現(xiàn)偵、控、打、評(píng)的信息閉環(huán)，未來(lái)無(wú)人反無(wú)人裝備在現(xiàn)代型、人臉識(shí)別等人工智能手段進(jìn)行輿論戰(zhàn)，開(kāi)展認(rèn)知域的對(duì)抗，瓦解敵方斗志，增強(qiáng)己方信心15?；虿煌晟频拿枋龇Q(chēng)為目標(biāo)函數(shù)描述的不完備性，其是造成隱含的安全風(fēng)險(xiǎn)的重要原因之一18。另外，在強(qiáng)化學(xué)習(xí)算法的設(shè)計(jì)中，設(shè)計(jì)者通常以獎(jiǎng)勵(lì)函數(shù)的方式鼓勵(lì)和引導(dǎo)學(xué)習(xí)算法達(dá)到設(shè)計(jì)者所期望的目的。然而，獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)和描述中同樣存在不完備性（或不完善），從而可能被學(xué)習(xí)算法在優(yōu)化過(guò)程中搭便車(chē)，通過(guò)曲解獎(jiǎng)勵(lì)的意圖而采取一者的意圖。這種情況通常稱(chēng)為dkng（黑客獎(jiǎng)勵(lì)）。或者，學(xué)習(xí)算法也可能以出一些有害數(shù)據(jù)，僅對(duì)數(shù)據(jù)做出微小的（從而難以被人發(fā)現(xiàn)的）誤的判斷或決策。gdy等人2014年的研究38發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)存在對(duì)抗樣本，這些對(duì)抗得到。文獻(xiàn)39提出了一種衡量對(duì)抗魯棒性的方法，對(duì)于不同分類(lèi)器的對(duì)抗魯棒性，可以擊的能力。人們已經(jīng)提出了大量的對(duì)抗樣本攻擊與防御的方法，相關(guān)研究4042表明，存數(shù)據(jù)和網(wǎng)絡(luò)均有適用性。另外，人們提出了大量能夠提高機(jī)器學(xué)習(xí)魯棒性的技術(shù)43，如對(duì)抗訓(xùn)練4446、防御蒸餾47、模型正則化48等。（AIAgent，AIA）智能的開(kāi)發(fā)編程提供有力的工具。業(yè)界已經(jīng)推出許多人工智能框架，如noo、、dddd等。這些開(kāi)放的人工智能框架引用了第三方庫(kù)函數(shù)。這些框架的整體和其組件（包括引用的庫(kù)函數(shù)）隱患。（oonunb＆xpou）公共漏洞披露庫(kù)中就記錄了多種來(lái)源于noo、等的安全漏洞10。2020年，360安全研究院團(tuán)隊(duì)報(bào)告了noo中的24個(gè)風(fēng)險(xiǎn)級(jí)別不同的漏洞54，這些漏洞可能引起系統(tǒng)錯(cuò)誤或被攻擊者利用而形成系統(tǒng)安全問(wèn)題。[55]但還是有可能被攻擊者構(gòu)造的學(xué)習(xí)算法竊取其成員及記錄等私有信息[56-58在對(duì)抗環(huán)境中，攻擊者還可能進(jìn)行模型竊取攻擊59和后門(mén)攻擊50等。模型竊取攻擊是指境中，攻擊者能夠進(jìn)行閃避攻擊51和藥餌攻擊50等。閃避攻擊是指通過(guò)在正常的訓(xùn)練樣階段。藥餌攻擊通過(guò)向訓(xùn)練數(shù)據(jù)集注入虛假信息（藥餌），從而達(dá)到攻擊的目的。藥餌攻擊一般用于訓(xùn)練階段，破壞訓(xùn)練系統(tǒng)所生成的模型。自動(dòng)駕駛汽車(chē)的安全事故：一輛使用自動(dòng)駕駛系統(tǒng)的TeslaModelS汽車(chē)因撞到高速公路的使用自動(dòng)駕駛系統(tǒng)的TeslaModelS汽車(chē)因撞上一輛大卡車(chē)而致駕駛員身亡的事故。這說(shuō)明計(jì)和報(bào)道的人工智能事故數(shù)據(jù)庫(kù)（ArtificialIntelligenceAccidentDatabase，AIID）。AIID本身按照設(shè)計(jì)者的意圖正常工作，也會(huì)（也已經(jīng)）將導(dǎo)致社會(huì)勞動(dòng)組織和職業(yè)結(jié)構(gòu)急劇變動(dòng)，形成社會(huì)的不穩(wěn)定因素2629。在人類(lèi)思維等智能活動(dòng)方面，隨著人工智能技術(shù)的發(fā)展，智能機(jī)器會(huì)逐步變得更加聰明，人們會(huì)更加依賴(lài)智能機(jī)器，這可能在某種程度上導(dǎo)致部分人的認(rèn)知能力變差31。[63攻擊者的活動(dòng)，進(jìn)而對(duì)被攻擊者進(jìn)行威脅、訛詐或行為控制35。信息技術(shù)的發(fā)展使人們?cè)诎⑽髀羼R舉行的BeneficialAI大會(huì)上，機(jī)器人和人工智能領(lǐng)域的專(zhuān)家形成了《阿西洛馬StuartRussell提出了創(chuàng)造更安全的人工智能的3條原則（3PrinciplesforCreatingSaferAI）。如何保證人工智能的發(fā)展為人們帶來(lái)的是福祉而不隨著網(wǎng)絡(luò)空間中的活動(dòng)（經(jīng)濟(jì)、金融、教育、醫(yī)療服務(wù)、文化娛樂(lè)等領(lǐng)域）絡(luò)空間安全引發(fā)高度的重視和大量的社會(huì)投入67。機(jī)器學(xué)習(xí)技術(shù)被廣泛地用于網(wǎng)絡(luò)風(fēng)險(xiǎn)類(lèi)應(yīng)用系統(tǒng)安全性的重要技術(shù)路線。人工智能技術(shù)作為一種“雙刃武器，在對(duì)抗環(huán)境中，技術(shù)可以更有效地分析攻擊的技術(shù)特征，并采取識(shí)別、防御和對(duì)抗手段2。在研究人工智強(qiáng)為安全賦能的人工智能技術(shù)的研究和發(fā)展。表1-1（續(xù)表表1-2發(fā)展的維度來(lái)看待人工智能問(wèn)題77。韓國(guó)更重視在智能機(jī)器人場(chǎng)景中的人工智能安全，而新加坡、日本更關(guān)注人工智能的倫理原則和治理規(guī)范。劃》，設(shè)立了三步走的戰(zhàn)略目標(biāo)：到2020年人工智能總體技術(shù)和應(yīng)用與世界先進(jìn)水平同步；到2025年人工智能基礎(chǔ)理論實(shí)現(xiàn)重大突破，部分技術(shù)與應(yīng)用達(dá)到世界領(lǐng)先水平；到2030規(guī)劃》明確指出，在促進(jìn)人工智能發(fā)展的同時(shí)，關(guān)注人工智能數(shù)據(jù)安全風(fēng)險(xiǎn)，提出“強(qiáng)化數(shù)據(jù)安全與隱私保護(hù)權(quán)力，為人工智能研發(fā)和廣泛應(yīng)用提供海量數(shù)據(jù)支撐”，以及促進(jìn)人等行為的懲戒力度”。中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟制定了《人工智能行業(yè)自律公約》，截至2022年5月，已有約1