人工智能所伴生的安全問(wèn)題

1、人工智能所伴生的安全問(wèn)題人工智能自身存在著脆弱性，例如對(duì)抗樣本就是人工智能的內(nèi)生安全 問(wèn)題。對(duì)抗樣本是機(jī)器學(xué)習(xí)模型的一個(gè)有趣現(xiàn)象，反映出了人工智能算法 的弱點(diǎn)。攻擊者通過(guò)在源數(shù)據(jù)上增加人類難以通過(guò)感官辨識(shí)的細(xì)微改變， 但是卻可以讓機(jī)器學(xué)習(xí)模型接受并做出錯(cuò)誤的分類決定。一個(gè)典型的場(chǎng)景 就是圖像分類模型的對(duì)抗樣本，通過(guò)在圖片上疊加精心構(gòu)造的變化量，在 肉眼難以察覺(jué)的情況下，讓分類模型產(chǎn)生誤判。對(duì)抗樣本除在圖像識(shí)別領(lǐng) 域存在，也在其他領(lǐng)域存在，如語(yǔ)音、文本等。從網(wǎng)絡(luò)安全領(lǐng)域看，同樣 存在類似于對(duì)抗樣本的攻擊問(wèn)題，攻擊者通過(guò)對(duì)惡意代碼插入擾動(dòng)操作就 有可能對(duì)人工智能模型產(chǎn)生欺騙。例如，有人就設(shè)計(jì)了一個(gè)

2、惡意樣本，讓 分類器將一個(gè)存有惡意行為的軟件認(rèn)定為良性的變體，從而可以構(gòu)造能自 動(dòng)逃逸PDF惡意軟件分類器的攻擊方法，以此來(lái)對(duì)抗機(jī)器學(xué)習(xí)在安全中的 應(yīng)用。上述安全問(wèn)題都可能會(huì)導(dǎo)致同樣后果，就是導(dǎo)致人工智能系統(tǒng)發(fā)生 錯(cuò)誤的決策、判斷，以及系統(tǒng)被控制等問(wèn)題。巨大的安全挑戰(zhàn)人工智能技術(shù)存在著巨大的安全性挑戰(zhàn)。目前人工智能系統(tǒng)還無(wú)法超 出固有的場(chǎng)景或?qū)μ囟ㄕZ(yǔ)境的理解，人工智能技術(shù)在下棋或游戲等有固定 規(guī)則的范圍內(nèi)一般不會(huì)暴露其脆弱性，當(dāng)環(huán)境數(shù)據(jù)與智能系統(tǒng)訓(xùn)練的環(huán)境 大相徑庭，或者實(shí)際的應(yīng)用場(chǎng)景發(fā)生變化，或者這種變化超出機(jī)器可理解 的范圍時(shí)，人工智能系統(tǒng)可能就會(huì)立刻失去判斷能力。美國(guó)智庫(kù)“新美國(guó) 安全中

3、心”最近發(fā)布的人工智能：每個(gè)決策者需要知道什么稱，人工 智能的一些弱點(diǎn)可能對(duì)國(guó)家安全等領(lǐng)域造成巨大影響。人工智能的失誤可能會(huì)給人類帶來(lái)災(zāi)難，從而會(huì)形成衍生安全問(wèn)題。 2022年5月7日，在佛羅里達(dá)州公路上一輛處于“自動(dòng)駕駛”模式的特 斯拉ModelS以74英里的時(shí)速，撞上了拐彎中的白色拖掛式大貨車。 ModelS從貨車車底穿過(guò)，車頂被完全掀飛，40歲的駕駛員JoshuaBrown 不幸死亡。出事路段限制時(shí)速為65英里/時(shí)。由于“自動(dòng)駕駛”模式車前 的高清攝像頭為長(zhǎng)焦鏡頭，當(dāng)白色拖掛卡車進(jìn)入視覺(jué)區(qū)域內(nèi)時(shí)，攝像頭只 能看到懸浮在地面上的卡車中部，而無(wú)法看見(jiàn)整個(gè)車輛;此外，當(dāng)時(shí)陽(yáng)光 強(qiáng)烈（藍(lán)天白云）

4、，使得自動(dòng)駕駛系統(tǒng)無(wú)法識(shí)別出障礙物是一輛卡車，而 更像是飄在天上的云，導(dǎo)致自動(dòng)剎車未生效。這次事故引發(fā)了外界對(duì)自動(dòng) 駕駛汽車安全性的爭(zhēng)議。這種自動(dòng)駕駛的缺陷導(dǎo)致人類傷亡的事情，是典 型的人工智能衍生安全的案例。當(dāng)前，人們已經(jīng)開(kāi)始關(guān)注人工智能自身的安全問(wèn)題，霍金曾經(jīng)在 2022年8月與美國(guó)Reddit網(wǎng)的問(wèn)答互動(dòng)中，提出了人工智能“威脅論” 的觀點(diǎn)，后又曾多次在世界知名期刊撰文強(qiáng)調(diào)類似看法。比爾蓋茨稱， 人類在人工智能領(lǐng)域已經(jīng)取得了很大進(jìn)展，這些進(jìn)展能讓機(jī)器人在接下來(lái) 的10年內(nèi)學(xué)會(huì)駕駛和做家務(wù)，在一些特定的領(lǐng)域甚至能比人類優(yōu)秀。但 是之前他曾經(jīng)提出警告，“人工智能如果進(jìn)展太快，可能會(huì)對(duì)未來(lái)的人

5、類 造成一定威脅”。特斯拉創(chuàng)始人馬斯克在Code大會(huì)上也預(yù)測(cè)智能機(jī)器人 未來(lái)，他認(rèn)為未來(lái)人類生活將離不開(kāi)虛擬現(xiàn)實(shí)技術(shù)，而這一技術(shù)的高度發(fā) 展將使人類很難分辨出真實(shí)與游戲的區(qū)別;加之人工智能的飛速發(fā)展，人 類智商將會(huì)止步不前；最為嚴(yán)重的后果是機(jī)器人反超人類成為實(shí)際運(yùn)營(yíng)世 界的主體，人類在機(jī)器人心中可能如寵物一般的存在。防止人工智能體行為失控的方案隨著人工智能技術(shù)的高速發(fā)展，人工智能行為體越來(lái)越有可能在不遠(yuǎn) 的將來(lái)成為人類生活重要組成部分。目前，相關(guān)研究領(lǐng)域?qū)＜乙颜J(rèn)識(shí)到人 工智能存在巨大風(fēng)險(xiǎn)，并從人工智能安全設(shè)計(jì)原則、標(biāo)準(zhǔn)規(guī)范、道德倫理 方面進(jìn)行呼吁。但是，針對(duì)如何設(shè)計(jì)一個(gè)防止具有行為能力的人工智

6、能系 統(tǒng)失控的裝置？該裝置應(yīng)具備的什么樣的控制功能和性能指標(biāo)？該裝置的 軟硬件形態(tài)是什么？這些目前尚無(wú)研究成果。人工智能為什么會(huì)危害人類？前提是要有一個(gè)具有行為能力的、由人 工智能來(lái)操作的行為體。人工智能行為體是指一類能感知外部環(huán)境并將之 作為輸入，通過(guò)內(nèi)部算法進(jìn)行決策，并利用自身驅(qū)動(dòng)裝置與物理世界產(chǎn)生 交互行為的自主硬件實(shí)體。自動(dòng)行走機(jī)器人、自動(dòng)駕駛汽車和人工智能武 器等，都是人工智能行為體的類型。人工智能行為體需要有感知外部環(huán)境、 內(nèi)部控制邏輯、運(yùn)動(dòng)驅(qū)動(dòng)裝置和自主能力（自學(xué)習(xí)）四個(gè)要素的體現(xiàn)。外 部環(huán)境包括所處的自然環(huán)境和相關(guān)生物體等;內(nèi)部控制邏輯是指預(yù)制在人 工智能行為體內(nèi)部，用于產(chǎn)生運(yùn)

7、動(dòng)行為的程序;運(yùn)動(dòng)驅(qū)動(dòng)裝置是可與物理 世界交互，或者可改變?nèi)斯ぶ悄苄袨轶w處所空間坐標(biāo)的硬件；自主能力是 指人工智能行為體可以自己設(shè)定要達(dá)到的目標(biāo)函數(shù)或自主決策，而非由人 類設(shè)定目標(biāo)。人工智能在什么情況下會(huì)危害人類？需要同時(shí)滿足三個(gè)條件，第一， 有行為能力，AlphaGo是下棋機(jī)器人，不能動(dòng)，所以不會(huì)危害人類；第二， 有足夠破壞力的動(dòng)能，有危害性，掃地機(jī)器人不具有破壞的動(dòng)能，所以不 會(huì)危害人類;第三，具有自主能力，完全聽(tīng)命于人類的系統(tǒng)，不會(huì)主動(dòng)傷 害人類，但會(huì)誤傷人類。第一，能動(dòng)的問(wèn)題已解決;第二，有破壞力的機(jī)器人也已經(jīng)存在，這 是一個(gè)危險(xiǎn)因素;第三，自主行為體。運(yùn)動(dòng)體已經(jīng)比比皆是，破壞力已經(jīng)

8、突破掉了，關(guān)鍵就是能不能自主。但是我們不能太相信機(jī)器人不會(huì)自我進(jìn) 化到危害人類的程度，所以對(duì)它預(yù)先要有約束。金十對(duì)機(jī)器人來(lái)說(shuō)有一個(gè)國(guó)際標(biāo)準(zhǔn)，提出了四種約束條件。第一是安全 級(jí)的監(jiān)控停止，當(dāng)出現(xiàn)問(wèn)題時(shí)，有讓它停止的能力;第二是手動(dòng)引導(dǎo)，任 何事情都需要指示它做，它才開(kāi)始做。如果這個(gè)機(jī)器人只能手動(dòng)才開(kāi)始做， 它就沒(méi)辦法給自己設(shè)定攻擊性目標(biāo);第三是速度和距離監(jiān)控，當(dāng)它和人比 較接近時(shí)，速度必須降下來(lái);第四是功率和力的限制，當(dāng)和人接近時(shí)其功 率必須迅速降下來(lái)。這些都是保護(hù)人類要做的事情。我們提出一種防止人工智能行為體失控的方法一一AI保險(xiǎn)箍。串聯(lián) 模塊用于與人工智能行為體的決策系統(tǒng)和驅(qū)動(dòng)裝置連接;反摘

9、除模塊用于 在發(fā)生暴力拆除時(shí)，毀滅人工智能行為體，其確保本裝置無(wú)法從人工智能 行為體總摘除。AI保險(xiǎn)箍方法的核心要點(diǎn)包括：人工智能行為體的驅(qū)動(dòng)裝置需采 取主動(dòng)探測(cè)或被動(dòng)監(jiān)聽(tīng)等方法，以檢測(cè)到一個(gè)授權(quán)的、認(rèn)證的、可信的控 制系統(tǒng)（AI保險(xiǎn)箍）的存在，并接受其完全控制;當(dāng)人工智能行為體無(wú) 法檢測(cè)到一個(gè)授權(quán)的、認(rèn)證的、可信的控制系統(tǒng)存在時(shí)，應(yīng)停止一切工 作;速度與距離監(jiān)控，當(dāng)人工智能行為體中某個(gè)危險(xiǎn)部件與人之間的距 離小于安全距離時(shí)，觸發(fā)保護(hù)停止、觸發(fā)與人工智能行為體相連的安全級(jí) 功能;在人工智能行為體發(fā)生失控時(shí)，系統(tǒng)能根據(jù)遠(yuǎn)程控制命令，實(shí)現(xiàn) 人工智能行為體的遠(yuǎn)程控制，使其無(wú)法危害人類或?qū)⑽：刂频阶畹? 系統(tǒng)會(huì)對(duì)人工智能行為體進(jìn)行風(fēng)險(xiǎn)識(shí)別，當(dāng)識(shí)別出風(fēng)險(xiǎn)時(shí)，發(fā)出警報(bào)示警， 進(jìn)一步防止人工智能行為體因?yàn)槭Э囟斐傻膿p害。人工智能作為最具顛 覆性和戰(zhàn)略性的核心關(guān)鍵技術(shù)，持續(xù)引起全球產(chǎn)業(yè)界、學(xué)術(shù)界和各國(guó)政府 的高度關(guān)注。當(dāng)前，人工智能技術(shù)在安全領(lǐng)域的應(yīng)用需求日益迫切