2024年AI韌性：AI安全的革命性基準(zhǔn)模型報(bào)告

人工智能治理與合規(guī)工作組官網(wǎng)：/research/working-groups/ai-go◎2024云安全聯(lián)盟大中華區(qū)-保留所有權(quán)利。你可以在你的電腦上下載、儲(chǔ)存、展示、查看及打印，或者訪問云安全聯(lián)盟大中華區(qū)官網(wǎng)()。須遵守以下：(a)本文只可作個(gè)人、信息獲取、非商業(yè)用途；(b)本文內(nèi)容不得篡改；該商標(biāo)、版權(quán)或其他聲明不得刪除。在遵循中華人民共和國(guó)著作權(quán)法相關(guān)條款情況下合理使用本文內(nèi)容，使用時(shí)請(qǐng)注明引用于云安全聯(lián)盟大中華區(qū)。10萬+數(shù)據(jù)保護(hù)零信任云安全區(qū)塊鏈數(shù)據(jù)安全云審計(jì)Al安全隱私計(jì)算云滲證與CCPTP培訓(xùn)云安全專家云安全云安全安全區(qū)塊鏈零信任峰會(huì)致謝報(bào)告中文版支持單位啟明星辰集團(tuán)成立于1996年，由留美博士嚴(yán)望佳女士創(chuàng)建，2010年在深圳A股中小板上市，是網(wǎng)絡(luò)安全產(chǎn)業(yè)中主力經(jīng)典產(chǎn)業(yè)板塊的龍頭企業(yè)，是新興前沿產(chǎn)業(yè)板塊的引領(lǐng)企業(yè)，是可持續(xù)健康業(yè)務(wù)模式和健康產(chǎn)業(yè)生態(tài)的支柱企業(yè)。2024年1月，啟明星辰正式由中國(guó)移動(dòng)實(shí)控，成為中國(guó)移動(dòng)專責(zé)網(wǎng)信安全專業(yè)子公司，標(biāo)志著公司邁入全新的發(fā)展階段。多年來，啟明星辰持續(xù)深耕于信息安全行業(yè)，始終以用戶的需求為根本動(dòng)力，將場(chǎng)景化安全思維融入到客戶的實(shí)際業(yè)務(wù)環(huán)境中，不斷地進(jìn)行創(chuàng)新實(shí)踐，幫助客戶建立起完善的安全保障體系，逐漸成為政府、金融、能源、運(yùn)營(yíng)商、稅務(wù)、交通、制造等國(guó)內(nèi)高端企業(yè)級(jí)客戶的首選品牌。啟明星辰入侵檢測(cè)/入侵防御、統(tǒng)一威脅管理、安全管理平臺(tái)、數(shù)據(jù)安全、運(yùn)維安全審計(jì)、數(shù)據(jù)庫安全審計(jì)與防護(hù)、漏洞掃描、工業(yè)防火墻、硬件WAF、托管安全服務(wù)等十余款產(chǎn)品持續(xù)多年保持第一品牌。參與本次報(bào)告的專家：張鎮(zhèn)，啟明星辰知白學(xué)院院長(zhǎng)、首席技術(shù)官郭春梅，啟明星辰副總裁、首席技術(shù)戰(zhàn)略專家卞超軼，啟明星辰核心技術(shù)研究院副院長(zhǎng)楊天識(shí)，啟明星辰高級(jí)安全專家沙明烊，啟明星辰知白學(xué)院資深技術(shù)專家啟明星辰是CSA大中華區(qū)理事單位，支持該報(bào)告內(nèi)容的翻譯，但不影響CSA研究?jī)?nèi)容的開發(fā)權(quán)和編輯權(quán)。4報(bào)告英文版編寫專家主要作者貢獻(xiàn)者審稿人O2024云安全聯(lián)盟大中華區(qū)版權(quán)所有5序言在當(dāng)今時(shí)代，人工智能(AI)技術(shù)的迅猛發(fā)展正深刻地改變著我們的世界。AI的應(yīng)用范圍從醫(yī)療健康到自動(dòng)駕駛，從金融交易到國(guó)防安全，其決策能力不斷增強(qiáng)，同時(shí)也帶來了前所未有的風(fēng)險(xiǎn)和挑戰(zhàn)。AI的可靠性和安全性受到了嚴(yán)格的審視，這要求我們必須確保AI系統(tǒng)的魯棒性和可信賴性。為了應(yīng)對(duì)這些挑戰(zhàn)，CSA大中華區(qū)發(fā)布了《AI韌性：AI安全的革命性基準(zhǔn)模型》報(bào)告。本報(bào)告旨在通過引入一個(gè)全新的基準(zhǔn)模型來評(píng)估和提升AI的整體質(zhì)量，確保AI技術(shù)的安全和穩(wěn)健發(fā)展。報(bào)告詳細(xì)討論了AI治理與合規(guī)的重要性，并分析了AI技術(shù)的發(fā)展歷史和當(dāng)前的訓(xùn)練方法。通過一系列實(shí)際案例研究，揭示了AI失敗的教訓(xùn)，并針對(duì)汽車、航空、關(guān)鍵基礎(chǔ)設(shè)施等行業(yè)的監(jiān)管挑戰(zhàn)進(jìn)行了深入分析。報(bào)告提出了一個(gè)受生物進(jìn)化啟發(fā)的AI韌性基準(zhǔn)模型，強(qiáng)調(diào)了多樣性和韌性在AI系統(tǒng)中的重要性，并給出了AI韌性評(píng)分的標(biāo)準(zhǔn)。通過本報(bào)告提出的AI韌性評(píng)分系統(tǒng)，企業(yè)和組織將獲得一個(gè)全新的評(píng)估工具，以指導(dǎo)他們對(duì)AI系統(tǒng)的評(píng)估和優(yōu)化工作。期待這份報(bào)告能激發(fā)更廣泛的討論和行動(dòng)，共同塑造AI技術(shù)的未來，讓其更好地服務(wù)于人類社會(huì)的發(fā)展。李雨航Y(jié)aleLiCSA大中華區(qū)主席兼研究院院長(zhǎng)6目錄 8 9 9 9 202.2.1汽車 23 262.2.5教育 2.2.6金融 2.2.7醫(yī)療保健 40 40 42摘要為了應(yīng)對(duì)人工智能治理與合規(guī)的復(fù)雜挑戰(zhàn)，本文引入了一種革命性的AI基準(zhǔn)模型。在追求收入增長(zhǎng)的過程中，技術(shù)革新的步伐常常超過了監(jiān)管措施的建立速度，這往往導(dǎo)致AI系統(tǒng)的魯棒性和可信賴性無法得到充分保障。為了彌補(bǔ)這一關(guān)鍵性不足，我們基于進(jìn)化論和心理學(xué)原理設(shè)計(jì)出了一個(gè)創(chuàng)新的AI基準(zhǔn)模型。該模型將魯棒性與性能置于同等重要的位置，從而幫助企業(yè)的領(lǐng)導(dǎo)者更加主動(dòng)地評(píng)估其Al系統(tǒng)的整體質(zhì)量。我們從過去人工智能失敗的案例研究中汲取教訓(xùn)，并深入分析汽車、航空、關(guān)鍵基礎(chǔ)設(shè)施與基本服務(wù)、國(guó)防、教育、金融和醫(yī)療等行業(yè)，為企業(yè)提供了實(shí)用的見解和可操作的指導(dǎo)。我們倡導(dǎo)將多元化的視角與監(jiān)管準(zhǔn)則相結(jié)合，以推動(dòng)行業(yè)朝著更合乎道德、更可信賴人工智能應(yīng)用方向發(fā)展。其中，注重系統(tǒng)可信度是最大限度降低風(fēng)險(xiǎn)、保護(hù)企業(yè)聲譽(yù)以及促進(jìn)負(fù)責(zé)任的人工智能創(chuàng)新、部署和應(yīng)用的關(guān)鍵。本文件可為政府官員、監(jiān)管機(jī)構(gòu)和行業(yè)領(lǐng)袖等關(guān)鍵決策者提供支持，旨在協(xié)助他們建立人工智能治理框架，確保人工智能的開發(fā)、部署和使用均符合道德標(biāo)準(zhǔn)。此外，本文還引入了一種新型基準(zhǔn)測(cè)試模型來評(píng)估人工智能的質(zhì)量，為企業(yè)的長(zhǎng)期成功提供了實(shí)用工具。導(dǎo)言人工智能(Al)的快速發(fā)展帶來了前所未有的進(jìn)步。然而，隨著人工智能系統(tǒng)變得越來越復(fù)雜，風(fēng)險(xiǎn)也在不斷升級(jí)。從醫(yī)療算法偏見到自動(dòng)駕駛汽車失靈，這些事件都在警示我們?nèi)斯ぶ悄苁ъ`將帶來嚴(yán)重后果。當(dāng)前的監(jiān)管創(chuàng)新往往難以跟上技術(shù)進(jìn)步的步伐，這將對(duì)企業(yè)的聲譽(yù)和運(yùn)營(yíng)帶來巨大的潛在風(fēng)險(xiǎn)。為了應(yīng)對(duì)這些挑戰(zhàn)，本文件強(qiáng)調(diào)了用更全面的視角應(yīng)對(duì)人工智能治理和合規(guī)性的迫切需求。我們將探討Al的基礎(chǔ)理論，研究各關(guān)鍵行業(yè)中存在的問題，并為負(fù)責(zé)任AI的實(shí)施提供實(shí)用指導(dǎo)。我們提出了一種新穎的方法，將人工智能的演變與生物學(xué)的進(jìn)化進(jìn)行比較，并引入了一個(gè)發(fā)人深省的概念——多樣性，以提高人工智能技術(shù)的安全性。我們還將討論不同智能之間的差異以及這些系統(tǒng)之間8如何成功地進(jìn)行交互。同時(shí)，我們還提出了一個(gè)創(chuàng)新的基準(zhǔn)框架，旨在提高Al這一顛覆性技術(shù)的安全性和可靠性。這一創(chuàng)新方法使決策者和技術(shù)團(tuán)隊(duì)能夠評(píng)估人工智能系統(tǒng)的安全性和可信度。我們倡導(dǎo)整合不同的觀點(diǎn)和監(jiān)管準(zhǔn)則，以促進(jìn)人工智能的創(chuàng)新符合倫理，并建立強(qiáng)有力的治理實(shí)踐。第一部分：基本理論1.1治理與合規(guī)治理和合規(guī)是組織管理的重要部分，可確保企業(yè)遵守業(yè)務(wù)行為準(zhǔn)則中概述的法規(guī)、道德原則、標(biāo)準(zhǔn)和可持續(xù)實(shí)踐。與上述原則和法規(guī)保持一致，可確保有效的業(yè)務(wù)連續(xù)性和道德實(shí)踐。治理[1]是指對(duì)某一事物的監(jiān)督和控制，以自上而下的方式實(shí)施。高級(jí)管理層負(fù)責(zé)制定戰(zhàn)略和風(fēng)險(xiǎn)偏好，并通過政策、標(biāo)準(zhǔn)及程序建立治理框架。這些指令塑造了組織的整體風(fēng)險(xiǎn)管理方法、合規(guī)義務(wù)和決策過程。治理在企業(yè)內(nèi)部營(yíng)造了一種文化氛圍，它強(qiáng)調(diào)責(zé)任、透明、道德和可持續(xù)性，同時(shí)確保公司上下都重視安全和隱私保護(hù)。與自上而下的治理方法相反，合規(guī)[2]遵循的是自下而上的方法，即各級(jí)員工執(zhí)行并遵守高級(jí)管理層制定的治理框架，以滿足監(jiān)管要求。合規(guī)的重點(diǎn)是確保組織內(nèi)部所有員工都遵守法律法規(guī)和行業(yè)標(biāo)準(zhǔn)，以及企業(yè)內(nèi)部制定的業(yè)務(wù)行為準(zhǔn)則。它是組織管理的重要組成部分，可確保組織在適用的法律法規(guī)要求、可接受的道德底線范圍內(nèi)運(yùn)營(yíng)，并最小化風(fēng)險(xiǎn)暴露面。1.1.1治理與合規(guī)：不斷變化的目標(biāo)雖然治理和合規(guī)是明確界定的目標(biāo)，但人工智能的使用卻對(duì)傳統(tǒng)方法提出了挑戰(zhàn)。人工智能可以從不同的角度來定義，如作為一種技術(shù)、一套使用一個(gè)或多個(gè)模型的系統(tǒng)、一個(gè)業(yè)務(wù)應(yīng)用或一個(gè)用戶平臺(tái)。人工智能可以服務(wù)于單一或多個(gè)終端用戶，可以被企業(yè)、信息中介或其他人工智能技術(shù)用來執(zhí)行任務(wù)、解決問題、9做出決策或與環(huán)境互動(dòng)。圍繞人工智能使用的最佳實(shí)踐、標(biāo)準(zhǔn)和法規(guī)仍在不斷發(fā)展，這使得制定一套既具體、又可實(shí)施，還能進(jìn)行有效監(jiān)控的合規(guī)要求具有挑戰(zhàn)性。對(duì)于開展國(guó)際業(yè)務(wù)的公司來說，這一挑戰(zhàn)呈指數(shù)級(jí)增長(zhǎng)。當(dāng)前，大多數(shù)法規(guī)在內(nèi)容上存在重疊，卻鮮有根本性的創(chuàng)新主張來提高人工智能的安全性，而我們的框架正是基于以下這些通用性需求而構(gòu)建的?！袢祟惐O(jiān)督：確保人工智能受到人類的監(jiān)督和控制，并建立機(jī)制，以便在必要時(shí)進(jìn)行人工干預(yù)和決策。應(yīng)將人類監(jiān)督與自動(dòng)化監(jiān)控相結(jié)合，作為主要的監(jiān)控手段。在明確需要人為干預(yù)的特定情境中引入人類監(jiān)督。這使得本指導(dǎo)文件具有可擴(kuò)展性和實(shí)際適用性?！癜踩院涂煽啃裕簝?yōu)先考慮人工智能技術(shù)的安全性和可靠性，最大限度地降低對(duì)個(gè)人或社會(huì)造成傷害的風(fēng)險(xiǎn)。要做到這一點(diǎn)，就必須進(jìn)行嚴(yán)格的測(cè)試、驗(yàn)證和風(fēng)險(xiǎn)評(píng)估，并確保在系統(tǒng)出現(xiàn)故障時(shí)能啟動(dòng)鎖定開關(guān)或采取補(bǔ)救措施。●倫理考慮：確保人工智能遵守道德原則、尊重人權(quán)和促進(jìn)公平。●數(shù)據(jù)隱私和安全：應(yīng)實(shí)施增強(qiáng)的數(shù)據(jù)保護(hù)和安全措施，以保護(hù)敏感信息和隱私，防止未經(jīng)授權(quán)訪問或?yàn)E用數(shù)據(jù)。在設(shè)計(jì)階段，應(yīng)采用隱私設(shè)計(jì)(Privacy-by-Design)和安全設(shè)計(jì)(Security-by-Design)的原則，以便在流程早期就降低風(fēng)險(xiǎn)(這體現(xiàn)了DevSecOps中的“左移”理念)。這樣做可以限制最終產(chǎn)品中的外掛式安全和不可預(yù)見的風(fēng)險(xiǎn)。●人工智能模型和數(shù)據(jù)考慮因素：■減少偏見：解決數(shù)據(jù)和算法設(shè)計(jì)中的偏見問題，并定期對(duì)Al系統(tǒng)進(jìn)行監(jiān)測(cè)和評(píng)估，以識(shí)別并消除偏見和歧視。偏見是一個(gè)復(fù)雜的話題，需要在必要的信息和算法與刻板分類的風(fēng)險(xiǎn)之間取得平衡?！鐾该鞫龋和ㄟ^明確解釋Al的工作原理，包括其算法和影響決策的因素，來確保AI的透明度。實(shí)施XAI(可解釋的Al)[2],[3]有助于促進(jìn)信任，為知情決策奠定基礎(chǔ)，同時(shí)發(fā)現(xiàn)可能存在的偏見。在醫(yī)療保健領(lǐng)域，這一點(diǎn)至關(guān)重要，已被廣泛認(rèn)可。無論在哪個(gè)行業(yè)，如果輸出是由Al產(chǎn)生的，用戶都應(yīng)被告知?！鲆恢滦裕阂恢滦缘臄?shù)據(jù)可確保人工智能模型能夠從準(zhǔn)確和可靠的實(shí)例中學(xué)習(xí)。這對(duì)模型生成正確且有用的輸出結(jié)果至關(guān)重要。不一致或相互矛盾的數(shù)據(jù)會(huì)混淆模型，導(dǎo)致生成的文本或信息不準(zhǔn)確?！鰡栘?zé)制：在Al的設(shè)計(jì)、開發(fā)、部署和使用過程中建立問責(zé)制和責(zé)任制，包括清晰地界定各個(gè)環(huán)節(jié)中可能出現(xiàn)問題時(shí)的責(zé)任歸屬。目前，防止對(duì)最終用戶造成傷害的責(zé)任主要由AI應(yīng)用提供商獨(dú)自承擔(dān)。然而，通過額外的措施，如手冊(cè)或“模型卡片”[4]以及特定的用戶培訓(xùn)，可以強(qiáng)調(diào)提供商和最終用戶之間的共同責(zé)任，并概述最終用戶所能期待的透明程度?！鲷敯粜裕洪_發(fā)設(shè)計(jì)精良且能夠抵御對(duì)抗性攻擊、數(shù)據(jù)擾動(dòng)和其他形式干擾或操縱的人工智能。本文提出了一種新視角來評(píng)估魯棒性，以提高全局安全性?！龇ㄒ?guī)遵從：確保AI的開發(fā)和部署遵守相關(guān)法律法規(guī)和標(biāo)準(zhǔn)，包括但不限于數(shù)據(jù)保護(hù)，以及數(shù)據(jù)交易，隱私保護(hù)和安全性。在高度復(fù)雜的供應(yīng)鏈和價(jià)值鏈中，采取一種以共同責(zé)任為基礎(chǔ)的方法，對(duì)于確保創(chuàng)造安全可信的人工智能至關(guān)重要。這要求技術(shù)團(tuán)隊(duì)、合規(guī)團(tuán)隊(duì)和法律團(tuán)隊(duì)必須參與其中，并且根據(jù)具體情況，還可能需要許多其他團(tuán)隊(duì)的參與。2024年3月28日發(fā)布的白宮備忘錄[5]要求所有機(jī)構(gòu)必須在60天內(nèi)指定一名首席人工智能官(CAIO)。這一角色使得所有相關(guān)團(tuán)隊(duì)能夠進(jìn)行戰(zhàn)略性和有目的地管理和調(diào)整，從而將“共同責(zé)任”轉(zhuǎn)化為可追溯的衡量標(biāo)準(zhǔn)。1.2人工智能概覽本章概述了人工智能的發(fā)展歷史、人工智能技術(shù)和訓(xùn)練方法。盡管此概述不會(huì)深入討論數(shù)據(jù)的重要性，但我們必須承認(rèn)這是一個(gè)極其重要的主題，CSA的其他工作組也對(duì)此進(jìn)行了深入探討。下面列出了人工智能的一些里程碑事件，不局限于某一特定角度，而是概述了該領(lǐng)域的主要發(fā)展。11第一個(gè)自然語言處理 ELIZA能夠處理任何主題的對(duì)話，其概念與今天的聊天機(jī)器人Google開發(fā)了第一輛iRobot推出了能夠應(yīng)對(duì)城市環(huán)境的Roomba,一款能夠自動(dòng)駕駛汽車避開障礙物的自主式吸塵器個(gè)人助理如Siri、Google-Now和Cortana使用語音識(shí)別技術(shù)來回答問題和執(zhí)行筒單任務(wù)計(jì)算機(jī)程序“深藍(lán)”在1997年成功擊敗了世界國(guó)際象棋冠軍加與計(jì)算機(jī)之間的相似性奠定了神經(jīng)網(wǎng)絡(luò)的姆創(chuàng)建了專家系統(tǒng)，這些系統(tǒng)能夠模擬人類專家的決策斯設(shè)計(jì)出了第 一臺(tái)可編程IBM開發(fā)的Watson在美國(guó)游戲節(jié)目《敗了人類冠軍AlphaGo以4-1的比分擊敗了職業(yè)圍棋選手李世石“人工智能”一詞是在一次專門討論該主題的會(huì)議上被提出第一臺(tái)機(jī)械計(jì)算器由法國(guó)數(shù)學(xué)家兼發(fā)明家布菜士"圖靈測(cè)試"一種測(cè)試機(jī)器智能的方法生成對(duì)抗網(wǎng)絡(luò)GAN的人工智能課程基礎(chǔ)圖1:人工智能的歷史[6]2018:谷歌推出了BERT模型，該模型在語言理解領(lǐng)域引發(fā)了革命性的變革。BERT使用Transformer架構(gòu)，并在海量文本數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，使其在各種語言任務(wù)中的表現(xiàn)優(yōu)于之前的模型。2019:出現(xiàn)了具有15億個(gè)參數(shù)的GPT2020:出現(xiàn)了擁有1750億到5300億個(gè)參數(shù)的大型語言模型(LLMs)。2021:出現(xiàn)了參數(shù)量高達(dá)一萬億參數(shù)的LLMs,專注于提高訓(xùn)練效率，并在處理復(fù)雜任務(wù)時(shí)提供高級(jí)推理和事實(shí)準(zhǔn)確性。2022:ChatGPT-3病毒式走紅，成為公眾關(guān)注的焦點(diǎn)。超越規(guī)模：研究人員目前正在努力提高AI的訓(xùn)練效率、使Al與人類價(jià)值觀保持一致、確保安全性以及實(shí)現(xiàn)多模態(tài)(融合圖像、音頻和其他數(shù)據(jù)類型)。這段簡(jiǎn)短的人工智能歷史展示了從最基本的計(jì)算器到生成式人工智能(GenAI)的演變過程，而通用人工智能(AGI)仍待我們?nèi)ヌ剿鳌?.2.2人工智能技術(shù)本文介紹并討論了不同的人工智能技術(shù)?！駲C(jī)器學(xué)習(xí)(ML)機(jī)器學(xué)習(xí)是人工智能和計(jì)算機(jī)科學(xué)的一個(gè)分支，主要是利用數(shù)據(jù)和算法來模仿人類學(xué)習(xí)，逐步提高模型的準(zhǔn)確性[7]。微型機(jī)器學(xué)習(xí)被廣泛定義為機(jī)器學(xué)習(xí)技術(shù)和應(yīng)用的一個(gè)領(lǐng)域，包括硬件(專用集成電路)、算法和軟件，能夠以極低功耗(通常在毫瓦及以下)執(zhí)行設(shè)備上傳感器數(shù)據(jù)分析，從而實(shí)現(xiàn)各種始終在線的用例并以電池供電設(shè)備為目標(biāo)[8],例如物聯(lián)網(wǎng)(loT)設(shè)備。●深度學(xué)習(xí)(高級(jí)ML)深度學(xué)習(xí)是一種人工智能技術(shù)，讓計(jì)算機(jī)能夠模擬人類的思維能力來處理數(shù)據(jù)。深度學(xué)習(xí)模型可以識(shí)別圖片、文本、聲音和其他數(shù)據(jù)中的復(fù)雜模式，利用神經(jīng)網(wǎng)絡(luò)得出準(zhǔn)確的見解和預(yù)測(cè)。生成式人工智能指的是深度學(xué)習(xí)或轉(zhuǎn)換器(Transformer)模型，這些模型可以接收原始數(shù)據(jù)并“學(xué)習(xí)”,在收到提示時(shí)生成統(tǒng)計(jì)上可能的輸出結(jié)果。與上述主要用于分類和模式識(shí)別任務(wù)的分類模型不同，生成式人工智能模型用于數(shù)據(jù)合成、匹配學(xué)習(xí)數(shù)據(jù)的高階模式和/或預(yù)測(cè)分析。在高層次上，生成模型對(duì)其訓(xùn)練數(shù)據(jù)的簡(jiǎn)化表示進(jìn)行編碼，并預(yù)測(cè)與原始數(shù)據(jù)相似但不完全相同的下一組數(shù)據(jù)●通用人工智能(AGI)通用人工智能是人工智能的一種理論形式，代表了一種特定的人工智能發(fā)展理念。其特色是具有與人類相同(或更高)的智能，具有自我意識(shí)，能夠?qū)W習(xí)、解決復(fù)雜問題并規(guī)劃未來[10]。131.2.3訓(xùn)練方法概述人工智能可分為以下幾種類型[11]:機(jī)器學(xué)習(xí)的類型機(jī)器學(xué)習(xí)的類型半監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)自監(jiān)督學(xué)習(xí)多樣性驅(qū)動(dòng)●監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)是一種依賴“標(biāo)記數(shù)據(jù)”來訓(xùn)練算法的機(jī)器學(xué)習(xí)方式。它適用于分類和回歸問題?！皹?biāo)記數(shù)據(jù)”提供已知輸入和期望輸出，使算法能夠識(shí)別數(shù)據(jù)模式并建立一種模型，用于預(yù)測(cè)之前未見過的數(shù)據(jù)的結(jié)果。分類算法示例：決策樹、隨機(jī)森林、線性分類器和支持向量機(jī)?；貧w算法示例：線性回歸、多元回歸、回歸樹和套索回歸?！駸o監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)是一種通過分析無標(biāo)簽數(shù)據(jù)來訓(xùn)練算法的機(jī)器學(xué)習(xí)方式。其目標(biāo)是在沒有預(yù)設(shè)結(jié)果的情況下，發(fā)現(xiàn)數(shù)據(jù)中隱藏的模式、分組、模式或見解。經(jīng)過適當(dāng)訓(xùn)練的模型能夠?qū)ξ匆娺^的數(shù)據(jù)進(jìn)行預(yù)測(cè)?！駨?qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)是一種機(jī)器學(xué)習(xí)方式，其中代理與環(huán)境之間進(jìn)行交互，通過試錯(cuò)的方式來進(jìn)行學(xué)習(xí)。代理根據(jù)自己的行為接受獎(jiǎng)勵(lì)或懲罰，從而調(diào)整自己的行為，并隨著時(shí)間的推移優(yōu)化決策過程。示例算法：強(qiáng)化學(xué)習(xí)、馬爾可夫決策過程、Q-learning、策略梯度方法和Actor-Critic,但還存在許多其他算法?！癜氡O(jiān)督學(xué)習(xí)半監(jiān)督學(xué)習(xí)填補(bǔ)了監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)之間的空白。它利用少量的標(biāo)記數(shù)據(jù)和大量的非標(biāo)記數(shù)據(jù)。當(dāng)獲取標(biāo)注數(shù)據(jù)的成本較高或耗時(shí)較長(zhǎng)時(shí)，這種方法就顯得尤為重要，因?yàn)樗茏屇Ｐ统浞掷梦礃?biāo)注數(shù)據(jù)中隱藏的模式?！褡员O(jiān)督學(xué)習(xí)自監(jiān)督學(xué)習(xí)是無監(jiān)督學(xué)習(xí)的一種形式，模型會(huì)根據(jù)原始輸入數(shù)據(jù)生成自己的標(biāo)簽。它通過預(yù)測(cè)句子中的屏蔽詞或預(yù)測(cè)視頻序列中的下一幀等技術(shù)來實(shí)現(xiàn)這一點(diǎn)。這使得即使沒有人類標(biāo)注的標(biāo)簽，模型也能學(xué)習(xí)到數(shù)據(jù)的魯棒且可泛化的特征表示。●聯(lián)邦學(xué)習(xí)聯(lián)邦學(xué)習(xí)是一種先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)，旨在通過分散的設(shè)備或服務(wù)器來訓(xùn)練算法，無需交換這些數(shù)據(jù)樣本本身。這種方法能將敏感數(shù)據(jù)保存在用戶的設(shè)備上，而不是將數(shù)據(jù)傳輸?shù)街醒敕?wù)器進(jìn)行處理，從而解決了與隱私、安全和數(shù)據(jù)集中化相關(guān)的重大問題(圖3)。這種方法于2016年推出，通過只共享參數(shù)而不是數(shù)據(jù)，可以在更大程度上保護(hù)數(shù)據(jù)隱私。聯(lián)邦學(xué)習(xí)提供了一個(gè)框架，允許使用存儲(chǔ)在不同客戶端的數(shù)據(jù)集來聯(lián)合訓(xùn)練一個(gè)全局模型。這對(duì)于隱私至關(guān)重要的行業(yè)來說是一個(gè)很好的選擇，因?yàn)樵紨?shù)據(jù)被認(rèn)為是不可能被恢復(fù)的[12]。15圖3:聯(lián)邦學(xué)習(xí)系統(tǒng)架構(gòu)[12]聯(lián)邦學(xué)習(xí)的另一個(gè)優(yōu)勢(shì)(在之前提到的論文[12]中并未詳細(xì)討論)是它能夠利用“群眾的智慧”[13]。這個(gè)概念類似于人類大腦中神經(jīng)元的工作方式，通過非確定性的神經(jīng)過程來產(chǎn)生準(zhǔn)確的信息。目前，聯(lián)邦學(xué)習(xí)展現(xiàn)出了在多樣性基礎(chǔ)上融合隱私、性能和魯棒性的巨大潛力。雖然這種學(xué)習(xí)方法討論得不多，但在數(shù)據(jù)隱私和保密性至關(guān)重要的行業(yè)或應(yīng)用中，它顯示出了極大的前景，還有助于解決數(shù)據(jù)駐留的問題。不過，聯(lián)邦學(xué)習(xí)也存在潛在的隱私問題，包括惡意用戶破壞模型聚合的風(fēng)險(xiǎn)，這可能會(huì)影響模型的準(zhǔn)確性或?qū)е码[私泄露。攻擊可能針對(duì)訓(xùn)練期間共享的模型更新，從而可能提取原始訓(xùn)練數(shù)據(jù)。為了解決這些問題，研究人員提出了隱私保護(hù)技術(shù)，如差分隱私、分布式加密和零知識(shí)證明，以保護(hù)數(shù)據(jù)并過濾惡意行為者的異常數(shù)據(jù)。與其他任何學(xué)習(xí)方法一樣，聯(lián)邦學(xué)習(xí)也需要采取適當(dāng)?shù)木W(wǎng)絡(luò)安全措施。1.2.4訓(xùn)練方法的監(jiān)管和倫理考量雖然目前并沒有專門針對(duì)機(jī)器學(xué)習(xí)算法訓(xùn)練的具體法規(guī)，但它受到主要監(jiān)管框架的影響，包括《通用數(shù)據(jù)保護(hù)條例》(GDPR)、《歐盟人工智能法案》和經(jīng)濟(jì)合作與發(fā)展組織(OECD)的人工智能原則。此外，隨著技術(shù)的進(jìn)步，針對(duì)機(jī)器學(xué)習(xí)(ML)和人工智能(AI)訓(xùn)練的監(jiān)管法規(guī)正在迅速發(fā)展，并在《從原則到實(shí)踐：動(dòng)態(tài)監(jiān)管環(huán)境中的負(fù)責(zé)仟人工智能》一書中對(duì)此進(jìn)行了全面探討。此外，許多政府機(jī)構(gòu)正在積極制定相關(guān)法規(guī)，并促進(jìn)行業(yè)內(nèi)合作以達(dá)到同樣的效果。有關(guān)機(jī)器學(xué)習(xí)(ML)和人工智能(Al)的法規(guī)對(duì)數(shù)據(jù)貨幣化和使用人工智能指導(dǎo)商業(yè)決策具有重大影響。這些影響表現(xiàn)在多個(gè)方面，包括運(yùn)營(yíng)變化、戰(zhàn)略調(diào)整和倫理考量，以及對(duì)數(shù)據(jù)收集和使用的限制/要求、數(shù)據(jù)偏見和數(shù)據(jù)質(zhì)量。例如，某些平臺(tái)禁止將其數(shù)據(jù)用于人工智能訓(xùn)練(如某企業(yè)聲明：“未經(jīng)我們事先書面同意，明確禁止出于任何目的以任何形式抓取或爬取服務(wù)”[14]),而有些平臺(tái)則選擇通過許可協(xié)議出售其數(shù)據(jù)(如Reddit平臺(tái)[15])。滿足監(jiān)管要求可能會(huì)帶來巨大的合規(guī)成本，特別是對(duì)于在多個(gè)司法管轄區(qū)運(yùn)營(yíng)的企業(yè)而言。盡管存在挑戰(zhàn)，但監(jiān)管也為企業(yè)帶來了機(jī)遇。善于駕馭監(jiān)管環(huán)境的企業(yè)可以通過提供更安全、更透明、更合乎道德的人工智能解決方案，使自己脫穎而出。這可以吸引越來越注重隱私的消費(fèi)者和合作伙伴，從而有可能打開新的市場(chǎng)或創(chuàng)造更強(qiáng)的客戶忠誠(chéng)度。1.3人工智能技術(shù)的許可、專利和版權(quán)許多機(jī)器學(xué)習(xí)框架和庫都遵循開源計(jì)劃許可協(xié)議，如Apache2.0[16]或MIT[17]。某些許可協(xié)議可能會(huì)禁止基于其構(gòu)建的應(yīng)用程序用于商業(yè)用途。歐洲專利局(EPO)公布了其修訂后的《審查指南》[18],[19],其中包括對(duì)EPO在ML和AI領(lǐng)域創(chuàng)新審查程序方面進(jìn)行了一些重大修改。最近的修正案規(guī)定，AI或ML發(fā)明的申請(qǐng)人必須更詳盡地闡明數(shù)學(xué)技術(shù)和訓(xùn)練輸入/數(shù)據(jù)，以確保能以足夠詳盡的方式在整個(gè)權(quán)利要求范圍內(nèi)復(fù)制發(fā)明的技術(shù)結(jié)果。下文引用的文章指出，“判例法表明，所使用的任何神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、拓?fù)浣Y(jié)構(gòu)、激活函數(shù)、結(jié)束條件和學(xué)習(xí)機(jī)制都是申請(qǐng)時(shí)可能需要公開的相關(guān)技術(shù)細(xì)節(jié)”。這篇文章[20]總結(jié)了這些變更的深遠(yuǎn)影響，并就此主題進(jìn)行了深入闡述。2024年1月23日，日本文化廳(ACA)發(fā)布了“人工智能與版權(quán)方針”草案，并征求公眾意見。這一舉措旨在明確日本如何考量版權(quán)材料的攝取和輸出問題。2024年2月29日，在考慮了近25000條意見后，該草案又進(jìn)行了額外的修改。這份由ACA委員會(huì)制定的文件很可能在未來幾周內(nèi)獲得ACA的通過。文章[21]提供了該草案的核心內(nèi)容和最新進(jìn)展。在新加坡，有關(guān)版權(quán)方面存在的爭(zhēng)議在文章[22]中闡述；目前這是一個(gè)非常不穩(wěn)定的領(lǐng)域。該問題在《從原則到實(shí)踐：動(dòng)態(tài)監(jiān)管環(huán)境中負(fù)責(zé)任的人工智能》一書中也有進(jìn)一步論述。第二部分：真實(shí)案例研究和行業(yè)挑戰(zhàn)在這一部分中，我們以幾個(gè)行業(yè)為例，重點(diǎn)概述了人工智能時(shí)代的概況和當(dāng)前面臨的挑戰(zhàn)。有關(guān)法律和監(jiān)管事項(xiàng)的更多信息，請(qǐng)參考《從原則到實(shí)踐：動(dòng)態(tài)監(jiān)管環(huán)境中負(fù)責(zé)任的人工智能》一書。2.1人工智能案例簡(jiǎn)史研究人工智能案例研究的這段簡(jiǎn)短歷史可以追溯到20世紀(jì)90年代末，至少對(duì)金融業(yè)來說是如此，因?yàn)榻鹑跇I(yè)是最早采用人工智能技術(shù)先驅(qū)的行業(yè)之一。在本節(jié)中，我們將通過一些實(shí)例展示從2016年到本文發(fā)表期間，人工智能在實(shí)際應(yīng)用中遇到的主要挑戰(zhàn)。這些實(shí)例表明了GenAl中的偏見問題一直是最大的擔(dān)憂。●2016年：微軟的Tay微軟的人工智能聊天機(jī)器人Tay,最初用于在Twitter上進(jìn)行有趣的對(duì)話，但在發(fā)布后的短短24小時(shí)內(nèi)迅速變成了一個(gè)發(fā)布種族主義和攻擊性言論的平臺(tái)。用戶向Tay灌輸了性別歧視和煽動(dòng)性的評(píng)論，導(dǎo)致該機(jī)器人也開始回應(yīng)這些情緒。雖然有些推文是用戶誘導(dǎo)的，但也有一些是Tay自發(fā)產(chǎn)生的，這展示了它不穩(wěn)定的行為模式。微軟對(duì)此的回應(yīng)是刪除攻擊性內(nèi)容，并認(rèn)識(shí)到有必要調(diào)整Tay的回應(yīng)。這一事件凸顯了人工智能從公共數(shù)據(jù)中學(xué)習(xí)并反映社會(huì)偏見的挑戰(zhàn)。盡管Tay重新發(fā)布后還是因?yàn)椴划?dāng)推文而關(guān)閉，但它在AI開發(fā)方面為微軟留下了寶貴的經(jīng)驗(yàn)教訓(xùn)。這一事件揭示了人工智能應(yīng)用的復(fù)雜性，并強(qiáng)調(diào)了在人工智能設(shè)計(jì)中進(jìn)行迭代改進(jìn)和采取積極措施的必要性[23],[24],[25]?！?018年：亞馬遜的AI招聘工具對(duì)女性有偏見亞馬遜開發(fā)了一個(gè)人工智能招聘引擎，但由于訓(xùn)練數(shù)據(jù)中潛在的性別偏見，該引擎在篩選時(shí)傾向于男性候選人，從而引發(fā)了問題。2017年，由于公平性擔(dān)憂，亞馬遜解散了該項(xiàng)目[26],[27],[28]。盡管遇到了挫折，其他公司仍在招聘過程中審慎地推進(jìn)了人工智能，而且已經(jīng)成為主流?！?019年：特斯拉自動(dòng)駕駛汽車事故2019年3月，JeremyBanner在駕駛特斯拉Model3時(shí)啟動(dòng)了自動(dòng)輔助駕駛功能(Autopilot),隨后車輛與一輛半掛卡車相撞，導(dǎo)致Banner死亡。這一事件引發(fā)了法律糾紛，公眾質(zhì)疑特斯拉在涉及其自動(dòng)駕駛技術(shù)的車禍中應(yīng)承擔(dān)的責(zé)任。批評(píng)者認(rèn)為，特斯拉對(duì)自動(dòng)駕駛技術(shù)的營(yíng)銷誤導(dǎo)了駕駛員對(duì)其能力的認(rèn)知，18可能間接導(dǎo)致了事故的發(fā)生和人員的死亡。盡管有人已就Autopilot的局限性發(fā)出警告，但包括致命事故在內(nèi)的多起撞車事件仍然不斷發(fā)生。此外，高級(jí)駕駛輔助系統(tǒng)缺乏明確的監(jiān)管準(zhǔn)則，以及其使用過程中產(chǎn)生的道德困境使情況更加復(fù)雜，這引發(fā)了公眾對(duì)自動(dòng)駕駛技術(shù)責(zé)任歸屬、保險(xiǎn)理賠和公共安全問題的深刻討論[29]?！?019年：醫(yī)療算法中的種族偏差ZiadObermeyer等人的研究論文[23]指出，一種廣泛使用的醫(yī)療算法存在嚴(yán)重的種族偏見，影響了數(shù)百萬患者。該算法旨在管理醫(yī)療需求，盡管排除了種族這一變量，但與白人患者相比，該算法對(duì)黑人患者健康風(fēng)險(xiǎn)的預(yù)測(cè)并不準(zhǔn)確。這種偏差源于該算法將醫(yī)療成本作為健康需求的代理變量，無意中反映了醫(yī)療服務(wù)獲取和利用方面的系統(tǒng)性不平等。如果能糾正這一偏差，將顯著增加需要額外醫(yī)療支持的黑人患者的數(shù)量[30]?！?019年：蘋果信用卡涉嫌性別歧視“在一位知名軟件開發(fā)商揭露了蘋果信用卡為男性和女性客戶提供不同信用額度的現(xiàn)象后，這一事件迅速在推特上發(fā)酵，最終引發(fā)了對(duì)蘋果(與高盛合作發(fā)布的)信用卡業(yè)務(wù)的監(jiān)管調(diào)查[31]”?！疤O果信用卡性別歧視”相關(guān)報(bào)道可參考：[32],[33],[34],[35]。但在2021年，束的一項(xiàng)調(diào)查[36]發(fā)現(xiàn)，蘋果的銀行合作伙伴不存在基于性別的歧視[37]"。●2020年：有偏見的罪犯評(píng)估系統(tǒng)在刑事司法系統(tǒng)中，諸如COMPAS(美國(guó)矯正罪犯管理替代制裁評(píng)估系統(tǒng))和OASys(英國(guó)罪犯評(píng)估系統(tǒng))等工具被用于對(duì)罪犯進(jìn)行風(fēng)險(xiǎn)評(píng)估和管理。這些系統(tǒng)協(xié)助當(dāng)局對(duì)罪犯的量刑、假釋和治療項(xiàng)目做出知情決策。然而，它們的算法因透明度、公平性和偏見問題而受到嚴(yán)厲的批評(píng)[38]。●2022年：加拿大航空公司受聊天機(jī)器人退款政策約束加拿大航空公司(AirCanada)面臨嚴(yán)格審查，因?yàn)槠淞奶鞕C(jī)器人提供了有關(guān)該航空公司的喪親旅行政策的誤導(dǎo)性信息，導(dǎo)致與一名要求退款的乘客發(fā)生糾紛。盡管加航辯稱聊天機(jī)器人是獨(dú)立運(yùn)行的，但法庭還是作出了有利于乘客的裁決，強(qiáng)調(diào)航空公司對(duì)其網(wǎng)站上提供的信息負(fù)有責(zé)任。法庭命令加航支付部分退款并承擔(dān)額外費(fèi)用。這一事件凸顯了人工智能的責(zé)任問題和客戶服務(wù)自動(dòng)化的復(fù)雜●2023年：訴訟：聯(lián)合健康保險(xiǎn)因AI缺陷拒絕為老年人提供護(hù)理在一場(chǎng)針對(duì)聯(lián)合健康保險(xiǎn)(UnitedHealth)的法律訴訟中，多個(gè)家庭指控該公司使用的人工智能系統(tǒng)存在缺陷，導(dǎo)致了老年患者的必要護(hù)理申請(qǐng)被拒絕，甚至無視了醫(yī)生的推薦意見。這起訴訟凸顯了在醫(yī)療決策中完全依賴自動(dòng)化系統(tǒng)所面臨的挑戰(zhàn)，引發(fā)了人們對(duì)患者福祉和醫(yī)療服務(wù)公平性的擔(dān)憂。隨著人工智能技術(shù)在醫(yī)療領(lǐng)域的日益普及，該案件強(qiáng)調(diào)了醫(yī)療人工智能的透明度、問責(zé)制和人為監(jiān)督的必要性，以確保所有患者得到公平的治療[41],[42]。●2024年：谷歌的Gemini:人工智能偏見的教訓(xùn)谷歌推出的Gemini1.5聊天機(jī)器人[43]受到了廣泛批評(píng)，原因是盡管它試圖避免偏見，但仍生成了不準(zhǔn)確且具有偏見的圖像，特別是在歷史背景中忽略了白人個(gè)體。埃隆-馬斯克和保守派人士指責(zé)谷歌的算法有偏見。作為回應(yīng)，Google暫停了Gemini的進(jìn)一步推廣，但其回應(yīng)缺乏透明度。這一事件凸顯了人工智能在道德和透明度方面的挑戰(zhàn)，引發(fā)了關(guān)于多樣性倡議和算法問責(zé)制的廣泛討論。隨著谷歌努力恢復(fù)公眾信任，Gemini事件強(qiáng)調(diào)了負(fù)責(zé)任AI創(chuàng)新的重要性[44]。2.2行業(yè)：法規(guī)與挑戰(zhàn)本節(jié)深入探討與人工智能有關(guān)的特定行業(yè)的監(jiān)管和合規(guī)工作。各行業(yè)按英文字母順序排列并分別論述。在每個(gè)行業(yè)部分，我們將介紹其背景、環(huán)境和歷史。在接下來的第三部分中，我們將提出跨行業(yè)應(yīng)對(duì)AI挑戰(zhàn)的新穎方法建議。2.2.1汽車汽車行業(yè)1尋求在自動(dòng)駕駛和無人駕駛功能(SAE4級(jí)和5級(jí)[45])中應(yīng)用人工智能，同時(shí)特別強(qiáng)調(diào)此類功能以及其他車載系統(tǒng)和組件的安全性。目前，已有多個(gè)ISO標(biāo)準(zhǔn)提及或部分規(guī)范了人工智能，其它還有更多標(biāo)準(zhǔn)正在起草或?qū)彶橹?。許多監(jiān)管機(jī)構(gòu)目前正在制定針對(duì)汽車行業(yè)的標(biāo)準(zhǔn)和方法，但尚未強(qiáng)制執(zhí)行。雖然當(dāng)前的法規(guī)已經(jīng)間接影響了人工智能，但一些監(jiān)管機(jī)構(gòu)直接在其規(guī)范中提到了此類技術(shù)，其中包括歐洲議會(huì)和歐盟理事會(huì)于2019年11月27日頒布的 (歐盟)2019/2144法規(guī)，該法規(guī)針對(duì)機(jī)動(dòng)車輛及其掛車，以及為這些車輛設(shè)計(jì)的系統(tǒng)、部件和獨(dú)立技術(shù)單元的型式認(rèn)證要求，特別關(guān)注了車輛的整體安全性以及對(duì)車輛乘員和脆弱道路使用者的保護(hù)[46]。其中，第11條(關(guān)于自動(dòng)駕駛車輛和全自動(dòng)駕駛車輛的特定要求)明確規(guī)定了與AI相關(guān)的安全系統(tǒng)要求，特別是當(dāng)AI技術(shù)被用于驅(qū)動(dòng)自動(dòng)駕駛和全自動(dòng)駕駛車輛時(shí)。需要注意的是，該條款并未專門針對(duì)AI制定，但明確提及了“自動(dòng)駕駛車輛和全自動(dòng)駕駛車輛”。雖然這項(xiàng)歐盟法律并未直接制定人工智能及其功能本身的具體標(biāo)準(zhǔn)，但I(xiàn)SO正在制定的PAS8800標(biāo)準(zhǔn)——《道路車輛--安全與人工智能》[47]卻側(cè)重于人工智能安全，致力于制定一套關(guān)于“安全原則、方法及驗(yàn)證依據(jù)”的框架。該標(biāo)準(zhǔn)的適用范圍廣泛，不局限于自動(dòng)駕駛或無人駕駛車輛，而是涵蓋了所有道路車輛。其目的是解決有關(guān)人工智能監(jiān)管和標(biāo)準(zhǔn)化的基礎(chǔ)性問題，并為行業(yè)提供具體的、實(shí)用的指導(dǎo)方針[48],從而協(xié)調(diào)現(xiàn)有法規(guī)和既定原則，如預(yù)期功能的安全性。另一個(gè)關(guān)于人工智能(功能)安全的行業(yè)標(biāo)準(zhǔn)是ISO/TR5469:2024《人工智能——功能安全和人工智能系統(tǒng)》[49]。該文件于2024年發(fā)布，描述了與AI相關(guān)的風(fēng)險(xiǎn)因素，以及當(dāng)前在多種汽車應(yīng)用中可用的、與AI技術(shù)相關(guān)聯(lián)的方法和流程。這些應(yīng)用包括利用AI和非AI系統(tǒng)來管理Al安全系統(tǒng)的與安全性相關(guān)的功能。該標(biāo)準(zhǔn)已經(jīng)發(fā)布，旨在為未來ISO/IECAWITS22440標(biāo)準(zhǔn)[50],[51]的制定提供支持。此外，ISO/TR4804:2020《道路車輛——自動(dòng)駕駛系統(tǒng)的安全與網(wǎng)絡(luò)安全設(shè)計(jì)、驗(yàn)證與確認(rèn)》[52]也進(jìn)一步強(qiáng)調(diào)了安全性，特別是網(wǎng)絡(luò)安全方面。該標(biāo)準(zhǔn)重點(diǎn)關(guān)注自動(dòng)駕駛系統(tǒng)(SAE3級(jí)和4級(jí))的開發(fā)與驗(yàn)證，并提供了全球適用由于作者的工作領(lǐng)域和工作地點(diǎn)，本章將重點(diǎn)關(guān)注歐盟的汽車行業(yè)。21的安全、驗(yàn)證與確認(rèn)方法。值得注意的是，ISO/TR4804:2020將在未來被ISO/CDTS5083所取代。新的ISO文檔涵蓋了“開發(fā)并驗(yàn)證配備有安全自動(dòng)駕駛系統(tǒng)的自動(dòng)駕駛車輛的步驟”,這些步驟同樣遵循SAE3級(jí)和4級(jí)的要求。此外，該文檔還將深入探討這類自動(dòng)駕駛系統(tǒng)所需達(dá)到的安全級(jí)別，其目標(biāo)是在與人工駕駛相比的情況下，顯著降低因自動(dòng)駕駛而引發(fā)的總體風(fēng)險(xiǎn)。2.2.2航空全球航空界與其他行業(yè)一樣，在計(jì)算機(jī)系統(tǒng)的使用方面遵循許多相同的實(shí)用標(biāo)準(zhǔn)。這也適用于人工智能和運(yùn)行人工智能的平臺(tái)。為此，航空領(lǐng)域也將采用公認(rèn)的信息技術(shù)安全標(biāo)準(zhǔn)，包括ISO/IEC27001[53]、ISO/IEC42001[54]、ISO/TR5469[49]、NISTAlRMF[55],以及與航空公司或制造商管轄范圍相關(guān)的AI道德標(biāo)準(zhǔn)。然而，目前尚未實(shí)施針對(duì)AI的具體法規(guī)。全球航空業(yè)的管理機(jī)構(gòu)，如美國(guó)聯(lián)邦航空局(FAA)、歐盟歐洲航空安全局 (EASA)、英國(guó)民航局(CASA)和澳大利亞民航局(AUCASA),都意識(shí)到了人工智能給其行業(yè)帶來的好處和挑戰(zhàn)。不過，目前他們還沒有對(duì)人工智能的使用進(jìn)行監(jiān)管。上述機(jī)構(gòu)已經(jīng)成立了人工智能特別工作組，以調(diào)查人工智能在飛機(jī)上、地面操作和行業(yè)監(jiān)管中的使用情況。英國(guó)CASA目前正處于向行業(yè)公開征求意見的階段[56],而美國(guó)FAA則組建了一個(gè)由Pham博士領(lǐng)導(dǎo)的技術(shù)專家團(tuán)隊(duì)[57],該團(tuán)隊(duì)將專注于Al在航空領(lǐng)域的研究與應(yīng)用。人工智能被廣泛應(yīng)用于軍事航空的多個(gè)方面，包括情報(bào)數(shù)據(jù)分析、自動(dòng)駕駛車輛、機(jī)場(chǎng)和空軍基地的預(yù)測(cè)性維護(hù)和實(shí)體安全。此外，AI還用于管理IT安全和運(yùn)營(yíng)系統(tǒng)[58]?？傮w而言，民航業(yè)非常希望利用人工智能來協(xié)助天氣規(guī)劃和航線安排、維護(hù)、客運(yùn)和貨運(yùn)管理等工作。大多數(shù)提出的AI使用方案都圍繞著預(yù)測(cè)性維護(hù)、航線和維護(hù)規(guī)劃以及乘客與貨物管理方面的機(jī)器學(xué)習(xí)。生成式人工智能的使用僅限于航空公司客戶聊天機(jī)器人和決策支持系統(tǒng)。不過，目前正在進(jìn)行的重要研究是探索Al在飛行全過程中的空中交通控制應(yīng)用。歐盟于2022年10月發(fā)布了關(guān)于Al在空中交通管理中應(yīng)用的CORDIS成果包，涵蓋了歐洲人工智能控制空中交通的22航空業(yè)面臨的一個(gè)特殊挑戰(zhàn)是，商用客機(jī)的壽命通常以幾十年為單位，而人工智能技術(shù)卻日新月異，不斷取得突破性進(jìn)展，這迫使相關(guān)法規(guī)必須緊跟步伐，持續(xù)進(jìn)行更新。2.2.3關(guān)鍵基礎(chǔ)設(shè)施和基本服務(wù)將人工智能融入關(guān)鍵基礎(chǔ)設(shè)施是一項(xiàng)重大轉(zhuǎn)變，其旨在建立更高效、反應(yīng)更迅速、系統(tǒng)更智能的關(guān)鍵基礎(chǔ)設(shè)施。其中，包括但不限于電力、天然氣、水和食品供應(yīng)鏈等行業(yè)，在現(xiàn)代社會(huì)的正常運(yùn)轉(zhuǎn)中均起到了至關(guān)重要的作用。在迎接數(shù)字化轉(zhuǎn)型的同時(shí)，在性能提升和安全魯棒性之間取得平衡變得越來越富有挑戰(zhàn)性。在本節(jié)中，我們將探討人工智能與關(guān)鍵基礎(chǔ)設(shè)施的融合所帶來的挑戰(zhàn)和機(jī)遇，重點(diǎn)關(guān)注監(jiān)管框架、安全標(biāo)準(zhǔn)以及適應(yīng)技術(shù)不斷進(jìn)步的需求的重要性。微妙的平衡：性能與安全高性能人工智能系統(tǒng)在關(guān)鍵基礎(chǔ)設(shè)施中可起到的作用毋庸置疑。相關(guān)的技術(shù)應(yīng)用可以提高運(yùn)作效率、優(yōu)化運(yùn)營(yíng)流程，并能在故障發(fā)生前進(jìn)行預(yù)測(cè)和處理。然而，在大多數(shù)情況下，僅通過物聯(lián)網(wǎng)(loT)設(shè)備、集成tinyML[8]和邊緣計(jì)算來集成人工智能系統(tǒng)，會(huì)帶來新的安全漏洞。分散化的數(shù)據(jù)處理雖然有利于提高系統(tǒng)響應(yīng)速度，但卻擴(kuò)大了潛在網(wǎng)絡(luò)威脅的攻擊面。國(guó)際標(biāo)準(zhǔn)化組織(ISO)和國(guó)際電工委員會(huì)(IEC)等監(jiān)管機(jī)構(gòu)和標(biāo)準(zhǔn)化組織已經(jīng)制定了ISO/IEC27001、ISO/IEC27002等通用框架，以及以工業(yè)自動(dòng)化和控制系統(tǒng)為重點(diǎn)的ISA/IEC62443[60]系61850-90-4:2020[62],并通過具體的措施來保護(hù)這些技術(shù)。然而，針對(duì)于關(guān)鍵基礎(chǔ)設(shè)施中的物聯(lián)網(wǎng)和邊緣人工智能的法規(guī)具體內(nèi)容仍然模糊不清。將物聯(lián)網(wǎng)設(shè)備整合到關(guān)鍵基礎(chǔ)設(shè)施領(lǐng)域中會(huì)產(chǎn)生很高的網(wǎng)絡(luò)攻擊風(fēng)險(xiǎn)。這些設(shè)備是人工智能感知神經(jīng)網(wǎng)絡(luò)中不可或缺的一部分，可能會(huì)被利用來提供虛假數(shù)據(jù)，從而操縱人工智能系統(tǒng)的決策，進(jìn)而導(dǎo)致基礎(chǔ)設(shè)施無法運(yùn)行。盡管歐盟人工智能法案、NIS2指令和美國(guó)人工智能行政命令等現(xiàn)行法規(guī)非常重視網(wǎng)絡(luò)安全和風(fēng)險(xiǎn)管理，但想要應(yīng)對(duì)邊緣人工智能和微型ML設(shè)備帶來的獨(dú)特挑戰(zhàn)，我們還需要去不斷探索。ENISA的行業(yè)研究報(bào)告《人工智能中的網(wǎng)絡(luò)安全和隱私——對(duì)電網(wǎng)需求的預(yù)測(cè)》[63]中就試圖揭示此類潛在的風(fēng)險(xiǎn)和威脅。打造面向未來的基礎(chǔ)設(shè)施確保關(guān)鍵基礎(chǔ)設(shè)施中人工智能的安全涉及到幾項(xiàng)重要戰(zhàn)略。首先，必須制定針對(duì)特定行業(yè)的人工智能法規(guī)，確?？梢詽M足所有關(guān)鍵基礎(chǔ)設(shè)施行業(yè)的個(gè)性化需求。其次，要對(duì)物聯(lián)網(wǎng)設(shè)備和邊緣人工智能采用標(biāo)準(zhǔn)化安全協(xié)議，加強(qiáng)系統(tǒng)抵御網(wǎng)絡(luò)威脅的能力。國(guó)際合作在人工智能治理方面將發(fā)揮關(guān)鍵性作用，可以確保在全球范圍內(nèi)采取一致、有效的方法來保護(hù)關(guān)鍵基礎(chǔ)設(shè)施的安全。2022年，由水源研究基金會(huì)(WRF)和水源環(huán)境保護(hù)協(xié)會(huì)(WEF)聯(lián)合發(fā)起的“領(lǐng)導(dǎo)人技術(shù)創(chuàng)新論壇"(LIFT)計(jì)劃的獲獎(jiǎng)?wù)呃眉舛说娜斯ぶ悄芎蛿?shù)據(jù)科學(xué)技術(shù)來保護(hù)(防范網(wǎng)絡(luò)安全威脅)、預(yù)測(cè)(系統(tǒng)狀態(tài))和優(yōu)化設(shè)施流程[64]。2024年3月1日，美國(guó)總統(tǒng)科技顧問委員會(huì)(PCAST)發(fā)布了一份報(bào)告，副標(biāo)題為“優(yōu)化數(shù)據(jù)時(shí)代下的關(guān)鍵基礎(chǔ)設(shè)施”[65],其中很大一部分專門論述了人工智能在關(guān)鍵基礎(chǔ)設(shè)施系統(tǒng)當(dāng)中的作用。報(bào)告強(qiáng)調(diào)了人工智能發(fā)展的雙重性，闡述了其在不斷進(jìn)步中具備的潛力和被濫用的風(fēng)險(xiǎn)。他們強(qiáng)調(diào)了人工智能對(duì)關(guān)鍵基礎(chǔ)設(shè)施的影響，并進(jìn)行了針對(duì)性分析，指出人工智能有增強(qiáng)惡意黑客能力的可能性，因此有必要針對(duì)此類威脅做好戰(zhàn)略準(zhǔn)備。此外，PCAST還提倡在防御機(jī)制中利用人工智能，并呼吁開展公私合作，打破傳統(tǒng)思維束縛和行業(yè)壁壘，進(jìn)行功能性開發(fā)以及國(guó)際協(xié)作，以有效應(yīng)對(duì)人工智能和網(wǎng)絡(luò)安全的挑戰(zhàn)。持續(xù)進(jìn)化：發(fā)展之路將人工智能融入關(guān)鍵基礎(chǔ)設(shè)施是一項(xiàng)風(fēng)險(xiǎn)與機(jī)遇并存的挑戰(zhàn)性舉措，必須一絲不茍地保持創(chuàng)新性與安全性之間的平衡。隨著人工智能技術(shù)的進(jìn)步，相應(yīng)的監(jiān)管措施和安全治理框架也要共同發(fā)展，這就要求我們?cè)诎踩O(jiān)管方面采取謹(jǐn)慎、普適的方法，確保我們的防御措施可以隨著新漏洞的出現(xiàn)而同步優(yōu)化。想要建立健全、有效、安全、可適配的人工智能集成系統(tǒng)，需要踐行以下幾個(gè)步驟：通過實(shí)施“零信任”原則，奉行“從不信任，始終驗(yàn)證”的信條，確保關(guān)鍵基礎(chǔ)設(shè)施系統(tǒng)不過分依賴外圍防御系統(tǒng)，規(guī)避嫻熟的黑客攻擊者可以繞過防御系統(tǒng)的風(fēng)險(xiǎn)；與傳統(tǒng)安全措施相比，使用人工智能驅(qū)動(dòng)的安全系統(tǒng)能更快地適應(yīng)不斷變化的威脅。但要確保在所有關(guān)鍵基礎(chǔ)設(shè)施行業(yè)之間做到共享威脅情報(bào)和最佳實(shí)踐做法，才能從更廣泛的知識(shí)和經(jīng)驗(yàn)庫中受益；要建立持久的培訓(xùn)機(jī)制，通過針對(duì)性的專業(yè)性培養(yǎng)才能讓安全專業(yè)人員掌握最新的知識(shí)和操作工具，從而去應(yīng)對(duì)日益變化的新威脅。前方的道路將人工智能融入關(guān)鍵基礎(chǔ)設(shè)施是一個(gè)充滿挑戰(zhàn)但又發(fā)展?jié)摿κ愕呐e措。但如何在提升性能的同時(shí)保障設(shè)施安全，是一項(xiàng)復(fù)雜但至關(guān)重要的任務(wù)。只有通過制定針對(duì)性的法規(guī)、采用標(biāo)準(zhǔn)化的安全措施以及開展國(guó)際合作，我們才能更好地駕馭這一項(xiàng)前沿技術(shù)。關(guān)鍵基礎(chǔ)設(shè)施的未來取決于我們是否有能力在利用人工智能優(yōu)勢(shì)的同時(shí)防范風(fēng)險(xiǎn)，確保為社會(huì)正常運(yùn)轉(zhuǎn)奠定靈活、高效和安全的基礎(chǔ)，并且在實(shí)際決策或操作中，必須要有人類參與，僅將人工智能的決策作為參考。目前，我們僅有一套并不完善的法規(guī)。雖然有關(guān)人工智能的法律法規(guī)正在全球范圍內(nèi)不斷完善，但目前還沒有具體的法律法規(guī)關(guān)注人工智能在關(guān)鍵基礎(chǔ)設(shè)施中的應(yīng)用。其重點(diǎn)在于一般性原則?，F(xiàn)有的法規(guī)和一些倡議則側(cè)重于強(qiáng)調(diào)網(wǎng)絡(luò)安全、安全性和可信性等更廣泛的原則。一些政府機(jī)構(gòu)正在積極制定負(fù)責(zé)任AI的有關(guān)開發(fā)和部署框架的新標(biāo)準(zhǔn)，其中一部分就側(cè)重于人工智能在關(guān)鍵基礎(chǔ)設(shè)施當(dāng)中的應(yīng)用?，F(xiàn)行舉措●美國(guó)第14110號(hào)行政命令(2023年10月)關(guān)于安全、可靠、可信賴地開發(fā)和使用人工智能的第14110號(hào)行政命令(2023年10月):關(guān)于在關(guān)鍵基礎(chǔ)設(shè)施和網(wǎng)絡(luò)安全中管理人工智能的第4.3條[66]。該計(jì)劃概述了如何評(píng)估和降低關(guān)鍵基礎(chǔ)設(shè)施中人工智能風(fēng)險(xiǎn)，優(yōu)先考慮制定安全準(zhǔn)則，成立人工智能安全和安保委員會(huì)，并對(duì)基礎(chǔ)設(shè)施所有者和運(yùn)營(yíng)商實(shí)施監(jiān)管。網(wǎng)絡(luò)安全和基礎(chǔ)設(shè)施安全局(CISA)負(fù)責(zé)評(píng)估和減輕人工智能對(duì)關(guān)鍵基礎(chǔ)設(shè)施的●歐盟人工智能法案25歐盟人工智能法案[68],[69]概述了人工智能系統(tǒng)的監(jiān)管框架，重點(diǎn)關(guān)注合規(guī)性、風(fēng)險(xiǎn)管理、數(shù)據(jù)治理、技術(shù)文檔、記錄保存、透明度、人工監(jiān)督、準(zhǔn)確性、穩(wěn)定性和網(wǎng)絡(luò)安全標(biāo)準(zhǔn)。它根據(jù)風(fēng)險(xiǎn)等級(jí)對(duì)人工智能系統(tǒng)進(jìn)行分類，對(duì)于關(guān)鍵基礎(chǔ)設(shè)施中的“高風(fēng)險(xiǎn)”應(yīng)用須接受更嚴(yán)格的監(jiān)管。2024年3月13日，歐盟議會(huì)批準(zhǔn)了《人工智能法案》[70]?！窠?jīng)合組織人工智能原則經(jīng)濟(jì)合作與發(fā)展組織(OECD)原則1.5[71]強(qiáng)調(diào)了各行為主體對(duì)人工智能系統(tǒng)的開發(fā)、部署和使用的責(zé)任(問責(zé)制),尤其是那些具有潛在社會(huì)影響力的人工智能系統(tǒng)。關(guān)鍵基礎(chǔ)設(shè)施無疑是一個(gè)具有重大社會(huì)影響的領(lǐng)域，要確保該領(lǐng)域人工智能的應(yīng)用符合問責(zé)制這一原則。這些原則對(duì)于推動(dòng)國(guó)際討論具有一定的影響力?！袢斯ぶ悄芎蛿?shù)據(jù)法案(AIDA)AIDA[72]旨在指導(dǎo)加拿大國(guó)內(nèi)人工智能的創(chuàng)新發(fā)展和問責(zé)制建設(shè)。它確保以安全的方式開發(fā)和使用人工智能系統(tǒng)，滿足監(jiān)管體系對(duì)于個(gè)人和社會(huì)經(jīng)濟(jì)領(lǐng)域所使用的人工智能系統(tǒng)進(jìn)行管理的需要。此外，它還強(qiáng)調(diào)要保護(hù)高影響力人工智能系統(tǒng)可能會(huì)受到的傷害，避免可能產(chǎn)生的偏差結(jié)果。AIDA概述了各利益相關(guān)方的角色、參與人工智能開發(fā)的企業(yè)的義務(wù)以及確保合規(guī)的執(zhí)行機(jī)制。您可以在我們的論文《實(shí)踐原則：動(dòng)態(tài)監(jiān)管環(huán)境下的人工智能責(zé)任制體系建設(shè)》中找到對(duì)現(xiàn)有的相關(guān)舉措、人工智能的法律以及監(jiān)管環(huán)境的深入分析。2.2.4國(guó)防國(guó)防中的人工智能和新興技術(shù)在未來的戰(zhàn)場(chǎng)上，現(xiàn)實(shí)世界和數(shù)字虛擬化世界將交織在一起，形成一個(gè)復(fù)雜而具有爭(zhēng)議性的環(huán)境。新的威脅和挑戰(zhàn)將不斷涌現(xiàn)，而人工智能將成為獲取領(lǐng)先優(yōu)勢(shì)、進(jìn)行全面態(tài)勢(shì)感知、收集情報(bào)和改進(jìn)決策的關(guān)鍵因素。機(jī)器人、大數(shù)據(jù)、26自動(dòng)化系統(tǒng)以及生物技術(shù)等將為國(guó)防部隊(duì)帶來新的機(jī)遇和風(fēng)險(xiǎn)。人工智能對(duì)于整合、利用這些技術(shù)以及防御對(duì)手使用這些技術(shù)都扮演了至關(guān)重要的角色。軍方需要尋求與民營(yíng)企業(yè)、學(xué)術(shù)界和盟國(guó)建立伙伴關(guān)系，促進(jìn)創(chuàng)新、推廣應(yīng)用，培養(yǎng)全新的領(lǐng)導(dǎo)力和文化內(nèi)涵。人工智能將促進(jìn)跨領(lǐng)域、跨平臺(tái)和跨組織的合作與交流，實(shí)現(xiàn)人機(jī)協(xié)同，共同學(xué)習(xí)。這些都需要與人工智能法規(guī)和監(jiān)管體系相吻合。然而，想要在國(guó)防領(lǐng)域使用人工智能，那么道德、安全和可信度是最重要的考慮因素。法律法規(guī)和監(jiān)管體系都能通過創(chuàng)造公平的競(jìng)爭(zhēng)環(huán)境，促進(jìn)創(chuàng)新與合作，提高公眾的信任度和接受度，來推動(dòng)國(guó)防工業(yè)向前發(fā)展?！袢斯ぶ悄芟嚓P(guān)的法律法規(guī)和監(jiān)管體系有助于確定在國(guó)防中開發(fā)、部署和使用人工智能系統(tǒng)的標(biāo)準(zhǔn)和最佳的操作程序，降低人工智能受到偏見、傷害或?yàn)E用的風(fēng)險(xiǎn)，并增強(qiáng)人工智能使用者的責(zé)任感和透明度。●它可以通過建立共同市場(chǎng)，促進(jìn)競(jìng)爭(zhēng)優(yōu)勢(shì)培養(yǎng)來刺激國(guó)防工業(yè)的發(fā)展。統(tǒng)一國(guó)防機(jī)構(gòu)的規(guī)則和要求也有助于國(guó)防和非國(guó)防部門人工智能系統(tǒng)的跨境合作和互操作性?！袢斯ぶ悄芟嚓P(guān)的法律法規(guī)和監(jiān)管體系可增強(qiáng)公眾對(duì)國(guó)防領(lǐng)域人工智能的信任和接受程度。人工智能在國(guó)防中的歷史作用揭開了我們今天所熟知的人工智能的序幕以來，第一批的投資和使用都是由國(guó)防部門推動(dòng)的。利用自然語言處理(NLP)將語音轉(zhuǎn)為文本，以及利用機(jī)器學(xué)習(xí)分析文本和模仿人類思維和推理的相關(guān)技術(shù)正在迅速發(fā)展。最初的投資由國(guó)防部門提供，主要是美國(guó)國(guó)防部高級(jí)研究項(xiàng)目管理局(DARPA),該機(jī)構(gòu)資助了多家機(jī)構(gòu)的人工智能研究。隨著技術(shù)的進(jìn)步，人工智能系統(tǒng)的計(jì)算能力增強(qiáng)，數(shù)據(jù)成本降低，新的使用案例不斷涌現(xiàn)。1970年，通過投放傳感器，人工智能模型可以確定目標(biāo)、分配資源和任務(wù)計(jì)劃，從而首次實(shí)現(xiàn)了半自動(dòng)化戰(zhàn)爭(zhēng)[74]。20世紀(jì)80年代，這一技術(shù)發(fā)展到智能武器、模擬和決策支持。2018年，美國(guó)國(guó)防部宣布人工智能“即將改變未來戰(zhàn)場(chǎng)的特性[75]”。2018年，五角大樓成立了聯(lián)合人工智能中心(JAIC)和國(guó)家人工智能安全委員會(huì)。美國(guó)國(guó)會(huì)為了表達(dá)支持，在人工智能領(lǐng)域投資了10億美元，并多次投資利用人工智能成果的系統(tǒng)，如全自主決策和無人系統(tǒng)。中國(guó)也采取了相應(yīng)的行動(dòng)，宣布要在2030年之前在人工智能領(lǐng)域引領(lǐng)世界。俄羅斯總統(tǒng)弗拉基米爾-普京曾有過著名的預(yù)言：“誰成為這一領(lǐng)域的領(lǐng)導(dǎo)者，誰就將成為世界的統(tǒng)治者[76]”。隨著人類社會(huì)生產(chǎn)力的提高、決策的自動(dòng)化和人工智能洞察力的增強(qiáng)，我們是否會(huì)造成戰(zhàn)爭(zhēng)發(fā)生得太快而人類無法干預(yù)的局面?對(duì)人工智能的大量投資是否會(huì)導(dǎo)致人工智能的軍備競(jìng)賽?我們已經(jīng)看到了人工智能的魅力所在。自動(dòng)化機(jī)器和機(jī)器人價(jià)格低廉，而且可以被替代。但人類則不然。自動(dòng)化不會(huì)疲勞，不需要龐大的供應(yīng)鏈支持，也避免了人類的生物性缺陷。另一方面，我們必須萬分小心謹(jǐn)慎，僅僅依靠機(jī)器做出生死攸關(guān)的決定可能會(huì)帶來可怕的后果。引用美國(guó)科技政策辦公室(OSTP)主任、DARPA前主任A.Prabhakar博士的話說：“當(dāng)我們審視人工智能的發(fā)展時(shí)，我們看到了一些非常強(qiáng)大的東西，但我們也看到技術(shù)仍然相當(dāng)有限。問題是，當(dāng)它出錯(cuò)時(shí)，其錯(cuò)誤的方式是任何人類都無法理解的。[77]”。我們是否造成了前所未有的附帶損害?自主戰(zhàn)爭(zhēng)機(jī)器是否是一場(chǎng)即將發(fā)生的戰(zhàn)爭(zhēng)罪行?現(xiàn)階段在國(guó)防系統(tǒng)中使用的人工智能一般僅在明確、限定的環(huán)境中執(zhí)行復(fù)雜度較低的單一任務(wù)，例如圖像識(shí)別、用于保衛(wèi)艦船的速射炮以及長(zhǎng)時(shí)間尋找明確特征的導(dǎo)彈。人工智能法規(guī)與國(guó)防人工智能在國(guó)防領(lǐng)域的應(yīng)用因其潛在的不可預(yù)估的影響力和殺傷力而有所不同。標(biāo)準(zhǔn)機(jī)構(gòu)和監(jiān)管機(jī)構(gòu)編撰的大多數(shù)相關(guān)材料很少涉及與國(guó)防部門相關(guān)的用例。國(guó)防部門經(jīng)常會(huì)參考公共領(lǐng)域的可用資源，為其量身定制類似的參考資料。對(duì)這些資料的訪問通常僅限于(1)不向希望傷害我們的心懷不軌者提供洞察力；(2)對(duì)手能夠從他人開發(fā)的知識(shí)產(chǎn)權(quán)中學(xué)習(xí)。技術(shù)也模糊了民用和國(guó)防部門之間的界限。一方面，國(guó)防部門需要保密以保護(hù)國(guó)防，也需要靈活性，而嚴(yán)格的法規(guī)會(huì)限制這種靈活性。另一方面，人工智能在國(guó)防領(lǐng)域出現(xiàn)偏差所帶來的潛在危害可能遠(yuǎn)遠(yuǎn)超過非國(guó)防領(lǐng)域。尤其是需要在自主決策和人工監(jiān)督之間取得平衡時(shí)，其在國(guó)防領(lǐng)域的應(yīng)用很容易引發(fā)道德、安全及保障方面的問題，缺乏明確的指導(dǎo)方針或靈活的參與規(guī)則可能會(huì)導(dǎo)致濫用或其他不可控的意外后果。歐盟沒有公開的專門針對(duì)國(guó)防的人工智能相關(guān)法律法規(guī)。雖然沒有具體的規(guī)定可以稱為“人工智能國(guó)防法案”,但北大西洋公約組織 (NATO)制定了一項(xiàng)戰(zhàn)略，聚焦于加快推動(dòng)人工智能在國(guó)防當(dāng)中的應(yīng)用進(jìn)程。該戰(zhàn)略旨在加強(qiáng)關(guān)鍵人工智能的推動(dòng)因素，并制定了在國(guó)防應(yīng)用中負(fù)責(zé)任且合乎道德地使用人工智能的政策。美國(guó)國(guó)防部(DOD)于2023年2月公布了《人工智能和自動(dòng)化技術(shù)的軍事應(yīng)用宣言》。雖然不是立法法規(guī)，但它是一項(xiàng)旨在確保軍隊(duì)可以負(fù)責(zé)任地使用新興人工智能技術(shù)的宣言。2.2.5教育人工智能(Al)與教育領(lǐng)域的結(jié)合為提高學(xué)習(xí)成果和解決教育不平等問題提供了機(jī)遇。自適應(yīng)學(xué)習(xí)系統(tǒng)、人工智能導(dǎo)師和預(yù)測(cè)分析等人工智能技術(shù)將根據(jù)不同的學(xué)習(xí)需求提供個(gè)性化教育。然而，由于人工智能系統(tǒng)涉及廣泛的數(shù)據(jù)收集和處理，這種整合引發(fā)了行業(yè)內(nèi)部對(duì)隱私和數(shù)據(jù)保護(hù)的擔(dān)憂[78]。為確保在教育領(lǐng)域合乎道德地使用人工智能，治理框架必須優(yōu)先考慮人類監(jiān)督以及遵守法律和道德的標(biāo)準(zhǔn)[79]。在教育領(lǐng)域?qū)嵤┤斯ぶ悄芗夹g(shù)時(shí)，公平性和可獲取性是至關(guān)重要的考慮因素。教育機(jī)構(gòu)和決策者必須確保人工智能工具不會(huì)加劇現(xiàn)有差距，而是成為增強(qiáng)賦能的工具。解決人工智能算法中的偏見風(fēng)險(xiǎn)對(duì)于防止歧視性結(jié)果會(huì)起到至關(guān)重要的作用，這強(qiáng)調(diào)了開發(fā)流程的透明性和包容性。教育工作者、技術(shù)專家、倫理學(xué)家和政策制定者之間有必要開展合作，來指導(dǎo)開發(fā)符合教育倫理的人工智能系統(tǒng)要與包括學(xué)生、家長(zhǎng)和教育工作者在內(nèi)的利益相關(guān)者持續(xù)對(duì)話，使人工智能計(jì)劃與社會(huì)價(jià)值觀和社會(huì)期望保持一致。此外，要對(duì)教育生態(tài)系統(tǒng)中的所有參與者進(jìn)行數(shù)字化教育普及和人工智能教育投資，培養(yǎng)他們有效、批判性地使用人工智能技術(shù)。通過以道德治理、合規(guī)性和包容性為重點(diǎn)，利用人工智能作為實(shí)現(xiàn)教育改革和教育公平的工具[78]。將人工智能融入教育需要采取積極主動(dòng)、細(xì)致入微的方法，并在創(chuàng)新與道德考量之間取得平衡。通過促進(jìn)合作、確保透明度以及優(yōu)先考慮公平性和普及性，教育部門可以利用人工智能豐富學(xué)習(xí)體驗(yàn)，同時(shí)保障所有學(xué)習(xí)者的權(quán)利和福祉。2.2.6金融金融業(yè)被認(rèn)為是全球監(jiān)管最嚴(yán)格的行業(yè)之一，它通過國(guó)際公認(rèn)的標(biāo)準(zhǔn)或地方監(jiān)管機(jī)構(gòu)進(jìn)行監(jiān)管。想要應(yīng)對(duì)新的技術(shù)發(fā)展趨勢(shì)，除了要洞察行為趨勢(shì)和頻繁的社會(huì)分析之外，還要滿足最終客戶的需求。行業(yè)制定“人工智能法規(guī)”已有多年，但人們對(duì)這些法規(guī)的認(rèn)識(shí)還很有限。它們屬于風(fēng)險(xiǎn)管理的業(yè)務(wù)風(fēng)險(xiǎn)類別。怎么會(huì)這樣?許多人可能會(huì)認(rèn)為2008年的金融危機(jī)與雷曼兄弟公司的倒閉有關(guān)[80],[81]但實(shí)際上金融危機(jī)發(fā)生在十年以前。長(zhǎng)期資本管理部(LTCM)成立于1994年。它由諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)得主邁倫-斯科爾斯(MyronScholes)和薩洛蒙兄弟(SalomonBrothers)等華爾街著名經(jīng)濟(jì)學(xué)家領(lǐng)導(dǎo)。他們專門從事套利金融建模。1998年8月，俄羅斯債務(wù)違約，LTCM持有大量的這些國(guó)家債券頭寸，損失了數(shù)億美元，而與此相反的是計(jì)算機(jī)模型卻建議他們持有頭寸。重要的是要明白，雖然1998年稱之為“計(jì)算機(jī)模型”,但我們今天稱之為機(jī)器學(xué)習(xí)模型或人工智能。如果LTCM倒閉，由于其頭寸的系統(tǒng)風(fēng)險(xiǎn)，我們很可能會(huì)看到第一次全球金融危機(jī)，但美國(guó)政府介入并提供了36.25億美元的貸款。LTCM于2000年初清算[82]。2005年，巴塞爾銀行監(jiān)管委員會(huì)發(fā)布了新的《內(nèi)部評(píng)級(jí)系統(tǒng)驗(yàn)證研究指南》[83],[84]。雖然這聽起來不像人工智能，但評(píng)級(jí)系統(tǒng)是一個(gè)銀行術(shù)語，是分析師或評(píng)級(jí)機(jī)構(gòu)用來評(píng)估股票、債券或公司信用度的評(píng)估工具。如今，在這些評(píng)級(jí)系統(tǒng)中使用深度學(xué)習(xí)技術(shù)是很常見的，因?yàn)閺臋C(jī)器學(xué)習(xí)的角度來說，評(píng)級(jí)系統(tǒng)就是一個(gè)推薦系統(tǒng)。人工智能的底層技術(shù)部分對(duì)銀行家或交易商是隱藏的。302011年，在金融危機(jī)和“大衰退”之后，美國(guó)聯(lián)邦儲(chǔ)備委員會(huì)發(fā)布了更為詳細(xì)的銀行業(yè)指導(dǎo)意見，公布了“監(jiān)管函”SR11-7-模型風(fēng)險(xiǎn)管理指南[85],資產(chǎn)規(guī)模達(dá)到或超過100億美元的銀行必須遵守該指南。因此，模型構(gòu)建和使用方面的問題被視為導(dǎo)致全球抵押貸款危機(jī)的重要因素。在美國(guó)銀行業(yè)，這些指導(dǎo)意見就像是新法律的出版物，均具有一定的社會(huì)地位和應(yīng)用價(jià)值。在SR11-7中，模型被定義為“一種定量方法、系統(tǒng)或途徑，它應(yīng)用于統(tǒng)計(jì)、經(jīng)濟(jì)、金融或數(shù)學(xué)理論、技術(shù)和假設(shè)，將輸入的數(shù)據(jù)處理成定量的估計(jì)值”。模型的使用不可避免地會(huì)帶來風(fēng)險(xiǎn)，即“根據(jù)不正確或誤用的模型輸出和報(bào)告做出的決策可能帶來的不利后果”。該文件強(qiáng)調(diào)了積極的模型風(fēng)險(xiǎn)管理的重要性，因?yàn)楦鶕?jù)不正確或誤用的模型做出的決策可能會(huì)產(chǎn)生不利后果(包括財(cái)務(wù)損失)。金融機(jī)構(gòu)必須具備有效的模型風(fēng)險(xiǎn)管理框架，一個(gè)有效的模型風(fēng)險(xiǎn)管理框架必須包括健全的治理、政策和控制措施，以確保模型開發(fā)、實(shí)施、使用和有效驗(yàn)證的魯棒性。美國(guó)監(jiān)管機(jī)構(gòu)在這方面最著名的調(diào)查是2019年蘋果公司的歧視性信用卡(見“人工智能事件簡(jiǎn)史”),因?yàn)樗`反了SR11-7中的“有效驗(yàn)證”部分。另一個(gè)例子是2012年令騎士資本(KnightCapital)集團(tuán)損失4.4億美元的交易模型出錯(cuò)事件[86]。騎士資本集團(tuán)專門從事高頻交易(HFT),這是人工智能的一個(gè)細(xì)分領(lǐng)域。HFT是以毫秒到納秒的速度進(jìn)行股票交易。從本質(zhì)上講，高頻交易HFT是指在相關(guān)興趣方發(fā)出實(shí)際訂單之前買入股票。一旦真實(shí)訂單到達(dá)證券交易所，HFT方將再次賣出股票，并保留微小的差價(jià)。這種情況在一天內(nèi)發(fā)生的頻率極高。一般來說，HFT在交易日結(jié)束時(shí)不會(huì)持有股票。2012年8月1日，騎士資本集團(tuán)的所有交易服務(wù)器都沒有推出軟件更新，導(dǎo)致錯(cuò)誤執(zhí)行訂單。騎士資本集團(tuán)的HFT系統(tǒng)因?yàn)闊o法識(shí)別之前的股票收購記錄，所以不斷買入相同的股票，由此擾亂了148家公司的價(jià)格。結(jié)果，騎士資本集團(tuán)在短短45分鐘內(nèi)就蒙受了巨大損失(股市損失4.4億美元)。由于這個(gè)DevOps問題，該公司于2012年12月被收購，這違反了SR11-7的“實(shí)施和使用”預(yù)期。該并購于2013年7月完成。除了人工智能在銀行業(yè)的產(chǎn)品應(yīng)用外，美國(guó)機(jī)構(gòu)還將模型用于欺詐檢測(cè)和遵守《銀行保密法》[87]和《美國(guó)愛國(guó)者法案》[88]。這些模型可以識(shí)別和評(píng)估客戶的私人交易數(shù)據(jù)，并報(bào)告潛在的可疑活動(dòng)。這些系統(tǒng)和反饋的結(jié)果是美國(guó)政府反恐計(jì)劃的重要工具。不符合SR11-7模型的預(yù)期會(huì)導(dǎo)致較差的合規(guī)評(píng)級(jí)和嚴(yán)格的監(jiān)管行動(dòng)，包括經(jīng)濟(jì)罰款/處罰和制裁，以及限制規(guī)模擴(kuò)大。歐洲中央銀行(ECB)于2024年2月發(fā)布了經(jīng)過修訂的《內(nèi)部模型指南》。與美國(guó)法規(guī)SR11-7類似，該指南規(guī)定了歐洲央行期望銀行如何使用內(nèi)部模型的透明度[89]。它涵蓋了一般主體、信用風(fēng)險(xiǎn)、市場(chǎng)風(fēng)險(xiǎn)和交易對(duì)手信用風(fēng)險(xiǎn)。銀行可以使用內(nèi)部模型來計(jì)算風(fēng)險(xiǎn)加權(quán)資產(chǎn)，從而確定其最低監(jiān)管資本要求。歐洲央行的修訂納入了與氣候相關(guān)的風(fēng)險(xiǎn)，并詳細(xì)規(guī)定了以下方面的新要求：●納入與氣候有關(guān)的風(fēng)險(xiǎn)：修訂后的指南考慮了與氣候相關(guān)的風(fēng)險(xiǎn)，反映了這些因素在風(fēng)險(xiǎn)評(píng)估中日益重要的地位?！襁`約的通用定義：該指南有助于所有銀行采用共同的違約定義，確保整個(gè)行業(yè)的一致性。●大規(guī)模處置的處理：該指南對(duì)“大規(guī)模處置”(指不良貸款的批量出售)提供了標(biāo)準(zhǔn)化的處理方法?！窠灰踪~簿頭寸違約風(fēng)險(xiǎn)的計(jì)量：更新后的“市場(chǎng)風(fēng)險(xiǎn)章節(jié)”詳細(xì)介紹了如何衡量交易賬簿頭寸的違約風(fēng)險(xiǎn)。●關(guān)于交易對(duì)手信用風(fēng)險(xiǎn)的說明：修訂后的指南對(duì)交易對(duì)手信用風(fēng)險(xiǎn)(即交易對(duì)手可能違約的風(fēng)險(xiǎn))進(jìn)行了說明。●回歸標(biāo)準(zhǔn)化方法：摒棄復(fù)雜的內(nèi)部模型。32對(duì)于亞洲銀行來說，并沒有像SR11-7或歐洲央行指南那樣的特定模型風(fēng)險(xiǎn)管理指南，但模型風(fēng)險(xiǎn)管理的做法已從美國(guó)傳到歐洲，最近又傳到了亞洲銀行。模型風(fēng)險(xiǎn)管理(MRM)職能的范圍正在不斷擴(kuò)大，銀行對(duì)模型庫存的看法也在不斷拓寬，已經(jīng)超越了監(jiān)管和風(fēng)險(xiǎn)相關(guān)的預(yù)測(cè)方法。它們還通過加強(qiáng)每個(gè)步驟的框架、流程和工具，深化了對(duì)模型生命周期的端到端視圖[90]。金融業(yè)的其他重要標(biāo)準(zhǔn)包括PCIDSS和PCl3DS[91],[92]。支付卡行業(yè)(PCI)數(shù)據(jù)安全標(biāo)準(zhǔn)(DSS)是一項(xiàng)全球信息安全標(biāo)準(zhǔn)，旨在通過加強(qiáng)信用卡數(shù)據(jù)的控制和安全來防止欺詐。任何存儲(chǔ)、處理或傳輸支付和持卡人數(shù)據(jù)的組織都必須遵守PCIDSS.PCI3-Secure是EMVCo22消息傳輸協(xié)議，使持卡人在進(jìn)行非現(xiàn)金卡(CNP)在線交易時(shí)能與發(fā)卡機(jī)構(gòu)進(jìn)行身份驗(yàn)證。由于在線交易和智能手機(jī)的使用，PCI3DS變得越來越重要。這些數(shù)據(jù)包括個(gè)人身份信息(PII)、持卡人數(shù)據(jù)(CHD)和其他財(cái)務(wù)數(shù)據(jù)。PCIDSS和PCI3DS并不涉及人工智能條款。此外，不涉及交易的銀行應(yīng)用程序也不需要遵守這些PCI標(biāo)準(zhǔn)。因此，涉及的人工智能是否必須遵守PCI標(biāo)準(zhǔn)，取決于使用案例是否包含交易數(shù)據(jù)。提供人工智能的云服務(wù)也需要根據(jù)這些標(biāo)準(zhǔn)進(jìn)行認(rèn)證。如下圖所圖4:Azure合規(guī)性產(chǎn)品[93](2023年3月和2024年1月)技術(shù)和標(biāo)準(zhǔn)。33總體而言，金融業(yè)非常具有創(chuàng)新性。它依賴于早期技術(shù)的采用來超越競(jìng)爭(zhēng)對(duì)手。摩根大通于2023年5月申請(qǐng)了一項(xiàng)專利IndexGPT[94],距離ChatGPT的公開發(fā)布僅僅過去了半年時(shí)間。這樣的持續(xù)創(chuàng)新有望提高個(gè)別銀行和行業(yè)的績(jī)效。話雖如此，系統(tǒng)所生成的數(shù)據(jù)與“訓(xùn)練”它們的數(shù)據(jù)一樣好，會(huì)讓企業(yè)承擔(dān)相關(guān)的法律和合規(guī)責(zé)任，最終用戶也容易受到多種潛在威脅。因此，金融行業(yè)的首要關(guān)注點(diǎn)是監(jiān)管合規(guī)，保護(hù)敏感和機(jī)密數(shù)據(jù)以及客戶隱私是關(guān)鍵任務(wù)。2.2.7醫(yī)療保健醫(yī)療保健/制藥/醫(yī)療技術(shù)領(lǐng)域的人工智能既有潛力，也有風(fēng)險(xiǎn)。在這個(gè)受到高度(但非全球性)監(jiān)管的行業(yè)中，區(qū)分ML(機(jī)器學(xué)習(xí))和GenAI(生成式人工智能)至關(guān)重要。由于ML僅針對(duì)特定任務(wù)，因此可以在更大程度上確保其安全性，而醫(yī)療保健領(lǐng)域的GenAl會(huì)與不同的利益相關(guān)者互動(dòng)，并在可靠性(和可解釋性)、安全性、隱私以及防止誤用和/或故意濫用的措施等方面帶來重大挑戰(zhàn)。在醫(yī)療保健領(lǐng)域，使用人工智能的風(fēng)險(xiǎn)很高，但如果可以負(fù)責(zé)任地使用人工智能，將會(huì)帶來巨大的利益。探索醫(yī)療保健領(lǐng)域的可信賴人工智能系統(tǒng)在這個(gè)領(lǐng)域有大量(特定國(guó)家的)法規(guī)、全球標(biāo)準(zhǔn)和全行業(yè)指導(dǎo)手冊(cè)，有關(guān)該行業(yè)中的ML和AI的文獻(xiàn)、科學(xué)論文、白皮書、文章和博客更是數(shù)不勝數(shù)。“可信賴的人工智能”與醫(yī)療行業(yè)的治理、合規(guī)性和技術(shù)挑戰(zhàn)相關(guān)聯(lián)，因此被納入醫(yī)療保健的范圍，其重點(diǎn)在于實(shí)踐指南等實(shí)用方法上。本文討論了醫(yī)療保健中的偏見，并從特定的行業(yè)角度揭示了這一主題?！翱尚刨嚨娜斯ぶ悄堋边M(jìn)一步與第三部分概述的關(guān)于人工智能基準(zhǔn)的思路相關(guān)聯(lián)?？尚刨嚨娜斯ぶ悄芤馕吨斯ぶ悄軕?yīng)用程序的行為符合其預(yù)期用途，其設(shè)計(jì)足夠強(qiáng)大，能夠最大限度地減少和/或降低相關(guān)風(fēng)險(xiǎn)。給出的相關(guān)定義包括可解釋性、可靠性、安全性、隱私性、問責(zé)制、透明度、遵守法規(guī)和標(biāo)準(zhǔn)、道德和負(fù)責(zé)任的行為以及減少偏差。34在本章中，僅考慮靜態(tài)ML/AI應(yīng)用程序。動(dòng)態(tài)(自適應(yīng))應(yīng)用程序可以不斷文獻(xiàn)脫穎而出：世界衛(wèi)生組織(WHO)出版了一本非常全面的書籍，書中有三百多個(gè)相關(guān)文獻(xiàn)，提出了一個(gè)治理框架；ALTAI匯編了一份簡(jiǎn)短但有用的指南來探討這一主題；NIST的論文則指出了ML和GenAI應(yīng)用面臨的威脅●人事機(jī)構(gòu)和監(jiān)督●技術(shù)堅(jiān)固性和安全性●隱私和數(shù)據(jù)管理●多樣性、非歧視性和公平性●環(huán)境和社會(huì)福祉●有效和可靠●隱私增強(qiáng)●公平-減少有害偏見●負(fù)責(zé)和透明世衛(wèi)組織：●采用法規(guī)、標(biāo)準(zhǔn)和最優(yōu)措施●設(shè)計(jì)隱私和默認(rèn)隱私●安全與風(fēng)險(xiǎn)評(píng)估●數(shù)據(jù)管理●人工智能應(yīng)用的基礎(chǔ)設(shè)施和技術(shù)能力●評(píng)估和改進(jìn)績(jī)效●定期審查●預(yù)期用途●問責(zé)制使用●人類權(quán)威的代理和堅(jiān)持不懈●道德問題●平等機(jī)會(huì)●責(zé)任轉(zhuǎn)讓在醫(yī)療保健及其他領(lǐng)域利用人工智●敏感性：■無障礙環(huán)境■透明度●增進(jìn)福祉：●有益性和預(yù)期用途(包括負(fù)責(zé)任的使用、語境智能)●人的能動(dòng)性以及人的權(quán)威和監(jiān)督的持久性●可靠性、問責(zé)制和責(zé)任●績(jī)效(包括改進(jìn)、定期審查、審計(jì))●透明度(包括可解釋性、可解讀性)●多樣性、公平、無障礙(包括合乎道德的使用)●技術(shù)魯棒性、韌性和安全性(包括風(fēng)險(xiǎn)評(píng)估、基礎(chǔ)設(shè)施能力、數(shù)據(jù)管理和治理、對(duì)抗測(cè)試、審計(jì))醫(yī)療文獻(xiàn)的結(jié)論來自各方的觀點(diǎn)不一，也并非所有框架都包含以上所有要求。但有趣的是，只有世界衛(wèi)生組織的出版物提到了要負(fù)責(zé)任和熟練的使用人工智能系統(tǒng)。這些出版物都沒有考慮到人類有責(zé)任了解模型的預(yù)期用途，比如它的優(yōu)勢(shì)、局限性和制約因素，甚至沒有考慮到從系統(tǒng)中獲取最佳結(jié)果這一主題。而用直覺來處理智能應(yīng)用程序可能比提供手冊(cè)更具挑戰(zhàn)性(目前，免責(zé)聲明正在取代指導(dǎo)手冊(cè))。同樣，只有世界衛(wèi)生組織提到了責(zé)任問題，這與人工智能應(yīng)用密切相關(guān)。注意：只有世衛(wèi)組織和文章《在醫(yī)療保健及其他領(lǐng)域利用人工智能力量的倫理框架》特別針對(duì)醫(yī)療保健領(lǐng)域。它們反映出，人工智能在醫(yī)療保健領(lǐng)域的應(yīng)用預(yù)計(jì)將通過更多的審查進(jìn)行驗(yàn)證。在上述出版物中，可持續(xù)性只被提到過一次。令人驚訝的是，人工智能應(yīng)用在各行各業(yè)和各地區(qū)層出不窮，可持續(xù)性問題也在多個(gè)框架中得到討論。這反映出，人工智能在醫(yī)療保健領(lǐng)域的投資有望超過其(環(huán)境)成本。醫(yī)療保健中的偏見為了避免某些偏見，有些數(shù)據(jù)必須去個(gè)性化。例如，種族可能會(huì)導(dǎo)致數(shù)據(jù)集出現(xiàn)偏差，但也可能為安全和成功治療提供關(guān)鍵信息。醫(yī)療數(shù)據(jù)的處理極其復(fù)雜，對(duì)其進(jìn)行有目的的評(píng)估非常重要。偏差有不同的方面，如數(shù)據(jù)驅(qū)動(dòng)偏差、系統(tǒng)偏差、概括偏差和人為偏差。通過開發(fā)和使用可解釋人工智能(XAI)[2],可以在37包含特征和避免偏見之間取得平衡。LIME3和SHAP4等技術(shù)就是醫(yī)療保健領(lǐng)域常用的事后可解釋性方法。此外，通過對(duì)人工智能模型進(jìn)行審計(jì)和評(píng)估，還可促進(jìn)監(jiān)可見，可解釋性是一種很有前途的技術(shù)，可以從整體上減少醫(yī)療應(yīng)用中的偏的開發(fā)是對(duì)醫(yī)療保健領(lǐng)域“可信賴的人工智能”的一大貢獻(xiàn)。ML/AI應(yīng)用程序還可用于簡(jiǎn)化監(jiān)管流程[99]、優(yōu)化供應(yīng)鏈、協(xié)助開發(fā)藥物和多個(gè)國(guó)家制定了開發(fā)嵌入式ML/AI應(yīng)用的醫(yī)療設(shè)備的法規(guī)、標(biāo)準(zhǔn)、應(yīng)用和指南。ML/AI應(yīng)用還有助于改善制藥行業(yè)的生產(chǎn)流程[102]。O2024云安全聯(lián)盟大中華區(qū)版權(quán)所有38第三部分：人工智能韌性的重構(gòu)，受進(jìn)化論啟發(fā)的基準(zhǔn)模型本部分的目標(biāo)是建立一個(gè)新穎的框架，以應(yīng)對(duì)人工智能質(zhì)量評(píng)級(jí)方面的挑戰(zhàn)和優(yōu)先事項(xiàng)，從而使人工智能系統(tǒng)面向未來。進(jìn)化在選擇性能特征和保持生存能力方面做得無與倫比。對(duì)心理學(xué)概念的探索揭示了材料特性與人類行為之間的相似性，以及增強(qiáng)人工智能技術(shù)韌性的一種可能的新方法。本章強(qiáng)調(diào)了政策制定者、監(jiān)管機(jī)構(gòu)和政府監(jiān)督人工智能發(fā)展的重要性。本部分首先將生物進(jìn)化與人工智能的發(fā)展進(jìn)行比較，重點(diǎn)關(guān)注韌性，然后揭示人類智能(HI)與人工智能(Al)之間的差異，最后從心理學(xué)角度審視韌性，縮小兩者之間的差距。最后，本部分將探討如何在人工智能中實(shí)施和衡量韌性。在生物進(jìn)化過程中，新的特征(突變)需要經(jīng)過性能(適應(yīng)特定任務(wù))和韌性(隨著時(shí)間的推移持續(xù)存在并具有優(yōu)勢(shì)：生存)的檢驗(yàn)。長(zhǎng)期保持優(yōu)勢(shì)的生物在進(jìn)化過程中會(huì)受到內(nèi)在保護(hù)。這聽起來可能有悖常理，但從整體角度來看，通過不同的視角(雄性/雌性或性能/恢復(fù)力)進(jìn)行選擇會(huì)使系統(tǒng)更有能力保持其功能的完整性[103]。同樣，人工智能的性能涉及人工智能在預(yù)定義環(huán)境下的輸出，而人工智能的韌性則包括泛化(避免過度擬合)和對(duì)新任務(wù)的適應(yīng)性。以市場(chǎng)為導(dǎo)向的行業(yè)可能會(huì)忽視任何不能帶來收入的東西，而監(jiān)管機(jī)構(gòu)的任務(wù)則是規(guī)范和監(jiān)督人工智能技術(shù)的安全性，進(jìn)而提高其適應(yīng)性。隨著人工智能應(yīng)用的進(jìn)一步發(fā)展，更多可在部署后持續(xù)學(xué)習(xí)的系統(tǒng)將占領(lǐng)市場(chǎng)。這種動(dòng)態(tài)系統(tǒng)所需的人工智能韌性遠(yuǎn)遠(yuǎn)超過靜態(tài)系統(tǒng)。人工智能的韌性是一個(gè)復(fù)雜的特征，這一點(diǎn)可能會(huì)因?yàn)閷?duì)其誘人性能的十足敬畏而被忽視。因此，有必要進(jìn)行監(jiān)管干預(yù)，以平衡創(chuàng)新與監(jiān)管。393.2人工智能系統(tǒng)的多樣性和韌性多樣性是大自然解決問題的答案。因此，最重要的是，人工智能的韌性是強(qiáng)制性的，也是規(guī)范性的，必須鼓勵(lì)和獎(jiǎng)勵(lì)個(gè)性化的獨(dú)特方法。只有多樣化的人工智能技術(shù)和可靠但個(gè)性化的人工智能韌性解決方案才能增強(qiáng)全局安全?！白匀唤缟嫦聛淼模炔皇撬闹顝?qiáng)壯的，也不是頭腦最聰明的，而是有能力適應(yīng)變化的物種?！边@句話被誤認(rèn)為是達(dá)爾文說的，但從人工智能系統(tǒng)的角度來看，它仍然是正確的。對(duì)生存起貢獻(xiàn)的不是性能，而最終是人工智能的韌性。為最終用戶提供額外的保護(hù)措施，如推薦使用(手冊(cè))、適當(dāng)?shù)呐嘤?xùn)、警告以及(如有可能)從技術(shù)上防止“標(biāo)簽外”使用，以增強(qiáng)人工智能固有的韌性，這一點(diǎn)至關(guān)重要，而且很容易提供，但卻經(jīng)常被忽視。政策制定者、監(jiān)管機(jī)構(gòu)和政府必須在質(zhì)量評(píng)級(jí)中優(yōu)先考慮人工智能的適應(yīng)性，以降低風(fēng)險(xiǎn)，確保安全和面向未來的人工智能集成。制定標(biāo)準(zhǔn)化的韌性評(píng)估指標(biāo)至關(guān)重要。3.3對(duì)人工智能韌性進(jìn)行基準(zhǔn)測(cè)試的挑戰(zhàn)人工智能基準(zhǔn)測(cè)試已接近傳統(tǒng)性能基準(zhǔn)(“適合預(yù)期用途”)[104],[105]的飽和狀態(tài)，一些系統(tǒng)的性能已超過人類設(shè)定的基準(zhǔn)[106]。斯坦福大學(xué)的基礎(chǔ)模型研究中心使用HELM[107]在這一領(lǐng)域處于領(lǐng)先地位，該中心根據(jù)(目前)87個(gè)場(chǎng)景和50個(gè)指標(biāo)對(duì)模型進(jìn)行評(píng)估。重點(diǎn)是性能和預(yù)防傷害。通過評(píng)估模型在兩個(gè)截然不同的數(shù)據(jù)集(IMDB和BoolQ)中的表現(xiàn)來檢查其韌性能力；重點(diǎn)是在保持性能的同時(shí)進(jìn)行泛化的能力。3.4人工智能韌性的定義我們提出了一種更全面的人工智能韌性定義，并最終提出了人工智能韌性評(píng)分標(biāo)準(zhǔn)。在這種情況下，有必要指出的是，在心理學(xué)中，測(cè)量韌性有其內(nèi)在的困難[108]。心理學(xué)中的定義是[109]:“韌性是抵抗壓力、從壓力中反彈以及從壓力中成長(zhǎng)的能力”。請(qǐng)注意，人工智能韌性包括抵御能力(抵抗力)、反彈能力(復(fù)原力)和從壓力中成長(zhǎng)的能力(可塑性):對(duì)壓力源的抵抗力可以比作材料的“硬度”,也可以比作人體免疫系統(tǒng)的多樣化和高度動(dòng)態(tài)的方法。因此，抵抗力有兩個(gè)相互矛盾的方面，兩者都有其應(yīng)有的作用。生存不是沒有挑戰(zhàn)，而是(共同)承擔(dān)以下責(zé)任，積極主動(dòng)、可持續(xù)地面對(duì)它們。復(fù)原力是指隨著時(shí)間的推移從壓力源的影響中反彈的過程，受壓力事件的程度和持續(xù)時(shí)間(外部因素)以及受壓對(duì)象的韌性/適應(yīng)性(內(nèi)部因素)等因素的影響。復(fù)原力是動(dòng)態(tài)的，受到各種變量的影響。然而，在某些情況下，壓力的影響超出了恢復(fù)原有功能的能力?？伤苄允侵赣谰眯缘淖兓?。它可能是功能失調(diào)的，如心理方面的創(chuàng)傷、醫(yī)學(xué)方面的骨折或材料科學(xué)方面的失效點(diǎn)?；蛘撸梢允枪δ苄缘?，例如在訓(xùn)練中表現(xiàn)出更高的性能/韌性[87]。建議對(duì)人工智能技術(shù)的韌性作如下定義：AI韌性包括系統(tǒng)的抵抗力、復(fù)原力和可塑性。AI抵抗力反映了系統(tǒng)在面臨入侵、操縱、誤用和濫用時(shí)保持所需最低性能的能力；AI復(fù)原力側(cè)重于在發(fā)生事件后恢復(fù)到所需最低性能所需的時(shí)間、能力和容量；AI可塑性作為系統(tǒng)的指標(biāo)，表明其對(duì)“成敗”的容忍度，并在系統(tǒng)故障的情況下允許快速行動(dòng)，或允許Al韌性不斷提高。不出所料，人工智能應(yīng)用的誤用、濫用和事故急劇增加，人工智能使用案例表明，盡管有管理和降低風(fēng)險(xiǎn)的意識(shí)，但事故還是時(shí)有發(fā)生。然而，由于人工智能的評(píng)判標(biāo)準(zhǔn)不明確，將人工智能納入質(zhì)量管理體系以控制、改進(jìn)、糾正和預(yù)防行動(dòng)和/或風(fēng)險(xiǎn)具有挑戰(zhàn)性。在受監(jiān)管的行業(yè)中，第三方評(píng)級(jí)將提高人工智能驗(yàn)證之外的安全性，目前人工智能的相關(guān)驗(yàn)證是在“適合使用”的前提下進(jìn)行的。3.5人工