先進(jìn)人工智能行業(yè)安全國際科學(xué)報告：中期報告

先進(jìn)人工智能行業(yè)安全國際科學(xué)報告：中期報告由TheRepublicofKoreaandtheUnitedkingdom發(fā)布了《先進(jìn)人工智能行業(yè)安全國際科學(xué)報告：中期報告》這篇報告。以下是對該報告的部分摘錄，完整內(nèi)容請獲取原文查看。從革命性的醫(yī)療保健和運(yùn)輸?shù)阶詣踊瘡?fù)雜任務(wù)和解鎖科學(xué)突破，人工智能的積極影響潛力是不可否認(rèn)的。1.能力通用AI如何獲得其能力？通用AI模型依賴于深度學(xué)習(xí)(15)或人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，這是由多層互連節(jié)點(diǎn)組成的AI模型，松散地受到生物神經(jīng)網(wǎng)絡(luò)大腦結(jié)構(gòu)的啟發(fā)。大多數(shù)最先進(jìn)的通用人工智能模型都基于“變壓器”神經(jīng)網(wǎng)絡(luò)架構(gòu)(16)，該架構(gòu)已被證明在將越來越多的訓(xùn)練數(shù)據(jù)和計算能力轉(zhuǎn)換為更好的模型性能方面特別有效。從廣義上講，通用AI模型的開發(fā)和部署遵循相同的一系列不同階段:預(yù)訓(xùn)練，微調(diào)，系統(tǒng)集成，部署和部署后更新。每個都需要不同的方法和資源。預(yù)訓(xùn)練和微調(diào)都是“訓(xùn)練”通用AI模型的方法。在訓(xùn)練過程中，通用AI模型會獲得一些數(shù)據(jù)，并對其進(jìn)行處理以預(yù)測其他數(shù)據(jù)。例如，該模型可以被給定維基百科文章的前500個單詞，然后預(yù)測第501個單詞。最初，它是隨機(jī)預(yù)測的，但隨著它看到更多的數(shù)據(jù)，它會自動適應(yīng)從錯誤中學(xué)習(xí)，它的預(yù)測也會提高。每個預(yù)測都需要一定量的計算資源(“計算機(jī)”)，因此訓(xùn)練需要數(shù)據(jù)和計算。由開發(fā)人員設(shè)計的模型架構(gòu)決定了模型進(jìn)行預(yù)測時發(fā)生的廣泛類型的計算，并且在訓(xùn)練期間調(diào)整了這些計算中使用的確切數(shù)字。預(yù)培訓(xùn):預(yù)培訓(xùn)的目標(biāo)是將一般背景知識構(gòu)建成通用的AI模型。在預(yù)訓(xùn)練期間，通用AI模型通常從大量數(shù)據(jù)(通常來自互聯(lián)網(wǎng))的模式中學(xué)習(xí)。收集和準(zhǔn)備訓(xùn)練前數(shù)據(jù)是大規(guī)模的操作，在大多數(shù)情況下，訓(xùn)練前是計算最密集的發(fā)展階段。如今，通用AI模型的預(yù)訓(xùn)練需要數(shù)周或數(shù)月，并使用數(shù)千個圖形處理單元(gpu)-專門的計算機(jī)芯片，旨在快速處理復(fù)雜的并行計算。例如，F(xiàn)alcon-180B模型使用4,096個gpu。多個月，PaLM(540B)使用6,144芯片50天(13)。如今，與2010中的最先進(jìn)模型訓(xùn)練(17)相比，此過程使用的計算量大約是其100億倍。一些開發(fā)人員使用自己的計算進(jìn)行預(yù)培訓(xùn)，而其他開發(fā)人員則使用專業(yè)云計算提供商提供的資源。微調(diào):經(jīng)過預(yù)訓(xùn)練后，大多數(shù)通用AI模型都會經(jīng)歷一個或多個額外的微調(diào)階段，以完善其完成int結(jié)束任務(wù)的能力。微調(diào)可以包括各種技術(shù)，包括從期望示例(18)、成對的期望和不期望示例(19)或獎勵和懲罰(20、21*)中學(xué)習(xí)。微調(diào)通常需要大量的人工參與，并且往往是培訓(xùn)中最勞動密集型的部分，微調(diào)現(xiàn)代模型需要數(shù)百萬個人工反饋實(shí)例(22*)。通常，這種反饋是由成千上萬的簽約知識工作者提供的。系統(tǒng)集成:模型經(jīng)過訓(xùn)練后，可以通過將其與旨在增強(qiáng)功能和安全性的其他系統(tǒng)組件集成來構(gòu)建通用AI系統(tǒng)。在實(shí)踐中，通用AI模型通常與用戶界面、輸入預(yù)處理器、輸出后處理器和內(nèi)容過濾器集成。部署:經(jīng)過訓(xùn)練后，可以部署模型以供使用。部署可以是“內(nèi)部的”，其中系統(tǒng)僅由開發(fā)人員使用，也可以是“外部的”，允許公共或其他非開發(fā)人員實(shí)體使用它。外部部署可以是“封閉源”或“開放源”。閉源意味著公眾只能通過有限的界面使用該系統(tǒng)。開源意味著整個系統(tǒng)，包括所有的模型參數(shù)，都是可用的。一些最先進(jìn)的通用人工智能系統(tǒng)，如GPT-4(2*)，是閉源的，而其他像Llama-3(6*)是開源的。從減輕風(fēng)險的角度來看，開源模型有其優(yōu)缺點(diǎn)，這是科學(xué)界正在進(jìn)行的討論的主題。這份中期報告沒有詳細(xì)討論開源模型的優(yōu)缺點(diǎn)。部署后監(jiān)控和更新:部署后許多通用AI系統(tǒng)會不斷更新。這使開發(fā)人員可以更新功能并嘗試在發(fā)現(xiàn)缺陷和漏洞時解決它們。這些變化通常相當(dāng)于一種“貓和老鼠”的游戲，開發(fā)人員不斷更新高調(diào)的系統(tǒng)，以應(yīng)對新發(fā)現(xiàn)的漏洞(22*)。當(dāng)前通用AI系統(tǒng)的能力難以定義能力-通用人工智能系統(tǒng)通常是根據(jù)其能力來描述的，但在人工智能領(lǐng)域，“能力”一詞并沒有被廣泛接受的定義。定義能力的部分困難在于它不能被直接觀察到--人工智能研究人員只能觀察人工智能系統(tǒng)的行為:系統(tǒng)實(shí)際產(chǎn)生的一組輸出或動作以及它這樣做的背景(例如，導(dǎo)致觀察到的行為的提示)(23)。人工智能研究人員只能總結(jié)在許多情況下觀察到的系統(tǒng)行為，從而得出系統(tǒng)的能力-能力的印象。即使在模型建立之后，也很難定義和衡量新的通用AI模型的全部功能;研究人員和用戶通常會在模型部署后發(fā)現(xiàn)新的方法來獲取功能，例如，通過提示模型“逐步思考”(2524，)。定義通用人工智能系統(tǒng)功能的另一個復(fù)雜之處在于，它們是由其環(huán)境中的能力--它可以訪問的工具和資源--塑造的。例如，當(dāng)一個通用人工智能系統(tǒng)連接到互聯(lián)網(wǎng)并配備網(wǎng)絡(luò)瀏覽器時，它會獲得新的affor信息檢索和與現(xiàn)實(shí)世界互動，有效地擴(kuò)展其功能(26)。能力及其驅(qū)動因素的最新趨勢計算、數(shù)據(jù)和算法的最新趨勢：在過去十年中，對計算資源的投資增加，硬件效率的提高，易于在線訪問的數(shù)據(jù)集的存在以及算法的漸進(jìn)式創(chuàng)新為通用AI的發(fā)展做出了貢獻(xiàn)。本節(jié)研究計算能力、數(shù)據(jù)和算法的最新趨勢。訓(xùn)練和推理中使用的計算趨勢：用于訓(xùn)練AI模型的計算資源一直在快速增加。計算資源(通常稱為“計算機(jī)”)表示所執(zhí)行的操作的數(shù)量。自21世紀(jì)10年代初以來，這一數(shù)字呈指數(shù)級增長，用于訓(xùn)練機(jī)器學(xué)習(xí)m模型的平均數(shù)量大約每六個月翻一番(17)。2010，著名的機(jī)器學(xué)習(xí)模型(62，63，64)平均使用了大約1e15個浮點(diǎn)運(yùn)算(FLOP)(65)，但2023年拐點(diǎn)-2，這是公開報告計算預(yù)算的最大模型。二手1e25翻牌(66*)-增加100億倍。這一進(jìn)展是由行業(yè)實(shí)驗室愿意將更多數(shù)據(jù)中心容量用于大規(guī)模通用AI培訓(xùn)推動的。沒有足夠的數(shù)據(jù)來確定這種趨勢是否在較短的時期內(nèi)發(fā)生變化，例如21世紀(jì)20年代。在過去的十五年里，每美元的計算量增加了大約50到200倍(6867，67)。然而，用于訓(xùn)練通用人工智能模型的計算總量遠(yuǎn)遠(yuǎn)超過了計算成本的降低:例如，谷歌的Word2vec模型使用了大約3e16個FLOP2013年進(jìn)行訓(xùn)練，比目前的frontier模型(65)小10億倍。雖然GPU性能的改進(jìn)有所幫助，但這些改進(jìn)部分受到數(shù)據(jù)中心GPU短缺和AI應(yīng)用程序中使用的頂級GPU價格高昂的限制。高端處理器，包裝，高帶寬內(nèi)存和其他組件的供應(yīng)鏈短缺正在延遲技術(shù)部門滿足對AI服務(wù)器等人工智能硬件的巨大需求的能力(69)。通用AI計算使用的擴(kuò)展主要是行業(yè)實(shí)驗室越來越愿意將數(shù)據(jù)中心資源和工程人員分配給大規(guī)模通用AI培訓(xùn)運(yùn)行的結(jié)果。神經(jīng)“縮放定律”的發(fā)現(xiàn)，描述了計算量，模型和數(shù)據(jù)的大小以及性能之間的可預(yù)測關(guān)系，促成了以計算為中心的AI開發(fā)觀點(diǎn)，這在一些領(lǐng)先的AI實(shí)驗室中很突出。1，GoogleGeminiUltra和OpenAI的GPT-4等旗艦通用AI模型的開發(fā)是由擴(kuò)展法則(2*，3*)的工作指導(dǎo)的。因此，對硬件基礎(chǔ)設(shè)施專業(yè)知識的需求更大，并且AI實(shí)驗室與微軟和谷歌等技術(shù)巨頭之間的合作更加緊密。用于部署的計算資源也出現(xiàn)了顯著增長。公司正在快速擴(kuò)展基礎(chǔ)設(shè)施以滿足這些不斷增長的需求。推理所需的計算資源(向用戶提供通用AI系統(tǒng)的關(guān)鍵部分)經(jīng)歷了顯著增長(76)，因為部署通用AI系統(tǒng)的用戶數(shù)量快速增長。據(jù)報道，在2023年4月，OpenAI的人工智能系統(tǒng)估計會產(chǎn)生700美元/天的推理成本(77)。一些估計表明，用于通用人工智能推理的總計算量已經(jīng)超過了用于訓(xùn)練新模型的計算量，例如，人工智能推理代表了谷歌人工智能基礎(chǔ)設(shè)施排放的60%2022年(78)。2.評估和理解通用AI系統(tǒng)的方法通用人工智能評估用于評估模型的功能和影響評估通用AI模型和系統(tǒng)有兩個主要原因:1.確定一般功能和限制:模型評估表明模型設(shè)計選擇與模型結(jié)果之間的關(guān)系。這種性能分析有助于研究人員了解這些系統(tǒng)在受控和自然環(huán)境中如何滿足我們的期望。對模型功能的更深入了解有助于判斷其是否適合使用。每次評估都有局限性和不確定性，必須記錄下來以正確解釋其結(jié)果。2.評估社會影響和下游風(fēng)險:對通用人工智能系統(tǒng)的更廣泛影響進(jìn)行預(yù)測和評估，可以為與部署或治理相關(guān)的問題提供信息。然而，這些評估是一個復(fù)雜的跨學(xué)科挑戰(zhàn)。社會風(fēng)險評估可以評估產(chǎn)品安全、安全漏洞和不必要的外部性，如勞動力和環(huán)境影響，以及其他問題。這通常涉及在預(yù)期產(chǎn)品使用期間可能導(dǎo)致事故的因素，以及解決意外和惡意使用。模型性能分析方法各種利益相關(guān)者(即人工智能開發(fā)人員、用戶、受影響的人口成員等)對通用人工智能系統(tǒng)在模型功能和防止負(fù)面下游社會影響方面的表現(xiàn)抱有期望。研究人員已經(jīng)開發(fā)了多種方法來比較模型結(jié)果與這些預(yù)期(160)。此模型性能分析對于了解模型的執(zhí)行方式以及部署中可能出現(xiàn)的限制，收益或風(fēng)險是必不可少的。模型透明度、解釋和解釋與研究通用AI模型輸出相反，評估模型的另一種常見方法是研究模型產(chǎn)生輸出的內(nèi)部機(jī)制。這可以幫助研究人員對模型性能進(jìn)行上下文評估，并加深對模型功能的理解。研究通用人工智能模型和系統(tǒng)如何在內(nèi)部運(yùn)行是一個熱門的研究課題，產(chǎn)生了數(shù)千篇學(xué)術(shù)論文。旨在提高透明度的研究領(lǐng)域包括文檔，第三方訪問機(jī)制，黑盒分析，解釋模型動作以及解釋模型的內(nèi)部工作原理。文檔模板記錄做出的決策，并促進(jìn)運(yùn)營層面的透明度。目前，提高通用AI模型透明度的最實(shí)用方法之一是通過記錄和傳達(dá)定義模型的工程決策。已經(jīng)提出了幾種文檔解決方案，以將此類決策傳達(dá)給更廣泛的內(nèi)部和外部利益相關(guān)者。其中一些努力，例如模型卡的開發(fā)(257)已經(jīng)成功。最近的一項研究表明，“在AIcommunity中廣泛使用模型卡”(258)。有文檔tem板可用于交流數(shù)據(jù)集實(shí)踐(259，260，261)，更廣泛的系統(tǒng)功能(262，263)和更廣泛的程序264決策()。模型解釋和可解釋性技術(shù)可以提高研究人員對通用人工智能系統(tǒng)內(nèi)部運(yùn)行方式的理解。有幾種工具允許對通用AI系統(tǒng)進(jìn)行外部審查，使external參與者能夠直接查詢通用AI系統(tǒng)，或者以其他方式獲得模型細(xì)節(jié)的可見性(213)。一種突出的技術(shù)方法涉及研究如何將模型的輸出解釋為給定輸入(265，268266，267，)的結(jié)果。這些解釋可以在支持問責(zé)制方面發(fā)揮獨(dú)特的作用，通過幫助確定責(zé)任，在人類可能受到自動化人工智能系統(tǒng)(271269，270，)的錯誤傷害或歧視的情況下。另一種方法用來研究神經(jīng)系統(tǒng)中的計算網(wǎng)絡(luò)orks參與了口譯therolepar的參數(shù)(272)、神經(jīng)元(273，274，275)、子網(wǎng)(276，277)或圖層表示(278，279，280，281)在人工智能系統(tǒng)內(nèi)部。對模型的解釋有時有助于研究人員發(fā)現(xiàn)漏洞。的例子包括紅線組合(207)，ide確定虛假特征的內(nèi)部表示(282)，brittle特征表示(283，285，286)以及transformers中事實(shí)召回的限制(287)。3.風(fēng)險通用AI的開發(fā)和部署會帶來一些風(fēng)險，本節(jié)將對此進(jìn)行討論。本報告區(qū)分了“風(fēng)險”和“交叉風(fēng)險因素”。就本報告而言，“風(fēng)險”是指發(fā)生傷害的可能性和該傷害的嚴(yán)重程度的組合(339)?！敖徊骘L(fēng)險因素”是指導(dǎo)致不是一個而是幾個風(fēng)險的條件。惡意使用風(fēng)險由于通用人工智能涵蓋了廣泛的知識領(lǐng)域，它可以被重新用于惡意目的，可能會造成廣泛的傷害。本節(jié)討論了惡意使用的一些主要風(fēng)險，但還有其他風(fēng)險，新的風(fēng)險可能會繼續(xù)出現(xiàn)。雖然本節(jié)中討論的風(fēng)險范圍廣泛，但在某些情況下，有證據(jù)表明它們目前可能根本不是嚴(yán)重的風(fēng)險，但我們將它們包括在內(nèi)，以全面概述與通用AI系統(tǒng)相關(guān)的惡意使用風(fēng)險。故障風(fēng)險產(chǎn)品功能問題帶來的風(fēng)險如果通用人工智能模型和系統(tǒng)不符合產(chǎn)品安全和產(chǎn)品功能的一般原則，可能會產(chǎn)生風(fēng)險。與許多產(chǎn)品一樣，通用人工智能產(chǎn)品的風(fēng)險是由于對功能的誤解以及對適當(dāng)和安全使用的指導(dǎo)不足。在這方面，通用的基于人工智能的產(chǎn)品可能沒有什么不同(430)。產(chǎn)品功能問題及其帶來的風(fēng)險可能由潛在的故障模式聚集在一起(見表1)。不可能的任務(wù)源于嘗試使用通用AI系統(tǒng)實(shí)現(xiàn)目標(biāo)的實(shí)例，該系統(tǒng)超出了通用AI系統(tǒng)的功能。很難確切地說在現(xiàn)代環(huán)境中什么是不可能完成的任務(wù)。從歷史上看，大型語言模型無法考慮訓(xùn)練結(jié)束后發(fā)生的事件或發(fā)展。然而，使人工智能產(chǎn)品能夠從數(shù)據(jù)庫中檢索信息，提高了他們考慮訓(xùn)練后發(fā)生的事情的能力--盡管模型在需要新信息(431)的測試中表現(xiàn)仍然較差。另一個可能不可能完成的任務(wù)可能是需要本質(zhì)上無法訪問的數(shù)據(jù)的任務(wù)-例如以可計算媒體的格式不存在的信息，或者由于法律或安全原因而無法進(jìn)行培訓(xùn)的數(shù)據(jù)。不可能完成的任務(wù)會帶來風(fēng)險，因為通常情況下，突出類型的故障-包括許多工程故障，部署后故障和通信故障(見表1)-可能是錯誤測量，誤解或誤解的副產(chǎn)品。模型可以做什么，以及導(dǎo)致錯誤的部署。例如，GPT-4模型取得了“通過模擬律師考試，得分在前10%名測試一下考生左右”的成績，并且在LSAT測試一下考生(2*)中排名第88位。對這一結(jié)果的信心甚至導(dǎo)致一些律師將該技術(shù)用于其專業(yè)用途(432)。在不同的情況下，例如更改測試一下設(shè)置或與通過考試的首次酒吧考生進(jìn)行比較時，該模型的百分位數(shù)結(jié)果要低得多(433)。那些試圖在實(shí)際法律實(shí)踐中使用該模型的人遇到了這些不足之處，因為這些模型產(chǎn)生的錯誤(即不準(zhǔn)確的法律引用、不適當(dāng)?shù)母袷胶痛朕o等)而面臨嚴(yán)重的專業(yè)后果。(434)。關(guān)于模型性能的類似誤解被認(rèn)為適用于醫(yī)學(xué)背景(435)，現(xiàn)實(shí)世界的使用和重新評估揭示了這些模型的復(fù)雜性，這些模型包含可靠的臨床知識(436)或通過MCAT(2*)或USMLE(437)等醫(yī)學(xué)測試。更一般地說，一些部署的大型語言模型在某些語言環(huán)境下會遇到困難:例如，它們可能難以導(dǎo)航否定，因此無法區(qū)分支持和反對行動的建議-盡管一些研究表明這些問題可以通過一般能力增益(439438，)來解決。一些缺點(diǎn)僅在部署后才顯露出來。盡管許多徹底的評估已經(jīng)檢查了大型語言模型在代碼生成中的使用(440*)，包括在相關(guān)的實(shí)際任務(wù)中(441)，實(shí)際部署用于編碼的大型語言模型的實(shí)例，這些模型的使用可能導(dǎo)致潛在引入關(guān)鍵的被忽視的錯誤(442)，以及在指導(dǎo)工程程序員時可能特別有影響的混亂或誤導(dǎo)性的編輯(443)，特別是在自動化部分工作流(444)的應(yīng)用程序中。在現(xiàn)實(shí)世界的現(xiàn)實(shí)環(huán)境中表現(xiàn)不同，即使提供信息模型評估也不足以對通用AI系統(tǒng)和產(chǎn)品功能進(jìn)行穩(wěn)健的陳述。第三，失敗不僅可能是由于評估不足，還可能是由于缺乏與產(chǎn)品用戶就產(chǎn)品的局限性和潛在后果進(jìn)行適當(dāng)?shù)臏贤?。誤導(dǎo)性廣告，因為它發(fā)生在許多市場，可能成為一個重大的風(fēng)險來源的功能在通用人工智能(AI445)。通常，對于許多基于機(jī)器學(xué)習(xí)的產(chǎn)品，可能不清楚哪個部署上下文在數(shù)據(jù)中很好地表示并且適合于模型。然而，更通用的人工智能工具比能力較低或更窄的人工智能系統(tǒng)更難以審查部署準(zhǔn)備情況:使用通用人工智能，可能很難明確定義和限制可能不合適或可能不成熟的潛在用例。盡管在限制用例方面取得實(shí)質(zhì)性進(jìn)展是可行的。偏見和代表性不足的風(fēng)險人工智能系統(tǒng)中的有害偏見和代表性不足一直是挑戰(zhàn)，早在人們對通用人工智能的關(guān)注增加之前。它們?nèi)匀皇峭ㄓ肁I的一個問題，并且在可預(yù)見的未來可能會成為通用AI系統(tǒng)的主要挑戰(zhàn)。如果人工智能的決策基于受保護(hù)的特征(如性別、種族等)而扭曲，那么他們的決策可能會有偏見。因此，當(dāng)這種偏見使決策對這些受保護(hù)群體的成員不利時，它們可能是歧視性的;從而損害公平。本節(jié)討論了人工智能中由偏見和代表性不足風(fēng)險導(dǎo)致的當(dāng)前和未來風(fēng)險。由于這一領(lǐng)域豐富的研究歷史，本節(jié)探討了狹義人工智能和通用AI。人工智能系統(tǒng)可能會因訓(xùn)練數(shù)據(jù)傾斜、模型開發(fā)過程中做出的選擇或過早部署有缺陷的系統(tǒng)而表現(xiàn)出偏見。盡管進(jìn)行了廣泛的研究，但完全減輕任何歧視的可靠方法仍然難以捉摸。人們特別擔(dān)心先進(jìn)的通用人工智能系統(tǒng)會復(fù)制和放大其訓(xùn)練數(shù)據(jù)(446)中存在的偏見。這在工作招聘、金融貸款和醫(yī)療保健(447)等高影響力的應(yīng)用中構(gòu)成了很大的歧視風(fēng)險。在這些領(lǐng)域，通用人工智能系統(tǒng)的輸出可能會對個人產(chǎn)生深遠(yuǎn)的負(fù)面影響，可能會限制就業(yè)前景(449448，)，阻礙向上的金融流動性，并限制獲得基本醫(yī)療服務(wù)(451450，)。有幾個有據(jù)可查的人工智能系統(tǒng)案例顯示基于種族、性別、年齡和殘疾狀況的歧視行為，造成重大傷害。鑒于人工智能系統(tǒng)在各個部門的應(yīng)用越來越廣泛，這種行為可能會延續(xù)各種類型的偏見，包括種族、性別、年齡和殘疾。如果這些系統(tǒng)被賦予越來越高風(fēng)險的決策，這可能會對個人造成嚴(yán)重后果，這可能會造成嚴(yán)重?fù)p害。人工智能系