2024先進人工智能安全國際科學報告

5InternationalScientificReportontheSafetyofAdvancedAI:InterimReport前言7執(zhí)行摘要9通用AI如何獲得其能力？18當前的通用AI系統(tǒng)能夠?qū)崿F(xiàn)19能力按方式20能力和限制技能21最近的趨勢能力及其驅(qū)動因素22最近的趨勢在計算，數(shù)據(jù)和算法22最近的趨勢能力25能力進步在未來29,如果資源繼續(xù)快速擴展，這是否會導(dǎo)致快速發(fā)展？30將迅速擴大資源規(guī)模？30算法的進步會帶來快速的進步？323方法評估和理解通用人工智能系統(tǒng)34通用AI評估用于評估模型功能和影響。34模型性能分析方法35案例研究35基準35紅色團隊和對抗性攻擊36審計37模型透明度、解釋和解釋38挑戰(zhàn)與研究通用AI系統(tǒng)394風險416InternationalScientificReportontheSafetyofAdvancedAI:InterimReport5的技術(shù)方法來減輕風險685.1風險管理與安全工程685.2培訓更多值得信賴的模型725.2.1使通用AI系統(tǒng)與開發(fā)人員的意圖保持一致725.2.5分析和編5.4技術(shù)方法公平和表示在通用人工智能系統(tǒng)785.4.1減輕偏見和歧視的工作貫穿于通用人工智能的開發(fā)和部署階段795.4.2通用人工智能系統(tǒng)的公平性是實現(xiàn)的？805.4.3挑戰(zhàn)實現(xiàn)5.5隱私方法的通用AI系統(tǒng)81主席關(guān)于中期報告的說明84不同觀點86詞匯表87參考文獻917,我很榮幸主持發(fā)布首屆《高級人工智能安全國際科學報告》。我很自豪地發(fā)布這份中期報告，這是自2023年11月布萊奇利公園人工智能安全峰會委托這項工作以來的六個月里，許多專家付出了巨大努力的結(jié)果。我們知道先進的人工智能正在迅速發(fā)展，而且這些先進的人工智能系統(tǒng)如何影響我們未來的生活和工作方式存在很大的不確定性。人工智能有巨大的潛力讓我們的生活變得更好，但它也帶來了傷害的風險。這就是為什么要進行徹底的分析現(xiàn)有的科學文獻和專家意見至關(guān)重要。我們知道的越多，我們就越有能力塑造我們的集體命運。我們的使命很明確:推動對高級人工智能安全性的共享、基于科學的、最新的理解，并隨著時間的推移繼續(xù)發(fā)展這種理解。該報告正確地強調(diào)了專家之間存在共識的領(lǐng)域，以及對高級人工智能的能力和風險的分歧，特別是那些預(yù)計在未來開發(fā)的。為了有效地履行我們的使命，我們的目標是解決知識分子誠實的專家社區(qū)之間的分歧。通過剖析這些差異，我們?yōu)槊髦堑臎Q策鋪平了道路，并刺激了有助于消除迷霧和減輕風險所需的研究。我感謝我們的國際專家咨詢小組的寶貴意見，這些意見最初確定了報告的范圍，后來又對整個草案提供了反饋。他們的不同觀點和認真審查擴大并加強了這份臨時報告。同樣值得認可的是我敬業(yè)的作家和高級顧問團隊。他們在過去幾個月的承諾創(chuàng)造了一個超出我預(yù)期的臨時產(chǎn)品。我還要感謝英國政府啟動這一進程并提供出色的運營支持。對我來說，同樣重要的是，英國政府同意撰寫這份報告的科學家應(yīng)該擁有完全的獨立性。這份中期報告只是旅程的開始。毫無疑問，這份報告在第一次嘗試中未能捕捉到的觀點和證據(jù)。在這樣的科學過程中，反饋是寶貴的。我們將納入更多的證據(jù)和科學的觀點，因為我們對最終版本的工作。YoshuaBengio教授蒙特利爾大學/Mila-魁北克人工智能研究所和主席8關(guān)于高級AI安全性的國際科學報告:中期報告我很高興向您介紹有關(guān)高級AI安全性的第一份國際科學報告的臨時更新，這是2023年11月在布萊奇利公園舉行的開創(chuàng)性AI安全峰會的重要成果。這份具有里程碑意義的報告代表了全球前所未有的努力，以建立對人工智能快速發(fā)展所帶來的機遇和風險的共同的，基于科學的理解，并證明了“布萊奇利效應(yīng)”-召集才華橫溢的頭腦來應(yīng)對人類最大的挑戰(zhàn)之一。我們認為，要實現(xiàn)人工智能造福人類的巨大潛力，需要積極努力，以確保安全、負責任地開發(fā)和部署這些強大的技術(shù)。沒有一個國家能夠獨自應(yīng)對這一挑戰(zhàn)。這就是為什么我如此熱衷于將一群世界領(lǐng)先的專家聚集在一起，貢獻他們的知識和觀點。我要特別感謝YoshuaBengio教授作為主席在巧妙地指導(dǎo)這一復(fù)雜的國際努力方面發(fā)揮的領(lǐng)導(dǎo)作用。至關(guān)重要的是，該報告還揭示了我們當前知識中的重大差距以及迫切需要進一步研究和討論的關(guān)鍵不確定性和辯論。我真誠地希望，這份報告及其背后的合作進程能夠成為縮小關(guān)鍵知識差距所需的研究和政策努力的催化劑，并為未來具有挑戰(zhàn)性的政策選擇提供寶貴的投入。我們還有很多東西要學，但這份報告標志著一個重要的開始。英國期待繼續(xù)與國際伙伴合作，促進負責任的、以人為本的人工智能發(fā)展方法--利用這些強大的工具來改善生活和生計，同時警惕地防范下行風險和傷害。我們可以共同努力，建設(shè)一個全人類都能從人工智能的奇跡中受益的未來。,RtHonMichelleDonelan議員，科學，創(chuàng)新和技術(shù)部國務(wù)卿人工智能的快速發(fā)展將以深刻和不可預(yù)見的方式重塑我們的世界。從革命性的醫(yī)療保健和運輸?shù)阶詣踊瘡?fù)雜任務(wù)和解鎖科學突破，人工智能的積極影響潛力是不可否認的。然而，除了這些顯著的可能性之外，還存在著重大的挑戰(zhàn)，需要采取前瞻性的方法。關(guān)注的范圍從嵌入算法中的意外偏見到自治系統(tǒng)超過人控制。這些在風險凸顯了迫切需要進行全球?qū)υ挘源_保人工智能的安全和負責任的發(fā)展。在這種情況下，國際人工智能安全報告將為全球合作提供重要的基礎(chǔ)。該報告匯集了來自30個國家、歐盟和聯(lián)合國的專家的知識，提供了對人工智能安全性的全面分析。通過關(guān)注對通用人工智能能力和風險的早期科學理解，并評估評估和緩解這些風險的技術(shù)方法，該報告將引發(fā)多方利益相關(guān)者之間的持續(xù)對話和合作。我希望基于這份報告，來自30個國家、歐盟和聯(lián)合國的專家繼續(xù)進行平衡的討論，實現(xiàn)可接受的、適合發(fā)達國家和發(fā)展中國家具體情況的人工智能風險緩解，從而創(chuàng)造一個創(chuàng)新和負責任的人工智能和諧共存的未來。Leejong-ho，大韓民國MSIT部長關(guān)于高級關(guān)于高級AI安全性的國際科學報告:中期報告9執(zhí)行摘要.這是第一份“關(guān)于高級ai安全性的國際科學報告”的臨時出版物。由75位人工智能(AI)專家組成的多元化小組為本報告做出了貢獻，其中包括由30個國家，歐盟(EU)和聯(lián)合國(UN)提名的國際專家咨詢小組。.在本報告主席的領(lǐng)導(dǎo)下，撰寫本報告的獨立專家集體對其內(nèi)容擁有完全的酌處權(quán)。.在人工智能發(fā)展取得前所未有的進展之際，這份第一份出版物將其重點限制在近年來發(fā)展特別迅速的一種人工智能上:通用人工智能，即可以執(zhí)行各種任務(wù)的人工智能。在快速發(fā)展的過程中，通用人工智能的研究目前正處于科學發(fā)現(xiàn)的時代，尚未成為科學定論。.世界各地的人們只有在風險得到適當管理的情況下，才能安全地享受通用人工智能的許多潛在好處。本報告著重于識別這些風險，并評估評估和減輕這些風險的技術(shù)方法。它的目的不是全面評估通用人工智能的所有可能的社會影響，包括其許多潛在的好處。.這份中期報告有史以來第一次匯集了30個國家、歐盟和聯(lián)合國提名的專家以及其他世界領(lǐng)先的專家，為通用人工智能安全的討論和決策提供了一個共享的科學、循證基礎(chǔ)。我們?nèi)匀辉趪@通用人工智能能力、風險和風險緩解的幾個問題上存在分歧，無論是次要的還是主要的。但我們認為這個項目對于提高我們對這項技術(shù)及其潛在風險的集體理解，以及更接近達成共識和有效的風險緩解至關(guān)重要，以確保人們能夠安全地體驗通用人工智能的潛在好處。賭注很高。我們期待著繼續(xù)這一努力。.如果管理得當，通用人工智能可以用于促進公共利益，可能會帶來更好的福祉，更多的繁榮和新的科學發(fā)現(xiàn)。然而，通用人工智能出現(xiàn)故障或被惡意使用也可能造成傷害，例如，在高風險環(huán)境中做出有偏見的決定，或者通過詐騙、虛假媒體或侵犯隱私。.隨著通用人工智能能力的不斷發(fā)展，可能會出現(xiàn)諸如大規(guī)模勞動力市場影響，人工智能黑客攻擊或生物攻擊以及社會失去對通用人工智能的控制等風險，盡管研究人員對這些情況的可能性存在爭議。對這些風險的不同看法往往源于對社會將采取的限制措施、這些措施的有效性以及通用人工智能能力的推進速度的不同期望。.通用人工智能能力的未來進展速度存在相當大的不確定性。一些專家認為，到目前為止，進展最有可能放緩，而另一些專家則認為，極快的進展是可能的或可能的。.開發(fā)人員可以采用各種技術(shù)方法來評估和降低通用人工智能的風險，監(jiān)管機構(gòu)也可以要求，但它們都有局限性。例如，用于解釋為什么通用AI模型產(chǎn)生任何給定輸出的當前技術(shù)受到嚴重限制。InternationalScientificReportontheSafetyofAdvancedAI:InterimReport.通用人工智能技術(shù)的未來是不確定的，即使在不久的將來，也可能出現(xiàn)各種各樣的軌跡，包括非常積極和非常消極的結(jié)果。但關(guān)于AI的未來，沒有什么是不可避免的。社會和政府的決定將決定人工智能的未來。這份臨時報告旨在促進對這些決定的建設(shè)性討論。使用人工智能的系統(tǒng)的能力一直在迅速發(fā)展。這凸顯了人工智能為商業(yè)、研究、政府和私人生活創(chuàng)造的許多機會。它還提高了人們對與先進人工智能相關(guān)的當前危害和未來潛在風險的認識。關(guān)于高級人工智能安全的國際科學報告的目的是朝著對人工智能風險以及如何減輕風險的國際共識邁出一步。該報告的第一份臨時出版物將其重點限制在一種能力發(fā)展特別迅速的人工智能上:通用人工智能，即可以執(zhí)行各種任務(wù)的人工智能。在快速發(fā)展的過程中，通用人工智能的研究目前正處于科學發(fā)現(xiàn)的時代，尚未成為科學定論。該報告概述了當前對通用人工智能及其風險的科學理解。這包括確定科學共識的領(lǐng)域以及存在不同觀點或開放研究問題的領(lǐng)域。世界各地的人們只有在風險得到適當管理的情況下，才能安全地享受通用人工智能的潛在好處。本報告的重點是識別通用人工智能的風險，并評估評估和緩解這些風險的技術(shù)方法，包括使用通用人工智能來緩解風險。它的目的不是全面評估通用人工智能的所有可能的社會影響，包括它可能提供的好處。根據(jù)許多指標，通用AI能力近年來增長迅根據(jù)許多指標，通用AI能力正在迅速發(fā)展。五年前，領(lǐng)先的通用人工智能語言模型很少能產(chǎn)生連貫的文本段落。今天，一些通用的人工智能模型可以在廣泛的主題上進行多輪對話，編寫簡短的計算機程序，或者從描述中生成視頻。然而，通用人工智能的能力很難可靠地估計和精確定義。通用人工智能的發(fā)展速度取決于技術(shù)進步的速度和監(jiān)管環(huán)境。本報告?zhèn)戎赜诩夹g(shù)方面，不討論監(jiān)管工作如何影響通用人工智能的開發(fā)和部署速度。近年來，人工智能開發(fā)人員迅速提高了通用人工智能功能，主要是通過不斷增加用于訓練新模型(一種稱為“擴展”的趨勢)和改進現(xiàn)有算法的資源。例如，最先進的人工智能模型用于訓練的計算資源(“計算”)每年增加約4倍，訓練數(shù)據(jù)集大小增加2.5倍，算法效率(相對于計算的性能)增加1.5倍。“縮放”是否導(dǎo)致了諸如因果推理等基本挑戰(zhàn)的進展，研究人員之間存在爭議。InternationalScientificReportontheSafetyofAdvancedAI:InterimReport通用人工智能能力的未來進展速度對管理新興風險具有重大影響，但專家們對即使在不久的將來也會發(fā)生什么持不同意見。專家們以各種方式支持通用人工智能能力緩慢、快速或極快發(fā)展的可能性。這種分歧涉及一個關(guān)鍵問題:繼續(xù)“擴展”資源和改進現(xiàn)有技術(shù)是否足以產(chǎn)生快速進展并解決可靠性和事實準確性等問題，還是需要新的研究突破來大幅提高通用AI能力？幾家開發(fā)通用人工智能的領(lǐng)先公司正在押注“擴展”以繼續(xù)帶來性能改進。如果最近的趨勢繼續(xù)下去，到2026年年底，一些通用人工智能模型將使用比2023年發(fā)布的最計算密集型模型多40倍至100倍的計算進行訓練，并結(jié)合使用這種計算效率提高3倍至20倍的訓練方法。然而，進一步增加數(shù)據(jù)和計算存在潛在的瓶頸，包括數(shù)據(jù)的可用性、人工智能芯片、資本支出和本地能源容量。開發(fā)通用人工智能的公司正在努力解決這些潛在的瓶頸。管理通用人工智能風險的方法通常基于這樣的假設(shè)，即人工智能開發(fā)人員和政策制定者可以評估通用人工智能模型和系統(tǒng)的能力和潛在影響。但是，雖然技術(shù)方法可以幫助評估，但所有現(xiàn)有方法都有局限性，無法提供強有力的保證，以防止與通用人工智能相關(guān)的大多數(shù)危害?？傮w而言，對通用人工智能的內(nèi)部運作、能力和社會影響的科學理解非常有限，專家普遍認為，提高我們對通用人工智能的理解應(yīng)該是當務(wù)之急。一些關(guān)鍵挑戰(zhàn)包括:.開發(fā)人員仍然對他們的通用AI模型如何運行知之甚少。這是因為通用AI模型不是傳統(tǒng)意義上的編程。相反，他們是經(jīng)過訓練的:人工智能開發(fā)人員建立了一個涉及大量數(shù)據(jù)的訓練過程，這個訓練過程的結(jié)果就是通用人工智能模型。這些模型可以由數(shù)萬億個稱為參數(shù)的組件組成，并且它們的大部分內(nèi)部工作都是難以理解的，包括對模型開發(fā)人員來說。模型解釋和可解釋性技術(shù)可以提高研究人員和開發(fā)人員對通用AI模型如何運行的理解，但這項研究還處于起步階段。.通用AI主要通過在各種輸入上測試模型或系統(tǒng)來評估。這些抽查有助于評估優(yōu)勢和劣勢，包括漏洞和潛在的有害能力，但不提供定量的安全保證。測試通常會忽略危險，高估或低估功能，因為通用AI系統(tǒng)在不同情況下，不同用戶或?qū)ζ浣M件進行其他調(diào)整時可能會表現(xiàn)不同。.原則上，獨立參與者可以審核公司開發(fā)的通用AI模型或系統(tǒng)。但是，公司通常不向獨立審計師提供必要的直接訪問模型或有關(guān)嚴格評估所需的數(shù)據(jù)和方法的信息。一些政府正在開始建設(shè)進行技術(shù)評估和審計的能力。.很難評估通用人工智能系統(tǒng)的下游社會影響，因為對風險評估的研究還不足以產(chǎn)生嚴格和全面的評估方法。此外，通用人工智能具有廣泛的用例，這些用例通常不是預(yù)定義的，只是受到輕微的限制，使風險評估進一步復(fù)雜化。了解通用人工智能模型和系統(tǒng)的潛在下游社會影響需要細致入微的多學科分析。增加多樣化的代表性InternationalScientificReportontheSafetyofAdvancedAI:InterimReport通用人工智能開發(fā)和評估過程中的觀點是一項持續(xù)的技術(shù)和制度挑戰(zhàn)。該報告將通用AI風險分為三類:惡意使用風險，故障風險和系統(tǒng)性風險。它還討論了導(dǎo)致許多風險的幾個交叉因素。惡意使用。與所有強大的技術(shù)一樣，通用AI系統(tǒng)也可能被惡意使用以造成傷害?？赡艿膼阂馐褂妙愋桶ㄏ鄬ψC據(jù)充分的類型，例如通用AI實現(xiàn)的詐騙，以及一些專家認為未來幾年可能發(fā)生的類型，例如惡意使用通用AI的科學功能。.通過通用AI生成的虛假內(nèi)容對個人造成的傷害是一種相對有據(jù)可查的通用AI惡意使用。通用AI可用于增加詐騙和欺詐的規(guī)模和復(fù)雜性，例如通過通用AI增強的“網(wǎng)絡(luò)釣魚”攻擊。通用人工智能也可以用來生成虛假的妥協(xié)內(nèi)容，包括未經(jīng)個人同意的個人，例如未經(jīng)同意的deepfake色情內(nèi)容。.另一個令人擔憂的領(lǐng)域是惡意使用通用人工智能來提供信息和操縱公眾輿論。通用人工智能和其他現(xiàn)代技術(shù)使生成和傳播錯誤信息變得更加容易，包括影響政治進程。像水印內(nèi)容這樣的技術(shù)對策雖然有用，但通?？梢员贿m度復(fù)雜的參與者規(guī)避。.通用人工智能也可能被惡意用于網(wǎng)絡(luò)犯罪，提升個人的網(wǎng)絡(luò)專業(yè)知識，并使惡意用戶更容易進行有效的網(wǎng)絡(luò)攻擊。通用AI系統(tǒng)可用于擴展和部分自動化某些類型的網(wǎng)絡(luò)操作，例如社交工程攻擊。但是，通用AI也可以用于網(wǎng)絡(luò)防御。總體而言，尚無任何實質(zhì)性證據(jù)表明通用AI可以自動執(zhí)行復(fù)雜的網(wǎng)絡(luò)安全任務(wù)。.一些專家還對通用人工智能可能被用來支持生物武器等武器的開發(fā)和惡意使用表示擔憂。沒有強有力的證據(jù)表明目前的通用人工智能系統(tǒng)會帶來這種風險。例如，盡管目前的通用人工智能系統(tǒng)顯示出與生物學相關(guān)的不斷增長的能力，但有限的研究并沒有提供明確的證據(jù)表明，目前的系統(tǒng)可以比使用互聯(lián)網(wǎng)更容易地“提升”惡意行為者來獲取生物病原體。然而，未來的大規(guī)模威脅幾乎沒有得到評估，也很難排除。故障風險。即使用戶無意造成傷害，由于通用AI的故障，也可能會產(chǎn)生嚴重的風險。這種故障可能有幾種可能的原因和后果:.基于通用人工智能模型和系統(tǒng)的產(chǎn)品的功能可能會被用戶理解得很少，例如由于誤解或誤導(dǎo)性廣告。如果用戶隨后以不合適的方式或出于不合適的目的部署系統(tǒng)，這可能會造成損害。.人工智能系統(tǒng)中的偏見通常是一個很明顯的問題，對于通用人工智能來說也沒有解決。通用人工智能輸出可能會在種族、性別、文化、年齡和殘疾等受保護特征方面存在偏見。這可能會產(chǎn)生風險，包括在高風險領(lǐng)域，如醫(yī)療保健，工作招聘和金融貸款。此外，許多廣泛使用的通用人工智能模型主要是在不成比例地代表西方文化的數(shù)據(jù)上訓練的，這可能會增加對這些數(shù)據(jù)不能很好地代表的個人造成傷害的可能性。InternationalScientificReportontheSafetyofAdvancedAI:InterimReport.“失控”情景是潛在的未來情景，在這種情景中，社會不再能夠有意義地限制通用人工智能系統(tǒng)，即使它們顯然正在造成傷害。人們普遍認為，目前的通用人工智能缺乏構(gòu)成這種風險的能力。一些專家認為，目前開發(fā)通用自主人工智能(可以行動、計劃和追求目標的系統(tǒng))的努力，如果成功，可能會導(dǎo)致失控。專家們對失控情況的合理性，何時可能發(fā)生以及減輕這種情況的難度持不同意見。系統(tǒng)性風險。通用人工智能技術(shù)的廣泛發(fā)展和采用帶來了一些系統(tǒng)性風險，從潛在的勞動力市場影響到隱私風險和環(huán)境影響:.通用人工智能，特別是如果它進一步迅速發(fā)展，有可能自動化非常廣泛的任務(wù)，這可能會對勞動力市場產(chǎn)生重大影響。這可能意味著許多人可能會失去目前的工作。然而，許多經(jīng)濟學家預(yù)計，潛在的失業(yè)可能會被創(chuàng)造新的就業(yè)機會和非自動化部門需求的增加所抵消，甚至可能完全抵消。.通用人工智能的研發(fā)目前主要集中在少數(shù)西方國家和中國。這種“AI劃分”是多原因的，但部分原因是開發(fā)通用AI所需的計算訪問級別不同。由于低收入國家和學術(shù)機構(gòu)獲得計算機的機會比高收入國家和技術(shù)公司少，因此它們處于不利地位。.通用人工智能發(fā)展的市場集中度使社會更容易受到幾種系統(tǒng)性風險的影響。例如，少量的廣泛使用金融或醫(yī)療保健等關(guān)鍵部門的通用人工智能系統(tǒng)可能會在這些相互依賴的部門中同時造成廣泛的故障和中斷，例如由于錯誤或漏洞。.在通用AI開發(fā)和部署中不斷增長的計算使用量迅速增加了與通用AI相關(guān)的能源使用量。這種趨勢沒有顯示出放緩的跡象，2可能導(dǎo)致進一步增加的CO排放和水消耗。.通用AI模型或系統(tǒng)可能會對隱私構(gòu)成風險。例如，研究表明，通過使用對抗性輸入，用戶可以從模型中提取包含有關(guān)個人信息的訓練數(shù)據(jù)。對于未來針對敏感個人數(shù)據(jù)(如健康或財務(wù)數(shù)據(jù))進行訓練的模型，這可能會導(dǎo)致特別嚴重的隱私泄露。.通用人工智能開發(fā)中潛在的版權(quán)侵權(quán)對傳統(tǒng)的知識產(chǎn)權(quán)法以及同意、補償和數(shù)據(jù)控制系統(tǒng)構(gòu)成了挑戰(zhàn)。不明確的版權(quán)制度阻礙了通用AI開發(fā)人員宣布他們使用的數(shù)據(jù)，并且不清楚在未經(jīng)許可的情況下使用其作品來訓練通用AI模型的創(chuàng)作者會受到哪些保護。交叉風險因素支撐通用人工智能相關(guān)風險的是幾個交叉風險因素--通用人工智能的特征增加了不是一個而是幾個風險的概率或嚴重性:.跨領(lǐng)域的技術(shù)風險因素包括難以確保通用AI系統(tǒng)可靠地按預(yù)期運行，我們對其內(nèi)部工作原理缺乏了解，以及正在開發(fā)的通用AI“代理”可以在減少監(jiān)督的情況下自主行動。.社會交叉風險因素包括技術(shù)進步的速度和監(jiān)管反應(yīng)的速度之間的潛在差距，以及人工智能開發(fā)人員快速發(fā)布產(chǎn)品的競爭激勵，這可能是以徹底的風險管理為代價的。InternationalScientificReportontheSafetyofAdvancedAI:InterimReport有幾種技術(shù)方法可以幫助降低風險，但目前沒雖然本報告沒有討論減輕通用人工智能風險的政策干預(yù)措施，但它確實討論了研究人員正在取得進展的技術(shù)風險緩解方法。盡管取得了這一進展，但目前的方法并沒有可靠地防止在現(xiàn)實世界環(huán)境中甚至公開有害的通用AI輸出。使用了幾種技術(shù)方法來評估和減輕風險:.在訓練通用AI模型以更安全地運行方面取得了一些進展。開發(fā)人員還訓練模型，使其對旨在使其失敗的輸入更加健壯(“對抗性訓練”)。盡管如此，對手通?？梢哉业教娲度耄缘椭林械鹊呐档捅Ｕ洗胧┑挠行?。將通用人工智能系統(tǒng)的功能限制在特定的用例中，有助于降低不可預(yù)見的故障或惡意使用帶來的風險。.有幾種技術(shù)可用于識別風險，檢查系統(tǒng)操作以及在部署通用AI系統(tǒng)后評估性能。這些做法通常被稱為“監(jiān)控”。.減輕通用AI系統(tǒng)中的偏見可以在系統(tǒng)的整個生命周期中解決，包括設(shè)計，培訓，部署和使用。然而，完全防止通用人工智能系統(tǒng)中的偏見是具有挑戰(zhàn)性的，因為它需要系統(tǒng)的訓練數(shù)據(jù)收集、持續(xù)的評估和有效的偏見識別。它還可能需要權(quán)衡公平性與其他目標，如準確性和隱私，并決定什么是有用的知識，什么是不應(yīng)該反映在輸出中的不良偏見。.隱私保護是研究和開發(fā)的活躍領(lǐng)域。簡單地在培訓中盡量減少敏感個人數(shù)據(jù)的使用是一種可以大大降低隱私風險的方法。然而，當有意或無意地使用敏感數(shù)據(jù)時，用于降低隱私風險的現(xiàn)有技術(shù)工具難以擴展到大型通用AI模型，并且可能無法為用戶提供有意義的控制。結(jié)論:廣泛的通用人工智能軌跡是可能的，這在很大程度上取決于社會通用人工智能的未來是不確定的，即使在不久的將來，也可能出現(xiàn)各種各樣的軌跡，包括非常積極和非常消極的結(jié)果。但通用人工智能的未來并不是不可避免的。通用人工智能是如何開發(fā)的，由誰開發(fā)，它旨在解決哪些問題，社會是否能夠獲得通用人工智能的全部經(jīng)濟潛力，誰從中受益，我們面臨的風險類型，我們投入多少研究以降低風險-這些和許多其他問題取決于社會和政府今天和未來做出的選擇，以塑造通用人工智能的發(fā)展。為了幫助促進關(guān)于這些決策的建設(shè)性討論，本報告概述了科學研究的現(xiàn)狀以及關(guān)于管理通用人工智能風險的討論。賭注很高。我們期待著繼續(xù)這一努力。關(guān)于高級關(guān)于高級AI安全性的國際科學報告:中期報告我們正處于一場技術(shù)革命之中，這場革命將從根本上改變我們的生活、工作和相互聯(lián)系的方式。人工智能(AI)有望改變我們社會和經(jīng)濟的許多方面?？茖W界普遍認為，人工智能系統(tǒng)的能力在過去五年中在許多任務(wù)上取得了快速進展。大型語言模型(llm)是一個特別突出的例子。在2019中，GPT-2，當時最先進的LLM，無法可靠地產(chǎn)生連貫的文本段落不能總是數(shù)到十。在撰寫本文時，像克勞德3，GPT-4和雙子座Ultra這樣最強大的llm可以始終如一地進行多輪對話，編寫簡短的計算機程序，在多種語言之間進行翻譯，在大學入學考試中獲得高分，并總結(jié)長文檔。這種能力的逐步變化以及持續(xù)進步的潛力，可以在許多方面幫助提高公眾利益。其中最有希望的前景是人工智能在教育、醫(yī)療應(yīng)用、廣泛領(lǐng)域的研究進展以及導(dǎo)致繁榮的創(chuàng)新增加方面的潛力。這一快速進展也提高了人們對與最有能力的人工智能類型相關(guān)的當前危害和未來潛在風險的認識。為了開始就先進人工智能的風險達成國際共識，政府代表和學術(shù)界、商界和民間社會的領(lǐng)導(dǎo)人于2023年11月在英國布萊奇利公園召開了首屆國際人工智能安全峰會。在峰會上，出席會議的國家以及歐盟和聯(lián)合國同意支持制定關(guān)于先進人工智能安全的國際科學報告。本報告旨在促進對先進人工智能安全的國際共享科學理解。這是該報告的第一份臨時出版物:第一份報告的最終版本將在法國AI峰會之前發(fā)布。一個由75位人工智能專家組成的國際小組，他們的觀點廣泛，相關(guān)的背景也多種多樣，為這份中期報告做出了貢獻。報告所考慮的證據(jù)包括相關(guān)的科學，技術(shù)和社會經(jīng)濟證據(jù)。由于人工智能領(lǐng)域正在飛速發(fā)展，因此并非本報告使用的所有來源都經(jīng)過同行評審。但是，該報告致力于僅引用高質(zhì)量的來源。高質(zhì)量源的標準包括:.該作品構(gòu)成了推動該領(lǐng)域發(fā)展的原始貢獻。.該作品全面地與現(xiàn)有的科學文獻相結(jié)合，在適當?shù)那闆r下引用其他人的工作，并對其進行準確的解釋。.該作品真誠地討論了對其主張的可能異議。.這篇文章清楚地描述了其分析所采用的方法。它批判性地討論了方法的選擇。.這篇文章清楚地強調(diào)了它在方法上的局限性。.這篇文章在科學界很有影響力。由于對先進人工智能風險的科學共識仍在形成中，因此在許多情況下，該報告并未提出自信的觀點。相反，它提供了科學理解和共識的當前狀態(tài)的快照，或者缺乏科學理解和共識。在文獻中存在空白的地方，報告指出了這些空白，希望這將促進進一步的研究。此外，本報告沒有評論哪些政策選擇是對其討論的風險的適當回應(yīng)。最終，政策制定者必須選擇如何平衡先進人工智能帶來的機遇和風險。InternationalScientificReportontheSafetyofAdvancedAI:InterimReport政策制定者還必須判斷適當?shù)膶徤骱椭斏鞒潭?，以?yīng)對仍然模棱兩可的風險。人工智能(AI)是指使用廣泛適用的方法開發(fā)的先進的基于機器的系統(tǒng)，以實現(xiàn)給定的目標或回答給定的問題。人工智能是一個廣泛且快速發(fā)展的研究領(lǐng)域，有許多不同種類的人工智能。本中期報告并未涉及所有類型的高級AI的所有潛在風險。該報告的第一次迭代側(cè)重于通用AI，即可以執(zhí)行各種任務(wù)的AI。通用人工智能系統(tǒng)，現(xiàn)在通過ChatGPT等應(yīng)用程序為許多人所知，在過去的18個月里，公眾和政策制定者對人工智能產(chǎn)生了前所未有的興趣。它的能力一直在迅速提高。通用AI不同于所謂的“窄AI”，這是一種專門執(zhí)行一項特定任務(wù)或一些非常相似的任務(wù)的AI。為了更好地理解我們?nèi)绾卧诒緢蟾嬷卸x通用AI，區(qū)分“AI模型”和“AI系統(tǒng)”很有用。人工智能模型可以被認為是原始的數(shù)學本質(zhì)，通常是人工智能應(yīng)用的“引擎”。AI系統(tǒng)是多個組件的集合，包括一個或多個AI模型，旨在以某種方式對人類特別有用。例如，ChatGPT應(yīng)用程序是一個AI系統(tǒng)。它的核心引擎GPT-4是一個人工智能模型。本報告涵蓋了AI模型和AI系統(tǒng)的風險，如果它們是“通用”AI模型或系統(tǒng)。我們認為AI模型是通用的，如果它可以執(zhí)行或可以適應(yīng)執(zhí)行各種各樣的任務(wù)。我們認為AI系統(tǒng)是通用的，如果它是基于通用模型，但如果它是基于從通用模型派生的專用模型。在通用AI領(lǐng)域，本報告重點關(guān)注通用AI，它至少與當今最先進的通用AI(如GPT-4Turbo、Claude3和GeminiUltra)一樣強大。在我們的定義中，模型或系統(tǒng)不需要具有多種模態(tài)，如語音，文本和圖像，就可以被認為是通用的。相反，可以在特定領(lǐng)域內(nèi)執(zhí)行各種任務(wù)的人工智能，如結(jié)構(gòu)生物學，在我們的定義中也被視為通用。重要的是，不要將通用AI與“人工通用智能”(AGI)混淆，AGI有時用于指代潛在的未來AI系統(tǒng)，該系統(tǒng)在所有或幾乎所有認知任務(wù)上的表現(xiàn)均等于或超過人類。通用AI是一個較弱的概念。本報告沒有解決“狹窄ai”帶來的風險，“狹窄ai”經(jīng)過培訓可以執(zhí)行非常有限的任務(wù)，并且捕獲了相應(yīng)的非常有限的知識體系。編寫這份中期報告的時間有限，導(dǎo)致人們把重點放在先進的通用人工智能上，因為這方面的進展最為迅速，相關(guān)風險的研究和理解也較少。然而，從風險和安全的角度來看，狹義人工智能也可能具有高度相關(guān)性，報告中使用了與這些系統(tǒng)風險相關(guān)的證據(jù)。狹義的人工智能模型和系統(tǒng)被廣泛用于醫(yī)藥、廣告或銀行等領(lǐng)域的產(chǎn)品和服務(wù)，并且可能在其中許多領(lǐng)域帶來重大風險。這些風險可能導(dǎo)致諸如有偏見的招聘決定，車禍或有害的醫(yī)療建議等危害。窄AI也被用于各種軍事應(yīng)用。一個應(yīng)用，雖然是人工智能在軍隊中的應(yīng)用的一個非常小的子集，(1)涉及，例如，致命的自主武器系統(tǒng)(law)。這些主題在其他論壇中都有涉及，不在本中期報告的范圍之內(nèi)。一個龐大而多樣的領(lǐng)先國際專家小組為本報告做出了貢獻，其中包括來自所有聯(lián)合國區(qū)域集團以及歐盟和聯(lián)合國的30個國家提名的代表。雖然我們的個人觀點有時會有所不同，但我們堅信，關(guān)于人工智能的建設(shè)性科學和公共討論對于世界各地的人們安全地獲得這項技術(shù)的好處是必要的。我們希望這份臨時報告能夠有助于這一論述，并成為InternationalScientificReportontheSafetyofAdvancedAI:InterimReport未來的報告將逐步改善我們對高級人工智能的能力和風險的共同理解。該報告分為六個主要部分。在此介紹之后，2。Capabilities提供有關(guān)通用AI當前功能、基本原理和潛在未來趨勢的信息。3.評估和理解通用AI系統(tǒng)的方法解釋了研究人員如何嘗試了解通用AI可以做什么以及它可能帶來的風險。4.風險部討論特定風險和交叉風險因素。5.減輕風險的技術(shù)方法介紹了減輕通用人工智能風險的技術(shù)，并評估了它們的優(yōu)勢和局限性。6.結(jié)論:總結(jié)和總結(jié)。關(guān)于高級關(guān)于高級AI安全性的國際科學報告:中期報告2.1通用AI如何獲得其能力？.通用AI模型和系統(tǒng)可以生成文本，圖像，視頻，未標記數(shù)據(jù)的標簽，并啟動操作。.通用人工智能模型和系統(tǒng)的生命周期通常涉及計算密集型的“預(yù)培訓”、勞動密集型的“微調(diào)”以及持續(xù)的部署后監(jiān)控和更新。有各種類型的通用AI。通用AI模型的示例包括:.聊天機器人風格的語言模型，如GPT-4(2*)，Gemini-1.5(3*)，Claude-3(4*)，Qwen1.5(5*)，Llama-3(6*)，和米斯特拉爾大(7*)。.諸如DALLE-3(9*)、Midjourney-5(10*)和穩(wěn)定擴散-3(11*)的圖像生成器(8)。.視頻發(fā)生器，如SORA12*。.機器人和導(dǎo)航系統(tǒng)，如PaLM-E(13)。.分子生物學中各種結(jié)構(gòu)的預(yù)測因子，如AlphaFold3(14)。通用AI模型依賴于深度學習(15)或人工神經(jīng)網(wǎng)絡(luò)的訓練，這是由多層互連節(jié)點組成的AI模型，松散地受到生物神經(jīng)網(wǎng)絡(luò)大腦結(jié)構(gòu)的啟發(fā)。大多數(shù)最先進的通用人工智能模型都基于“變壓器”神經(jīng)網(wǎng)絡(luò)架構(gòu)(16)，該架構(gòu)已被證明在將越來越多的訓練數(shù)據(jù)和計算能力轉(zhuǎn)換為更好的模型性能方面特別有效。從廣義上講，通用AI模型的開發(fā)和部署遵循相同的一系列不同階段:預(yù)訓練，微調(diào)，系統(tǒng)集成，部署和部署后更新。每個都需要不同的方法和資源。預(yù)訓練和微調(diào)都是“訓練”通用AI模型的方法。在訓練過程中，通用AI模型會獲得一些數(shù)據(jù)，并對其進行處理以預(yù)測其他數(shù)據(jù)。例如，該模型可以被給定維基百科文章的前500個單詞，然后預(yù)測第501個單詞。最初，它是隨機預(yù)測的，但隨著它看到更多的數(shù)據(jù)，它會自動適應(yīng)從錯誤中學習，它的預(yù)測也會提高。每個預(yù)測都需要一定量的計算資源(“計算機”)，因此訓練需要數(shù)據(jù)和計算。由開發(fā)人員設(shè)計的模型架構(gòu)決定了模型進行預(yù)測時發(fā)生的廣泛類型的計算，并且在訓練期間調(diào)整了這些計算中使用的確切數(shù)字。預(yù)培訓:預(yù)培訓的目標是將一般背景知識構(gòu)建成通用的AI模型。在預(yù)訓練期間，通用AI模型通常從大量數(shù)據(jù)(通常來自互聯(lián)網(wǎng))的模式中學習。收集和準備訓練前數(shù)據(jù)是大規(guī)模的操作，在大多數(shù)情況下，訓練前是計算最密集的發(fā)展階段。如今，通用AI模型的預(yù)訓練需要數(shù)周或數(shù)月，并使用數(shù)千個圖形處理單元(gpu)-專門的計算機芯片，旨在快速處理復(fù)雜的并行計算。例如，F(xiàn)alcon-180B模型使用4,096個gpuInternationalScientificReportontheSafetyofAdvancedAI:InterimReport多個月，PaLM(540B)使用6,144芯片50天(13)。如今，與2010中的最先進模型訓練(17)相比，此過程使用的計算量大約是其100億倍。一些開發(fā)人員使用自己的計算進行預(yù)培訓，而其他開發(fā)人員則使用專業(yè)云計算提供商提供的資源。微調(diào):經(jīng)過預(yù)訓練后，大多數(shù)通用AI模型都會經(jīng)歷一個或多個額外的微調(diào)階段，以完善其完成int結(jié)束任務(wù)的能力。微調(diào)可以包括各種技術(shù)，包括從期望示例(18)、成對的期望和不期望示例(19)或獎勵和懲罰(20、21*)中學習。微調(diào)通常需要大量的人工參與，并且往往是培訓中最勞動密集型的部分，微調(diào)現(xiàn)代模型需要數(shù)百萬個人工反饋實例(22*)。通常，這種反饋是由成千上萬的簽約知識工作者提供的。系統(tǒng)集成:模型經(jīng)過訓練后，可以通過將其與旨在增強功能和安全性的其他系統(tǒng)組件集成來構(gòu)建通用AI系統(tǒng)。在實踐中，通用AI模型通常與用戶界面、輸入預(yù)處理器、輸出后處理器和內(nèi)容過濾器集成。部署:經(jīng)過訓練后，可以部署模型以供使用。部署可以是“內(nèi)部的”，其中系統(tǒng)僅由開發(fā)人員使用，也可以是“外部的”，允許公共或其他非開發(fā)人員實體使用它。外部部署可以是“封閉源”或“開放源”。閉源意味著公眾只能通過有限的界面使用該系統(tǒng)。開源意味著整個系統(tǒng)，包括所有的模型參數(shù)，都是可用的。一些最先進的通用人工智能系統(tǒng)，如GPT-4(2*)，是閉源的，而其他像Llama-3(6*)是開源的。從減輕風險的角度來看，開源模型有其優(yōu)缺點，這是科學界正在進行的討論的主題。這份中期報告沒有詳細討論開源模型的優(yōu)缺點。部署后監(jiān)控和更新:部署后許多通用AI系統(tǒng)會不斷更新。這使開發(fā)人員可以更新功能并嘗試在發(fā)現(xiàn)缺陷和漏洞時解決它們。這些變化通常相當于一種“貓和老鼠”的游戲，開發(fā)人員不斷更新高調(diào)的系統(tǒng)，以應(yīng)對新發(fā)現(xiàn)的漏洞(22*)。.通用人工智能能力很難可靠地估計，但大多數(shù)專家認為，目前的通用人工智能能力包括:o協(xié)助程序員和編寫簡短的計算機程序o在幾個回合內(nèi)進行流利的交談o解決教科書上的數(shù)學和科學問題.大多數(shù)專家認為，通用人工智能目前無法完成以下任務(wù):o執(zhí)行有用的機器人任務(wù)，如家庭任務(wù)o可靠地避免虛假陳述o開發(fā)全新的復(fù)雜想法.評估通用人工智能系統(tǒng)能力的一個關(guān)鍵挑戰(zhàn)是性能是高度特定于上下文的。有時僅在部署模型之后才會發(fā)現(xiàn)引發(fā)改進模型功能的方法，因此可能會低估初始功能。InternationalScientificReportontheSafetyofAdvancedAI:InterimReport可替代地，通用AI模型和系統(tǒng)能力可能被高估，因為在不同的上下文中缺乏魯棒性并且使用不同的方法來引出能力。本節(jié)重點介紹按模態(tài)(如視頻和語言)和技能(如推理和知識)分類的通用AI模型和系統(tǒng)的功能。功能也可以根據(jù)特定基準的性能進行分類(請參見3。評估和了解通用AI系統(tǒng))。雖然本節(jié)涵蓋了一般功能，但4.4.1.交叉-削減技術(shù)風險因素的重點是“高風險”能力。難以定義能力-通用人工智能系統(tǒng)通常是根據(jù)其能力來描述的，但在人工智能領(lǐng)域，“能力”一詞并沒有被廣泛接受的定義。定義能力的部分困難在于它不能被直接觀察到--人工智能研究人員只能觀察人工智能系統(tǒng)的行為:系統(tǒng)實際產(chǎn)生的一組輸出或動作以及它這樣做的背景(例如，導(dǎo)致觀察到的行為的提示)(23)。人工智能研究人員只能總結(jié)在許多情況下觀察到的系統(tǒng)行為，從而得出系統(tǒng)的能力-能力的印象。即使在模型建立之后，也很難定義和衡量新的通用AI模型的全部功能;研究人員和用戶通常會在模型部署后發(fā)現(xiàn)新的方法來獲取功能，例如，通過提示模型“逐步思考”(2524，)。定義通用人工智能系統(tǒng)功能的另一個復(fù)雜之處在于，它們是由其環(huán)境中的能力--它可以訪問的工具和資源--塑造的。例如，當一個通用人工智能系統(tǒng)連接到互聯(lián)網(wǎng)并配備網(wǎng)絡(luò)瀏覽器時，它會獲得新的affor信息檢索和與現(xiàn)實世界互動，有效地擴展其功能(26)。通用AI模型可以根據(jù)它們處理的模式(例如文本，圖像，視頻)作為輸入并生成輸出進行分類。通用人工智能模型存在10+模態(tài)(27)，如時間序列(28*)和音樂(29*)，但文本處理模型是目前對通用人工智能模型的大部分關(guān)注的來源。先進的通用人工智能模型越來越能夠處理和生成文本、圖像、視頻、音頻、機器人動作以及蛋白質(zhì)和大分子:.高級文本語言模型可以生成流暢的文本，并可用于跨各種自然語言、主題和格式的多輪對話。文本和自然語言界面對于人們與通用AI模型進行交互非常有用。一些通用AI模型可以使用文本作為輸入和輸出，例如OpenAI的GPT-3(30);而其他人則將文本作為輸入，例如穩(wěn)定性AI的穩(wěn)定擴散3(11*)，并且可以處理越來越長的文本序列-例如，google的Gemini-Pro-1.5可以處理30,000行代碼(31*)。文本可以包括編碼為文本的許多類型的數(shù)據(jù)，例如數(shù)學公式和軟件代碼。在軟件領(lǐng)域，語言模型可以編寫簡短的程序并為程序員提供幫助(32)。圖像-與圖像相關(guān)的許多通用AI模型可以將圖像作為可能與文本結(jié)合的輸入，例如Anthropic的Claude3(444*)，并且可以用于分類(34)，描述(2*)，編碼(35)或分割圖像，以區(qū)分其中的不同對象(36*)。通用AI模型也可以生成圖像作為輸出，例如OpenAI的DALL-E3(9*)。先進的通用人工智能模型可以生成越來越可控的圖像，對更復(fù)雜的概念和圖像中的文本渲染(9*)有顯著的改進。.與視頻相關(guān)的通用AI模型將現(xiàn)有視頻作為輸入，例如Meta的v-jepa(37*)，或者可以從文本生成視頻，例如OpenAI的Sora(38*)。一些通用AI模型學習對可以在視頻中跨時間跟蹤的對象屬性進行編碼。電流InternationalScientificReportontheSafetyofAdvancedAI:InterimReport模型可以生成逼真的視頻，但在長度(通常小于一分鐘)，保真度和一致性方面受到限制。.機器人動作-可以使用通用AI模型來規(guī)劃多步機器人動作，并解釋指令以指導(dǎo)較低級別的動作(39)。最初的工作還在探索通用AI模型，這些模型不僅可以計劃或解釋，還可以生成機器人動作，例如Google的RT-2-X(40*)，但是生成機器人動作的通用AI模型功能相對較少。部分原因是，數(shù)據(jù)收集是具有挑戰(zhàn)性的，雖然正在作出大量的努力(4241，)。.蛋白質(zhì)和大分子-與蛋白質(zhì)和其他大分子一起工作的通用AI模型對各種表示(例如殘基序列，3D結(jié)構(gòu))進行操作。這些模型可以預(yù)測蛋白質(zhì)折疊，生成有用的新蛋白質(zhì)，并執(zhí)行一系列與蛋白質(zhì)相關(guān)的任務(wù)。因此，它們屬于通用AI模型的定義1。介紹。蛋白質(zhì)通用AI模型可以越來越多地控制led，以生成跨大型蛋白質(zhì)家族具有可預(yù)測功能的蛋白質(zhì)設(shè)計43，44。2.2.2技能的能力和限制為了全面評估通用人工智能能力，通過展示知識、推理和創(chuàng)造力等眾所周知的技能對它們進行分類可能會有所幫助。與按模態(tài)分類相比，技能更難精確定義，但為通用AI功能提供了更直觀的視角。從技能的角度來看，當今最強大的通用AI系統(tǒng)顯示出部分熟練程度，但并不完全可靠。專家們經(jīng)常不同意目前的通用人工智能系統(tǒng)是否可以說具有特定的技能。一種看待這一點的方法是通過能力限制對。.知識(能力)和不一致(限制)--通用人工智能模型對公共互聯(lián)網(wǎng)上發(fā)現(xiàn)的廣泛事實進行編碼(45)，但在識別細微的事實差異方面受到限制，并不總是生成自洽的文本。因此，從通用AI模型中獲取知識可能是不一致的(4645，)。.創(chuàng)造力(能力)和幻覺(限制)-通用AI模型可以生成新穎的示例(例如，新的圖像或文本)。這種類型的“創(chuàng)造力”可能是有用的，但也可能導(dǎo)致制造內(nèi)容的“幻覺”。對于example，語言模型通常會生成不存在的引文，傳記或事實(46，47*，48，5049，)，這些都會帶來錯誤信息的風險(請參閱4.1。惡意使用風險)。.常識推理(能力)和因果關(guān)系(限制)-諸如“常識”或“推理”之類的術(shù)語在人工智能領(lǐng)域通常沒有很好的定義，并且通常以不同于日常使用的方式來描述人類的能力。在某些情況下，通用人工智能模型展示了模仿廣泛的“常識知識”的能力(51)，逐步解決相對復(fù)雜問題的能力(24)。以及在給定的上下文中學習和應(yīng)用新模式的能力(稱為“上下文學習”)(5230，)。然而，“推理”的適當形式是上下文和任務(wù)相關(guān)的。通用人工智能系統(tǒng)在多大程度上表現(xiàn)出真正的“推理”或“常識”是有爭議的。研究表明(53)，即使在不尋常的情況下(53)，一些r的緩解能力也在提高常識推理問題，盡管其他形式的基本“常識知識”存在很大的局限性(54)。即使通用人工智能模型似乎對世界進行了正確的“推理”，它們也可能沒有確定這種推理的潛在因果基礎(chǔ)(55)。有一個普遍的共識是，目前通用的人工智能缺乏人類水平的推理能力。.形式推理(能力)和組合(限制)-特別是當給定額外的資源，如工具和多次嘗試時，語言模型可以在數(shù)學，計算機編程和自然科學等領(lǐng)域執(zhí)行一些形式推理任務(wù)。InternationalScientificReportontheSafetyofAdvancedAI:InterimReport注意到上述關(guān)于在該領(lǐng)域使用“推理”一詞的警告。例如，研究表明，克勞德3模型接近研究生水平的專家在生物學，物理學和化學(4*)的相關(guān)問題上的表現(xiàn)-在克勞德3最初訓練后創(chuàng)建的基準上(有關(guān)基準的討論，請參見2.4。能力進展未來幾年，3。評估和理解通用人工智能系統(tǒng)的方法)。然而，這些模型使用“變壓器”架構(gòu)，這是當今大多數(shù)通用人工智能系統(tǒng)所基于的，2017年引入(16)。原則上，這種體系結(jié)構(gòu)在執(zhí)行任意組合推理時具有基本限制，這是形式推理(56)的基礎(chǔ)。目前尚不清楚這些理論限制在實踐中的相關(guān)性。.預(yù)測(能力)和新概念(限制)-當集成到更復(fù)雜的系統(tǒng)中時，語言模型可以用于在受限領(lǐng)域中以合理的預(yù)測精度預(yù)測未來事件。最近的一項研究(57)表明，使用檢索的語言模型系統(tǒng)可以在統(tǒng)計預(yù)測問題(即預(yù)測事件的概率)上與專家預(yù)測者的總體性能相匹配。然而，雖然目前的能力表明模型可以綜合信息來推斷未來事件的可能性，但模型可以綜合全新概念的程度似乎是有限的(58)。.模擬(能力)和實施(限制)-當集成到虛擬環(huán)境中時，通用AI模型可以模擬虛擬代理的行為(59)。例如，最近的研究表明，由openai的ChatGPT提供支持的25個虛擬代理可以以與人類行為相匹配的方式運營虛擬城鎮(zhèn)(60)。然而，雖然目前的通用人工智能模型可以模擬虛擬代理，但它們在“實施方式”上受到限制，還不能有效地控制物理機器人或機器，因為通用人工智能模型與電機控制系統(tǒng)的集成仍然是一個挑戰(zhàn)(61)。2.3能力及其驅(qū)動因素的最新趨勢.近年來，通用人工智能能力根據(jù)許多指標迅速發(fā)展，這要歸功于用于訓練和算法改進的資源的增加。每個模型，這些估計都增加了:o訓練計算:4倍/年o訓練數(shù)據(jù)集大小:2.5倍/年o算法訓練效率:1.5倍至3倍/年o培訓期間用于為計算機芯片供電的能量:3倍/年o硬件效率:1.3倍/年.近年來，使用越來越多的計算和數(shù)據(jù)來訓練通用AI模型被稱為“擴展”模型。廣泛指標的性能隨著規(guī)模的擴大而提高，許多人工智能研究人員一致認為，近年來，擴展推動了高級通用人工智能功能的大部分增長。然而，人們爭論這是否導(dǎo)致了諸如因果推理等基本挑戰(zhàn)的進展。2.3.1計算、數(shù)據(jù)和算法的最新趨勢在過去十年中，對計算資源的投資增加，硬件效率的提高，易于在線訪問的數(shù)據(jù)集的存在以及算法的漸進式創(chuàng)新為通用AI的發(fā)展做出了貢獻。本節(jié)研究計算能力、數(shù)據(jù)和算法的最新趨勢。InternationalScientificReportontheSafetyofAdvancedAI:InterimReport用于訓練AI模型的計算資源一直在快速增加。計算資源(通常稱為“計算機”)表示所執(zhí)行的操作的數(shù)量。自21世紀10年代初以來，這一數(shù)字呈指數(shù)級增長，用于訓練機器學習m模型的平均數(shù)量大約每六個月翻一番(17)。2010，著名的機器學習模型(62，63，64)平均使用了大約1e15個浮點運算(FLOP)(65)，但2023年拐點-2，這是公開報告計算預(yù)算的最大模型。二手1e25翻牌(66*)-增加100億倍。這一進展是由行業(yè)實驗室愿意將更多數(shù)據(jù)中心容量用于大規(guī)模通用AI培訓推動的。沒有足夠的數(shù)據(jù)來確定這種趨勢是否在較短的時期內(nèi)發(fā)生變化，例如21世紀20年代。圖1.隨著時間的推移訓練值得注意的機器學習模型的計算(17，65)。計算是在從AI文獻估計的總浮點運算(FLOP)中測量的。對于GPT-4等最近未公開的模型，估計的準確性預(yù)計在兩倍或五倍之內(nèi)。從“機器學習中的參數(shù)，計算和數(shù)據(jù)趨勢”中獲得EpochAI的許可。在線發(fā)布t。檢索自:'https:///data/epoc在過去的十五年里，每美元的計算量增加了大約50到200倍(6867，67)。然而，用于訓練通用人工智能模型的計算總量遠遠超過了計算成本的降低:例如，谷歌的Word2vec模型使用了大約3e16個FLOP2013年進行訓練，比目前的frontier模型(65)小10億倍。雖然GPU性能的改進有所幫助，但這些改進部分受到數(shù)據(jù)中心GPU短缺和AI應(yīng)用程序中使用的頂級GPU價格高昂的限制。高端處理器，包裝，高帶寬內(nèi)存和其他組件的供應(yīng)鏈短缺正在延遲技術(shù)部門滿足對AI服務(wù)器等人工智能硬件的巨大需求的能力(69)。通用AI計算使用的擴展主要是行業(yè)實驗室越來越愿意將數(shù)據(jù)中心資源和工程人員分配給大規(guī)模通用AI培訓運行的結(jié)果。InternationalScientificReportontheSafetyofAdvancedAI:InterimReport神經(jīng)“縮放定律”的發(fā)現(xiàn)，描述了計算量，模型和數(shù)據(jù)的大小以及性能之間的可預(yù)測關(guān)系，促成了以計算為中心的AI開發(fā)觀點，這在一些領(lǐng)先的AI實驗室中很突出。1，GoogleGeminiUltra和OpenAI的GPT-4等旗艦通用AI模型的開發(fā)是由擴展法則(2*，3*)的工作指導(dǎo)的。因此，對硬件基礎(chǔ)設(shè)施專業(yè)知識的需求更大，并且AI實驗室與微軟和谷歌等技術(shù)巨頭之間的合作更加緊密。2用于部署的計算資源也出現(xiàn)了顯著增長。公司正在快速擴展基礎(chǔ)設(shè)施以滿足這些不斷增長的需求。推理所需的計算資源(向用戶提供通用AI系統(tǒng)的關(guān)鍵部分)經(jīng)歷了顯著增長(76)，因為部署通用AI系統(tǒng)的用戶數(shù)量快速增長。據(jù)報道，在2023年4月，OpenAI的人工智能系統(tǒng)估計會產(chǎn)生700美元/天的推理成本(77)。一些估計表明，用于通用人工智能推理的總計算量已經(jīng)超過了用于訓練新模型的計算量，例如，人工智能推理代表了谷歌人工智能基礎(chǔ)設(shè)施排放的60%2022年(78)。用于訓練和推理的計算資源不斷增長，也迅速擴大了人工智能的能源使用(4.3.4風險環(huán)境)。訓練數(shù)據(jù)趨勢:更大的數(shù)據(jù)集、多模式、合成數(shù)據(jù)和人類偏好通用人工智能開發(fā)人員已經(jīng)能夠顯著增加訓練數(shù)據(jù)集的大小，這要歸功于互聯(lián)網(wǎng)內(nèi)容的可用性，包括開放的web數(shù)據(jù)存儲庫。這些較大的數(shù)據(jù)集有助于在各種指標上實現(xiàn)更高的性能。用于訓練通用AI的數(shù)據(jù)集大小已經(jīng)從原始Transformer模型的大約20億個令牌(令牌是一個單詞，一個字符，或者一個單詞的一部分次)增加到20173萬億多個令牌(79*，2023年80*)，每三年增長約10倍(65)。然而，通用的人工智能開發(fā)人員在互聯(lián)網(wǎng)上只有有限的文本數(shù)據(jù)可供利用(8281，)。雖然這可以克服，例如通過多次訓練相同的數(shù)據(jù)，使用人工智能生成的數(shù)據(jù)，或在其他非文本數(shù)據(jù)源(如YouTube視頻)上進行訓練，但一些人認為，2030年缺乏acceSible在線高質(zhì)量文本數(shù)據(jù)c會減緩模型有效縮放的速度(參見2.4.2資源將被縮放迅速?)。數(shù)據(jù)質(zhì)量在訓練高性能語言模型中起著至關(guān)重要的作用。選擇高質(zhì)量數(shù)據(jù)并優(yōu)化dataset的整體組成可以顯著提高模型性能，但是此過程需要大量勞動(83，8584，)。此外，測量和分析數(shù)據(jù)以識別和減輕pr缺陷，如偏見和缺乏多樣性，對于產(chǎn)生高質(zhì)量的模型至關(guān)重要(86*)。在圖像，音頻和視頻以及文本等多種模式上訓練通用AI模型最近獲得了牽引力。GPT-4、克勞德3和雙子座超等通用人工智能模型結(jié)合了不同的模態(tài)來執(zhí)行需要聯(lián)合處理文本、視覺和聽覺信息的任務(wù)，例如分析帶有文本和圖形的文檔或創(chuàng)建多媒體演示(2*,3*,4*)?！叭祟惼谩睌?shù)據(jù)捕獲用戶喜歡的輸出類型，對于開發(fā)通用AI系統(tǒng)至關(guān)重要。這些數(shù)據(jù)不能從公開可用的來源中挖掘，但必須專門為培訓而生成;因此，它比用于1神經(jīng)縮放定律已經(jīng)顯著影響了一些前沿人工智能實驗室以計算為中心的人工智能開發(fā)觀點。Anthr“制定了縮放定律，以幫助我們進行系統(tǒng)的，經(jīng)驗驅(qū)動的研究(...)，以更有效，更可預(yù)測地訓練網(wǎng)絡(luò)，并評估我們自己的進74*)之間存在合作關(guān)系。mistral和MicrosoInternationalScientificReportontheSafetyofAdvancedAI:InterimReport預(yù)培訓。這些數(shù)據(jù)有助于微調(diào)語言模型，以符合用戶和開發(fā)人員的需求，適應(yīng)不同的偏好，并根據(jù)人類對質(zhì)量和幫助的判斷(20、21*、87*)。人工智能實驗室和大公司可能在生產(chǎn)和訪問大量專有的人類偏好數(shù)據(jù)方面具有優(yōu)勢。隨著時間的推移，最強大的通用人工智能模型的技術(shù)和訓練方法得到了持續(xù)和可靠的改進(88*，89)。在圖像分類、游戲和語言建模等關(guān)鍵領(lǐng)域，人工智能技術(shù)和訓練方法的效率大約每2到5年就會提高10倍。例如，訓練模型以執(zhí)行圖像分類以達到設(shè)定的性能水平所需的計算量2012年減少了44倍和2019倍，這意味著效率在16個月內(nèi)翻了一番。玩游戲的人工智能系統(tǒng)每5到20個月需要一半的訓練樣本(90)。在語言建模中，達到固定性能水平的計算要求大約每8個月平均2012年減半(89)。這些進步使通用AI研究人員和實驗室能夠在有限的硬件預(yù)算范圍內(nèi)開發(fā)出更強大的模型。在算法中也有增量的進步，這些進步并不能最好地理解為提高計算效率。例如，新技術(shù)顯著增加了上下文窗口的大小，允許通用人工智能系統(tǒng)處理更大量的信息(31*，91*，92*)。訓練后算法允許g通用AI系統(tǒng)使用工具并在沒有人類幫助的情況下在世界上采取行動(請參閱2.4.3。算法的進步會導(dǎo)致快速的進步嗎？)。盡管人工智能算法取得了重大進展，但近年來通用人工智能的重大概念突破相對較少?！癟ransformer架構(gòu)”可能仍然是最重要的創(chuàng)新，并且被最先進的通用AI系統(tǒng)(16)使用。雖然已經(jīng)提出了許多替代架構(gòu)，但沒有一個在實質(zhì)上并且始終如一地優(yōu)于變壓器。一旦經(jīng)過適當測試，最近的“選擇性狀態(tài)空間模型”(93)可能會被證明比變壓器更有效。這些模型強化了最近的趨勢，即允許語言模型分析更長的上下文，例如書籍和大型軟件項目。如果需要更基本的概念突破來推進通用人工智能能力，這可能是進一步發(fā)展的關(guān)鍵障礙，即使增量改進和擴展繼續(xù)推動某些領(lǐng)域的快速進展(見2.4.1。如果資源繼續(xù)快速擴展，這會導(dǎo)致快速的進步嗎？)。通用人工智能的發(fā)展越來越快，在某些指標上接最近通用人工智能的發(fā)展速度很快，在某些指標上經(jīng)常超過人工智能專家的預(yù)期。在過去的十年中，人工智能在計算機視覺、語音識別、圖像識別和自然語言理解等領(lǐng)域的一些基準測試中，已經(jīng)達到或超過了人類的平均水平(圖2)。LLMs的最新進展建立在這一長期趨勢的基礎(chǔ)上。InternationalScientificReportontheSafetyofAdvancedAI:InterimReport圖2。AI模型在各種基準上的性能1998年2024年，包括計算機視覺(MNIST、ImageNet)、語音識別(Switchboard)、自然語言理解(SQuAD1.1、MMLU、GLUE)、通用語言模型評估(MMLU、Big-Bench和GPQA)和數(shù)學推理(MATH)。許多模型都超過了人類水平的性能(黑色實線)2024年，這表明過去二十年來，人工智能在不同領(lǐng)域的能力取得了重大進步。數(shù)據(jù)來自mn的(94個)，Switchboard，ImageNet，SQuAD1.1，2和GLUE。MMLU、BigBench、GPQA的數(shù)據(jù)(95、96、97)來自相關(guān)論文。LLM功能在多個領(lǐng)域2020年和2024中取得了顯著進步，如大規(guī)模多任務(wù)語言理解(MMLU)(95)，Big-Bench(96)和研究生水平的Google證明Q&A(GPQA)(97)。2020年，在許多基準測試中，通用人工智能模型的表現(xiàn)遠遠低于人類測試一下的平均水平;2024年，先進的通用人工智能模型已經(jīng)接近人類水平的表現(xiàn)。例如，考慮數(shù)學基準測試(98)，它測試數(shù)學解決問題的能力。最初，通用人工智能系統(tǒng)在這個基準測試中表現(xiàn)不佳，但在發(fā)布兩年后，GPT-4似乎達到了42.5%的準確性(99*)，隨后的工作將使用GPT-4的最先進性能推向了84.3%(100)。接近專家測試人員獲得的分數(shù)。盡管基準指標取得了快速進展，但與現(xiàn)實任務(wù)相比，這些基準是非常有限的，專家們爭論這些指標是否有效地評估了真正的概括和有意義的理解(101)。最先進的通用人工智能模型經(jīng)常在一些基準測試中表現(xiàn)出意想不到的弱點，這表明它們完全依賴于記憶模式，而不是采用強大的推理或抽象思維(103102，)。在某些情況下，模型是在benchmark解決方案上意外訓練的，盡管缺乏實際能力(105104，)，但仍具有較高的基準性能。模型也很難適應(yīng)訓練數(shù)據(jù)(106)中較少代表的文化。這突顯了基準測試結(jié)果與可靠地將知識應(yīng)用于實際現(xiàn)實情況的能力之間的巨大差異。雖然將人類的認知能力與通用人工智能系統(tǒng)的能力進行比較可能很誘人，但它們有明顯的優(yōu)勢和劣勢，使得這些比較InternationalScientificReportontheSafetyofAdvancedAI:InterimReport在許多情況下意義不大。雖然通用人工智能在某些領(lǐng)域表現(xiàn)出色，但它可能缺乏人類(102)深刻的概念理解和抽象推理能力。目前的通用人工智能系統(tǒng)往往性能參差不齊，在一些狹窄的領(lǐng)域表現(xiàn)出色，而在其他領(lǐng)域表現(xiàn)不佳(102)。當前的通用人工智能系統(tǒng)容易出現(xiàn)一些人類沒有的故障(108107，)。通用人工智能推理可能“脆弱”(無法應(yīng)對新的場景)，并且過度受到表面相似性的影響(102)。在人類通常擅長的環(huán)境中，llm可能無法推理。例如，一個包含“OlafScholz是德國第九任總理”的數(shù)據(jù)訓練模型將無法自動回答“誰是德國第九任總理”的問題(107)。此外，llm可以通過無意義的輸入來利用，從而偏離其通常的保護措施，而人類會識別這些提示(請參閱5.2。培訓更值得信賴的模型)。隨著計算能力和數(shù)據(jù)的規(guī)模，語言模型的總體性能得到了可靠且可預(yù)測的改善。研究人員發(fā)現(xiàn)了經(jīng)驗性的“縮放定律”，可以量化中的the與模型在下一個單詞預(yù)測(109*，next-word-prediction)等廣泛性能指標上的能力之間的關(guān)系。110*?？绮煌I(lǐng)域的實證研究已經(jīng)證明，機器學習系統(tǒng)ems的的性能提高了計算資源的，包括視覺(111*，112)，語言建模(109*，110*)，和游戲(113*)。圖3.交叉-熵損失可預(yù)測地在經(jīng)驗研究的訓練運行的廣泛range上進行計算。FLOPS是指在訓練期間執(zhí)行的操作的數(shù)量。(110*的數(shù)字)。不同的顏色代表具有不同數(shù)量參數(shù)的模型。每條線顯示了模型的訓練失敗次數(shù)增加時損失如何下降。權(quán)限是從作者那里尋求的。InternationalScientificReportontheSafetyofAdvancedAI:InterimReport最著名的縮放定律預(yù)測，隨著語言模型規(guī)模的增長和對更多數(shù)據(jù)的訓練，它們在3可預(yù)測的數(shù)量()。具體地說，這些模型在預(yù)測序列中的下一個“標記”時變得更加準確，該“標記”可以是單詞，字符或數(shù)字。當這種性能提高時，模型實際上會在數(shù)據(jù)集中隱含的任務(wù)方面變得更好。例如，隨著模型的擴展，通用AI模型性能已被觀察到持續(xù)改進廣泛的基準，這些基準測試一下許多功能，例如MMLU(95)。圖4。在諸如Big-Bench之類的廣泛基準上的性能與參數(shù)縮放和更普遍的計算縮放密切相關(guān)。這個數(shù)字來自(96)。這些比例定律是從經(jīng)驗觀察得出的。它們，非from在違反原則，盡管已經(jīng)提出了理論模型來解釋它們(115*，116*，117，118，119)。因此，在數(shù)學上無法保證它們將繼續(xù)適用于超出用于建立它們的經(jīng)驗數(shù)據(jù)范圍的標度。綜合基準測試中許多任務(wù)的綜合性能可以根據(jù)模型規(guī)模進行部分預(yù)測(參見圖4)，但是，目前尚不清楚我們是否可以可靠地提前預(yù)測是否以及何時會出現(xiàn)特定功能。有許多記錄在案的示例，當模型達到一定規(guī)模時，有時會突然出現(xiàn)，而沒有明確地編程到模型(120，121，123)中。例如，一定規(guī)模的大型語言模型在被提示逐步執(zhí)行計算時，已經(jīng)獲得了以高精度執(zhí)行大數(shù)加法的能力。一些研究人員有時將這些定義為“緊急”能力(120，121，122*，123)，表明它們存在于較大的模型中，但不存在于較小的模型中，因此它們的出現(xiàn)可能很難提前預(yù)測。這表明新能力，包括有益和潛在有害的能力，可能會意外出現(xiàn)。,人們爭論這些能力是逐漸出現(xiàn)還是突然出現(xiàn)，對于它們可以提前多久預(yù)測也存在分歧。最近的研究發(fā)現(xiàn)，如果使用更多線性和連續(xù)的指標來衡量進度(124)，則某些此類功能會漸進和可預(yù)測。這導(dǎo)致一些研究人員質(zhì)疑能力是“新興的”，因為人工智能中出現(xiàn)的一些定義要求能力以一定的規(guī)模突然出現(xiàn)(124)。這表明，目前似乎突然出現(xiàn)的能力可能會變成3這項工作隱含地將數(shù)據(jù)視為同質(zhì)的;最近的工作研究了縮放定律和數(shù)據(jù)集InternationalScientificReportontheSafetyofAdvancedAI:InterimReport如果使用不同的進度指標，可以提前預(yù)測。這是一個懸而未決的問題，是否可以預(yù)測新模型的新功能，以及提前多長時間。最近的研究已經(jīng)確定了“逆scaling”的例子，其中語言模型性能惡化，因為模型大小和訓練計算增加(125)。例如，當被要求用新的結(jié)尾完成一個常用短語時，較大的模型更有可能失敗，并簡單地復(fù)制記憶的短語，而不是(125)。雖然模型縮放有時會導(dǎo)致性能下降，但對這種現(xiàn)象的研究也會發(fā)現(xiàn)性能出現(xiàn)隨機波動。當外推到更大的模型時，一些明顯的反向縮放趨勢可能不會持續(xù)，性能最終會(126)再次提高。逆縮放的全部含義仍不清楚，可能需要進一步研究以更好地理解這一現(xiàn)象。2.4未來幾年的能力進步.通用人工智能能力的未來進展速度對管理新興風險具有重要意義，但專家們對未來的預(yù)期存在分歧，即使是在不久的將來。專家們以各種方式支持通用人工智能能力緩慢、快速或極快發(fā)展的可能性。.這種分歧涉及一個關(guān)鍵問題:繼續(xù)“擴展”和完善現(xiàn)有技術(shù)是否會產(chǎn)生快速進展，或者這種方法是否受到根本限制，是否需要不可預(yù)測的研究突破來大幅提高通用人工智能能力？那些認為需要研究突破的人通常認為，最近的進展并沒有克服常識推理和靈活的世界模型等基本挑戰(zhàn)。.近年來，三個主要因素推動了人工智能的進步:擴大訓練中使用的計算能力(“計算機”);擴大訓練數(shù)據(jù)量;改進人工智能技術(shù)和訓練方法。.領(lǐng)先的人工智能公司正在押注這三個因素繼續(xù)推動改進，特別是增加計算。如果最近的趨勢繼續(xù)下去，到2026年年底，一些通用人工智能模型將使用目前發(fā)布的計算密集型模型的40到100倍的計算量進行訓練，結(jié)合大約3到20倍的更高效的技術(shù)和訓練方法。.然而，進一步增加數(shù)據(jù)和計算存在潛在的瓶頸，包括數(shù)據(jù)的有限可用性、人工智能芯片生產(chǎn)挑戰(zhàn)、高總成本和有限的本地能源供應(yīng)。人工智能公司正在努力克服這些瓶頸。擴展的速度還取決于可能對AI部署和開發(fā)施加限制或條件的法規(guī)。本節(jié)研究了進一步擴展計算和訓練數(shù)據(jù)的可行性和有效性，以及通過算法開發(fā)快速發(fā)展的潛力。總體而言，這兩種方法都可能加起來，并導(dǎo)致進一步的進步，但沒有商定的方法來預(yù)測進步的步伐。有關(guān)AI能力的全球差異的討論，請參見4.3。2全球AI鴻溝。30InternationalScientificReportontheSafetyofAdvancedAI:InterimReport2.4.1如果資源繼續(xù)快速擴展，這是否會導(dǎo)致快速進步？關(guān)于未來進展的分歧的一個關(guān)鍵驅(qū)動因素是如何解釋過去的進展。近年來，擴展計算資源和數(shù)據(jù)已導(dǎo)致通用AI系統(tǒng)的性能持續(xù)提高，這可以通過一系列基準測試的更高分數(shù)來證明(作為通用AI模型被放大，它們的能力提高了整體，但到目前為止，這種增長很難預(yù)測特定能力)。一些人工智能研究人員認為，過去的進展涉及通用人工智能系統(tǒng)在理解和推理能力方面的重大而有意義的進步，并且隨著更多的計算和可能適度的概念創(chuàng)新，這種持續(xù)的進步可能會導(dǎo)致通用人工智能系統(tǒng)的發(fā)展，這些系統(tǒng)在大多數(shù)認知任務(wù)(127)的廣泛人類水平或更高的水平上運行。其他研究人員對此表示懷疑。他們認為，目前基于深度學習的通用人工智能系統(tǒng)(目前主要的機器學習方法依賴于深度人工神經(jīng)網(wǎng)絡(luò)(15))，從根本上缺乏智能的關(guān)鍵組成部分。特別是，一些人認為當前的深度學習系統(tǒng)缺乏因果推理能力(128)、從有限數(shù)據(jù)中抽象出來、常識推理(102，130129，)和靈活的預(yù)測世界模型(55，)。se的研究人員認為，這些缺點不能僅通過縮放來解決(102，130129，)。當前系統(tǒng)的重大局限性支持了這一點，2.2討論了當前通用AI系統(tǒng)的能力。他們認為，解決這些局限性，可能需要超越當前深度學習范式的重大概念突破和創(chuàng)新。這表明，在通用人工智能系統(tǒng)中實現(xiàn)人類水平的性能需要重大的概念突破，而目前由漸進式改進驅(qū)動的進展類型不足以實現(xiàn)這一目標。導(dǎo)致通用人工智能能力重大飛躍的基本概念突破是罕見且不可預(yù)測的。即使發(fā)明了新技術(shù)，現(xiàn)有的通用人工智能系統(tǒng)的基礎(chǔ)設(shè)施和開發(fā)者慣例也可能為大規(guī)模應(yīng)用它們提供障礙。因此，如果需要重大的概念突破，可能需要很多年才能實現(xiàn)。這些對立的觀點不一定是不相容的:盡管目前最先進的深度學習系統(tǒng)的推理能力比大多數(shù)人類弱，但我們看到的是從一代通用人工智能模型到下一代的進步。許多人工智能研究人員正在探索適應(yīng)通用人工智能模型的方法，以解鎖或改進“系統(tǒng)2”推理(分析、基于規(guī)則和控制的推理)和“自主代理”能力。如果這些能力取得進展，可能會對未來幾年的人工智能風險管理產(chǎn)生重要影響。4.41交叉技術(shù)