2023年AI現(xiàn)狀重磅報告

2023??智能現(xiàn)狀報告前言我們相信，在日益數(shù)字化、數(shù)據(jù)驅(qū)動的世界中，人工智能將成為技術(shù)進步的力量倍增器。這是因為今AirStreet已連續(xù)第六年發(fā)布人工智能現(xiàn)狀報告。我們把這份報告視為所見過的最有趣科技微信公眾號（qqtech回復(fù)“AI2），--隨著能力的提高，對SOTA模型進行一致的評12英偉達沒有建立這種關(guān)系，而是在許多專注于AGI的組織中加大了投資3SOTA語言模型在比Chinchilla多10倍的數(shù)據(jù)點上訓(xùn)練，4到2023年9月，生成音頻工具的出現(xiàn)吸引了超過10萬名開發(fā)人員。567隨著我們意識到讓人工智能能力領(lǐng)先于安全所面臨8OpenAI已經(jīng)獲得了訪問其他Shutterstock訓(xùn)練數(shù)據(jù)（英偉達2023年第二季度營收達到創(chuàng)紀(jì)錄的103.2億美元，比第一季度增長141%，比一年前增長171%。盡管該公司2022年營收達到270億美元，比2021年增長61CoreWeave和Lambda是兩家選定的英偉達合作伙伴，負(fù)責(zé)構(gòu)建和運行GPU數(shù)據(jù)中是市場上最大的GPU運營商之一。該公司今年年底的建造時間表已經(jīng)排滿，正在簽訂2024年第Inflection據(jù)稱，沙特阿拉伯阿卜杜拉國王科技大學(xué)(Kaust)購買了3000多據(jù)稱，沙特阿拉伯阿卜杜拉國王科技大學(xué)(Kaust)購買了3000多顆H100s來建造超級計算機Shaheen最后，總部位于阿布扎比的G42與總部位于美國的Cerebras達成協(xié)議，購買該公本報告由騰訊科技整理漢化，內(nèi)容有刪減。關(guān)注騰訊科技微信公眾號（qqtech回復(fù)“AI2023”免費獲取PDF版。谷歌和Inflection尚未全面發(fā)展，我們知道其他公司包括OpenAI、A人工智能研究論文中使用的英偉達芯片比所有替代芯片的在去年的報告中，我們開始跟蹤人工智能研究論文中特定半導(dǎo)體的利用情況。我們發(fā)現(xiàn)，英偉達芯片被引用英偉達芯片具有非常長的生命周期價值：從上市到流行達2023年，所有的目光都集中在英偉達新推出的H100全球最大的人工智能芯片的創(chuàng)造者Cerebras，參與了若干個開源模型訓(xùn)練和數(shù)據(jù)集創(chuàng)建項目，這幫助它比競爭對手更受研究人員的歡迎。但總體上，英偉達的競爭者還有很超大規(guī)模企業(yè)將提高人工智能支出所占總資有傳聞稱，英偉達將在2024年出貨150萬至200萬顆H100，高于今年預(yù)計的50萬顆。在我們2022年的計算指數(shù)中，特斯拉基于其100GPU計數(shù)排名第四。截至2023年夏天，該公司推出了一個新的由1萬顆H100組成的集群，成為迄今為止最大的在線集群越來越多的超大規(guī)模公司為內(nèi)部人工智能工作流開發(fā)自模型的要求。這是由生產(chǎn)中部署的模型不斷增長的規(guī)模和復(fù)雜性以及GPU提供的緩慢推理速度所驅(qū)根據(jù)英偉達首席財務(wù)官的說法，中國過去占英偉達數(shù)據(jù)中心相關(guān)產(chǎn)品營收的20-25%(金融時報)。英偉達●2022年8月下旬，英偉達的A10強大的芯片—被列入美國商務(wù)部的出口管制清單。 該公司獲得第二個百萬用戶的速度比第一個百視頻也是GenAI快速發(fā)展的前沿領(lǐng)域?？偛课挥趥惗氐腟ynthesia成立于2017年，于202視頻也是GenAI快速發(fā)展的前沿領(lǐng)域?？偛课挥趥惗氐腟ynthesia成立于2017年，于202能優(yōu)先的視頻創(chuàng)作器。該系統(tǒng)生成多語言化身，該化身制定供消費者和企業(yè)等使用的腳本。“邊緣”的Synthesia現(xiàn)在被44%的財富100強企業(yè)用于學(xué)習(xí)OpenAI的ChatGPT是發(fā)展最快的互聯(lián)網(wǎng)產(chǎn)品之-創(chuàng)。該公司在2023年5月表示：“今年上半年，我們沒有看到讓公司轉(zhuǎn)向利用人工智能來更好地為學(xué)習(xí)者服務(wù)?！彼麄冋谂cScaleAI合作構(gòu)建內(nèi)部大型語感受ChatGPT的熱度：編程是下一個被革命的領(lǐng)域……開發(fā)人員很喜StackOverflow在人工智能熱潮之前供開發(fā)者尋找他們編程問題的解決而遭受流量損失，已禁止開發(fā)者在StackOverflow上發(fā)布C高之前略有下降，經(jīng)驗較少的用戶受益最大(生我們已經(jīng)看到消費者對用戶與定制聊天機器人進行互動的巨大興趣。A16z支持的Character.AI籌集了1.5億美元的A輪融資，在推出其應(yīng)用程序之前，其網(wǎng)站的月訪問量達到2億次。它們的許多用的——例如，它們被用作語法工具或在小說社區(qū)中使用，但我們也看到了商業(yè)和倫理上的DALL-E3。還有像Ideogram這樣的新進入者，特別會拼寫。與此同時，我們在流行產(chǎn)品中看到了無數(shù)的文本到圖像模型的集成，最顯著的是A服務(wù)器上使用人工智能應(yīng)用程序，創(chuàng)建了超過10億個獨特但是GenAI的驚艷效果（到目前為止）不足以讓用戶留下來…Character.ai等GenAI應(yīng)用的平均留工智能圖像創(chuàng)作的賠償。該公司還與Meta簽訂了GenAI的內(nèi)容許可協(xié)議。這種支持Gen序，但它已經(jīng)利用人工智能系統(tǒng)來編輯自動化的企業(yè)財報和體育賽事美國法院開創(chuàng)了人工智能生成的內(nèi)容不適合版權(quán)保護的先例，但隨后又是一個關(guān)于合理一家美國地區(qū)法院重申了一項長期存在的原則，即版權(quán)保護需要人類作者身份。雖然上訴是可能的，但重要成合理使用下的“轉(zhuǎn)化”。這很可能使得讓模型訓(xùn)練數(shù)據(jù)搜集書為三家公司使用他們的作品來訓(xùn)練圖像生成器，從而從標(biāo)簽到偏好將從大型語言模型的爆炸式流行中獲得非凡的增長。兩家公司都支持令人印象深刻的客戶名單，scale支持更廣泛的可訪問性和快速原型制作。Gradio的月活躍用戶數(shù)增長了5倍，從12萬(2013年1月)單一的大型語言模型還是依賴于應(yīng)用程序的專業(yè)●這筆交易是生成式人工智能狂熱短暫歷史中的一個標(biāo)志●Snowflake也有類似的策略：與微軟Azu“孤注一擲”，默克與人工智能第一制藥公司Exscientia達成了價值高達6.VergeGenomics達成了價值高達8.4億英偉達股價繼續(xù)飆升，合作伙伴也“沾光”在英偉達宣布向RecursionPharmaceuticals投資5000萬美元的當(dāng)天，后者的股價當(dāng)天飆升了80%，市值增加10億美元。這樣的反應(yīng)表明了人工智能人工智能先驅(qū)公司DeepMind在與GoogleBrain合并后，現(xiàn)在處于谷歌在生成式人工智能領(lǐng)域反攻的前沿。百度語音文字轉(zhuǎn)換引擎DeepSpeech2：早期的AI創(chuàng)業(yè)者“孵化器”同一實驗室的2017年論文《從經(jīng)驗上看深度學(xué)習(xí)縮放是可預(yù)測的》展示了“縮放定律”的早期證據(jù)，證據(jù)支撐著我們今天看到和使用的大規(guī)模人工智能。許多DeepSpeech2的開發(fā)人員已成為領(lǐng)先的機器學(xué)習(xí)OMetaGexex-ex-ADEPTADEPTcoherecharacteraiGAIA-1是由Wayve為自動駕駛開發(fā)的含有90億參數(shù)的生成式世界模型。它利用視成真實的駕駛場景，并提供對自我車輛行為和場景特征的精細(xì)控制。它對訓(xùn)練集之外的自我代理仍沒有定論。Waymo在7月底暫停了他們的自動卡車運企業(yè)軟件、金融科技和醫(yī)療保健是全球投資最多2010-23年度投資于人工智能2022-23年人工智能類別成交人工智能初創(chuàng)公司占交易的 類別的金額量百分比2023年GenAI融資大幅增加 英偉達并沒有只建立這樣一種關(guān)系，而是在人工智能領(lǐng)域?qū)で蠖喙荦R下的戰(zhàn)略，包括：ADEPToftheworld.G度為8192個token，在輸入規(guī)模方確率高出40%。在去年的安全章節(jié)（幻燈片第100頁我們強調(diào)了Instruct型語言模型。其中包括Anthropic的C導(dǎo)致模型在文體上令人印象深刻，但往往會產(chǎn)生不所表現(xiàn)的那樣，從根本上是由RLHF驅(qū)動的?！監(jiān)penAI發(fā)表了一份關(guān)于GPT-4的技術(shù)報告，其中卻沒有透露任何相關(guān)訓(xùn)練集的信息，這標(biāo)Claude模型發(fā)布技術(shù)報告。本報告由騰訊科技整理漢化，內(nèi)容有刪減。關(guān)進一步細(xì)節(jié)?！毙痛笮『图軜?gòu)的進一步細(xì)節(jié)不會對外公布。”碼在2048A100GPU和80GBRAM上處理大約380個tokens/秒/GPU。這意味著在包含1.4Ttokens的[它們的]在Meta發(fā)布了LLaMa-1之后，其他機構(gòu)也加預(yù)先訓(xùn)練的大型語言模型。一個例子是LMSys于ChatGPT。但是代碼的微調(diào)版本CodeLLaMa勝過所有非22ChatGPT在社交媒體X（原Twitter）上的提及次數(shù)最高(5430次)，其次閉源模型最受關(guān)注，但對開源的和允許商業(yè)熱門話題生的計算和內(nèi)存瓶頸，這受到了有限的上下文長Samaya.ai、加州大學(xué)伯克利分校、斯坦福大學(xué)和LMSYS.org的研 關(guān)系”。盡管OpenAI沒有證實—我們可能不會很快知道—專家們似乎就曝光的GPT-4模型的大小、架構(gòu)和改進生成模型的另一個角度是通過人工智能生成的內(nèi)容來擴大可用訓(xùn)練的數(shù)據(jù)池●Google的研究人員針對類條件了模型（除了原始的ImageNet）。這表明增加崩潰，“生成的數(shù)據(jù)最終會污染下一代模型的訓(xùn)練集”。如果我們不能有更多的原始訓(xùn)練數(shù)據(jù)，為什么不在現(xiàn)有的基礎(chǔ)上進行更多的訓(xùn)練呢？相互矛盾的研究表明，Vibe檢查：評估通用大型語言模型排行榜和“vibes”似乎比HELM更經(jīng)常被評估（評估最大的模型多）。WizardLM的WizardCoder-34B和UnnaturalCodeLLaMa這樣的開源替代品在編碼●較小的語言模型代碼（包括replit-code-v1-3b和StarCoder或Python中的代碼）轉(zhuǎn)換為機器可讀的二進制代碼的低級匯編代碼。通過對現(xiàn)有算法的簡單刪AlphaDev找到了一種把小序列排序速度提高70%的代理編寫新指令或刪除新指令；它的回報取決于正提示的質(zhì)量極大地影響了任務(wù)的執(zhí)行。思維鏈提示(CoT)要求大型語言模型額外輸出中間推理步驟，從而提高性其分類為確定、可能或不可能。思維圖（GoT）通過組合相似的節(jié)點將這個推理能夠引導(dǎo)模型走向真實和/或信息豐富。通過GPT-4在數(shù)學(xué)問題、敏感問題、意見調(diào)查、知識問題、生成代碼、美國醫(yī)大型語言模型對當(dāng)今經(jīng)濟產(chǎn)生影響的最直接的方式是，它們能夠執(zhí)行對各種外部工具的調(diào)用?！衲軌蚴褂猛獠抗ぞ叩拇笮驼Z言模型現(xiàn)在通常被稱為術(shù)研究中走出來，我們已經(jīng)看到了行業(yè)和開源社區(qū)設(shè)計的多種工具，最是ChatGPT插件、Auto-GPT和Baby大型語言模型能夠生成和執(zhí)行代碼，在開放的世界中，它可以成為強大的規(guī)劃代理。這方面●●●●代理通過《我的世界》應(yīng)用程序接口通過顯式j(luò)avascript代盡管它只在27.4%的案例中戰(zhàn)勝了GPT4驗證的參考字幕。態(tài)模型。它很早就發(fā)布了(在GPT-4之前)，在VQVisProg和ViperGPT兩個方法展示了給定一個關(guān)于圖像的輸入自然語言查詢，大型語言模型如何為一系列可解釋的步驟，這些步驟調(diào)用預(yù)定義的應(yīng)用程序接口函數(shù)來執(zhí)行●可視化編程方法旨在通過組合多步推理方法都顯示了跨越各種復(fù)雜的視覺任務(wù)的最先進擅長純語言任務(wù)(特別是涉及地理空間推理的●該模型結(jié)合了PaLM-540B視覺語言模型可以一直調(diào)整到低級策略，在操縱對象方面表現(xiàn)出令人印象深刻的性能。它們還●它建立在DeepMind的多模式、多任務(wù)和多具身的Gato通用AI模型之上。它使用在各種視覺和控制數(shù)●RobotCat可以以令人印象深刻的速度（20Hz）操作36個具有不同動作規(guī)格的真實機器人，在134個真實物器和計算來與人類世界冠軍級別的四旋翼飛行器比賽。它贏得了幾場比賽對3個冠軍，并創(chuàng)出的全球位置和方向，以獲得機器人狀態(tài)的準(zhǔn)在視野中(這提高了姿勢估計的準(zhǔn)確性)。地圖構(gòu)建是人工智能主體學(xué)習(xí)導(dǎo)航過程中出現(xiàn)的現(xiàn)象。它解釋了為什么我們可以在沒有明確地理人移動時位置和方向的變化)和目標(biāo)位置的知識就足以成功行規(guī)劃和談判。CICERO取得了兩倍于人類玩家在線平均分?jǐn)?shù)的成績，并躋身于玩過一個以上●它使用的可控對話模型是基于一個2.交游戲上進行了微調(diào)。CICERO使用了一種基于piKL的新的迭代規(guī)劃與去年(幻燈片33)類似，這場競賽是在視頻擴散和掩碼Transformer模者非常相似)。去年的Make-a-vide●VideoLDM是一款潛在擴散模型，能夠生成高分辨率視頻(高達1●InstructPix2Pix利用預(yù)訓(xùn)練的GPT3和成{輸入圖像、文本指令、生成的圖像}三元組個覆蓋圖或“掩碼”,以指示要修改的區(qū)域以及空間進行不必要的計算，這就是為什么與NeRFs→,●DreamFusion和ScoreJacobianChaining是使用預(yù)訓(xùn)練的2D文本到圖像擴散模型來執(zhí)行文本到3D合成一種方法。早期的嘗試展示了單一物體的卡通式3D模型.●《ZoeDepth:結(jié)合相對和度量深度實現(xiàn)Zero-shot遷移入用戶提示的提示編碼器和預(yù)測分段掩碼的掩碼解碼器組成的輕降低了內(nèi)存要求，這使得能夠在更多數(shù)據(jù)上更長時間并在概念之間自動平衡它(從1.2億幅源圖像中保留1.42全球天氣預(yù)報在計算上是昂貴的。對于這兩個問題，結(jié)合相關(guān)先驗知識的學(xué)習(xí)方法和物理學(xué)模型下。由來自中國各地的62名專業(yè)氣象學(xué)家評模型在71%的情況下與領(lǐng)先方法相比排名第成中期全球天氣。該系統(tǒng)可用于更準(zhǔn)確的早產(chǎn)生一致的音樂(@24kHz)。樣本網(wǎng)址為●一種稱為RFdiffusion的模率蛋白質(zhì)結(jié)構(gòu)預(yù)測能力，將其微調(diào)為使用蛋白質(zhì)數(shù)據(jù)庫中有噪結(jié)了解基因表達如何因刺激或抑制基因組合（即擾動）而改變，對于揭示要。但是組合爆炸阻止了我們在實驗室的活細(xì)胞中進行這些實驗。將深度學(xué)習(xí)與基因—基因關(guān)系的實驗知識來預(yù)測給定未擾動的基因表達和應(yīng)用的由遺傳變異(“錯義變體”)導(dǎo)致的氨基酸序列的個體變化定性的下游問題。通過人類群體水平的基因組測序?qū)嶒灒呀?jīng)鑒定出超過400萬個這些錯義98%的這些變異缺乏任何確認(rèn)的臨床分類(良性/致病性)。新系統(tǒng)AlphaMissen務(wù)，以學(xué)習(xí)以序列環(huán)境為條件的氨基酸分布；和(iii)通過使用AlphaFold衍生谷歌的Med-PaLM2語言模型是USMLE的專家線攝影和皮膚病學(xué)圖像解釋、放射學(xué)報告生成和總結(jié)以及基因組變異調(diào)用。該數(shù)據(jù)集用于訓(xùn)練具有念和任務(wù)的概括。還提出了一種替代的輕量級方法ETweetStorm：根據(jù)推特醫(yī)學(xué)數(shù)據(jù)創(chuàng)建的SOTA病理學(xué)語言圖像預(yù)訓(xùn)和自然語言描述符。受OpenAI的對比語言-圖像預(yù)訓(xùn)練(CLIP)模型的啟發(fā)，作者創(chuàng)建了P(athology)LIP。降低了25%。相比之下，英國的雙讀仲裁減少了25%。重在過去3年中，超過70%被引用最多的人工智能論文的作者來自美國我們是否已經(jīng)達到監(jiān)管分歧的“峰值”？在對監(jiān)管方法的潛在分歧進行了多年的猜測后，我們開始看到監(jiān)管方法趨于穩(wěn)定，并達成少數(shù)幾種不同的方以英國和印度為代表，這種方法的運作基礎(chǔ)是人工智能目●雖然受到業(yè)界的歡迎，但尚不清楚這些方法是否會繼續(xù)存在。最近，英國政府從其詞匯中刪除了“輕觸”（light-touch并將自己重新定位為人工智能安全辯論的發(fā)源地。歐盟在通過新的人工智能專門立法方面處于領(lǐng)先地位，對基礎(chǔ)模型采取了特別嚴(yán)格的措施歐盟在通過新的人工智能專門立法方面處于領(lǐng)先地位，對基礎(chǔ)模型采取了特別嚴(yán)格的措施在其他市場，我們要么看到國家監(jiān)管的放松，要么看到地方法律的強勢。雖然避免了主要立法的一些挑戰(zhàn)，但伊州有關(guān)于在招聘決策中使用人工智能的具關(guān)于全球治理的國家行動正處于早期階段…國際原子能機構(gòu)、政府間氣候變化專門委員會和歐洲核子研人工智能進程”，這將為生成式人工智能治理設(shè)定一方法”●Anthropic、谷歌、OpenAI和微軟發(fā)起了前沿模型論壇——一個旨在促●“AI實驗室們”也提出了自己的政策建議。OpenAI認(rèn)為，我們最合”方法，將立法、獨立審計和健全的內(nèi)部控制結(jié)合起來。影響最在日益嚴(yán)格的限制下，華為以其新的Mate60Pro手機震驚了世界，該手機由中國企業(yè)自主生產(chǎn)的先進的麒麟90人工智能，資源與其他研究領(lǐng)域共享。與此同時，英國目前可供研究人員使用的公共云中的年為實現(xiàn)百億億次級（exascale）能力的最后該公司正等待國會批準(zhǔn)所需的26億美元六人工智能和國防科技吸引了創(chuàng)紀(jì)錄的資金…但是政策阻很少。一個由美國風(fēng)投和科技公司組成的聯(lián)盟呼吁對“開發(fā)需求和選擇技術(shù)的過時方法一的重大融資。歐洲有限合伙人在很大程度上對國防投資的厭惡，這意味著超國家機構(gòu)正在曼建議，未來人們可能能夠超越一些“非常來自O(shè)ECD（經(jīng)合組織）和OpenAI的研究表明，我們將很快看到技式重新引導(dǎo)人工智能的發(fā)展—從自動化人類任務(wù)轉(zhuǎn)向增強表摘自非營利組織人工智能安全中心主任丹·亨德述》。對存在風(fēng)險的擔(dān)憂可以追溯到幾十年前，但大型語言模型的最新進展使辯論超出了歷史上較小的對存在風(fēng)險的擔(dān)憂可以追溯到幾十年前，但大型語言模型的最新進展使辯論超出了歷史上較小的時間表比以前想象的要短。他們在最近的干預(yù)中關(guān)注“對齊”問題通過標(biāo)度定律推斷遙遠(yuǎn)未來的能力也不存在”。風(fēng)險投資家馬克·安德森（Marc企業(yè)部署自動化系統(tǒng)所帶來的直接危害的注意力，這些危害包括工人剝削、版權(quán)侵權(quán)、合成信息的傳能系統(tǒng)面臨的外國情報威脅以及應(yīng)對威脅的方法對中期“緊迫性和嚴(yán)重性的驚人結(jié)合”發(fā)出警告，強調(diào)人工盡管關(guān)于倫理的出版物數(shù)量繼續(xù)遠(yuǎn)遠(yuǎn)超過其生存風(fēng)險或極端風(fēng)險的同行，但在SOTA模型能力向前邁進的推見挑戰(zhàn)的風(fēng)險，但人們擔(dān)心這些過程不會定期處理●DeepMind提出了一個工具包和相關(guān)的工作建立開發(fā)中斷。這些承諾涵蓋了內(nèi)部訪問控制、紅隊、第三方評估以及不同人工智能安全級別(A開放源代碼與封閉源代碼的爭論仍在繼續(xù)……開源大型語言模型為研究和企業(yè)提供了公平的競爭環(huán)境，但也帶來了更高的擴散和被不良行為議。通過HuggingFace分發(fā)的模型有限制已經(jīng)表現(xiàn)出一些不穩(wěn)定的行為。最著名的事件是由微軟必應(yīng)的大型語言模型驅(qū)動的聊天機器其他問題包括相對容易的大型語言模型“越獄”、Prompt侵入或欺騙和阿諛奉承行為(許多安全研持認(rèn)為，這些行為可能隱藏惡意的大型語言大型語言模型可能會被驅(qū)使執(zhí)行來自惡意團體/個對抗性攻擊甚至對應(yīng)用程序接口背后的對齊模Bard、Claude以及開源大型語言模型上引發(fā)不良內(nèi)人工智能安全領(lǐng)域領(lǐng)先機構(gòu)的一項調(diào)查發(fā)現(xiàn)了RLHF的開放性問題和局限性。對于RLHF的每列出了他們