2024年全球人工智能現(xiàn)狀全景報(bào)告

Nathan是AirStreetCapital的普通合伙人，AirStreetCapital是一家投資第一批公司的風(fēng)險(xiǎn)投資公司。他負(fù)責(zé)管理研究和應(yīng)用人工智能峰會(huì)(RAAIS)、RAAIS基金會(huì)(資助開(kāi)源人工智能項(xiàng)目)、美國(guó)和歐洲的人工智能社區(qū)以及Spinout.fyi(改善大學(xué)衍生創(chuàng)造)。他在威廉姆斯學(xué)院學(xué)習(xí)生物學(xué)，并作為蓋茨獎(jiǎng)學(xué)金獲得者獲得了劍橋癌癥研究博士Alex是AirStreetCapital的平臺(tái)負(fù)責(zé)人，定期通過(guò)AirStreetPress撰寫(xiě)關(guān)于人工智能的研究、分析和評(píng)論。在加入AirStreet之前，他是MilltownPartners的副總監(jiān)，為大型科技公司、初創(chuàng)企業(yè)和投資者提供政策和定位方面的建議。他于2017年畢業(yè)于牛津大學(xué)，獲得歷史學(xué)學(xué)位。人工智能(AI)是一個(gè)科學(xué)和工程的多學(xué)科領(lǐng)域，其目標(biāo)是創(chuàng)造智能機(jī)器。我們相信，在我們?nèi)找鏀?shù)字化、數(shù)據(jù)驅(qū)動(dòng)的世界中，人工智能將成為技術(shù)進(jìn)步的力量倍增器。這是因?yàn)榻裉煳覀冎車(chē)囊磺?，從文化到消費(fèi)品，都是智慧的產(chǎn)物?！度斯ぶ悄軤顩r報(bào)告》現(xiàn)已進(jìn)入第七個(gè)年頭。把這份報(bào)告看作是我們所看到的最有趣的事情的匯編，目的是引發(fā)一場(chǎng)關(guān)于人工智能的狀態(tài)及其對(duì)未來(lái)的影響的知情對(duì)話。我們?cè)趫?bào)告中考慮了以下主要方面:-研究:技術(shù)突破及其能力。-行業(yè):人工智能的商業(yè)應(yīng)用領(lǐng)域及其商業(yè)影響。-政治:人工智能的管理，其經(jīng)濟(jì)含義和人工智能的地緣政治的演變。-安全:識(shí)別和減輕高能力的未來(lái)人工智能系統(tǒng)可能給我們帶來(lái)的災(zāi)難性風(fēng)險(xiǎn)。人工智能(AI):一個(gè)廣泛的學(xué)科，目標(biāo)是創(chuàng)造智能機(jī)器，相對(duì)于人類和動(dòng)物表現(xiàn)出的自然智能。人工一般智能(AGI):一個(gè)用來(lái)描述未來(lái)機(jī)器的術(shù)語(yǔ)，這些機(jī)器可以在所有有經(jīng)濟(jì)價(jià)值的任務(wù)中匹配并超越人類認(rèn)知能力的全部范圍。人工智能代理:一個(gè)人工智能驅(qū)動(dòng)的系統(tǒng)，可以在環(huán)境中采取行動(dòng)。例如，一個(gè)L人工智能安全:研究并試圖減輕未來(lái)人工智能可能給人類帶來(lái)的風(fēng)險(xiǎn)(從輕微到災(zāi)難性)的領(lǐng)域。計(jì)算機(jī)視覺(jué)(CV):程序分析和理解圖像和視頻的能力。深度學(xué)習(xí)(DL):一種受大腦神經(jīng)元如何識(shí)別數(shù)據(jù)中的復(fù)雜模式啟發(fā)的人工智能方法?！吧疃取敝傅氖钱?dāng)今模型中的許多層神經(jīng)元，它們有助于學(xué)習(xí)數(shù)據(jù)的豐富表示，以實(shí)現(xiàn)更好的性能增益。擴(kuò)散(Diffusion):一種算法，用于迭代去除人為破壞信號(hào)的噪聲，以生成新的高質(zhì)量輸出。近年來(lái)，它一直處于圖像生成和蛋白質(zhì)設(shè)計(jì)的前沿。圖形處理單元(GPU):一種半導(dǎo)體處理單元，能夠?qū)崿F(xiàn)大量并行計(jì)算。歷史上，這是渲染計(jì)算機(jī)圖形所必需的。自2012年以來(lái)，GPU已經(jīng)適應(yīng)了訓(xùn)練DL模型，這也需要大量的并行計(jì)算。(大型)語(yǔ)言模型(LM，LLM):一種在大量(通常)文本數(shù)據(jù)上訓(xùn)練的模型，以自我監(jiān)督的方式預(yù)測(cè)下一個(gè)單詞。術(shù)語(yǔ)“LLM”用于表示數(shù)十億參數(shù)LMs，但這是一個(gè)動(dòng)態(tài)定義。機(jī)器學(xué)習(xí)(ML):人工智能的一個(gè)子集，通常使用統(tǒng)計(jì)技術(shù)來(lái)賦予機(jī)器從數(shù)據(jù)中“學(xué)習(xí)”的能力，而無(wú)需明確給出如何學(xué)習(xí)的指令。這個(gè)過(guò)程被稱為使用學(xué)習(xí)“算法”來(lái)“訓(xùn)練”一個(gè)“模型”逐步提高特定任務(wù)的模型性能。自然語(yǔ)言處理(NLP):程序理解人類口頭和書(shū)面語(yǔ)言的能力。Prompt:通常用自然語(yǔ)言編寫(xiě)的用戶輸入，用于指示LLM生成某些東西或采取行動(dòng)。強(qiáng)化學(xué)習(xí)(RL):ML的一個(gè)領(lǐng)域，其中軟件代理在一個(gè)環(huán)境中通過(guò)試錯(cuò)來(lái)學(xué)習(xí)面向目標(biāo)的行為，該環(huán)境根據(jù)他們實(shí)現(xiàn)目標(biāo)的行為(稱為“策略”)提供獎(jiǎng)勵(lì)或懲罰。自我監(jiān)督學(xué)習(xí)(SSL):一種非監(jiān)督學(xué)習(xí)形式，不需要手動(dòng)標(biāo)記數(shù)據(jù)。相反，原始數(shù)據(jù)以自動(dòng)方式被修改，以創(chuàng)建可供學(xué)習(xí)的人工標(biāo)簽。SSL的一個(gè)例子是通過(guò)屏蔽句子中的隨機(jī)單詞并試圖預(yù)測(cè)丟失的單詞來(lái)學(xué)習(xí)完成文本。變壓器:一個(gè)模型架構(gòu)的核心，最先進(jìn)的(SOTA)ML研究。它由多個(gè)“注意力”層組成，這些層了解輸入數(shù)據(jù)的哪些部分對(duì)給定的任務(wù)最重要。Transformers始于NLP(特別是機(jī)器翻譯),隨后擴(kuò)展到計(jì)算機(jī)視覺(jué)、音頻和其他形式。在其余幻燈片中，右上角的圖標(biāo)表示該型號(hào)的輸入和輸出設(shè)備。輸入/輸出類型:團(tuán):文本:圖像:軟件工具使用(文本、代碼生成和執(zhí)行):機(jī)器人狀態(tài):生物形態(tài)型號(hào)類型:+回+→:用于機(jī)器人的多模態(tài)LLM→:文本到軟件工具使用||-前沿實(shí)驗(yàn)室的性能趨同，但隨著o1的推出，OpenAI保持了它的優(yōu)勢(shì)，因?yàn)橐?guī)劃和推理成為一個(gè)主要的前沿。-隨著多模態(tài)研究進(jìn)入數(shù)學(xué)、生物學(xué)、基因組學(xué)、物理科學(xué)和神經(jīng)科學(xué)，基礎(chǔ)模型展示了它們突破語(yǔ)言的能力。-美國(guó)的制裁未能阻止中國(guó)(V)LLM在社區(qū)排行榜上崛起。-英偉達(dá)仍然是世界上最強(qiáng)大的公司，在3T美元俱樂(lè)部中享受著一段時(shí)間，而監(jiān)管機(jī)構(gòu)正在調(diào)查GenAI內(nèi)部的權(quán)力集中。-更多的老牌GenAI公司帶來(lái)了數(shù)十億美元的收入，而初創(chuàng)公司開(kāi)始在視頻和音頻生成等領(lǐng)域獲得牽引力。盡管企業(yè)開(kāi)始從模式轉(zhuǎn)向產(chǎn)品，但圍繞定價(jià)和可持續(xù)性的長(zhǎng)期問(wèn)題仍未解決。-在公開(kāi)市場(chǎng)牛市的推動(dòng)下，人工智能公司的價(jià)值達(dá)到9T美元，而私營(yíng)公司的投資水平健康增長(zhǎng)。政治-盡管全球治理努力陷入停滯，但國(guó)家和地區(qū)人工智能監(jiān)管仍在繼續(xù)推進(jìn)，美國(guó)和歐盟通過(guò)了有爭(zhēng)議的立法。-計(jì)算需求的現(xiàn)實(shí)迫使大型科技公司考慮現(xiàn)實(shí)世界中的物理限制和他們自己的排放目標(biāo)。-人工智能對(duì)選舉、就業(yè)和一系列其他敏感領(lǐng)域的預(yù)期影響尚未在任何規(guī)模上實(shí)現(xiàn)。安全-從安全到加速的轉(zhuǎn)變正在發(fā)生，因?yàn)橹熬嫖覀內(nèi)祟惣磳缃^的公司需要增加企業(yè)銷售和消費(fèi)應(yīng)用的使用。-世界各國(guó)政府效仿英國(guó)，圍繞人工智能安全建設(shè)國(guó)家能力，成立機(jī)構(gòu)，研究關(guān)鍵國(guó)家基礎(chǔ)設(shè)施的潛在漏洞。-每一個(gè)提議的越獄“補(bǔ)丁”都失敗了，但研究人員越來(lái)越擔(dān)心更復(fù)雜、更長(zhǎng)期的攻擊。ai2024狀態(tài)好萊塢級(jí)別的制作利用了生成式人工智能的視覺(jué)效果。一家生成式人工智能媒體公司因在2024年美國(guó)大選期間濫用職權(quán)而受到調(diào)查。自我提升的AI智能體在復(fù)雜環(huán)境中碾壓SOTA(例如AAA游戲、工具使用、科學(xué))?？萍脊镜腎PO市場(chǎng)正在解凍，我們看到至少有一家專注于人工智能的公司(如DBRX)上市。在熱乃縮放熱潮中，一個(gè)團(tuán)體花費(fèi)了100多萬(wàn)1B來(lái)訓(xùn)練一個(gè)大比例的模型.美國(guó)FTC或英國(guó)CMA以競(jìng)爭(zhēng)為由調(diào)查微軟/OpenAI交易。除了高級(jí)別自愿承諾，我們認(rèn)為全球人工智能治理的進(jìn)展有限。金融機(jī)構(gòu)推出GPU債務(wù)基金，以取代計(jì)算資金的風(fēng)險(xiǎn)投資股權(quán)美元。一首人工智能生成的歌曲闖入了BillboardHot100Top10或SpotifyTopHits2024。隨著推理工作量和成本的顯著增長(zhǎng)，大型人工智能公司(如OpenAI)收購(gòu)或建立了一家專注于推理的人工智能芯片公司。很大程度上很糟糕，但GenAIAI視覺(jué)效果已經(jīng)在Netfix和HBO制作中出現(xiàn)。還沒(méi)有，但是還有時(shí)間。盡管七大巨頭收益頗豐，但私營(yíng)企業(yè)仍在堅(jiān)守，直到市場(chǎng)穩(wěn)定下來(lái)。然而，人工智能芯片公司Cerebras已經(jīng)導(dǎo)致IPO。兩家監(jiān)管機(jī)構(gòu)都在調(diào)查這種合作關(guān)系。布萊奇利和首爾峰會(huì)的承諾仍然是自愿的和高層次的。有傳言稱，一些風(fēng)險(xiǎn)投資基金正在為股權(quán)提供GPU，但我事實(shí)證明，這種情況在去年的《我袖子上的心》中已經(jīng)發(fā)生過(guò)，但我們也看到一首人工智能生成的歌曲在德國(guó)排名第27位，并連續(xù)幾天進(jìn)入前50名。據(jù)報(bào)道，薩姆·奧特曼正在為此籌集巨額資金，而谷歌、亞馬遜、Meta和微軟都在繼續(xù)建設(shè)和改進(jìn)自己的人工智能芯片。第一部分:研究 ●在正式的基準(zhǔn)測(cè)試和基于vibes的分析中，資金最充足的前沿實(shí)驗(yàn)室能夠在單個(gè)能力上獲得較低的分現(xiàn)在，模型一直是非常能干的編碼者，擅長(zhǎng)事實(shí)回憶和數(shù)學(xué)，但不太擅長(zhǎng)開(kāi)放式問(wèn)題回答和多模態(tài)問(wèn)題解決。許多變化非常小，現(xiàn)在很可能是實(shí)施差異的產(chǎn)物。例如，GPT-4o在MMLU上的表現(xiàn)優(yōu)于克勞德3.5Sonnet，但在MMLU-Pro上的表現(xiàn)明顯不如它，MMLU-Pro是一個(gè)旨在更具挑戰(zhàn)性的基準(zhǔn)測(cè)試。考慮到體系結(jié)構(gòu)之間相對(duì)微妙的技術(shù)差異和預(yù)訓(xùn)練數(shù)據(jù)中可能的嚴(yán)重重疊，模型構(gòu)建者現(xiàn)在越來(lái)越多地不得不在新功能和產(chǎn)品特性上競(jìng)爭(zhēng)。ai2024狀態(tài) 通過(guò)將計(jì)算從訓(xùn)練前和訓(xùn)練后轉(zhuǎn)移到推理，o1以思維鏈(COT)的方式一步一步地通過(guò)復(fù)雜的提示進(jìn)行推理，采用RL來(lái)強(qiáng)化COT及其使用的策略。這開(kāi)啟了解決多層數(shù)學(xué)、科學(xué)和編碼問(wèn)題的可能性，由于下一個(gè)令牌預(yù)測(cè)的內(nèi)在限制，LLM在歷史上一直在努力解決這些問(wèn)題。OpenAI報(bào)告對(duì)推理密集型基準(zhǔn)測(cè)試的顯著改進(jìn)與4o的對(duì)比，AIME2024(競(jìng)賽數(shù)學(xué))上最明顯，得分高達(dá)83.83比然而，這種能力的代價(jià)很高:100萬(wàn)個(gè)輸入令牌o1-preview的價(jià)格為15美元，而100萬(wàn)個(gè)輸出令牌將花費(fèi)你60美元。這使得它比GPT-4o貴3-4倍。OpenAI在其API文檔中明確表示，它不是對(duì)等的4o替代品，也不是需要 美洲駝3填補(bǔ)了開(kāi)放和封閉模式之間的差距迄今為止，能夠在推理、數(shù)學(xué)、多語(yǔ)言和長(zhǎng)上下文任務(wù)方面與GPT-4o和克勞德3.5十四行詩(shī)相抗衡。這標(biāo)志著開(kāi)放模式第一次縮小了與專利前沿的差距?！馦eta堅(jiān)持使用自Llama1以來(lái)一直使用的只有解碼器的變壓器架構(gòu)，只做了一些小的改動(dòng)，即更多的變壓器層和注意力頭?！馦eta用了不可思議的15T代幣訓(xùn)練家族。雖然這超出了“龍貓最佳”的訓(xùn)練計(jì)算量，但他們發(fā)現(xiàn)8B和70B模型的對(duì)數(shù)線性提高了15T。●Llama3.1405B經(jīng)過(guò)了16，000個(gè)H100GPUs的訓(xùn)練，這是首個(gè)以此規(guī)模訓(xùn)練的Llama模型?！馦eta隨后在9月發(fā)布了Llama3.2，其中包含了11B和90Bvlm(Llama的多模式首次亮相)。前者與克勞德3俳句有競(jìng)爭(zhēng)力，后者與GPT4o迷你。該公司還發(fā)布了1B和3B的純文本模式，旨在設(shè)備上運(yùn)行?！窕诿乐揆劦哪Ｐ同F(xiàn)在已經(jīng)累積超過(guò)4.擁抱臉下載。 ●●愛(ài)丁堡大學(xué)的一個(gè)團(tuán)隊(duì)統(tǒng)計(jì)了MMLU中的錯(cuò)誤數(shù)量，包括錯(cuò)誤的基本事實(shí)、不清楚的問(wèn)題和多個(gè)正確答案。雖然在大多數(shù)個(gè)別主題中較低，但在某些領(lǐng)域中有較大的峰值，如病毒學(xué)，其中57%的分析實(shí)例包含錯(cuò)誤。在手動(dòng)校正的MMLU子集上，模型的性能普遍提高，盡管在專業(yè)法律和形式邏輯上有所惡化。這表示在預(yù)訓(xùn)練期間學(xué)習(xí)了不準(zhǔn)確的MMLU實(shí)例。在更為安全關(guān)鍵的領(lǐng)域，OpenAI警告稱，評(píng)估模型解決現(xiàn)實(shí)世界軟件問(wèn)題能力的SWE-bench低估了模型的自主軟件工程能力，因?yàn)樗y以或不可能解決的任務(wù)。研究人員與基準(zhǔn)的創(chuàng)建者合作，創(chuàng)建了SWE-benchverified。||憑感覺(jué)活著，憑感覺(jué)死去…或者閉上眼睛一年，OpenAI仍然是第一名→●arena允許用戶與兩個(gè)隨機(jī)選擇的聊天機(jī)器人并排互動(dòng)，提供了一個(gè)粗略的眾包評(píng)估。然而，有爭(zhēng)議的是，這導(dǎo)致GPT-4o和GPT-4o迷你獲得相同的分?jǐn)?shù)，后者也超過(guò)了克勞德十四行詩(shī)3.5。這引發(fā)了人們的擔(dān)憂，即這一排名實(shí)際上正在成為評(píng)估用戶最喜歡哪種寫(xiě)作風(fēng)格的一種方式。此外，由于較小的模型往往在涉及更多令牌的任務(wù)上表現(xiàn)不佳，8k上下文限制可以說(shuō)給了它們不公平的優(yōu)勢(shì)。然而，早期版本的愿景排行榜現(xiàn)在+→z●谷歌DeepMind/NYU團(tuán)隊(duì)使用符號(hào)引擎生成了數(shù)百萬(wàn)條合成定理和證明，用它們從頭開(kāi)始訓(xùn)練語(yǔ)言?！馎lphaGeometry在提出新結(jié)構(gòu)的語(yǔ)言模型和執(zhí)行推理的符號(hào)引擎之間交替，直到找到解決方案?！窳钊擞∠笊羁痰氖?，它解決了30個(gè)奧林匹克級(jí)幾何問(wèn)題中的25個(gè)，接近人類國(guó)際數(shù)學(xué)奧林匹克金牌得主的表現(xiàn)。下一個(gè)最好的AI性能得分只有10。●它還展示了概括能力——例如，發(fā)現(xiàn)2004年IMO問(wèn)題中的特定細(xì)節(jié)對(duì)于證明是不必要的。 研究表明，面對(duì)被智能修剪的更深層——旨在處理復(fù)雜、抽象或特定于任務(wù)的信息——模型是健壯的。也許有可能走得更遠(yuǎn)。●●他們根據(jù)相似性確定了要移除的最佳層，然后通過(guò)少量有效的微調(diào)“修復(fù)”了模型。NVIDIA研究人員采取了一種更激進(jìn)的方法，通過(guò)修剪層、神經(jīng)元、注意力頭和嵌入，然后使用知識(shí)提煉進(jìn)行有效的再培訓(xùn)。MINITRON模型源自Nemotron-415B，其性能相當(dāng)于或優(yōu)于Mistral7B和Llama-38B等模型，而使用的訓(xùn)練令牌卻減少了40倍。 谷歌已經(jīng)接受了這種方法，從Gemini1.5Pro中提取了Gemini1.5Flash，而Gemma29B是從Gemma227B中提取的，Gemma2B是從一個(gè)更大的未發(fā)布的模型中提取的。也有社區(qū)猜測(cè)，克勞德3俳句，一個(gè)非常有能力的較小模型，是較大作品的精華版本，但Anthropic從未證實(shí)這一點(diǎn)。這些蒸餾努力也正在向多模式發(fā)展。黑森林實(shí)驗(yàn)室發(fā)布了FLUX.1dev，這是一個(gè)從他們的Pro模型中提取的開(kāi)放權(quán)重文本到圖像。為了支持這些努力，社區(qū)已經(jīng)開(kāi)始生產(chǎn)開(kāi)源蒸餾工具，如arcee.ai的DistillKit，它支持基于Logit和基于隱藏狀態(tài)的蒸餾。Llama3.1405B也用于蒸餾，在Meta更新其條款后，輸出邏輯可用于改進(jìn)任何模特，不僅僅是駱馬。ai2024狀態(tài) ●微軟的phi-3.5-mini是一款3.8BLM，與7B和Llama3.18B等更大的型號(hào)競(jìng)爭(zhēng)。它在推理和問(wèn)答方面表現(xiàn)很好，但大小限制了它的事實(shí)知識(shí)。為了支持設(shè)備上的推斷，該模型被量化為4位，從而將其內(nèi)存占用減少到大約1.8GB?！裉O(píng)果推出了MobileCLIP，這是一系列高效的圖像-文本模型，針對(duì)智能手機(jī)上的快速推理進(jìn)行了優(yōu)化。使用新的多模態(tài)強(qiáng)化訓(xùn)練，他們通過(guò)轉(zhuǎn)移來(lái)自圖像字幕模型和強(qiáng)剪輯編碼器集合的知識(shí)來(lái)提高緊湊模型的準(zhǔn)確性?！駬肀樢布尤肓薙molLM的行列，SmolLM是一個(gè)小型語(yǔ)言模型家族，有135M、360M和1.7B三種格式。通過(guò)使用由增強(qiáng)版Cosmopedia創(chuàng)建的高度精確的合成數(shù)據(jù)集(見(jiàn)幻燈片31)，該團(tuán)隊(duì)實(shí)現(xiàn)了該尺寸的SOTA性能。+→z●微軟的BitNet使用“位線性”層來(lái)取代標(biāo)準(zhǔn)的線性層，采用1位權(quán)重和量化激活?！衽c全精度模型相比，它表現(xiàn)出了具有競(jìng)爭(zhēng)力的性能，并展示了與全精度變壓器相似的縮放定律，同時(shí)具有顯著的內(nèi)存和節(jié)能效果?！裎④涬S后推出了BitNetb1.58，采用三進(jìn)制權(quán)重來(lái)匹配3B規(guī)模的全精度LLM性能，同時(shí)保持效率增益?！衽c此同時(shí)，字節(jié)跳動(dòng)的TiTok(基于變壓器的一維令牌化器)將圖像量化為離散令牌的緊湊1D序列，用于圖像重建和生成任務(wù)。這允許用少至32個(gè)標(biāo)記來(lái)表示圖像，而不是數(shù)百或數(shù)千個(gè)標(biāo)記。 ●●受模型可解釋性研究的啟發(fā)，ReFT(表示微調(diào))不會(huì)改變模型的權(quán)重。相反，它在推理時(shí)操縱模型的內(nèi)部表示來(lái)控制它的行為。與基于權(quán)重的微調(diào)方法相比，ReFT需要的參數(shù)少了15-65倍，但干擾代價(jià)很小。它還可以對(duì)特定層和標(biāo)記位置進(jìn)行更具選擇性的干預(yù)，從而對(duì)適應(yīng)過(guò)程進(jìn)行精細(xì)控制。研究人員展示了它在少數(shù)鏡頭適應(yīng)中的潛力，其中聊天模型被賦予了一個(gè)只有五個(gè)例子的新角色。結(jié)合用于學(xué)習(xí)干預(yù)的小存儲(chǔ)空間，它可以用于具有足夠計(jì)算能力的設(shè)備上的實(shí)時(shí)個(gè)性化。||●像Mamba這樣的選擇性狀態(tài)空間模型，去年設(shè)計(jì)用于更有效地處理長(zhǎng)序列，在某種程度上可以與變壓器競(jìng)爭(zhēng)，但在需要復(fù)制或上下文學(xué)習(xí)的任務(wù)上落后。也就是說(shuō)，F(xiàn)alcon的Mamba7B與類似大小的變壓器模型相比，表現(xiàn)出了令人印象深刻的基準(zhǔn)性能?！窕旌蟿?dòng)力車(chē)型似乎是一個(gè)更有前途的方向。結(jié)合自我關(guān)注和型在知識(shí)和推理基準(zhǔn)方面優(yōu)于8BTransformer，同時(shí)在推理中生成令牌的速度提高了●在懷舊之旅中，有回歸神經(jīng)網(wǎng)絡(luò)的早期跡象，由于訓(xùn)練和擴(kuò)展困難，回歸神經(jīng)網(wǎng)絡(luò)已經(jīng)過(guò)時(shí)?！裼蒅oogleDeepMind訓(xùn)練的Griffin混合了線性遞歸和局部注意力，在對(duì)6倍的令牌進(jìn)行訓(xùn)練的同時(shí)，與Llama-2保持一致?！髡邉?chuàng)造了Phi-Mamba，這是一個(gè)新的學(xué)生模型，結(jié)合了作者創(chuàng)造了Phi-Mamba，這是一個(gè)新的學(xué)生模型，結(jié)合了Mamba-2和MLP模塊以及一個(gè)名為Hybrid-Phi-Mamba保留了教師模型中的一些注意力層。Mohawk可以訓(xùn)練Phi-Mamba和Hybrid-Phi-Mamba達(dá)到接近老師模型的性能。Phi-Mamba僅使用3B令牌提取，不到1%的數(shù)據(jù)用于訓(xùn)練之前表現(xiàn)最好的Mamba模型，2%的數(shù)據(jù)用于Phi-1.5模型本身?！馦OHAWK是一種新的方法，用于將知識(shí)從一個(gè)大型的、預(yù)先訓(xùn)練好的轉(zhuǎn)換模型(教師)中提取到一個(gè)更小的次二次模型(學(xué)生)，如狀態(tài)空間模型(SSM)。它對(duì)齊I)學(xué)生和教師模型的序列變換矩陣ii)和每層的隱藏狀態(tài)，然后iii)將教師模型的剩余權(quán)重轉(zhuǎn)移到學(xué)生模型以調(diào)整它。22%74% ●除了作為Phi系列訓(xùn)練數(shù)據(jù)的主要來(lái)源，Anthropic在訓(xùn)練Claude3時(shí)還使用了合成數(shù)據(jù)來(lái)幫助表示訓(xùn)練數(shù)據(jù)中可能缺失的場(chǎng)景。擁抱臉使用Mixtral-8x7B指令生成超過(guò)3000萬(wàn)個(gè)文件和25B個(gè)合成教科書(shū)、博客帖子和故事的令牌，以重新創(chuàng)建Phi-1.5訓(xùn)練數(shù)據(jù)集，他們將其命名為Cosmopedia。為了使這一過(guò)程更容易，NVIDIA發(fā)布了Nemotron-4-340B系列，這是一套專門(mén)為合成數(shù)據(jù)生成而設(shè)計(jì)的模型，可通過(guò)許可許可證獲得。Meta的Llama也可以用于合成數(shù)據(jù)生成。似乎也可以使用類似于Magpie的技術(shù)，通過(guò)直接從對(duì)齊的LLM中提取數(shù)據(jù)來(lái)創(chuàng)建合成的高質(zhì)量指令數(shù)據(jù)。以這種方式微調(diào)的模型有時(shí)表現(xiàn)與Llama-3-8B-Instruct相當(dāng)?！S著模型構(gòu)建者向前推進(jìn)，研究人員一直在努力評(píng)估是否存在觸發(fā)這種結(jié)果的合成數(shù)據(jù)量的臨界點(diǎn)，以●來(lái)自牛津和劍橋研究人員的一篇自然論文發(fā)現(xiàn)，模型崩潰發(fā)生在各種人工智能架構(gòu)中，包括微調(diào)的語(yǔ)言模型，挑戰(zhàn)了預(yù)訓(xùn)練或定期接觸少量原始數(shù)據(jù)可以防止退化(通過(guò)困惑分?jǐn)?shù)衡量)的想法。這創(chuàng)造了“先發(fā)優(yōu)勢(shì)”，因?yàn)槌掷m(xù)訪問(wèn)各種各樣的人為數(shù)據(jù)對(duì)于保持模型質(zhì)量將變得越來(lái)越重要。然而，這些結(jié)果主要集中在真實(shí)數(shù)據(jù)被幾代人的合成數(shù)據(jù)取代的情況。實(shí)際上，真實(shí)的和合成的數(shù)據(jù)通常會(huì)累積起來(lái)。其他研究表明，如果合成數(shù)據(jù)的比例不太高，崩潰通常是可以避免的。 ●FineWeb數(shù)據(jù)集是通過(guò)多步過(guò)程創(chuàng)建的，包括基礎(chǔ)過(guò)濾、獨(dú)立每次轉(zhuǎn)儲(chǔ)的最小哈希重復(fù)數(shù)據(jù)刪除、從C4數(shù)據(jù)集中選擇的過(guò)濾器以及團(tuán)隊(duì)的定制過(guò)濾器。使用traflatura庫(kù)的文本提取比默認(rèn)的CommonCrawl濕文件產(chǎn)生了更高質(zhì)量的數(shù)據(jù)，即使產(chǎn)生的數(shù)據(jù)集明顯更小。他們發(fā)現(xiàn)，在達(dá)到收益遞減點(diǎn)之前，重復(fù)數(shù)據(jù)刪除在一定程度上推動(dòng)了性能的提高，然后使其惡化。該團(tuán)隊(duì)還使用llama-3-70b-instruct對(duì)FineWeb的50萬(wàn)個(gè)樣本進(jìn)行了注釋，并對(duì)每個(gè)樣本的教育質(zhì)量進(jìn)行了評(píng)分，分值范圍為0到5。FineWeb-edu篩選出得分低于3的樣本，盡管規(guī)模明顯較小，但表現(xiàn)優(yōu)于FineWeb和所有其他開(kāi)放數(shù)據(jù)集。 ●遵循在常規(guī)LLM中被證明有效的劇本，規(guī)模帶來(lái)了巨大的性能改進(jìn)(GritLM有大約47B個(gè)參數(shù)，而以前的嵌入模型中通常有110萬(wàn)個(gè)參數(shù))?！耦愃频?，廣泛的網(wǎng)絡(luò)規(guī)模語(yǔ)料庫(kù)的使用和改進(jìn)的過(guò)濾方法導(dǎo)致了較小模型的巨大改進(jìn)?！裢瑫r(shí)，ColPali是一個(gè)視覺(jué)語(yǔ)言嵌入模型，它利用文檔的視覺(jué)結(jié)構(gòu)，而不僅僅是它們的文本嵌入，來(lái)改進(jìn)檢索?！駲z索模型是少數(shù)幾個(gè)子領(lǐng)域之一，在這些子領(lǐng)域中，開(kāi)放模型通常優(yōu)于來(lái)自最大實(shí)驗(yàn)室的專有模型。在MTEB檢索排行榜上，OpenAI的嵌入模型排在第29位，而NVIDIA的openNV-Embed-v2排在前面。 ●Anthropic使用“上下文嵌入”解決了這個(gè)問(wèn)題，其中一個(gè)提示指示模型生成解釋文檔中每個(gè)塊的上下文的文本。他們發(fā)現(xiàn)，這種方法可以將前20名的檢索失敗率降低然后可以使用Anthropic的提示緩存對(duì)其進(jìn)行縮放。正如CMU的FernandoDiaz在最近的帖子中所觀察到的，這是一個(gè)很好的例子，說(shuō)明人工智能研究的一個(gè)領(lǐng)域(例如早期的語(yǔ)音檢索和文檔擴(kuò)展工作)所開(kāi)創(chuàng)的技術(shù)正在應(yīng)用到另一個(gè)領(lǐng)域。“新的就是舊的”的另一個(gè)版本。Chroma的研究表明，組塊策略的選擇可以影響檢索性能，召回率高達(dá)9%。 ●研究人員現(xiàn)在正在開(kāi)拓新的方法，如Ragnar?,它通過(guò)成對(duì)系統(tǒng)比較引入了一個(gè)新的基于網(wǎng)絡(luò)的人類評(píng)估平臺(tái)。這解決了超越傳統(tǒng)自動(dòng)化指標(biāo)評(píng)估RAG質(zhì)量的挑戰(zhàn)?！裢瑫r(shí)，ResearchyQuestions提供了一個(gè)復(fù)雜的、多方面的問(wèn)題的大規(guī)模集合，這些問(wèn)題需要從真實(shí)的用戶查詢中進(jìn)行深入的研究和分析來(lái)回答?！窆雀鐳eepMind提出了分布式低通信(DiLoCo)，這是一種優(yōu)化算法，允許在多個(gè)松散連接的設(shè)備“孤島”上進(jìn)行訓(xùn)練?！衩總€(gè)島在與其他島通信之前執(zhí)行大量的本地更新步驟，減少了頻繁的數(shù)據(jù)交換需求。他們能夠展示跨其中8個(gè)孤島的完全同步優(yōu)化，同時(shí)將通信量減少500倍?！馟DM還提出了DiLoCo的重新定義版本，針對(duì)異步設(shè)置進(jìn)行了優(yōu)化?！馪rimeIntellect的研究人員發(fā)布了DiLoCo的開(kāi)源實(shí)現(xiàn)和復(fù)制，同時(shí)將其放大3倍，以展示其在1B參數(shù)模型上的有效性。 ●通常，整個(gè)數(shù)據(jù)集都是預(yù)先處理的，這并沒(méi)有考慮到訓(xùn)練示例的相關(guān)性在學(xué)習(xí)過(guò)程中會(huì)如何變化。這些方法經(jīng)常在訓(xùn)練前應(yīng)用，因此不能適應(yīng)訓(xùn)練期間變化的需求?！窆雀鐳eepMind的JEST聯(lián)合選擇整批數(shù)據(jù)，而不是獨(dú)立的單個(gè)例子。選擇由“可學(xué)性分?jǐn)?shù)”(由預(yù)先訓(xùn)練的參考模型確定)指導(dǎo)，該分?jǐn)?shù)評(píng)估它對(duì)訓(xùn)練的有用程度。它能夠?qū)?shù)據(jù)選擇直接集成到訓(xùn)練過(guò)程中，使其具有動(dòng)態(tài)性和適應(yīng)●JEST在數(shù)據(jù)選擇和部分訓(xùn)練中使用較低分辨率的圖像處理，顯著降低了計(jì)算成本，同時(shí)保持了性能優(yōu)勢(shì)。+→z●來(lái)自中國(guó)實(shí)驗(yàn)室的最強(qiáng)模型與美國(guó)實(shí)驗(yàn)室生產(chǎn)的第二強(qiáng)前沿模型具有競(jìng)爭(zhēng)力，同時(shí)在某些子任務(wù)上挑戰(zhàn)SOTA。這些實(shí)驗(yàn)室優(yōu)先考慮計(jì)算效率，以彌補(bǔ)GPU訪問(wèn)的限制，學(xué)會(huì)比美國(guó)同行更充分地利用資源。中國(guó)的實(shí)驗(yàn)室各有所長(zhǎng)。例如，DeepSeek開(kāi)創(chuàng)了多頭潛在注意力等技術(shù)，以減少推理過(guò)程中的內(nèi)存需求和增強(qiáng)的MoE架同時(shí)01。人工智能不太關(guān)注架構(gòu)創(chuàng)新，而是更多地關(guān)注建立一個(gè)強(qiáng)大的中文數(shù)據(jù)集，以彌補(bǔ)其在流行知識(shí)庫(kù)中的相對(duì)匱乏，如+→z●DeepSeek已經(jīng)成為編碼任務(wù)的社區(qū)最愛(ài)，deepseek-coder-v2結(jié)合了速度、輕便和準(zhǔn)確阿里巴巴最近發(fā)布了Qwen-2系列，該社區(qū)對(duì)其視覺(jué)功能印象尤為深刻，從挑戰(zhàn)性的OCR任務(wù)到分析復(fù)雜藝術(shù)作品的能力。在較小的一端，清華大學(xué)的NLP實(shí)驗(yàn)室資助了OpenBMB，該項(xiàng)目催生了MiniCPM項(xiàng)目。這些是可以在設(shè)備上運(yùn)行的小于2.5B的小型參數(shù)模型。他們的2.8Bvision車(chē)型在某些指標(biāo)上僅略微落后于GPT-4V，而基于8.5BLlama3的車(chē)型在某些指標(biāo)上超過(guò)了它。清華大學(xué)的知識(shí)工程小組也創(chuàng)造了cogvideox——最有能力的文本到視頻模型之一。 +→z20182024 ●通過(guò)將創(chuàng)建高質(zhì)量圖像所需的采樣步驟從可能的數(shù)百個(gè)減少到1-4個(gè)，同時(shí)保持高清晰度，對(duì)抗性擴(kuò)散蒸餾加快了圖像生成?！袼鼘?duì)抗訓(xùn)練與分?jǐn)?shù)提取相結(jié)合:僅使用預(yù)先訓(xùn)練的擴(kuò)散模型作為指導(dǎo)來(lái)訓(xùn)練模型?！癯私怄i單步生成，作者還專注于降低計(jì)算復(fù)雜度和提高采樣效率?！裾髁魍ㄟ^(guò)直接的直線而不是彎曲的路徑連接數(shù)據(jù)和噪聲，從而改進(jìn)了傳統(tǒng)的擴(kuò)散方法?！袼麄儗⑵渑c基于變壓器的新型架構(gòu)相結(jié)合，用于文本到圖像，允許文本和圖像組件之間的雙向信息流動(dòng)。這增強(qiáng)了模型基于文本描述生成更準(zhǔn)確和連貫的高分辨率圖像的能力?！I(lǐng)大型實(shí)驗(yàn)室發(fā)布他們自己的門(mén)控文本到視頻的成果→●OpenAI的黑臉田雞能夠生成長(zhǎng)達(dá)一分鐘的視頻，同時(shí)保持3D一致性，對(duì)象持久性和高分辨率。它使用時(shí)空補(bǔ)丁，類似于變壓器模型中使用的令牌，但對(duì)于視覺(jué)內(nèi)容，可以從龐大的視頻數(shù)據(jù)集中有效地學(xué)習(xí)。黑臉田雞還接受了視覺(jué)數(shù)據(jù)的原始大小和縱橫比的訓(xùn)練，去除了降低質(zhì)量的常見(jiàn)裁剪和大小調(diào)整。谷歌DeepMind的Veo將文本和可選的圖像提示與嘈雜的壓縮視頻輸入相結(jié)合，通過(guò)編碼器和潛在擴(kuò)散模型進(jìn)行處理，以創(chuàng)建獨(dú)特的壓縮視頻表示。然后，系統(tǒng)將這種表示解碼成最終的高分辨率視頻。此外，還有Runway的Gen-3Alpha，Luma MovieGen的核心是30B視頻一代和13B音頻一代模型，能夠分別以每秒16幀和45秒的音頻剪輯制作16秒的視頻。這些模型利用文本到圖像和文本到視頻任務(wù)的聯(lián)合優(yōu)化技術(shù)，以及為任意長(zhǎng)度的視頻生成連貫音頻的新穎音頻擴(kuò)展方法。MovieGen的視頻編輯功能將先進(jìn)的圖像編輯技術(shù)與視頻生成相結(jié)合，允許在保留原始內(nèi)容的同時(shí)進(jìn)行本地化編輯和全局更改。這些模型是在許可的和公開(kāi)的數(shù)據(jù)集上訓(xùn)練的。Meta使用A/B人工評(píng)估比較來(lái)展示其四項(xiàng)主要能力相對(duì)于競(jìng)爭(zhēng)行業(yè)模型的積極凈勝率。研究人員說(shuō)他們打算制作這個(gè)模型將來(lái)會(huì)推出，但不要承諾時(shí)間表或發(fā)布策略。ai2024狀態(tài)艾獲得諾貝爾獎(jiǎng)→●與AF2相比，算法上有了實(shí)質(zhì)性的令人驚訝的變化:為了簡(jiǎn)化和擴(kuò)大規(guī)模，所有的等方差約束都被移除了，而結(jié)構(gòu)模塊被替換為擴(kuò)散模型來(lái)構(gòu)建3D坐標(biāo)?！癫怀鏊?，研究人員聲稱，與其他方法相比，AF3表現(xiàn)得非常好。對(duì)于小分子對(duì)接)，盡管這沒(méi)有與更強(qiáng)的基線進(jìn)行比較。●值得注意的是，目前還沒(méi)有開(kāi)放源代碼。幾個(gè)獨(dú)立團(tuán)體正致力于公開(kāi)復(fù)制該作品。||第一匹馬是百度的HelixFold3模型，在配體結(jié)合方面與AF3相當(dāng)。他們提供一個(gè)網(wǎng)絡(luò)服務(wù)器，并且他們的代碼是完全開(kāi)源的，用于非商業(yè)用途。來(lái)自ChaiDiscovery(由OpenAI支持)的Chai-1最近發(fā)布了一個(gè)分子結(jié)構(gòu)預(yù)測(cè)模型，該模型由于其性能和高質(zhì)量的實(shí)現(xiàn)而廣受歡迎。該網(wǎng)絡(luò)服務(wù)器也可用于商業(yè)藥物我們?nèi)栽诘却粋€(gè)完全開(kāi)源的模型，沒(méi)有任何限制(例如，使用其他模型的訓(xùn)練輸出)。如果DeepMind開(kāi)始擔(dān)心替代模型正在成為社區(qū)的最愛(ài)，他們會(huì)更快完全發(fā)布AF3嗎？→●●雖然沒(méi)有給出多少技術(shù)細(xì)節(jié)，但它似乎是基于AlphaFold3構(gòu)建的，很可能是一個(gè)擴(kuò)散模型。目標(biāo)表位上的“熱點(diǎn)”也可以被指該模型能夠設(shè)計(jì)出比以前的工作(例如RFDiffusion)具有3到300倍更好的結(jié)合能力的蛋白質(zhì)結(jié)合物。蛋白質(zhì)設(shè)計(jì)領(lǐng)域的“骯臟秘密”是，計(jì)算機(jī)過(guò)濾與生成模型一樣重要(如果不是更重要的話)，該論文認(rèn)為基于AF3的評(píng)分是關(guān)鍵。他們還使用他們的置信度指標(biāo)來(lái)篩選大量可能的新靶標(biāo)，用于設(shè)計(jì)未來(lái)的蛋白質(zhì)結(jié)合物。2024 慘痛的教訓(xùn):等方差已死…等方差萬(wàn)歲！●第一次拍攝是由蘋(píng)果公司拍攝的，一篇論文獲得了SOTA獎(jiǎng)使用帶有變換編碼器的非等變擴(kuò)散模型預(yù)測(cè)小分子三維結(jié)構(gòu)的結(jié)果?！裰档米⒁獾氖?，作者表明，使用領(lǐng)域不可知模型不會(huì)對(duì)泛化產(chǎn)生不利影響，并且始終能夠優(yōu)于專業(yè)模型(假設(shè)使用了足夠的規(guī)模)?！窠酉聛?lái)是AlphaFold3，它臭名昭著地拋棄了以前模型中的所有等方差和框架約束，轉(zhuǎn)而支持另一個(gè)擴(kuò)散過(guò)程，當(dāng)然還有擴(kuò)展和規(guī)模?！駸o(wú)論如何，等變模型的訓(xùn)練效率大大提高意味著這種做法可能會(huì)持續(xù)一段時(shí)間(至少?gòu)氖碌鞍踪|(zhì)等大系統(tǒng)研究的學(xué)術(shù)團(tuán)體)。 ●該模型是一個(gè)雙向轉(zhuǎn)換器，它將代表三種模態(tài)中每一種模態(tài)的標(biāo)記融合為一個(gè)單獨(dú)的潛在空間?！衽c傳統(tǒng)的屏蔽語(yǔ)言建模不同，ESM3的訓(xùn)練過(guò)程使用可變的屏蔽時(shí)間表，將模型暴露于屏蔽序列、結(jié)構(gòu)和功能的不同組合。ESM3學(xué)習(xí)預(yù)測(cè)任何模態(tài)組合的完井?！馝SM3被提示生成新的綠色熒光蛋白(GFP),其與已知蛋白的序列相似性較低。 我們之前介紹了如何使用在大量不同的天然蛋白質(zhì)序列數(shù)據(jù)集上預(yù)先訓(xùn)練的LLM(例如ProGen2)來(lái)設(shè)計(jì)與●CRISPR-Cas圖譜由超過(guò)100萬(wàn)個(gè)不同的CRISPR-Cas操縱子組成，包括各種效應(yīng)子系統(tǒng)，這些操縱子是從26.2萬(wàn)億堿基的組裝微生物基因組和宏基因組中挖掘出來(lái)的，跨越了不同的門(mén)和生物群落?！裆傻男蛄斜葋?lái)自CRISPR-Cas圖譜的天然蛋白質(zhì)多4.8倍。與最接近的天然蛋白質(zhì)的同一性中值通常在40-60%之●對(duì)Cas9蛋白進(jìn)行微調(diào)的模型可以生成新的編輯器，然后在人類細(xì)胞中進(jìn)行驗(yàn)證。一個(gè)這樣的編輯器提供了最好的編輯性能和71.7%的序列相似性SpCas●PoseCheck和PoseBusters在2023年底的兩項(xiàng)工作表明，分子生成和蛋白質(zhì)-配體對(duì)接的ML模型給出了具有嚴(yán)重物理違規(guī)的結(jié)構(gòu)(poses)。當(dāng)Inductivebio顯示使用稍微更先進(jìn)的傳統(tǒng)對(duì)接管道擊敗AF3時(shí)，即使是AlphaFold3論文也沒(méi)有幸免于難。由ValenceLabs領(lǐng)導(dǎo)的新行業(yè)聯(lián)盟，包括主要制藥公司(如Recursion、Relay、Merck、Novartis(J&J)和PFIzer)，正在開(kāi)發(fā)Polaris，這是一個(gè)基準(zhǔn)測(cè)試平臺(tái)，用于人工智能驅(qū)動(dòng)的藥物發(fā)現(xiàn)。北極星將提供高質(zhì)量的數(shù)據(jù)集，促進(jìn)評(píng)估，并認(rèn)證基準(zhǔn)。與此同時(shí)，遞歸在擾動(dòng)地圖構(gòu)建方面的工作導(dǎo)致他們創(chuàng)建了一組新的基準(zhǔn)和度量標(biāo)準(zhǔn)?！?022年，NeurIPS引入了與高效多體消息(MACE)相結(jié)合的等變消息傳遞神經(jīng)網(wǎng)絡(luò)(MPNN)?！瘳F(xiàn)在，作者提出了MACE-MP-0，它使用MACE架構(gòu)，并在材料項(xiàng)目軌跡數(shù)據(jù)集上進(jìn)行訓(xùn)練，該數(shù)據(jù)集包含數(shù)百萬(wàn)個(gè)結(jié)構(gòu)、能量、磁矩、力和應(yīng)力?！裨撃Ｐ屯ㄟ^(guò)考慮同時(shí)涉及四個(gè)原子的相互作用，將消息傳遞層的數(shù)量減少到兩層，并且它只在網(wǎng)絡(luò)的選擇性部分使用非線性激活?！袼軌?qū)滔?、液相和氣相的各種化學(xué)過(guò)程進(jìn)行分子動(dòng)力學(xué)模擬。拓展蛋白質(zhì)功能設(shè)計(jì)空間:挑戰(zhàn)折疊和可溶性類似物●為此，作者首先使用一個(gè)倒置的AF2模型，在給定目標(biāo)折疊結(jié)構(gòu)的情況下生成一個(gè)初始序列。然后，在通過(guò)AF2重新預(yù)測(cè)結(jié)構(gòu)之前，通過(guò)ProteinMPNN優(yōu)化這些序列，隨后基于與目標(biāo)結(jié)構(gòu)的結(jié)構(gòu)相似性進(jìn)行過(guò)濾?！襁@條AF2-MPNN管道在三個(gè)具有挑戰(zhàn)性的褶皺上進(jìn)行了測(cè)試:IGF、BBF和TBF，這些褶皺具有治療效用?！褚灿锌赡墚a(chǎn)生僅膜折疊的可溶性類似物，這可以大大加快針對(duì)膜結(jié)合受體蛋白的藥物發(fā)現(xiàn)?！?.3B模型基于來(lái)自6個(gè)數(shù)據(jù)集的超過(guò)100萬(wàn)小時(shí)的天氣和氣候數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，包括預(yù)測(cè)、分析數(shù)據(jù)、再分析數(shù)據(jù)和氣候模擬?！裨撃Ｐ蛯愘|(zhì)輸入編碼為跨空間和壓力水平的標(biāo)準(zhǔn)三維大氣表示，該表示通過(guò)視覺(jué)轉(zhuǎn)換器的推理隨時(shí)間演變，并解碼為特定預(yù)測(cè)?！裰匾氖?，它是預(yù)測(cè)大氣化學(xué)(6種主要空氣污染物，如臭氧、一氧化碳)的第一個(gè)模型，涉及數(shù)百個(gè)僵硬的方程，比數(shù)值模型更好。模型也是5000倍比使用數(shù)值預(yù)報(bào)的綜合預(yù)報(bào)系統(tǒng)更快。ai2024狀態(tài)●●Chollet在2019年創(chuàng)建了這個(gè)基準(zhǔn)，作為衡量模型歸納能力的一種手段，專注于對(duì)人類來(lái)說(shuō)更容易而對(duì)人工智能來(lái)說(shuō)很難的任務(wù)。這些任務(wù)需要最少的先驗(yàn)知識(shí)，強(qiáng)調(diào)視覺(jué)問(wèn)題解決和類似謎題的任務(wù)，使其不易記憶。歷史上，LLM在基準(zhǔn)測(cè)試中表現(xiàn)不佳，性能峰值約為34%。Chollet對(duì)LLMs歸納其訓(xùn)練數(shù)據(jù)之外的新問(wèn)題的能力表示懷疑，并希望該獎(jiǎng)將鼓勵(lì)新的研究方向，從而導(dǎo)致更像人類的智能形式。LLM仍然在計(jì)劃和模擬任務(wù)中掙扎→●即使像GPT-4這樣的高級(jí)LLM也很難可靠地模擬基于文本的游戲中的狀態(tài)轉(zhuǎn)換，尤其是環(huán)境驅(qū)動(dòng)的變化。他們無(wú)法始終如一地理解因果關(guān)系、物理學(xué)和物體永恒性，這使他們成為糟糕的世界建模者，即使是在相對(duì)簡(jiǎn)單的任務(wù)上?！裱芯咳藛T發(fā)現(xiàn)，LLM可以在大約77%的時(shí)間內(nèi)準(zhǔn)確預(yù)測(cè)直接動(dòng)作的結(jié)果，如水槽打開(kāi)，但卻難以應(yīng)對(duì)環(huán)境影響，如水槽中裝滿水的杯子，對(duì)這些間接變化的準(zhǔn)確率僅為50%?！衿渌芯吭u(píng)估了規(guī)劃領(lǐng)域的LLM，包括區(qū)塊世界和物流。GPT-4在12%的時(shí)間里產(chǎn)生可執(zhí)行的計(jì)劃。然而，使用外部驗(yàn)證的迭代提示，在15輪反饋后，Blocksworld計(jì)劃達(dá)到82%的準(zhǔn)確性，Logistics計(jì)劃達(dá)到70%的準(zhǔn)確性。當(dāng)使用o1重新運(yùn)行時(shí)，性能有所提高，但仍遠(yuǎn)非完美。 研究人員正在探索產(chǎn)生更強(qiáng)的內(nèi)部推理過(guò)程的方法，分別針對(duì)訓(xùn)練和推理。后一種方法似乎鞏固了OpenAI●來(lái)自斯坦福-諾特巴德聯(lián)合人工智能團(tuán)隊(duì)的Quiet-STaR在預(yù)訓(xùn)練期間生成內(nèi)部推理，使用并行采樣算法和自定義元標(biāo)記來(lái)標(biāo)記這些“思想”的開(kāi)始和結(jié)束。該方法采用一種強(qiáng)化學(xué)習(xí)啟發(fā)的技術(shù)來(lái)優(yōu)化生成的理性的有用性，獎(jiǎng)勵(lì)那些提高模型預(yù)測(cè)未來(lái)令牌能力的理性。與此同時(shí)，谷歌DeepMind有針對(duì)性的推理表明，對(duì)于許多類型的問(wèn)題，在測(cè)試時(shí)戰(zhàn)略性地應(yīng)用更多計(jì)算比使用更大的預(yù)訓(xùn)練模型更有效。斯坦福大學(xué)/牛津大學(xué)的一個(gè)團(tuán)隊(duì)也研究了比例推理計(jì)算，發(fā)現(xiàn)重復(fù)采樣可以顯著提高覆蓋率。他們認(rèn)為，使用更弱、更便宜的模型進(jìn)行多次嘗試，可以勝過(guò)更強(qiáng)、更貴的同行的單次嘗試。||●他們概述了通向開(kāi)放式基礎(chǔ)模型的潛在途徑，包括強(qiáng)化學(xué)習(xí)、自我改進(jìn)、任務(wù)生成和進(jìn)化算法?！裨谧晕腋倪M(jìn)方面，我們看到了strategister，一種允許LLM學(xué)習(xí)多代理游戲新技能的方法。 ●●俄亥俄州立大學(xué)的研究人員認(rèn)為，在復(fù)雜的推理任務(wù)中，一個(gè)完全癱瘓的變壓器比SOTA的模型，如GPT-4-Turbo和雙子座-1.5-Pro，具有更大的搜索空間。他們進(jìn)行了機(jī)械分析，以了解模型在探索過(guò)程中的內(nèi)部運(yùn)作，揭示了不同任務(wù)的不同概括回路。然而，他們發(fā)現(xiàn)，盡管完全搜索的模型在比較任務(wù)中表現(xiàn)良好(例如，基于原子事實(shí)比較屬性)，但它們?cè)诤铣扇蝿?wù)中不太擅長(zhǎng)分布外概括。這提出了一個(gè)問(wèn)題，即這些是否是真正有意義的推理能力，而不是另一個(gè)名稱的記憶，盡管研究人員認(rèn)為，通過(guò)更好的跨層內(nèi)存共享來(lái)增強(qiáng)transformer可以解決這個(gè)問(wèn)題?！馜igiRL是一種新穎的自主強(qiáng)化學(xué)習(xí)方法，用于訓(xùn)練野外設(shè)備控制代理，特別是針對(duì)Android設(shè)備。該方法包括兩個(gè)階段的過(guò)程:精細(xì)強(qiáng)化學(xué)習(xí)，然后是精細(xì)到在線強(qiáng)化學(xué)習(xí)?！袼贏ndroid-in-the-Wild數(shù)據(jù)集上實(shí)現(xiàn)了62.7%的任務(wù)成功率，這是對(duì)先前SOTA的顯著改進(jìn)?！?019年，優(yōu)步發(fā)表了Go-Explore，這是一個(gè)RL代理，通過(guò)歸檔發(fā)現(xiàn)的狀態(tài)并迭代地返回到有希望的狀態(tài)并從中進(jìn)行探索，解決了困難的探索問(wèn)題。2024年，LLM正在給它增壓。這種方法也使IGE認(rèn)識(shí)到并利用有前途的發(fā)現(xiàn)，這是開(kāi)放式學(xué)習(xí)系統(tǒng)的一個(gè)重要方面它在數(shù)學(xué)推理、這種方法也使IGE認(rèn)識(shí)到并利用有前途的發(fā)現(xiàn)，這是開(kāi)放式學(xué)習(xí)系統(tǒng)的一個(gè)重要方面它在數(shù)學(xué)推理、網(wǎng)格世界和基于文本的冒險(xiǎn)游戲方面明顯優(yōu)于其他LLM代理。從GPT-4轉(zhuǎn)換到GPT-3.5導(dǎo)致所有環(huán)境的性能顯著下降，這表明IGE的性能與底層顧嵐模型的能力成比例。智能Go-Explore(IGE)使用LLM來(lái)指導(dǎo)狀態(tài)選擇、動(dòng)作選擇和檔案更新，而不是原始Go-Explore的手工制作的試探法。這使得復(fù)雜環(huán)境中的探索更加靈活和智能?！馦ultiOn和Stanford將MCTS的LLM與自我批評(píng)機(jī)制和直接偏好優(yōu)化結(jié)合起來(lái)，從不同的成功和失敗標(biāo)準(zhǔn)中學(xué)習(xí)?！袼麄儼l(fā)現(xiàn)，經(jīng)過(guò)一天的數(shù)據(jù)收集，這種方法將Llama-370B的零命中率從現(xiàn)實(shí)世界預(yù)訂場(chǎng)景中的18.6%提高到了81.7%，而在線搜索的零命中率高達(dá)95.4%?！窀L(zhǎng)期的問(wèn)題將是下一個(gè)令牌預(yù)測(cè)損失是否也是如此●這種風(fēng)險(xiǎn)限制了RL和MCTS實(shí)現(xiàn)代理行為的能力，因?yàn)樗麄冞^(guò)于關(guān)注單個(gè)令牌，并阻礙了對(duì)更廣泛、更具戰(zhàn)略性的解決方案的探索?！鷊enie(ICML2024年最佳論文獎(jiǎng)獲得者)是一個(gè)可以生成動(dòng)作可控虛擬世界的世界模型。它分析了來(lái)自2D平臺(tái)游戲的3萬(wàn)小時(shí)電子游戲鏡頭，學(xué)習(xí)壓縮視覺(jué)信息，并推斷出驅(qū)動(dòng)幀之間變化的動(dòng)通過(guò)從視頻數(shù)據(jù)中學(xué)習(xí)潛在的動(dòng)作空間，它可以在不需要顯式動(dòng)作標(biāo)簽的情況下處理動(dòng)作表示，這使它區(qū)別于其他世界模型。Genie既能想象全新的互動(dòng)場(chǎng)景，又能展示顯著的靈活性:它可以采用各種形式的提示，從文本描述到手繪草圖，并將它們作為可玩環(huán)境帶入生活。這種方法展示了超越游戲的適用性，團(tuán)隊(duì)成功地應(yīng)用了游戲中的超參數(shù)機(jī)器人數(shù)據(jù)模型，無(wú)需微調(diào)。ai2024狀態(tài)→●人工智能科學(xué)家是一個(gè)端到端的框架，旨在自動(dòng)化研究想法的產(chǎn)生、實(shí)施和研究論文的生在得到一個(gè)初始模板后，在進(jìn)行實(shí)驗(yàn)并記錄下來(lái)之前，它會(huì)頭腦風(fēng)暴出新的研究方向。研究人員聲稱，他們的LLM-powered審稿人以接近人類的準(zhǔn)確性評(píng)估生成的論文。研究人員用它來(lái)生成關(guān)于擴(kuò)散、語(yǔ)言建模和探索的范例論文。這些第一眼看上去令人信服，但仔細(xì)觀察后發(fā)現(xiàn)了一些瑕疵。然而，該系統(tǒng)定期顯示不安全行為的跡象，例如，導(dǎo)入不熟悉的Python庫(kù)和編輯代碼以延長(zhǎng)實(shí)驗(yàn)時(shí)間線?！袼褂靡环N“可靠的”方法，在推薦測(cè)試之前過(guò)濾生成的測(cè)試，以確保它們能夠成功構(gòu)建、可靠地通過(guò)，并增加覆蓋率。這是首次將LLM與代碼改進(jìn)的可驗(yàn)證保證相結(jié)合的方法的大規(guī)模工業(yè)部署，解決了軟件工程環(huán)境中關(guān)于LLM幻覺(jué)和可靠性的問(wèn)題?！裨诓渴鹬?，TestGen-LLM改進(jìn)了大約10%的測(cè)試類，73%的建議被開(kāi)發(fā)人員接受?！馦eta擴(kuò)展了SAM以包括視頻分割，在他們自己的數(shù)據(jù)集(SA-V)上訓(xùn)練它，該數(shù)據(jù)集包括51，000個(gè)真實(shí)世界的視頻和600，000個(gè)時(shí)空掩碼。在Apache2.0許可下，這個(gè)數(shù)據(jù)集和模型都是可用的。為了建立一個(gè)適用于視頻和圖像的統(tǒng)一模型，Meta做了一些調(diào)整。例如，它們包括一個(gè)記憶機(jī)制來(lái)跟蹤跨幀的對(duì)象，以及一個(gè)遮擋頭來(lái)處理消失或重新出現(xiàn)的對(duì)象。他們發(fā)現(xiàn)，在圖像分割方面，它比SAM1更準(zhǔn)確，速度快6倍，同時(shí)能夠以少3倍的交互量超越之前領(lǐng)先的視頻分割模型的準(zhǔn)確然而，該模型在同時(shí)分割視頻中的多個(gè)對(duì)象時(shí)效率較低，并且可能難以處理較長(zhǎng)的剪輯。||隨著大型實(shí)驗(yàn)室的涌入，機(jī)器人技術(shù)(最終)變得流行起來(lái)20212024●該團(tuán)隊(duì)創(chuàng)建了AutoRT，這是一個(gè)使用VLM來(lái)理解環(huán)境和LLM來(lái)建議機(jī)器人可以執(zhí)行的創(chuàng)造性任務(wù)列表的系統(tǒng)。這些模型然后與機(jī)器人控制策略相結(jié)合。這有助于在以前看不到的環(huán)境中快速擴(kuò)展部署。RT-Trajectory通過(guò)視頻輸入增強(qiáng)機(jī)器人學(xué)習(xí)。對(duì)于演示數(shù)據(jù)集中的每個(gè)視頻，執(zhí)行任務(wù)的手爪的2D草圖被覆蓋。這為模型學(xué)習(xí)提供了實(shí)際的視覺(jué)效果。研究人員發(fā)現(xiàn)Gemini1.5Pro的多模態(tài)功能和長(zhǎng)上下文窗口使●許多研究小組正致力于彌合高維觀測(cè)和機(jī)器人學(xué)習(xí)中的低維動(dòng)作空間。它們創(chuàng)建了一個(gè)統(tǒng)一的表示，允許學(xué)習(xí)算法理解動(dòng)作的空間含義。擴(kuò)散模型擅長(zhǎng)于模擬這種復(fù)雜的非線性多峰分布，而其迭代去噪過(guò)程允許逐漸重新定義動(dòng)作或軌跡。有多種方法可以解決這個(gè)問(wèn)題。帝國(guó)理工和上海啟智學(xué)院的研究人員選擇了RGB圖像，它提供了豐富的視覺(jué)信息，并與預(yù)先訓(xùn)練的模型兼容。與此同時(shí)，加州大學(xué)伯克利分校和斯坦福大學(xué)的一個(gè)團(tuán)隊(duì)利用點(diǎn)云獲得了明確的3D信息?？▋?nèi)基梅隆大學(xué)的一個(gè)團(tuán)隊(duì)概述了一種方法，包括從人類視頻數(shù)據(jù)中學(xué)習(xí)更多的“啟示”信息，如手的擁有、物體的交互和接觸點(diǎn)。然后，這些信息可用于定義現(xiàn)有的視覺(jué)表示，使其更適合機(jī)器人任務(wù)。這持續(xù)提高了現(xiàn)實(shí)世界操作任務(wù)的性能。與此同時(shí)，伯克利/斯坦福大學(xué)的一個(gè)團(tuán)隊(duì)發(fā)現(xiàn)，思維鏈推理也有類似的影響。增強(qiáng)的模型不是直接預(yù)測(cè)行動(dòng)，而是在決定行動(dòng)之前，對(duì)計(jì)劃、子任務(wù)和視覺(jué)特征進(jìn)行逐步推理。這種方法使用LLMs為推理步驟生成訓(xùn)練數(shù)據(jù)。HumanPlus是一個(gè)全棧系統(tǒng)，用于人形機(jī)器人從人類數(shù)據(jù)中學(xué)習(xí)。它結(jié)合了實(shí)時(shí)陰影系統(tǒng)和模仿學(xué)習(xí)算法。陰影系統(tǒng)使用單個(gè)RGB攝像頭和一個(gè)低級(jí)策略，允許人類操作員實(shí)時(shí)控制人形機(jī)器人的整個(gè)身體。這種低級(jí)控制策略是在模擬中的人體運(yùn)動(dòng)數(shù)據(jù)的大數(shù)據(jù)集上訓(xùn)練的，并且在沒(méi)有額外訓(xùn)練的情況下轉(zhuǎn)移到現(xiàn)模仿學(xué)習(xí)組件能夠從影子數(shù)據(jù)中有效地學(xué)習(xí)自主技能。它使用雙目自我中心視覺(jué)，并將動(dòng)作預(yù)測(cè)與前向動(dòng)力學(xué)預(yù)測(cè)相結(jié)合。該系統(tǒng)在各種任務(wù)上展示了令人印象深刻的結(jié)果，包括穿鞋和走路等復(fù)雜動(dòng)作，僅用了40 ●●Med-Gemini醫(yī)療多模態(tài)模型系列由GeminiPro1.0和1.5優(yōu)化而來(lái)，使用各種醫(yī)療數(shù)據(jù)集，并整合了最新信息的網(wǎng)絡(luò)搜索。他們?cè)贛edQA上實(shí)現(xiàn)了SOTA91.1%的準(zhǔn)確率，超過(guò)了GPT-4。對(duì)于多模態(tài)任務(wù)(如放射學(xué)和病理學(xué))，Med-Gemini在7個(gè)數(shù)據(jù)集的5個(gè)數(shù)據(jù)集上設(shè)定了新的SOTA。在一項(xiàng)初步研究中，臨床醫(yī)生認(rèn)為Med-Gemini的輸出在大多數(shù)情況下等于或優(yōu)于人類編寫(xiě)的示例。 ●通過(guò)從真實(shí)胸部x射線(CXR)和相應(yīng)放射科醫(yī)生報(bào)告的大型數(shù)據(jù)集的穩(wěn)定擴(kuò)散中聯(lián)合微調(diào)U-Net和CLIPtext編碼器，可以生成具有高清晰度和概念正確性的合成CXR掃描，如經(jīng)委員會(huì)認(rèn)證的放射科醫(yī)生所評(píng)估的?！裆傻腸xr可用于數(shù)據(jù)擴(kuò)充和自我監(jiān)督學(xué)習(xí)?！衽c其他模式一致，在訓(xùn)練純合成數(shù)據(jù)時(shí)，監(jiān)督分類性能會(huì)略有下降?！竦诙?jié):工業(yè)隨著對(duì)其硬件的需求不斷增長(zhǎng)，以支持要求苛刻的genAI工作負(fù)載，每個(gè)主要實(shí)驗(yàn)室都依賴英偉達(dá)的硬件。其市值在6月份達(dá)到3萬(wàn)億美元，是第三家達(dá)到這一里程碑的美國(guó)公司(緊隨微軟和蘋(píng)果之后)。隨著在Q2的盈利大幅增長(zhǎng)，它的地位看起來(lái)一如既往地?zé)o懈可擊?！裥碌腂lackwellB200GPU和GB200Superchip有望顯著提升H100fame的Hopper架構(gòu)的性能。NVIDIA聲稱它可以比H100降低25倍的成本和能耗。作為英偉達(dá)力量的標(biāo)志，每個(gè)主要人工智能實(shí)驗(yàn)室的首席執(zhí)行官都在新聞稿中提供了支持性的引用。雖然Blackwell架構(gòu)因制造問(wèn)題而推遲，但該公司仍有信心在年底前從其獲得數(shù)十億美元的收入。英偉達(dá)的創(chuàng)始人兼首席執(zhí)行官黃仁勛正在擴(kuò)大宣傳，概述該公司對(duì)主權(quán)人工智能的愿景。他認(rèn)為每個(gè)政府都需要建立自己的LLM來(lái)保護(hù)國(guó)家遺產(chǎn)。你永遠(yuǎn)猜不到他認(rèn)為誰(shuí)的硬件最適合這項(xiàng)任務(wù)…Q22024年收入Q22024年每股收益我們查看了自2016年以來(lái)投資于人工智能芯片挑戰(zhàn)者的60億美元，并詢問(wèn)如果投資者以當(dāng)天的價(jià)格購(gòu)買(mǎi)等量的英偉達(dá)股票會(huì)發(fā)生什么。答案是灰綠色的:這60億美元相當(dāng)于今天1200億美元的英偉達(dá)股票(20倍！)與其初創(chuàng)競(jìng)爭(zhēng)者的310億美元(5倍)相比。注:截至2024年10月9日檢索的市場(chǎng)定價(jià)和估價(jià)數(shù)據(jù)。資產(chǎn)凈值。ai2024狀態(tài)計(jì)算指數(shù):NVIDIAH100集群(GB200正在加載…)自從2020年推出A100以來(lái)，NVIDIA一直在縮短下一代數(shù)據(jù)中心GPU的發(fā)貨時(shí)間，同時(shí)顯著提高它們提供的TFLOPs。事實(shí)上，從A100到H100的時(shí)間表已經(jīng)下降了60%,從H200到GB200的時(shí)間表又下降了80%。在此期間，TFLOPs增長(zhǎng)了6倍。大型云公司正在大量購(gòu)買(mǎi)這些GB200系統(tǒng):微軟在70萬(wàn)到140萬(wàn)之間，谷歌40萬(wàn)，AWS36萬(wàn)。OpenAI據(jù)傳自己至少有40萬(wàn)GB200。以TPU聞名的谷歌發(fā)布了基于Armv9架構(gòu)和指令集的Axion。這些將通過(guò)云提供給通用工作負(fù)載，與目前最快的基于Arm的通用實(shí)例相比，性能提高了30%。Meta發(fā)布了第二代內(nèi)部人工智能推理加速器，其計(jì)算和內(nèi)存帶寬是上一代的兩倍多。該芯片目前用于排名和推薦算法，但Meta計(jì)劃擴(kuò)展其功能，以涵蓋生成式人工智能的培訓(xùn)。與此同時(shí)，OpenAI一直在從谷歌的TPU團(tuán)隊(duì)中招聘員工，并與博通就開(kāi)發(fā)新的人工智能芯片進(jìn)行談判。據(jù)報(bào)道，薩姆·奧特曼還在與包括阿聯(lián)酋政府在內(nèi)的主要投||●以晶圓級(jí)引擎聞名的Cerebras將整個(gè)超級(jí)計(jì)算機(jī)的計(jì)算能力集成到一個(gè)晶圓級(jí)處理器上，為H12024帶來(lái)了1.36億美元的IPO收入(同比增長(zhǎng)15.6倍)，其中87%來(lái)自阿布扎比和國(guó)家支持的G42。該公司已經(jīng)從計(jì)算密集型能源和制藥行業(yè)的客戶那里籌集了超過(guò)7億美元的資金。它最近推出了一個(gè)推理服務(wù)，為L(zhǎng)LM提供更快的令牌生成。與此同時(shí)，Groq以28億美元的估值為其專門(mén)為人工智能推理任務(wù)設(shè)計(jì)的語(yǔ)言處理單元籌集了6.4億美元的D輪融資。到目前為止，Groq已經(jīng)與Aramco、三星、Meta和綠色計(jì)算提供商EarthWind&Power建立了合作伙伴關(guān)系。兩家公司都將速度作為核心競(jìng)爭(zhēng)優(yōu)勢(shì)，并致力于云服務(wù)，Cerebras最近推出了一項(xiàng)推論。這有助于他們偏離英偉達(dá)的軟件生態(tài)系統(tǒng)優(yōu)勢(shì)，但也給了他們一個(gè)新的(具有挑戰(zhàn)性的)競(jìng)爭(zhēng)對(duì)手，即云服務(wù)提供商?！馎rm已經(jīng)是人工智能領(lǐng)域的一個(gè)參與者，但從歷史上看，它的指令集架構(gòu)對(duì)于數(shù)據(jù)中心訓(xùn)練和推理所需的大規(guī)模并行處理基礎(chǔ)設(shè)施來(lái)說(shuō)并不是最優(yōu)的。它還在與英偉達(dá)根深蒂固的數(shù)據(jù)中心業(yè)務(wù)和成熟的軟件生態(tài)系統(tǒng)進(jìn)行斗爭(zhēng)。crm目前市值超過(guò)1400億美元，市場(chǎng)并不擔(dān)心。據(jù)報(bào)道，該公司已經(jīng)在與臺(tái)積電和其他公司就制造事宜進(jìn)行談判。crm軟銀還收購(gòu)了智能處理單元(IntelligentProcessingUnits)的先驅(qū)Graphcore，這種處理器旨在使用少量數(shù)據(jù)，比GPU和CPU更有效地處理人工智能工作負(fù)載。盡管硬件很復(fù)雜，但對(duì)于剛起步的genAI應(yīng)用來(lái)說(shuō)，它通常不是一個(gè)合理的選擇。該公司將在Graphcore品牌下半自動(dòng)運(yùn)營(yíng)。與此同時(shí)，軟銀與英特爾就設(shè)計(jì)GPU挑戰(zhàn)者的談判因雙方無(wú)法就要求達(dá)成一致而擱置?！裨谌ツ甑膱?bào)告中，我們記錄了英偉達(dá)如何在向中國(guó)主要人工智能實(shí)驗(yàn)室銷售A800/H800(他們特殊的符合中國(guó)標(biāo)準(zhǔn)的芯片)時(shí)預(yù)訂了超過(guò)100萬(wàn)美元的1B。美國(guó)隨后禁止了對(duì)中國(guó)的銷售，迫使中國(guó)進(jìn)行反思?！袢绻栽加?jì)算能力來(lái)衡量，NVIDIA的新中國(guó)芯片H20理論上明顯弱于頂級(jí)NVIDIA硬件。然而，NVIDIA已經(jīng)針對(duì)LLM推理工作負(fù)載進(jìn)行了優(yōu)化，這意味著它現(xiàn)在在推理任務(wù)上比H100快20%。NVIDIA的銷售額將達(dá)到120億美元?！袢欢?，就比例而言，中國(guó)對(duì)美國(guó)芯片制造商的重要性正在下降。它已經(jīng)從占英偉達(dá)20%的份額小規(guī)模不再:半導(dǎo)體走私者變得越來(lái)越老練●在一個(gè)案例中，一家中國(guó)電器公司通過(guò)馬來(lái)西亞經(jīng)紀(jì)人訂購(gòu)了一個(gè)價(jià)值1.2億美元的2400臺(tái)英偉達(dá)H100集群。鑒于訂單的規(guī)模，NVIDIA要求親自檢查，以確保系統(tǒng)的正確安裝?！裨摻?jīng)紀(jì)人告訴報(bào)道這一事件的《信息報(bào)》，他“協(xié)和激活，柔佛巴魯是馬來(lái)西亞的一個(gè)城鎮(zhèn)，毗鄰新加坡邊●另一家總部位于香港的芯片經(jīng)紀(jì)商，利用總部位于非美國(guó)制裁國(guó)家的空殼公司，從戴爾(Dell)和超微(Supermicro)購(gòu)買(mǎi)了4800個(gè)H100s芯片。這些股票以2.3億美元的價(jià)格賣(mài)給了一位中國(guó)買(mǎi)家，比其1.8億美元的收購(gòu)成本高出不少。5:2018年4月24:美洲駝3。6:2014年7月23日:美洲駝3.1405B。七一四洲駝3.2。||||像openAlANTHR。PC2023202420232024削減86%注意:<128k令牌提示和輸出的定價(jià)。檢索于2024年10月4日ai2024狀態(tài)隨著超過(guò)€1B在銀行，Mistral已成為無(wú)可爭(zhēng)議的歐洲基金會(huì)模型冠軍，展示了令人印象深刻的計(jì)算效率和多語(yǔ)言能力?？偟膩?lái)說(shuō)，作為該公司與微軟新合作伙伴關(guān)系的一部分，其航運(yùn)模式可通過(guò)Azure獲得。該公司已經(jīng)開(kāi)始與法國(guó)巴黎銀行(BNPParibas)等法國(guó)公司和HarveyAI等國(guó)際初創(chuàng)公司建立合作伙伴關(guān)系。該公司也開(kāi)始擴(kuò)大其美國(guó)銷售職能。盡管通過(guò)股權(quán)、贈(zèng)款和許可交易籌集了5億美元，但該公司的向許可駱駝2-3和DBRX。ai2024狀態(tài)●Mosaic研究團(tuán)隊(duì)現(xiàn)在合并到Databricks中，并于3月份開(kāi)源了DBRX。作為一款132BMoE型號(hào)，DBRX花費(fèi)1000萬(wàn)美元在3000多塊英偉達(dá)GPU上進(jìn)行訓(xùn)練。Databricks將該模型作為企業(yè)建立和定制的基礎(chǔ)，同時(shí)保持對(duì)自己數(shù)據(jù)的控制。與此同時(shí)，基于一組涵蓋包括編碼和指令遵循在內(nèi)的任務(wù)的指標(biāo)，Snow-flake的Arctic被定位為最高效的企業(yè)工作流模型。目前還不清楚有多少企業(yè)愿意在昂貴的定制模型調(diào)整上投資，因?yàn)椴粩嗟陌l(fā)布和改進(jìn)推動(dòng)了更大的參與者。有了現(xiàn)成的開(kāi)源前沿模型，訓(xùn)練定制模型的吸引力越來(lái)越不明顯。監(jiān)管機(jī)構(gòu)特別關(guān)注OpenAI和微軟之間的密切關(guān)系，以及Anthropic與谷歌和亞馬遜的關(guān)系。監(jiān)管機(jī)構(gòu)擔(dān)心，大型科技公司本質(zhì)上要么是買(mǎi)斷競(jìng)爭(zhēng)對(duì)手，要么是向它們投資的公司提供友好的服務(wù)提供協(xié)議，這可能會(huì)使競(jìng)爭(zhēng)對(duì)手處于不利地位。他們尤其擔(dān)心英偉達(dá)對(duì)生態(tài)系統(tǒng)的影響及其直接投資的決定。法國(guó)正在考慮針對(duì)NVIDIA的指控。大型科技公司正試圖在它們和初創(chuàng)企業(yè)之間放置一些清澈的藍(lán)水，微軟和蘋(píng)果都自愿放棄了他們的OpenAI董事會(huì)觀察員→心Magic1.96億美元，B系列6.26億美元，B系列4.65億美元，C系列Any數(shù)字為截至2024年10月7日的募集總額和最新一輪2.43億美元，C2.43億美元，C系列隨著向量數(shù)據(jù)庫(kù)的爆炸式增長(zhǎng)，在向量空間中搜索的獨(dú)特性已經(jīng)消失?，F(xiàn)有的數(shù)據(jù)庫(kù)提供商已經(jīng)推出了他們自己的矢量搜索方法。AWS、Azure和GoogleCloud等超大規(guī)模應(yīng)用程序擴(kuò)展了其原生數(shù)據(jù)庫(kù)產(chǎn)品，以支持大規(guī)模矢量搜索和檢索，而MongoDB、Snowflake、Databricks和Confuent等數(shù)據(jù)云正在尋求從其現(xiàn)有客戶群中捕獲RAG工作負(fù)載。Pinecone和Weviate等核心矢量數(shù)據(jù)庫(kù)提供商現(xiàn)在支持傳統(tǒng)的關(guān)鍵字搜索，如ElasticSearch和OpenSearch，并引入了對(duì)簡(jiǎn)單高效的過(guò)濾和聚類的支持。在框架領(lǐng)域，LangChain和LlamaIndex之類的軟件已經(jīng)獲得了實(shí)驗(yàn)●由Cognition推出的Devin在3月份引起了轟動(dòng)。它被定位為“第一個(gè)人工智能軟件工程師”，旨在計(jì)劃和執(zhí)行需要數(shù)千個(gè)決策的任務(wù)，同時(shí)修復(fù)錯(cuò)誤并隨著時(shí)間的推移進(jìn)行學(xué)習(xí)。該產(chǎn)品本身分裂了用戶，吸引了粉絲，也吸引了批評(píng)者，他們指出需要護(hù)欄和人工干預(yù)。不管怎樣，投資者都留下了深刻的印象，在上市6個(gè)月內(nèi)，該公司獲得了2B美元的估值。Devin有一個(gè)開(kāi)源競(jìng)爭(zhēng)對(duì)手OpenDevin，它在SWE-bench上擊敗了專有Devin13個(gè)百分點(diǎn)。MultiOn也在RL上下了大賭注，推出了自主網(wǎng)絡(luò)代理-代理Q(見(jiàn)幻燈片65)-結(jié)合搜索、自我批評(píng)和RL。它將在今年晚些時(shí)候提供給用戶。Meta的TestGen-LLM已經(jīng)以極快的速度從紙張變成了產(chǎn)品空間(4個(gè)月)，被整合到●在成立后的18個(gè)月內(nèi)，performance對(duì)1B的估值達(dá)到了100萬(wàn)美元，有傳言稱，該公司已經(jīng)在尋求將估值提高兩倍。LLM分析用戶輸入，通過(guò)網(wǎng)絡(luò)搜索或從其知識(shí)庫(kù)中尋找答案，然后生成帶有內(nèi)嵌引用的摘要?！窆雀枰呀?jīng)排除了一個(gè)摘要框來(lái)說(shuō)明Gemini增強(qiáng)其標(biāo)準(zhǔn)產(chǎn)品的●然而，這兩項(xiàng)服務(wù)都在可靠性問(wèn)題上苦苦掙扎。Gemini被發(fā)現(xiàn)使用諷刺性的Reddit帖子作為建議來(lái)源(例如，建議用戶每天吃一塊石頭)，而performance則與其他LLM服務(wù)遇到的相同幻覺(jué)問(wèn)題進(jìn)行斗爭(zhēng)。●OpenAI已經(jīng)開(kāi)始測(cè)試一個(gè)原型搜索功能-SearchGPT-它最終將被集成到ChatGPT中。雖然我們還不知道技術(shù)規(guī)格，但宣傳圖片表明困惑式的用戶體驗(yàn)。ai2024狀態(tài)●OpenAI和谷歌正在與主要媒體機(jī)構(gòu)談判，希望許可安排將消除批評(píng)的刺痛。同樣，11實(shí)驗(yàn)室也開(kāi)始了一個(gè)配音演員項(xiàng)目。一些初創(chuàng)企業(yè)正在徹底改變這一點(diǎn)，開(kāi)始采用道德認(rèn)證計(jì)劃。最著名的是受過(guò)良好訓(xùn)練的，由前穩(wěn)定人工智能高管埃德·牛頓-雷克斯(EdNewton-Rex)創(chuàng)辦。隨著實(shí)驗(yàn)室接近數(shù)據(jù)上限，YouTube抓取成為焦點(diǎn)。據(jù)報(bào)道，OpenAI轉(zhuǎn)錄了數(shù)百萬(wàn)小時(shí)的YouTube視頻，以支持其音頻轉(zhuǎn)錄模型。與此同時(shí)，EleutherAI廣泛使用的Pile數(shù)據(jù)集包含173，536個(gè)YouTube視頻的字幕。內(nèi)部文件來(lái)自RunwayML和NVIDIA●針對(duì)Anthropic、OpenAI、Meta、Midjourney、●到目前為止，模型構(gòu)建者未能完全駁回任何此類案例，但已成功大幅縮小了它們的范圍。●例如，兩個(gè)作者團(tuán)體對(duì)OpenAI和Meta提出的索賠，聲稱這兩家公司犯有替代版權(quán)侵權(quán)罪，因?yàn)樗鼈兯械哪Ｐ洼敵龆际恰扒謾?quán)衍生作品”，但這一索賠失敗了，因?yàn)樗鼈儫o(wú)法證明“實(shí)質(zhì)性相似”。只有他們最初以侵犯版權(quán)為由提出的索賠才被允許繼續(xù)進(jìn)行?！耦愃频男藜舭l(fā)生在反對(duì)Midjourney，Runway和Stability的案件中，原告被告知專注于最初的刮擦，他們的許多更廣泛的索賠被駁回?！裨谶@種不確定性中，Adobe、谷歌、微軟和OpenAI采取了不同尋常的措施，保護(hù)他們的客戶免受任何基于版權(quán)的法律索賠?！馱aymo已經(jīng)在舊金山、洛杉磯和鳳凰城逐步擴(kuò)大規(guī)模，計(jì)劃今年晚些時(shí)候在奧斯汀推出。該公司現(xiàn)在已經(jīng)廢除了它的SF等候名單，向任何人開(kāi)放它的等候名單。除了從軟銀、英偉達(dá)和微軟籌集新的資金，當(dāng)英國(guó)通過(guò)立法允許自動(dòng)駕駛汽車(chē)在2026年上路時(shí)，Wayve取得了勝利。這項(xiàng)技術(shù)也開(kāi)始顯示出商業(yè)潛力。Alphabet宣布向Waymo追加50億美元投資，此前其“其他賭注”部門(mén)(包括Waymo)實(shí)現(xiàn)了3.65億美元的季度收入。與此同時(shí)，今年8月，該公司宣布，在美國(guó)，每周付費(fèi)出行次數(shù)已達(dá)到10萬(wàn)次，僅在舊金山就有300輛汽車(chē)上路。