對(duì)話(huà)ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在_第1頁(yè)
對(duì)話(huà)ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在_第2頁(yè)
對(duì)話(huà)ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在_第3頁(yè)
對(duì)話(huà)ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在_第4頁(yè)
對(duì)話(huà)ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在_第5頁(yè)
已閱讀5頁(yè),還剩5頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

對(duì)話(huà)ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在對(duì)話(huà)ChatGPT之父我們對(duì)話(huà)ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在全文共10頁(yè),當(dāng)前為第1頁(yè)?!ぁ拔椅ㄒ欢萌绾沃贫ú呗缘姆椒ň褪?,一次又一次地進(jìn)行非常長(zhǎng)期的、資本密集型的、困難技術(shù)相關(guān)的投資。而且我甚至不認(rèn)為我在這方面特別擅長(zhǎng)。我只是覺(jué)得沒(méi)有太多人嘗試這些,所以競(jìng)爭(zhēng)很小。”·“我認(rèn)為對(duì)參數(shù)數(shù)量的關(guān)注度過(guò)高。”山姆·奧特曼在麻省理工學(xué)院(MIT)舉辦的活動(dòng)中遠(yuǎn)程連線(xiàn)。ChatGPT開(kāi)發(fā)機(jī)構(gòu)OpenAI的CEO山姆·奧特曼4月曾在一個(gè)對(duì)話(huà)活動(dòng)中稱(chēng),他們沒(méi)有在訓(xùn)練GPT-5,并提到“我們現(xiàn)在已經(jīng)接近巨型模型時(shí)代的尾聲”,正在尋找其他方式改進(jìn)模型。這場(chǎng)名為“想象行動(dòng)”的活動(dòng)由麻省理工學(xué)院(MIT)舉辦,其完整對(duì)話(huà)內(nèi)容在當(dāng)?shù)貢r(shí)間5月8日被主辦方公布。奧特曼在對(duì)話(huà)中詳細(xì)闡述了他的思路,認(rèn)為模型規(guī)模不一定能帶來(lái)最佳的效果,模型能力才是最重要的結(jié)果。奧特曼被問(wèn)及基于大模型的商業(yè)思路,他坦承自己不是商業(yè)策略家,“很多公司用非常輕量級(jí)的東西構(gòu)建了具有掠奪性機(jī)制的產(chǎn)品,但這并不是什么持久之計(jì)。而那些真正按照正常步驟去打造偉大企業(yè)的公司在過(guò)去15年里持續(xù)發(fā)展。所以你肯定希望成為后者?!币韵率菍?duì)話(huà)內(nèi)容,略有刪節(jié):主持人:第一個(gè)我想問(wèn)的是,如果AGI(通用人工智能)即將到來(lái),那么我們現(xiàn)在正處于一個(gè)拐點(diǎn)。人類(lèi)歷史在A(yíng)GI出現(xiàn)之前是一個(gè)段落,然后,從這里開(kāi)始顯然有一個(gè)完全不同的歷史。所以在我看來(lái),無(wú)論事態(tài)如何發(fā)展,你都將成為歷史書(shū)中的焦點(diǎn)。你認(rèn)為是這樣嗎?對(duì)話(huà)ChatGPT之父我們不是為對(duì)話(huà)ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在全文共10頁(yè),當(dāng)前為第2頁(yè)。主持人:關(guān)于歷史將如何描述這個(gè)時(shí)刻,這個(gè)時(shí)刻是(人工智能)這個(gè)領(lǐng)域里的創(chuàng)新之年。奧特曼:我希望這會(huì)成為歷史書(shū)中的一頁(yè)或一章,但我認(rèn)為在接下來(lái)的幾十億年里會(huì)發(fā)生如此多不可思議的事情,以至于這將只是其中的一個(gè)小部分。所以我認(rèn)為,在我們面前會(huì)有更多新的、更大的、更令人興奮的機(jī)遇和挑戰(zhàn)。主持人:你能否給剛創(chuàng)業(yè)的公司一些快速建議,需要從一開(kāi)始就做出哪些決定?從哪里開(kāi)始?如何讓它在任何特定的垂直用例中發(fā)揮作用?等等。奧特曼:沒(méi)有什么能超過(guò)你為用戶(hù)打造一個(gè)他們喜愛(ài)的產(chǎn)品的責(zé)任。你要非常了解你的用戶(hù),滿(mǎn)足他們的需求,考慮長(zhǎng)期可持續(xù)的商業(yè)策略。在平臺(tái)轉(zhuǎn)換期間,這實(shí)際上可能變得更加重要,而不是變得不那么重要。回想一下應(yīng)用商店的推出,這可能是最近類(lèi)似的例子,有很多公司用非常輕量級(jí)的東西構(gòu)建了具有掠奪性機(jī)制的產(chǎn)品,但這并不是什么持久之計(jì)。這樣的公司經(jīng)歷了令人難以置信的流星般的興衰。而那些真正按照正常步驟去打造偉大企業(yè)的公司在過(guò)去15年里持續(xù)發(fā)展。所以你肯定希望成為后者。技術(shù)只是一個(gè)新的推動(dòng)器,但你作為公司需要做的是建立一個(gè)具有長(zhǎng)期復(fù)合戰(zhàn)略?xún)?yōu)勢(shì)的優(yōu)秀公司。主持人:讓我們開(kāi)始談?wù)劵A(chǔ)大模型?;仡欉^(guò)去兩年,開(kāi)始的最好方法之一是采用現(xiàn)有的基礎(chǔ)模型,添加一些層,然后針對(duì)垂直領(lǐng)域重新訓(xùn)練它。現(xiàn)在基礎(chǔ)模型可能有一萬(wàn)億個(gè)參數(shù),規(guī)模要大得多。但是,在不重新對(duì)話(huà)ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在全文共10頁(yè),當(dāng)前對(duì)話(huà)ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在全文共10頁(yè),當(dāng)前為第3頁(yè)。奧特曼:最大的模型中大約有32000個(gè),基礎(chǔ)模型中有8000個(gè)。主持人:那么,基礎(chǔ)模型未來(lái)會(huì)如何迭代?這應(yīng)該相當(dāng)快就會(huì)被推出了。奧特曼:我們?nèi)栽谂ε宄?,開(kāi)發(fā)者在模型定制方面到底需要什么。我們?cè)敢庠谶@里做很多事情,我們也把開(kāi)發(fā)者當(dāng)作我們的用戶(hù)。因此,我們的目標(biāo)是讓開(kāi)發(fā)者非常滿(mǎn)意,弄清楚他們需要什么。我們?cè)詾檫@將是一個(gè)更精細(xì)的微調(diào)(finetune)的故事,我們一直在思考如何以不同的方式提供這種服務(wù)。但是,人們似乎更喜歡使用基礎(chǔ)模型來(lái)完成一些非常了不起的事情,所以我們正在積極地重新考慮,要優(yōu)先考慮哪些定制。因?yàn)橛脩?hù)需要的東西似乎在模型變得越來(lái)越好的情況下也在不斷改進(jìn)。隨著模型越來(lái)越好,對(duì)微調(diào)的需求也越來(lái)越小,你可以在上下文中做越來(lái)越多的事情。主持人:當(dāng)你說(shuō)微調(diào)時(shí),你是指改變參數(shù)權(quán)重。奧特曼:是的。我們肯定會(huì)在GPT里提供一些修改參數(shù)權(quán)重的功能,但就目前來(lái)看,與提供非常便宜的上下文能力相比,可能調(diào)整參數(shù)權(quán)重的使用頻率會(huì)較低,如果我們能解決(可輸入)100萬(wàn)個(gè)token的問(wèn)題的話(huà)。主持人:我們來(lái)稍微深入了解一下。無(wú)論具體細(xì)節(jié)如何,趨勢(shì)似乎是,隨著模型變得越來(lái)越大,從1萬(wàn)億到10萬(wàn)億個(gè)參數(shù),prompt提示工對(duì)話(huà)ChatGPT之父我們不是為對(duì)話(huà)ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在全文共10頁(yè),當(dāng)前為第4頁(yè)。奧特曼:從參數(shù)規(guī)模的角度,不成比例地增長(zhǎng),是的。但我認(rèn)為我們現(xiàn)在已經(jīng)接近這些巨型模型時(shí)代的尾聲。我們將通過(guò)其他方式改進(jìn)它們。我想說(shuō)的是,它們和模型能力成比例地增長(zhǎng)。主持人:關(guān)于基礎(chǔ)模型的創(chuàng)建投資,在訓(xùn)練過(guò)程中可能需要5000萬(wàn)至1億美元的規(guī)模?奧特曼:我們沒(méi)有透露過(guò)具體金額,但實(shí)際上比這個(gè)數(shù)字要多得多。主持人:隨著時(shí)間的推移,投資也在增加。那么,試圖從零開(kāi)始的人需要迎頭趕上,他們可能要追趕一個(gè)巨大的差距。奧特曼:也許我們都很愚蠢,錯(cuò)過(guò)了一個(gè)重要的想法,所有這些或許并不像我們想象的那么困難或昂貴,可能將有一個(gè)完全新的范例取代我們。這對(duì)世界來(lái)說(shuō)是好事,盡管對(duì)我們來(lái)說(shuō)可能不是。主持人:讓我聽(tīng)聽(tīng)你對(duì)這些事情的看法。保羅·格雷厄姆(美國(guó)風(fēng)險(xiǎn)投資家)稱(chēng),你是他見(jiàn)過(guò)的最偉大的商業(yè)策略家。在場(chǎng)所有這些人都在努力應(yīng)對(duì)他們的商業(yè)策略,思考到底要建立什么和在哪里建立。所以我一直在問(wèn)你一些問(wèn)題,這些問(wèn)題或多或少地涉及到在GPT-4、ChatGPT以及即將到來(lái)的GPT-5等基礎(chǔ)之上的垂直應(yīng)用案例。但是,還有許多與之相鄰的商業(yè)模式,如聯(lián)合學(xué)習(xí)、數(shù)據(jù)調(diào)節(jié)或部署等。如果你只是投資于這個(gè)生態(tài)系統(tǒng)中的一類(lèi)公司,那也是有趣的商業(yè)模式。關(guān)于哪里有更高回報(bào)、哪里有更快增長(zhǎng)的商業(yè)模式,你有什么想法?奧特曼:我不認(rèn)為保羅·格雷厄姆真的那樣說(shuō)過(guò)。我知道他說(shuō)過(guò)類(lèi)似的話(huà),但無(wú)論如何,我不認(rèn)為這是真的。對(duì)話(huà)ChatGPT對(duì)話(huà)ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在全文共10頁(yè),當(dāng)前為第5頁(yè)。我唯一懂得如何制定策略的方法就是,一次又一次地進(jìn)行非常長(zhǎng)期的、資本密集型的、困難技術(shù)相關(guān)的投資。而且我甚至不認(rèn)為我在這方面特別擅長(zhǎng)。我只是覺(jué)得沒(méi)有太多人嘗試這些,所以競(jìng)爭(zhēng)很小,這種策略我認(rèn)為沒(méi)有太多競(jìng)爭(zhēng)。但要利用像OpenAI這樣的平臺(tái),構(gòu)建一個(gè)新的、快速增長(zhǎng)、有防御能力的消費(fèi)者企業(yè)公司,我?guī)缀跻粺o(wú)所知。我知道所有的理論,但不了解實(shí)踐。我會(huì)去尋找那些做過(guò)這些事情的人,并向他們尋求實(shí)踐建議。主持人:關(guān)于底層技術(shù)平臺(tái),我有幾個(gè)問(wèn)題。自從參數(shù)數(shù)量還不到100萬(wàn)時(shí),我就一直在自己構(gòu)建神經(jīng)網(wǎng)絡(luò)。實(shí)際上,它們?cè)谠S多商業(yè)應(yīng)用中非常有用。然后我看著它們的參數(shù)數(shù)量增長(zhǎng)到10億,GPT-2大約是15億個(gè)參數(shù),接著是GPT-3,現(xiàn)在是GPT-4、我們不知道當(dāng)前的參數(shù)數(shù)量,但我認(rèn)為GPT-3中是1250億。與GPT-2相比,它的差距簡(jiǎn)直令人難以置信,然后GPT-4更是讓人難以置信地不同。聽(tīng)了英偉達(dá)的預(yù)測(cè),參數(shù)數(shù)量似乎處于上升趨勢(shì),從1萬(wàn)億到10萬(wàn)億,然后英偉達(dá)說(shuō)未來(lái)十年將達(dá)到10千兆。你認(rèn)為這個(gè)數(shù)字是正確的嗎?奧特曼:我認(rèn)為對(duì)參數(shù)數(shù)量的關(guān)注度過(guò)高。參數(shù)數(shù)量肯定會(huì)上升,但這讓我想起了上世紀(jì)90年代和21世紀(jì)初芯片中的兆赫茲競(jìng)賽。每個(gè)人都試圖指向一個(gè)很大的數(shù)字,然后最后,你可能連自己的iPhone上有多少兆赫都不知道,但它很快。我們實(shí)際上關(guān)心的是能力。對(duì)話(huà)ChatGPT之父我對(duì)話(huà)ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在全文共10頁(yè),當(dāng)前為第6頁(yè)。我們想為世界提供最有能力、最有用、最安全的模型。我們不是為了炫耀參數(shù)數(shù)量而存在。主持人:但這類(lèi)算法與我以前見(jiàn)過(guò)的任何算法相比,有一個(gè)絕對(duì)獨(dú)特的地方,無(wú)論你是用參數(shù)數(shù)量還是其他方式來(lái)衡量,它都會(huì)讓你驚訝于它的原始性能,它利用了規(guī)模的優(yōu)勢(shì)。今天早上我舉的例子是,如果你有一個(gè)電子表格,你將其編碼并在一臺(tái)速度提高了10000倍的計(jì)算機(jī)上運(yùn)行,它不會(huì)讓你感到驚訝;它反應(yīng)很好,但它仍然是一個(gè)電子表格。而這類(lèi)算法在純粹提高性能方面做了以前無(wú)法做到的事情(指AI大模型的智能涌現(xiàn))。實(shí)際上我們風(fēng)險(xiǎn)投資基金的一位合伙人用GPT-2寫(xiě)了一本書(shū)。你可以在亞馬遜上購(gòu)買(mǎi),書(shū)名叫《從這里開(kāi)始》或《從這里開(kāi)始:浪漫》,我想大概賣(mài)了10本,我買(mǎi)了其中的一本,所以可能只賣(mài)了9本。如果你讀這本書(shū),你會(huì)發(fā)現(xiàn)這本書(shū)并不好。這只是4年前。僅僅4年,從GPT-2、3到4,現(xiàn)在它已經(jīng)從質(zhì)量不怎么好,到有些合理,到現(xiàn)在有可能寫(xiě)出一本真正優(yōu)秀的書(shū)。所以,如果底層基礎(chǔ)設(shè)施越來(lái)越快,這類(lèi)算法將在相對(duì)較短的時(shí)間范圍內(nèi)做出令人驚訝的事情。對(duì)話(huà)ChatGPT之父我們對(duì)話(huà)ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在全文共10頁(yè),當(dāng)前為第7頁(yè)。奧特曼:我認(rèn)為,永遠(yuǎn)不要失去對(duì)愿景和長(zhǎng)期目標(biāo)的關(guān)注,要有非常緊密的反饋循環(huán),關(guān)注哪些有效果,哪些無(wú)效果;做更多有效果的事情,少做無(wú)效果的事情。非常非常仔細(xì)的用戶(hù)觀(guān)察可以讓我們走得很遠(yuǎn)。所以,我可以猜測(cè)想法,你們都可以猜測(cè)想法,但沒(méi)有什么比把產(chǎn)品放出去,真正深入了解發(fā)生了什么,并且對(duì)其做出及時(shí)響應(yīng)更有價(jià)值。主持人:你什么時(shí)候知道你的ChatGPT非常特別?是什么讓你實(shí)現(xiàn)了其他人無(wú)法實(shí)現(xiàn)的事情?奧特曼:我們已經(jīng)為此努力了很長(zhǎng)時(shí)間,我們逐漸更有信心地知道這真的會(huì)奏效。這個(gè)公司已經(jīng)成立了7年,事情需要很長(zhǎng)時(shí)間。關(guān)于為什么其他人沒(méi)有成功我們卻成功了,就是因?yàn)槲覀円恢痹谂ぷ?,長(zhǎng)時(shí)間關(guān)注每一個(gè)細(xì)節(jié),大多數(shù)人不愿意這么做。至于我們什么時(shí)候知道,ChatGPT特別是作為一款消費(fèi)者產(chǎn)品會(huì)火起來(lái)的,大概是在發(fā)布后的48小時(shí)左右。主持人:我們?cè)贛IT,這里與馬克斯·泰格馬克(Ma某Tegmark,麻省理工學(xué)院教授)等人發(fā)起制定了一個(gè)“關(guān)于暫停AI發(fā)展6個(gè)月”的公開(kāi)信。關(guān)于這封公開(kāi)信,你有什么想法?對(duì)話(huà)ChatGPT之父我們不是為對(duì)話(huà)ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在全文共10頁(yè),當(dāng)前為第8頁(yè)。自從我們發(fā)布了GPT-4以來(lái),很多人都說(shuō),哇,這不僅是OpenAI發(fā)布的最有能力的模型,而且是最安全、最有目標(biāo)的模型。除非我嘗試讓它做壞事,否則它不會(huì)這樣做。所以,我們完全同意(以上這點(diǎn))。我還同意,隨著AI能力變得越來(lái)越強(qiáng)大,安全標(biāo)準(zhǔn)也必須提高。但不幸的是,我認(rèn)為這封信缺乏關(guān)于哪里需要暫停的技術(shù)細(xì)節(jié)。事實(shí)上,在信的早期版本中宣稱(chēng)我們OpenAI正在訓(xùn)練GPT-5,但事實(shí)并非如此。我們還需要一段時(shí)間。從這個(gè)意義上說(shuō),這封信有點(diǎn)可笑。山姆·奧特曼在對(duì)話(huà)中表示,OpenAI沒(méi)有在訓(xùn)練GPT-5,“一段時(shí)間”內(nèi)也不會(huì)訓(xùn)練。(02:03)我們正在GPT-4之上做一些其他事情,我認(rèn)為有很多安全問(wèn)題需要解決,而這封信卻完全忽略了這些問(wèn)題。所以,我認(rèn)為謹(jǐn)慎行事,增加對(duì)安全問(wèn)題的嚴(yán)格性非常重要,但這封信并不是解決問(wèn)題的最佳途徑。主持人:你一直非常開(kāi)放,進(jìn)行很多對(duì)話(huà),非常誠(chéng)實(shí),而且OpenAI也是如此,而其他公司就相對(duì)封閉得多。這背后的理念是什么?你打算繼續(xù)這樣做嗎?奧特曼:我們當(dāng)然打算繼續(xù)這樣做。我們權(quán)衡的是,有時(shí)候我們會(huì)說(shuō)一些愚蠢的話(huà),說(shuō)出一些事實(shí)上是錯(cuò)誤的東西。我想很多其他公司在確定件事是正確之前都不想說(shuō)出來(lái)。對(duì)話(huà)ChatGPT之父我對(duì)話(huà)ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在全文共10頁(yè),當(dāng)前為第9頁(yè)。即使我們有時(shí)候在公開(kāi)場(chǎng)合會(huì)感到尷尬,不得不根據(jù)新數(shù)據(jù)改變想法,我們還是會(huì)繼續(xù)這樣做,因?yàn)槲覀冋J(rèn)為這比任何替代方案都要好。OpenAI的一個(gè)重要目標(biāo)是讓世界參與其中,思考這個(gè)問(wèn)題,逐步更新和建立新的制度,或者調(diào)整我們現(xiàn)有的制度,以便能夠找出我們都希望建立的未來(lái),這就是我們?cè)谶@里的原因。主持人:我們只剩下幾分鐘了。我必須問(wèn)你一個(gè)自從我13歲以來(lái)一直縈繞在我心頭的問(wèn)題。如果讀過(guò)雷蒙德·庫(kù)茨魏爾(RaymondKurzweil,美國(guó)作家、未來(lái)學(xué)家)或者這個(gè)領(lǐng)域的任何杰出人物的書(shū)籍,(都明白)在算法開(kāi)始編寫(xiě)改進(jìn)算法代碼的那一天,就是一個(gè)關(guān)鍵的日子,這將使世界加速發(fā)展,直至無(wú)窮大。如今,很多我投資或者參與創(chuàng)立的公司開(kāi)始使用AI模型進(jìn)行代碼生成。這些代碼生成的提升范圍相當(dāng)廣泛,從大約5%到20倍不等。這取決于你要做什么,要編寫(xiě)什么類(lèi)型的代碼,以及它需要多少上下文等等,很多與調(diào)整系統(tǒng)有關(guān)。所以問(wèn)題有兩個(gè):首先,在OpenAI,你們?cè)趧?chuàng)建下一代代碼時(shí)已經(jīng)看到了多少效果倍增?對(duì)話(huà)ChatGPT之父我對(duì)話(huà)ChatGPT之父我們不是為了炫耀參數(shù)數(shù)量而存在全文共10頁(yè),當(dāng)前為第10頁(yè)。奧特曼:這是一個(gè)很好的問(wèn)題。我認(rèn)為,到

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論