2023年全球人工智能AI行業(yè)產(chǎn)業(yè)研究手冊 人工智能研究種類繁多且雜亂

2023年全球人工智能AI行業(yè)產(chǎn)業(yè)研究手冊人工智能研究種類繁多且雜亂一、AI產(chǎn)業(yè)：GPT驅動，進入工業(yè)化時代GPT-4：面對復雜問題能力時大幅提升GPT-4面對復雜問題能力時大幅提升，對AP考試、GRE考試等表現(xiàn)優(yōu)異。OpenAI在官網(wǎng)表示，GPT-4雖然在大多數(shù)現(xiàn)實場景中的能力不如人類，但在一些專業(yè)問題和學術基準上表現(xiàn)已經(jīng)和人類持平。根據(jù)OpenAI在其技術文檔所公布的數(shù)據(jù)，GPT-4在60%的AP考試科目中取得了5分（滿分）的成績，并較前一代GPT3.5取得了30%以上的提升。而對于國外研究生入門考試的GRE，GPT-4取得了339+4的成績，超越95%的應試者。GPT-4：引入了圖片的輸入識別能力多模態(tài)能力成為GPT-4加入的新亮點。GPT-4在模型能力方面最大的提升在于引入了多模態(tài)的處理能力。除了此前ChatGPT就支持的文字外，GPT-4還可以接受圖片輸入，根據(jù)OpenAI在技術文檔內給出的實例來看，GPT-4可以理解圖中的各類含義甚至包括人類的幽默能力。不過在當前階段，圖片輸入的功能暫時還沒有開放給用戶使用。技術趨勢：GPT將逐步成為生成式任務的優(yōu)選盡管都是Transformer模型，Bert模型采用雙向使用Mask的方法進行訓練；而GPT則是采用了自回歸+prompting的方式。這兩者的區(qū)別根據(jù)谷歌資深AI科學家JeffDean在2020年的文章回答，Bert路線在NLU（自然語言理解）的能力以及準確度會更好，而GPT路線在NLG（自然語言生成）的表現(xiàn)會更突出。通俗來說，BERT是完形填空，GPT為命題作文。產(chǎn)業(yè)影響：雖然不是顛覆式創(chuàng)新，但探索產(chǎn)業(yè)化可能性增加Chat-GPT的強勢“出圈”成為了對人工智能中短期內的產(chǎn)業(yè)化方向一系列探索的催化劑。從對Chat-GPT的測試結果來看，Chat-GPT開始能在大范圍、細粒度問題上給出普遍穩(wěn)妥的答案，并根據(jù)上下文形成有一定的具備邏輯性的創(chuàng)造性回答，在文字領域表現(xiàn)突出。通過調整數(shù)據(jù)集、獎勵函數(shù)調整的方式，能夠依靠chatGPT的思路向其他垂直領域邁進，文字、圖片、視頻等的生成同樣可以值得期待，AIGC相對更為靠近。但由于chatGTP在訓練初的數(shù)據(jù)限制，不能輸出超過自身“學會”的內容，而搜索引擎所用的是發(fā)散和關聯(lián)，所以不會顛覆搜索引擎。算法模型：此前模型以堆疊參數(shù)和數(shù)據(jù)為主小模型（2015年前）AI擅長特定領域的分析任務，但通用型任務的完成情況很差。硬件算力不夠導致重新訓練成本過高；數(shù)據(jù)來源過于稀少難以提升到更高精確度，整體表達能力與人類相差較遠。大模型（2015-2022年）Transformer模型的出現(xiàn)使得文字、圖像識別等領域達到了超越人類的水平，但同時也極大增加了模型的體積，只有擁有強大算力支撐的科技巨頭才有能力訓練Transformer模型。算法模型：使AI算法模型邁向新階段ChatGPT的成功一改往日大模型依靠堆積數(shù)據(jù)量的訓練方式，RLHF（人類反饋強化學習）和Rewardmodel（獎勵模型）是其核心訓練邏輯。ChatGPT的成功推動AI算法模型展現(xiàn)出更加明晰的發(fā)展脈絡，使行業(yè)邁向了兼顧經(jīng)濟性與可使用性的新發(fā)展階段，展望未來，模型開放+快速優(yōu)化迭代或將成為AI實現(xiàn)大規(guī)模應用落地的終極發(fā)展形態(tài)。應用場景：實現(xiàn)UGC到AIGC的助推器Chat-GPT的出現(xiàn)所帶來的內容生成能力將會為當今從用戶創(chuàng)作（UGC）到AI創(chuàng)作（AIGC）的轉型提供關鍵的輔助支持。目前我們正經(jīng)歷從Web2.0開始向Web3.0轉型的啟航階段，在過去五年我們已經(jīng)看到內容創(chuàng)造從專業(yè)創(chuàng)作（PFC）轉型為了用戶創(chuàng)作（UGC）。而在不遠的將來，AI協(xié)助內容生成（AIUGC）與AI創(chuàng)作（AIGC）將為我們提供更低的創(chuàng)作門檻以及更豐富的創(chuàng)作思路。在這兩個階段中。內容生產(chǎn)主體從人類本身開始向人工智能遷移，主要區(qū)別體現(xiàn)在內容的生產(chǎn)效率、知識圖譜的多樣性以及提供更加動態(tài)且可交互的內容上。人腦只能基于自己的知識圖譜進行少數(shù)方向的信息處理，而AI能從更龐大的知識體系中進行多個方向的處理，進而提供更多的創(chuàng)作思路。Gartner預計，到2025年，生成式人工智能將占所有生成數(shù)據(jù)的10%。二、算法模型:AI產(chǎn)業(yè)靈魂，技術路線持續(xù)向GPT方向收斂AI技術發(fā)展的核心主線：通用人工智能（AGI）底層算法與模型是貫穿人工智能技術發(fā)展的核心，從上世紀50年代第一次提出人工智能概念開始，底層算法經(jīng)歷了多次迭代。而貫穿多次迭代的主線是研發(fā)出真正的通用人工智能（AGI），即用一個模型解決大多數(shù)的問題，通過這一方式才能真正做到降低人工智能的成本并取代人類。2015年AlphaGo：將多年積攢的研究成果展現(xiàn)給大眾AlphaGo是由DeepMind（后被谷歌收購）開發(fā)的人工智能程序，代表了從上世紀90年代開始深度學習、蒙特卡洛樹搜索等先進技術的集大成者，實現(xiàn)了人工智能在圍棋領域的重大突破。2015年，AlphaGo首次與歐洲圍棋冠軍樊麾對弈，并以5-0的成績取得勝利。2016年，AlphaGo在一場備受矚目的比賽中戰(zhàn)勝了韓國圍棋世界冠軍李世石，向世人展示了其在圍棋領域的強大實力。AlphaGo的成功引發(fā)了全球范圍內對人工智能和深度學習的關注，展示了機器在復雜問題解決和策略制定方面的巨大潛力。AlphaGo成功的背后：人工智能研究種類繁多且雜亂雖然AlphaGo在圍棋領域取得了巨大成功，但仍無法解決通用人工智能問題，其方法在其他領域的應用受到局限。一人工智能研究方向眾多且缺乏統(tǒng)一，導致學術界和產(chǎn)業(yè)界的資源分散，影響整體發(fā)展。圖像檢索：深度學習為主的方法；圖像生成：對抗神經(jīng)網(wǎng)絡為主的方法；推薦系統(tǒng)：蒙特卡洛樹等方法等。后AlphaGo時代：NLP成為通用人工智能（AGI）的可能解盡管AlphaGo及其背后的深度學習無法解決通用人工智能問題，但其給人工智能這一領域重新帶來了關注度。在這一階段，NLP（自然語言處理）開始展現(xiàn)其對通用人工智能（AGI）的潛力。語言是人類歷史上最具表述力的工具，人類的所有知識都可以通過語言進行表述，因此以語言為基礎的NLP任務開始被人們寄予厚望。研究者們開始嘗試將NLP模型從特定任務的優(yōu)化擴展到多任務學習，以便在各種任務上取得更好的表現(xiàn)。這也反映了通用人工智能的目標，即讓AI系統(tǒng)具備廣泛的知識和技能，以應對不同領域的問題。ChatGPT:理想的人機交互接口，更接近想象中的“人工智能”ChatGPT以自回歸模型+Zero/FewShotPrompt（0提示或少提示）的方式，不需要在使用時對任務進行刻意區(qū)分。模型針對任何問題都可以進行生成，缺點是面對理解類問題（分類等）精度不如以谷歌Bert為代表的微調模型。從產(chǎn)品邏輯上，雖然犧牲了部分精度，但Prompting無需用任務區(qū)分器區(qū)別不同的任務，是理想的人機交互接口。面對用戶不同的輸入，模型可以自行判斷給了用戶更好的體驗，這也更接近于大眾理解的“通用人工智能”。大語言模型的競爭壁壘：數(shù)據(jù)源、工程能力與資本投入從GPT-3開始到谷歌的PALM，網(wǎng)絡中的公開語言數(shù)據(jù)源已經(jīng)在被盡可能地利用（論壇、新聞、維基百科、社交媒體等等）。ChatGPT證明了結合人工生成數(shù)據(jù)能獲得更好的效果，未來人工生成數(shù)據(jù)與算法合成數(shù)據(jù)將占據(jù)更重要的地位。技術端的市場動態(tài)：MetaMeta在人工智能技術上始終是緊隨微軟與谷歌之后的追趕者，Meta的研究院FAIR常年在人工智能頂級刊物上發(fā)表論文位居前列。FAIR在NLP方面有著大量研究，一個著名的項目是BERT的前身——ELMo，這是一個通過雙向語言模型訓練得到的上下文相關詞向量表示方法。作為微軟與谷歌的追趕者，F(xiàn)AIR非常積極推動開源項目的建設和資源共享。例如，F(xiàn)AIR開發(fā)了PyTorch，這是一個非常受歡迎的深度學習框架，廣泛應用于學術界和工業(yè)界。2023年3月Meta又開源發(fā)布了其最新的大語言模型LLaMA。三、數(shù)據(jù)集：AI糧食和血液“數(shù)據(jù)爆發(fā)+數(shù)據(jù)復雜度提升”是行業(yè)底層驅動力數(shù)據(jù)結構復雜度不斷提升，半結構化、非結構化數(shù)據(jù)占比不斷提高。數(shù)字經(jīng)濟時代每分每秒都在產(chǎn)生大量的語音、圖像、視頻等非結構化數(shù)據(jù)。不同場景、不同應用、不同來源的數(shù)據(jù)都匯聚在數(shù)據(jù)庫中等待分析，數(shù)據(jù)結構本身的復雜度不斷提升。此外，非結構化數(shù)據(jù)占比持續(xù)提高，但價值仍然沒有被充分發(fā)掘。根據(jù)Ovum數(shù)據(jù)，視頻類數(shù)據(jù)流量占據(jù)超過77%的總流量比例。根據(jù)IDC數(shù)據(jù)，非結構化數(shù)據(jù)占整體數(shù)據(jù)量比重高達80%以上，在排除一定比例的半結構化數(shù)據(jù)后，現(xiàn)階段真正用于大數(shù)據(jù)分析支撐企業(yè)決策的只有占較小比例的結構化數(shù)據(jù)，這意味著絕大部分非結構化數(shù)據(jù)的價值還未被充分發(fā)掘。存儲技術和云計算的發(fā)展使企業(yè)能夠存儲海量非結構數(shù)據(jù)，人工智能技術極大地提高對非結構數(shù)據(jù)的需求并最終賦能應用。過去由于存儲技術、資源和數(shù)據(jù)庫技術的限制，非結構化的數(shù)據(jù)無法有效保存和調用。但隨著存儲技術和云計算的不斷發(fā)展，企業(yè)可以擁有充足的、可擴展的存儲資源和存儲方法。機器學習、自然語言處理、圖像識別等人工智能技術也增加了對海量非結構化數(shù)據(jù)的需求。在存儲非結構化數(shù)據(jù)之后，賦能應用之前，必須經(jīng)過數(shù)據(jù)庫管理系統(tǒng)才能夠對非結構化數(shù)據(jù)進行調用、處理和分析，才能讓數(shù)據(jù)資產(chǎn)化并賦能企業(yè)發(fā)展。大語言模型的數(shù)據(jù)用在預訓練、微調兩個過程中按照當前LLM的技術范式，數(shù)據(jù)集主要應用于預訓練、模型調優(yōu)階段。預訓練階段需要大規(guī)模、多類別、高質量的訓練數(shù)據(jù)，在模型調優(yōu)階段，垂類小數(shù)據(jù)集、提示詞工程同樣重要。中國數(shù)據(jù)標注行業(yè)：市場保持快速增長，應用場景越來越廣泛市場規(guī)模：2022年中國數(shù)據(jù)標注市場總規(guī)模達50.8億元，較2021年增長17.3%，CAGR（2022-2029）達22%。穩(wěn)步落地階段的人工智能行業(yè)疊加國家產(chǎn)業(yè)政策支持，持續(xù)促進行業(yè)發(fā)展。同時，隨著ChatGPT成為AIGC現(xiàn)象級應用，優(yōu)化了上游國內數(shù)據(jù)標注廠商的工作，帶來更多的機會。四、算力：AI產(chǎn)業(yè)的賣水者，短期最具確定性訓練成本測算—ChatGPT：預計單次訓練成本約151萬美元假定預訓練單次，且訓練過程中沒有出現(xiàn)錯誤時的成本。實際情形中，考慮到訓練過程中出現(xiàn)工程類錯誤的可能性，實際成本會高于我們計算的理想情況成本。假設參數(shù)量為175B、訓練數(shù)據(jù)500BTokens的情況下，根據(jù)《ScalingLawsforNeuralLanguageModels》（JaredKaplan,SamMcCandlish,TomHenighan等），我們在使用256個英偉達HGXA100服務器(包含2048個A100GPU卡）的情況下，模型FLOPsUtilization（MFU）假設為Megatron-LM的51.04%，我們推測單次訓練時長約為30.7天，對應約151萬GPU小時。假設訓練使用成本價約為1美元/GPU小時的情況下，耗費服務器端成本約為151萬美元。推理成本測算—ChatGPT：每2000萬DAU對應成本為14.3億美元ChatGPT推理環(huán)節(jié)成本測算：我們假定企業(yè)會在推理環(huán)節(jié)對通信延遲、內存帶寬等進行必要優(yōu)化，因此假定用戶訪問ChatGPT的單次成本為理論最高成本（2.7美分/次）的30%，也即0.8美分，假定目前ChatGPT目前2000萬日活躍用戶，用戶每天調用次數(shù)為10次，單次調用成本0.8美分，我們采用英偉達HGX服務器進行算力承載，并假定HGXA100服務器的價格為8美元/小時，實際使用率為70%，則我們估算每天算力成本為160萬美元，對應英偉達A100卡9.5萬張，假定每張A100卡售價1.5萬美元，對應成本14.3億美元，加上訓練端的成本，共計約14.6億美元。五、應用場景：從分析型AI到生成式AI，不斷逼近AGI文本生成：聊天機器人-Character.AI聊天機器人：Character.AI、Replika、Glow。GPT-3等大模型的突破性進展促進了個性化聊天機器人的發(fā)展。其中Character.AI開發(fā)了自己的Pre-trained模型，用戶在此基礎上進行創(chuàng)作。技術方面，公司底層模型以包含解碼器的神經(jīng)語言模型為基礎，類似GPT和LaMDA，對話質量好于GPT3。具有立足生活、娛樂領域，具有深度個性化、超級智能等優(yōu)點。聊天機器人從應用場景可以分為工作與生活娛樂兩個象限，在商業(yè)化層面，聊天機器人公司可以通過收取增值訂閱會員、UGCAI角色訂閱、憑借真正個性化的推薦布局廣告業(yè)務。文本生成：輔助寫作-Jasper輔助寫作：Jasper、Microsoft、Copy.ai、Copysmith.ai。AIwriter通過優(yōu)秀的A