穿越智算奇點 解鎖大模型的無限可能

騰訊云秦若毅騰訊云秦若毅>他來了!他來了!大模型的基礎(chǔ)概念2013年電影《HER(觸不到的她)》ANTHROP\CXMeta騰訊混元通義大模型“你從哪里來?我的朋友”大模型的歷史脈絡1990神經(jīng)網(wǎng)絡的興起與衰退：2012大模型的誕生：2022預訓練模型的興起：1956早期的探索：2017Transformer(轉(zhuǎn)換器)架構(gòu)的革命：NOW多模態(tài)模型的探索：“千萬里，我追尋著你”國際大模型的創(chuàng)新浪潮·開源的文生圖大模型月之暗面Kimi:長文理解的先驅(qū)04月之暗面Kimi:長文理解的先驅(qū)042024年3月，開放支持200萬字超長文本·2024年6月，開源QWEN2·2024年6月，開源QWEN2·2023年10月，發(fā)布文心一言4.0部分部分GPT-4基準測試結(jié)果·美國生物奧林匹克競賽：超過99%考生美國律師資格考試：超過90%考生·美國高考：1410/600(寫作+數(shù)學)●哪敢自稱學霸?大模型的關(guān)鍵技術(shù)大腦基底大模型的定義：智能的基石書架大腦心臟02模型規(guī)模與性能：規(guī)模的力量03模型壓縮：效率與性能的平衡書桌作業(yè)本高性能集群高性能網(wǎng)絡高性能存儲會議網(wǎng)易逆水寒米哈游崩壞3網(wǎng)易逆水寒米哈游崩壞3過去5分鐘說了什么?過去5分鐘說了什么?你好秦若逸Rois,我是騰訊文檔智能助你好秦若逸Rois,我是騰訊文檔智能助手!日制作PPT日制作PPT60%生態(tài)建設(shè)目標，需加強個人外設(shè)論文開題報告寫祝福語學習計劃小紅書種草落提醒論文開題報告寫祝福語學習計劃小紅書種草企業(yè)智能化：面向企業(yè)的大模型應用·橫軸：企業(yè)業(yè)務流程(內(nèi)部<=>外部)縱軸：業(yè)務改造程度分類(改善<=>創(chuàng)新)外部用戶體驗外部用戶體驗客戶體驗提升象限：外部用戶提升體驗業(yè)務流程增強運營效牢提升發(fā)發(fā)文旅運營效率運營效率客戶體驗提升產(chǎn)品價值創(chuàng)新產(chǎn)品價值創(chuàng)新運營效審提升業(yè)務流運營效審提升常客戶體驗提升?？蛻趔w驗提升辦公營銷·節(jié)省學習理解產(chǎn)品的時間·對話式交互快速定位異常原因診前(售前)診中(售中)診后(售后)·解決掛錯診室、醫(yī)生不匹配等問題大模型應用落地的三大路線購買自建評估維度評估維度騰訊云產(chǎn)品方案合作分工騰訊云產(chǎn)品方案合作分工1.標準軟件1.標準軟件知識數(shù)據(jù)開發(fā)投入數(shù)據(jù)安全輸出內(nèi)容控制項目預算算力資源數(shù)據(jù)安全輸出內(nèi)容控制項目預算算力資源應用成本成本全鏈路遙測細分領(lǐng)域模型訓練平臺應用平臺全鏈路遙測行業(yè)模型企業(yè)模型基礎(chǔ)設(shè)施大模型核心服務找數(shù)-表/指標查數(shù)-多模型指標口徑查詢知識庫+緩存找數(shù)-表/指標查數(shù)-多模型指標口徑查詢知識庫+緩存技能管理技能管理知識問答在線調(diào)用-定制化擴展離線訓練-知識內(nèi)化在線調(diào)用-定制化擴展離線訓練-知識內(nèi)化指標向量庫指標向量庫知識生產(chǎn)端放大知識價值與產(chǎn)出知識消費端提高員工知識獲取效率小彩蛋——送給聽眾的禮物專門解答智算與大模型問題的AI助手(掃碼可獲得使用權(quán)限)Q搜索樂享管理后臺樂享管理后臺等你解鎖!■查看平臺公約，開啟社區(qū)之旅!我的積分待辦中心我的積分騰訊云WeTele你好秦若毅，我是樂享你好秦若毅，我是樂享AI助手，你想讓我?guī)湍阕鍪裁?站內(nèi)知識問答內(nèi)容創(chuàng)作生成式生成式Al在金融行業(yè)有哪些應用?生成式AI生成式AI在金融行業(yè)的應用主要包括以下幾個方面：6車IT業(yè)務流程中，生成式Al可以輔助IT技術(shù)人員自動完成代碼補全工作，從而提高了金融機構(gòu)對客APP的研發(fā)迭代速度。2.在辦公業(yè)務流程中，生成式AI打造的辦公助手可以在會議結(jié)束之后自動生成會議紀要。金融行業(yè)的專業(yè)術(shù)語眾多，基于行業(yè)大模型的生成式AI均可以理解并準確生成會議紀要，助網(wǎng)網(wǎng)個個個開箱即用的應用類型(應用中心)靈活定制的原子能力(原子能力中心)開箱即用的應用類型(應用中心)知識摘要標簽分類知識摘要標簽分類總結(jié)類問答類開放對接層文檔解析向量檢索總結(jié)類問答類開放對接層更多應用配置層模型層配置層模型層向量數(shù)據(jù)庫向量數(shù)據(jù)庫底層能力智能應用智能應用平臺&工具基礎(chǔ)設(shè)施細分領(lǐng)域模型訓練平臺精調(diào)客戶專屬大模型應用平臺◆定制化模型精調(diào)：騰訊云行業(yè)大模型——醫(yī)學大模型應用場景數(shù)據(jù)問答數(shù)據(jù)·醫(yī)典問答：三甲醫(yī)院醫(yī)生撰寫，醫(yī)學編輯三審三?！徍藛柎穑横t(yī)學專業(yè)人士審核過的問答數(shù)據(jù)對話數(shù)據(jù)·醫(yī)患多輪的對話醫(yī)院數(shù)據(jù)·門診病歷醫(yī)療行業(yè)數(shù)據(jù)醫(yī)學知識數(shù)據(jù)知識圖譜數(shù)據(jù)·100萬+實體，描述某些醫(yī)學概念的醫(yī)學實體·1000萬+關(guān)系三元組，描述某些醫(yī)學概念之間的關(guān)聯(lián)關(guān)系·40萬+屬性三元組，描述某些醫(yī)學概念的從屬屬性文章數(shù)據(jù)·騰訊醫(yī)典文章：醫(yī)學專家撰寫，三審三校·收集文章：購買后醫(yī)學專業(yè)人士審核醫(yī)學專業(yè)數(shù)據(jù)·人衛(wèi)等全套教材·臨床職業(yè)醫(yī)師考試題一體化醫(yī)學語言系統(tǒng)，針對生物醫(yī)學與健康領(lǐng)域的一體化醫(yī)學語言系統(tǒng)，針對生物醫(yī)學與健康領(lǐng)域的數(shù)據(jù)庫系統(tǒng)、本體知識庫·包括460萬概念、890萬代碼、26種語言、182個詞匯表·該數(shù)據(jù)庫收錄了目前已知的最全面的藥物和化學信息資源，提供詳細的藥物和相關(guān)藥物靶標信息數(shù)據(jù)中文論文數(shù)據(jù)·醫(yī)學相關(guān)中文文獻，包含期刊、會議、碩博論文、報紙等PubMed文章3500萬條生物醫(yī)學文獻及在線書籍其它(公開)英文數(shù)據(jù)影像報告數(shù)據(jù)·MIMIC患者出院小結(jié)入院數(shù)據(jù)海量、優(yōu)質(zhì)訓練數(shù)據(jù)數(shù)據(jù)中心數(shù)據(jù)中心訓練工坊訓練工坊遠程調(diào)試模擬部署模擬部署內(nèi)置推理加速大模型調(diào)用訓練集群訓練集群GPUA100GPUAGPUA100GPUA800(性能線性擴容)(性能線性擴容)騰訊云星脈RDMA網(wǎng)絡騰訊云星脈RDMA網(wǎng)絡-—業(yè)務流量的“導航儀”定制化模型精調(diào)：面向視覺場景的紫霄推理卡紫霄V1:高性價比的國產(chǎn)推理卡圖像合成機器翻·圖像合成機器翻·在深度優(yōu)化場景，最高可以做到A10的1.5-2倍性能?！裥∧Ｐ?7B以下)性價比紫霄v1llama43b高算力性價比(65B以上)高顯存高算力性價比傳統(tǒng)AI性價比紫霄v1自然語言處理(NLP)高內(nèi)存帶寬或許都有美好的未來大模型的未來發(fā)展部分主要技術(shù)的經(jīng)濟影響國內(nèi)大模型未來發(fā)展的挑戰(zhàn)人才挑戰(zhàn)：AI人才集中在美國·全球TOP2000頂級學者，美國占57%,谷歌微軟Meta占17%全球60%的AI人才在美國工作，其中三分之二來自國外，主要是中印算力挑戰(zhàn)：智算需求爆發(fā)式增長·GPT-5算力需求預計是GPT-4的9倍以上·美國禁令對國內(nèi)企業(yè)的算力需求產(chǎn)生較大影響目前國產(chǎn)訓練芯片僅有昇騰，且受限于產(chǎn)能和軟件生態(tài)數(shù)據(jù)挑戰(zhàn)：缺乏高質(zhì)量數(shù)據(jù)集·中文語料數(shù)據(jù)集占比低于5%,多元化不足，缺乏專用領(lǐng)域開源數(shù)據(jù)數(shù)據(jù)荒正在到來，全球高質(zhì)量語言數(shù)據(jù)預計在三年內(nèi)耗盡——Al權(quán)威學者吳恩達AIAI智能體是什么?實例：如何快速開發(fā)一個"兒童家庭教師"實例：如何快速開發(fā)一個"兒童家庭教師"AI智能體?1)兒童通過微信語音向智能體提問(感知)。2)智能體將語音轉(zhuǎn)成文字、并理解問題(行動)。3)智能體通過網(wǎng)絡搜索和知識庫獲取相關(guān)知識(學習)。5)智能體將文字轉(zhuǎn)化為語音，回答兒童的問題(行動)。AIAI智能體平臺是什么?過去5分鐘說了什么?