肖仰華：大模型時代的數(shù)據(jù)管理

肖仰華復(fù)旦大學(xué)知識工場實驗室上海市數(shù)據(jù)科學(xué)重點實驗室伴隨著我國數(shù)字經(jīng)濟的發(fā)展，數(shù)據(jù)要素在生產(chǎn)中的地位愈發(fā)重要，數(shù)據(jù)要素流動所帶來的開放性與動態(tài)性問題為傳統(tǒng)數(shù)據(jù)科數(shù)據(jù)成為生產(chǎn)要素數(shù)字經(jīng)濟首次寫入政府工作報告2020年4月部署，在《中共中央國務(wù)院關(guān)于構(gòu)建更加完善的要素市場化配置體制機制的意見》中，也將數(shù)據(jù)作為一種新型生成要素與土地、勞動力、資本技術(shù)一起寫入中央文件中2022年1月國務(wù)院發(fā)布《“十四五”數(shù)字經(jīng)濟發(fā)展規(guī)劃》,其中強調(diào)數(shù)據(jù)要素是數(shù)字經(jīng)濟深化發(fā)展的核心引擎，并提出到2025年將初步建立數(shù)據(jù)要素市場體系2023年2月 《數(shù)字中國建設(shè)整體布局規(guī)劃》,明確布局了數(shù)字中國建設(shè)的“2522”整體框架，其為“量大基礎(chǔ)”大數(shù)據(jù)首次寫入政府工作報告2019年10月黨的十九屆四中全會首次將數(shù)據(jù)增列為生產(chǎn)要素范疇，與土地、勞動力、資本、技術(shù)等傳統(tǒng)要素并列2020年10月黨的十九屆五中全會明確將“要素市場化配置”作為經(jīng)濟體制改革的重點，而此次全會審發(fā)展第十四個五年規(guī)劃和二○三五年遠景目標(biāo)的建議》,也將“數(shù)據(jù)價值化”列為數(shù)字經(jīng)濟的新構(gòu)成2022年12月中共中央、國務(wù)院正式發(fā)布了《關(guān)于數(shù)據(jù)基礎(chǔ)制度更好發(fā)揮數(shù)據(jù)要素作用的意見》。這份被稱為 這個我國首份專門針對數(shù)據(jù)要素的基礎(chǔ)性文件中，提出了構(gòu)建數(shù)據(jù)產(chǎn)權(quán)、流通交易、收益分配、安全治理等制度，初步形成我國數(shù)據(jù)基礎(chǔ)制度的“四梁八柱”數(shù)據(jù)資源是有含義的數(shù)據(jù)集結(jié)到一定規(guī)模后形成的，是重要的現(xiàn)代戰(zhàn)略資源[1]。數(shù)據(jù)與土地、勞動力、資本、技術(shù)等傳統(tǒng)要素并列成為五大生產(chǎn)要素之一[2]。[1]數(shù)據(jù)資產(chǎn)相關(guān)概念綜述葉雅珍，劉國華，朱揚勇2019[2]《中共中央國務(wù)院關(guān)于構(gòu)建更加完善的要素市場化配置體制機制的意見》2020數(shù)據(jù)對其他生產(chǎn)要素的配置作用日益顯著其他四種要素都具有相對的獨立性。數(shù)據(jù)要素一方面可以將其他四要素作為來源，另一方面數(shù)據(jù)又可以反作用回其它四要素，只有多要素緊密耦合，才能創(chuàng)造更多的價值。土地有效盤活土地，推動土地要素的優(yōu)化配置，引領(lǐng)土地要素可持續(xù)健康發(fā)展土地勞動有效提高勞動要素配置效率和勞動生產(chǎn)率，提升傳統(tǒng)勞動力對數(shù)據(jù)運用的能勞動力，同時也產(chǎn)生更多的數(shù)據(jù)，推動數(shù)據(jù)要素的擴張數(shù)據(jù)技術(shù)幫助研究人員挖掘分析現(xiàn)有技術(shù)中存在的問題，以解決“卡脖子”難題，實現(xiàn)技術(shù)持續(xù)升級數(shù)據(jù)技術(shù)嚴(yán)宇.數(shù)據(jù)要素的現(xiàn)狀、價值與未來[J].企業(yè)經(jīng)濟，2023,42(11):116-122.圖表：2014-2021年中國數(shù)字經(jīng)濟454026.1%2520502014年27.5%2015年27.22016年2017年2018年2019年2020年2021年承擔(dān)的研究擬訂數(shù)字中國建設(shè)方案、協(xié)調(diào)國家數(shù)據(jù)局推動公共服務(wù)和社會治理信息化、協(xié)調(diào)促國家數(shù)據(jù)局國家發(fā)展和改革委員會開發(fā)利用與共享、推動信息資源跨行業(yè)跨部門互聯(lián)互通等職責(zé)劃入承擔(dān)的統(tǒng)籌推進數(shù)字經(jīng)濟發(fā)展、組織實施國家大數(shù)據(jù)戰(zhàn)略、推進數(shù)據(jù)要素基礎(chǔ)制度建設(shè)、推進數(shù)字基礎(chǔ)設(shè)施布局建設(shè)等職責(zé)數(shù)據(jù)來源：中國信息通信研究院我國各行業(yè)的高質(zhì)量發(fā)展與數(shù)字化轉(zhuǎn)型對數(shù)據(jù)價值變現(xiàn)的理論與技術(shù)提出了迫切需求我國各行業(yè)的高質(zhì)量發(fā)展與數(shù)字化轉(zhuǎn)型對數(shù)據(jù)價值變現(xiàn)的理論與技術(shù)提出了迫切需求數(shù)據(jù)開放數(shù)據(jù)·統(tǒng)計分析·模式挖掘·數(shù)據(jù)清洗·統(tǒng)計分析·模式挖掘·數(shù)據(jù)清洗數(shù)據(jù)數(shù)據(jù)整合很難，因為必然會遇到要集成多個數(shù)據(jù)源的情況，其中沒有任何捷徑，得將數(shù)據(jù)進行模糊匹配。而這一過程很復(fù)雜，也很難，但如果不這么做，數(shù)據(jù)分析就沒有意義，機器學(xué)習(xí)模型就會失效，這一切也就喪失了價值意義。所以現(xiàn)在的數(shù)據(jù)科學(xué)家大部——圖靈獎得主數(shù)據(jù)治理體系遠未形成，如數(shù)據(jù)資產(chǎn)地位的確立尚未達成共識、數(shù)據(jù)壁壘廣泛存在、法律法規(guī)發(fā)展滯后等等。如此種種因素，制約了數(shù)據(jù)資源中所蘊含價值的挖掘與轉(zhuǎn)化。——中國科學(xué)院院士梅宏當(dāng)前，我國大數(shù)據(jù)產(chǎn)業(yè)在某些環(huán)節(jié)(如儲存)過于集中，有產(chǎn)能過剩之虞，但在分析與處理環(huán)節(jié)的產(chǎn)能又嚴(yán)重不足。同時，傳統(tǒng)統(tǒng)計學(xué)方法和數(shù)據(jù)挖掘方法對于大數(shù)據(jù)并不適用，必須重建大數(shù)據(jù)的統(tǒng)計學(xué)基礎(chǔ)、計算基礎(chǔ)與數(shù)據(jù)挖掘方法基礎(chǔ)。——中國科學(xué)院院士徐宗本數(shù)據(jù)價值仍然缺乏高效的激活手段世界日益復(fù)雜一個整車需要2萬3萬個零件，而每個零部件又需要一條上萬個元器件組成的生產(chǎn)線，又涉及原材料的采集與加工等諸多流程，單從晶圓到芯片，就將經(jīng)歷700道工序。人類社會(人)人類社會利用自然生態(tài)帶來的資源，不斷設(shè)計、開發(fā)、建設(shè)更為復(fù)雜的系統(tǒng)人造系統(tǒng)(機)人造系統(tǒng)將人類社會的思維轉(zhuǎn)化成改變自然的力量，進行各種復(fù)雜的動作和工程 “如果組成系統(tǒng)的元素不僅數(shù)量大而且種類也很多，他們之間的關(guān)系又很復(fù)雜，并有多種層次結(jié)構(gòu)，這類系統(tǒng)成為復(fù)雜巨系統(tǒng)?！薄X學(xué)森自然生態(tài)(物)自然生態(tài)受到人造系統(tǒng)的影響，形成氣候、地理等各類不確定因素極強的變化，反饋給人類社會系統(tǒng)和數(shù)據(jù)日益復(fù)雜智谷公司主要生產(chǎn)設(shè)備登記表生產(chǎn)部現(xiàn)用設(shè)備明細表智谷公司主要生產(chǎn)設(shè)備登記表生產(chǎn)部現(xiàn)用設(shè)備明細表業(yè)務(wù)協(xié)同BOM采購商信息發(fā)貨信息、詢價、發(fā)票、采購計劃、供應(yīng)_采購訂單、財務(wù)付款二項目計劃執(zhí)行發(fā)聵與費用質(zhì)量信息、采購到貨、材料領(lǐng)用、材料基礎(chǔ)數(shù)據(jù)庫存盤點數(shù)據(jù)等生產(chǎn)計劃、物料需求計劃>MES項目管理WMS分析數(shù)據(jù)、決策支持信采購計劃、生產(chǎn)計劃及技術(shù)文件組織信息人員信息、工資信息SRM_績效信息完工反饋規(guī)格型號生產(chǎn)廠家入庫日期LenovoPC機M4600產(chǎn)品開發(fā)和生產(chǎn)測試Lenovo筆記本V460產(chǎn)品開發(fā)和生產(chǎn)測試Lenovo筆記本G450產(chǎn)品開發(fā)和生產(chǎn)測試WH-500A芯片編程MSP430芯片編程超聲波塑料焊接機KEB-2018臺鉗ZJ4113A三相變壓器SG-4000VA生產(chǎn)調(diào)試激光打印機文檔打印激光打印機Lenovo.l180文檔打印DY/QR-CG-07-B/022014年5月供方名稱供方級別供所供產(chǎn)品審核人員南京聚降科技股份有因公塑料材料長城電工科技股份有限公司漆包線王永廣2014年5月浙江麥高電子科技有限公司換向器王永廣2014年5月任丘市光明電碳有限公司2014年4月南京光明磁業(yè)有限公司王永廣2014年7月上?？死娮佑邢薰倦娮杵髂０?014年5月2014年7月溫州宋氏印刷包裝有限公司DY007外箱包裝王永廣2014年5月浙江光安標(biāo)準(zhǔn)件有限公司B類DYO082014年5月江蘇浩峰汽車附件有限公司DYO09調(diào)速電阻2014年5月2014年7月DY010軸承2014年5月2014年7月湖北開特傳感技術(shù)有限公司DY011南京立漢化學(xué)有限公司B類DY012PP料2014年5月2014年8月歐利特電子工貿(mào)有限公司2014年5月貿(mào)易公司，無現(xiàn)場溫州市寶昌物資有限公司DY014金屬材料貿(mào)易公司，無現(xiàn)場杰特軸業(yè)有限公司王水廣2014年8月樂清市中亞無線電配件廠余列敏2014年8月工業(yè)系統(tǒng)眾多工業(yè)系統(tǒng)數(shù)據(jù)各式各樣工業(yè)系統(tǒng)眾多工業(yè)系統(tǒng)數(shù)據(jù)各式各樣數(shù)字經(jīng)濟時代·數(shù)據(jù)是生產(chǎn)要素·數(shù)據(jù)是產(chǎn)品·數(shù)據(jù)是資產(chǎn)大數(shù)據(jù)時代數(shù)據(jù)是發(fā)現(xiàn)規(guī)律、推動創(chuàng)新的資源數(shù)據(jù)是對客觀世界的符號化記錄技術(shù)創(chuàng)新技術(shù)創(chuàng)新數(shù)據(jù)持續(xù)流動的必要性：供求分析材料對比敏感度市場調(diào)研市場調(diào)研工藝優(yōu)化智能運維數(shù)據(jù)流動不暢的原因：運力調(diào)度路徑規(guī)劃運力調(diào)度路徑規(guī)劃數(shù)據(jù)的持續(xù)流動對全鏈條、自動化、智能化、高度協(xié)同的數(shù)據(jù)處理技術(shù)提出了要求要素主體權(quán)屬收益方式土地單一明確地租勞動要素主體權(quán)屬收益方式土地單一明確地租勞動單一明確工資資本多樣明確利息技術(shù)多樣明確利潤數(shù)據(jù)眾多復(fù)雜?相對于傳統(tǒng)生產(chǎn)要素，數(shù)據(jù)權(quán)屬難以清晰界定數(shù)據(jù)運營者數(shù)據(jù)采集者數(shù)據(jù)加工者數(shù)據(jù)使用者數(shù)據(jù)在不同業(yè)務(wù)中的持續(xù)流通是實現(xiàn)數(shù)據(jù)驅(qū)動的重要保障其他產(chǎn)權(quán)人數(shù)據(jù)要素的多方主體對數(shù)據(jù)權(quán)屬、安全可控提出了新的要求數(shù)據(jù)要素特征：開放生態(tài)項目管理風(fēng)控年略運兩p2p產(chǎn)品運維RR數(shù)據(jù)統(tǒng)計數(shù)據(jù)統(tǒng)計商業(yè)運營與合作什政府監(jiān)管與服務(wù)l個人投資與學(xué)習(xí)數(shù)據(jù)只有經(jīng)過動態(tài)處理才能形成增值，數(shù)據(jù)才能變成資產(chǎn)分析算法分析算法商業(yè)決策商業(yè)決策業(yè)務(wù)模型數(shù)據(jù)加工血-業(yè)務(wù)模型數(shù)據(jù)加工數(shù)據(jù)產(chǎn)品數(shù)據(jù)產(chǎn)品數(shù)據(jù)產(chǎn)品數(shù)據(jù)產(chǎn)品分析算法數(shù)據(jù)加工商業(yè)決策分析算法數(shù)據(jù)加工一次價值二次價值動態(tài)增值大模型的開發(fā)世界建模能力、語言認知能力、數(shù)據(jù)理解能力、數(shù)據(jù)操控能力對于實現(xiàn)低成本、自動化、智能化的數(shù)據(jù)管理帶來全新機遇蘊含的知識考試方法和內(nèi)容相同 且還存在巨大的領(lǐng)域微 調(diào)空間且還存在巨大的領(lǐng)域微UMedicineTraditionalChineseMedicine(+1)ChineseMedicine(+13)Chinese&WesternMedicine(+2)ClinicalMedicine(+18)PublicHealth&PreventiveMedicine(+6)Dentistry(+2)BasicMedicine(+7)NursingSpecialityMedicinePharmacy(+6)LiteratureChineseLanguage&Literature(+8)ForeignLanguages&Literatures(+11)Journalism&Communication(+2)Language&LiteratureppliedEconomics(+10)TheoreticalEconomics(+6)CropScience(+2)VeterinaryMedicine(+3)AgriculturalResourceUtilization(+2)Horticulture(+3)Forestry(+7)PlantProtection(+3)Aquaculture(+3)AnimalHusbandry(+4)HerbologyHistoryofScience&Technology(+1)Chemistry(+5)Geophysics(+2)Geography(+3)Geology(+8)AtmosphericSciences(+2)Astronomy(+2)Mathematics(+5)MarineScience(+4)Physics(+8)EcologyBiology(+12)SystemsScience(+2)StatisticsJurisprudencePublicSecurityPoliticalScience(+8)Ethnology(+5)Law(+10)Sociology(+4)MarxistTheoryHistoryWorldHistoryHistoryofChinaHistory(+8)ArchaeologyArtStudiesTheatre&FilmStudiesFineArtArtTheoryDesignMusic&DanceAnEver-UpdatingBenchmarkforHolisticDomainKnowledgeEvaluationPhilosophy(+8)Kinesiology(+4)Psychology(+3)Pedagogy(+10)MilitaryPoliticalWork(+1)MilitaryLogisticsMilitarylogistics&equipmentscience(+3)MilitaryThought&MilitaryHistory(+2)MilitaryEquipmentStudiesMilitaryTrainingMilitarySystems(+2)MilitaryCommand(+6)CampaignStudies(+2)Tactics(+2)StrategicStudies(+2)ManagementManagementScience&Engineering(+1)PublicAdministration(+5)Agricultural&ForestryEconomic(+2)Library,IntelligenceArchivesManagement(+3)IndustrialEngineeringBusinessAdministration(+7)TourismManagementLogisticsManagement&EngineeringE-CommerceOpticalEngineering(+1)BiomedicalEngineering(+1)Traffic&TransportEngineering(+4)InstrumentScience&Technology(+2)Information&CommunicationEngineering(+2)|WeaponsScience&Technology(+4)AgriculturalEngineering(+4)MetallurgicalEngineering(+1)Mechanics(+4)Power&ThermophysicsEngineering(+6)ChemicalEngineering&Technology(+5)CivilEngineering(+6)GeologicalResources&Engineering(+3)Urban&RuralPlanningSafetyScience&EngineeringArchitecture(+4)ControlScience&Engineering(+5)MechanicalEngineering(+4)MaterialsScience&Engineering(+3)ForestryEngineering(+3)NuclearScience&Technology(+4)WaterResourcesEngineering(+5)MappingScience&Technology(+3)EnvironmentalScience&Engineering(+2)BioengineeringElectronicScience&Technology(+4)ElectricalEngineering(+5)Petroleum&NaturalGasEngineering(+3)MiningEngineering(+3)TextileScience&Engineering(+4)CyberspaceSecurityAerospaceScience&Technology(+4)Marine&OffshoreEngineering(+3)ComputerScience&Technology(+3)SoftwareEngineeringLightIndustryTechnology&Engineering(+4)Iron&SteelMetallurgy(+1)LandscapeArchitectureFoodScience&Engineering(+4)ModelsMMLU0-shot3-shot0-shot3-shotCEval0-shot1-shot3-shotM3KE0-shotXiezhi-Spec.-Chinese0-shot1-shot3-shot0-shot1-shot3-shot0-shot1-shot3-shotRandom-Guess0.0890.0890.0890890.0890.0890.0890.0890.0890.0890.0890.0890.0890.0890.0890.0890.089ForRankingcuteGPT-sft-7bchatglm2-6Bchatglm-6Bdoctorglm-6bmoss-base-16Bmoss-sft-16BChatGPTGPT-40.1320.1270.124T0.2000.1590.1820.1150.1410.1830.0970.0940.1090.1150.1040.1130.1410.1890.2090.1740.2150.2550.2420.1910.2200.1060.0950.0990.0960.0960.1120.0990.1090.1120.1060.1200.1240.0990.0790.0970.0690.0530.0430.1060.0590.0590.1240.0770.0800.1210.0580.0630.0710.0700.0590.0740.0840.0750.3600.2170.3610.4280.3050.4520.5170.3960.4340.4950.4630.5060.576大模型是人類認知能力的引擎GPT-4等大規(guī)模生成式語言模型在“形式上”具備了人類思維的核心能力語言理解評估評價邏輯推理評估評價常識理解組合泛化常識理解組合泛化的能力山概念理解概念理解價值判斷價值判斷自識反思運籌規(guī)劃問題求解大模型的常識理解能力問題求解大模型的常識理解能力語言是人類思維的工具，語言模型模擬了人腦思維能力語言是人類思維的工具，語言模型模擬了人腦思維能力大模型已經(jīng)不僅僅是語言/圖像數(shù)據(jù)處理與理解的基礎(chǔ)模型，更成為自治智能體的“大腦”語言理解自我控制長期記憶自我管理自治智能體主動學(xué)習(xí)復(fù)雜規(guī)劃CognitiveCapabilityEngineCommand適應(yīng)學(xué)習(xí)交互感知復(fù)雜決策ActuatorsAction·大模型中的知識儲備使其能夠認知各類形式的數(shù)據(jù)，并且具備一定的理解能力·大模型的數(shù)據(jù)認知能力是的自動化的數(shù)據(jù)治理、數(shù)據(jù)管理成為可能現(xiàn)有以“姓名|性別|父親|母親|出生年月”為表頭的多行數(shù)據(jù)，請分析其中存在哪些常識錯誤的數(shù)據(jù)質(zhì)Same現(xiàn)有以“姓名|性別|父親|母親|出生年月”為表頭的多行數(shù)據(jù)，請分析其中存在哪些常識錯誤的數(shù)據(jù)質(zhì)SameRelation張三李四男|張三|李四|1980-1-1女|張三父|張三母|1978-1-1男|張三父|李四母|1958-1-1根據(jù)你給的數(shù)據(jù)，我發(fā)現(xiàn)了以下幾個常識錯誤：●小明的母親李四的性別是男，這與常識不符?！駨埲男詣e是女，但他是小明的父親，這與常識不符。·張三的出生年月是1978-1-1,但他的兒子小明的出生年月是1980-1-1,這意味著張三只有兩歲就生了小明，這與常識不符?！だ钏牡某錾暝率?958-1-1,但他的父親張三父和母親李四母的出生年月都沒有給出，這可能導(dǎo)致數(shù)據(jù)不完整或不一致。DiscoveredAnalogiesDiscoveredAnalogies大模型具備一定的schema理解能力使用大模型進行數(shù)據(jù)治理SiyuYuanetal.ANALOGYKB:UnlockingAnalogicalReasoningofLanguageModelswithAMillion-scaleKnowledgeBase,ACL2024informationthatcouldbehelpfulforansweringthequestion.DIn-contextexample(s)Question:Whichpropertydothesetwoobjectshaveincommon?Options:(A)hard(B)bendableMetadata:'pid':329,'has_image':True,'grade':2,'subject':‘naturalscience','topic':'physics','category':"Materials','skill':'Comparepropertiesofobjects'Detectedtextintheimage:[(C[41,183],[131,183],[131,199],[41,199]],'rubbergloves'),(I[245,183],[313,183],[313,197],[245,197]),'rainboots')]SearchQuery:Commonmaterialpropertiesofjumpropeandrubberglovesloopnumber:2Here'sonesuggestionforthecommand:clickwith'backtosearch'.Pleaseusethissuggestionasareferenceandmakeyourownjudgement.Determinewhichnextcommandtouse,andrespondusingtheJSONformatspecifiedabove:{"thoughts":{"text":"Ifoundthematchingitemwithapricelowerthan$20.","reasoning":"Thefirstitem(B08G614B779)matchesthedescriptionandhasapriceof$4.99,whichislowerthan$20.","command":{"name":"click","args":{"tool_input":"BO8G14B779"}}Yang,H,Yue,S.andHe,Y.,2023.Auto-GPTforOnlineDecisionMakingYang,H,Yue,S.andHe,Y.,2023.Auto-GPTforOnlineDecisionMakingBenchmarksandAdditionalOpinions.arXiv:2306.02224models.arXiv:2304.09842.(自治智能體)使得自動化數(shù)據(jù)操控成為可能，有望代替數(shù)據(jù)管理人員從事常規(guī)的數(shù)據(jù)管理工作，包括數(shù)據(jù)定義、管理、治理、分析。 ·DB/DM/DAAgent將極大解放繁重的數(shù)據(jù)運維工作請以表格形式對比上海與北京最近10年每年8月份的平均請以表格形式對比上海與北京最近10年每年8月份的平均好的，我已進行統(tǒng)計假設(shè)檢驗并以表格形式展示對比結(jié)果：好的，我已進行統(tǒng)計假設(shè)檢驗并以表格形式展示對比結(jié)果：Nu假設(shè)HO:上海與北京8月平均溫度差異不顯著進行兩樣本t檢驗得出p值=0.016<0.05,拒絕原假設(shè)H0,接受備擇假設(shè)H1。在95%的置信水平下，可以認為上海8月平均溫度顯著高于北京，兩地間存在顯著溫度差異。QueryErrorPerformanceFeedbackQueryTaskInterfaceDecompositionLLM-basedIntegrationActionResourceManagementDataAnalysisToolsStrategySelectionPlanningToolsMessageClaude大模型提供了“端到端”(無人干預(yù)，至少是無客戶干預(yù))大數(shù)據(jù)價值變現(xiàn)道路校驗后處理用戶業(yè)務(wù)分析師AI模業(yè)務(wù)分析師業(yè)務(wù)邏輯結(jié)構(gòu)化結(jié)構(gòu)化數(shù)據(jù)工程師傳統(tǒng)大數(shù)據(jù)價值變現(xiàn)過程2.SimpleWealthgeneratedbydiffusion固Searchwsoogkcom面Plansliceswithyogurt.面UsediffusionmodelPromptEifedTower,watercolo)Stable2/Blendthebananapersonalfinance+CookingRobotpainting.基座大模型+插拔式組件”成為應(yīng)用形態(tài)基座大模型+插拔式組件”成為應(yīng)用形態(tài)QinY,HuS,LinY,etal.Toollearningwithfoundationmodels,arXiv:2304.08354大模型驅(qū)動數(shù)據(jù)要素價值變現(xiàn)仍存在巨大挑戰(zhàn)大模型仍然難以勝任千行百業(yè)的嚴(yán)肅決策應(yīng)用，從開放閑聊到復(fù)雜決策仍有漫長道路··幻覺現(xiàn)象·缺乏領(lǐng)域忠實度·領(lǐng)域知識匱乏·解題能力有限·難以編輯控制·難以理解解釋·評測體系不完善·智能體難以適配場景·成本仍需降低豐富的應(yīng)用知識不確定場景的復(fù)雜的決策邏推斷能力輯斷、投資決策等嚴(yán)肅應(yīng)用場景復(fù)雜約束的取綜合任務(wù)的拆舍能力解能力精細嚴(yán)密的規(guī)劃能力宏觀態(tài)勢的研判能力未知事物的預(yù)見能力講個好笑的笑話好的，這是一個冷笑話：有一天，小明問他的老師：“老師，您的衣服為什么這么亮?”老師回答：“因為我剛剛做了一次超級洗衣!”小明很驚訝地說：“什么是超級洗衣?”老師回答：“就是我把所有的衣服都放在洗衣機里，然后加入一包超級洗衣粉，再按下了'打雷'按鈕?！毙∶鞲永Щ罅耍麊枺?'打雷'按鈕是干什么用的?”老師笑著回答：“當(dāng)然是讓衣服閃電干燥'啊!”哈哈哈，這是一個比較幽默的冷笑話，希望您喜歡。考試失敗了很難過怎么辦⑤考試失敗可能會讓人感到沮喪和失落，但是請記住，失敗并不意味著你一無是處。在這個時候，以下是一些建議：1.讓自己先冷靜下來。考試失敗可能會讓你感到情緒低落，但是請先靜下心來，讓自己冷靜下來，才能思考下一步該怎么做。2.尋求支持。如果你感到很難過，那么不要獨自承受這種情緒，可以向家人、朋友或者心理醫(yī)生等人尋求支持和幫助。3.思考失敗的原因?？荚囀〉脑蛴泻芏喾N可能，例如準(zhǔn)備不足、緊張、注意力不集中等。你可以認真分析自己的不足之處，從而為下一次考試做好充分準(zhǔn)備。4.制定計劃。根據(jù)自己的不足之處，制定一個新的學(xué)習(xí)計劃，包括每天的學(xué)習(xí)任務(wù)、時間安排等。并保持積極的態(tài)度和耐心，慢慢地提高自己的水平。5.不要放棄。失敗并不是世界末日，要相信自己能夠成功。繼續(xù)努力，堅持不懈地追求自己的目標(biāo)，你一定能夠取得成功的。希望這些建議能夠?qū)δ阌兴鶐椭?，記得要保持積極樂觀的態(tài)度，相信自己，未來會更美好!通用大模型仍然難以理解私域數(shù)據(jù)PARAMETERCONDITIONMINMAXUNITSNOTESSupplyVoltageVDDLocalPowerV1DataPinDQ-0.3+5.5V1Vcc+VLogic0VI-0.3+0.8VThermometerError-10℃to+85℃℃-55℃to+125℃VHLocalPowerParasitePowerVVn-0.3VSinkCurrentVuo-0.4V-4.0mA1StandbyCurrentActiveCurrent1mA4DQ-InputLoadCurrent55這是一個關(guān)于傳感器的數(shù)據(jù)，表格中每個數(shù)值的具體含義是?100私有性專業(yè)性私有性專業(yè)性其中：FACT_ORDERorderdateidFKordertimeidFKcustomeridFKproductiddecimalquantitydecimalunit_amountdecimaltotal_amountorder_date_idordertime_idDIM_DATEDIM_TIMEDIM_PRODUCTproduct_idhas_gst類別賬面價值金額比例(%)金額備26.71部門名稱部門地址姓名經(jīng)理職位最高月薪個人電話行政管理部劉備男總經(jīng)項金額項計提壞賬準(zhǔn)備26.71100.00行政管理部關(guān)羽男劉備副總經(jīng)理20000行政管理部張飛男劉備副總經(jīng)理20000按組合計提壞賬準(zhǔn)備73.2973.29合計 之間統(tǒng)計關(guān)聯(lián)，概率化語義(ID,Name)(ID,Name,Phone_Number)Goal:computetheprobabilityofasentenceorsequenceofwords:P(W)=P(w?,W?,W3,W?,W?…Wn)P(w?|w?,W?,W?,W?)Amodelthatcomputeseitherofthese:P(W)orP(wn|w?,W?…Wn-1)iscalledalanguagemodel.大模型擺脫了數(shù)據(jù)查詢的語義假設(shè) ·大模型：擺脫了對于CWA的假設(shè)，知之為知之，不知為不知database:database:·DB中不存在的事實即為假Knowledgebase:開放世界假設(shè)(OWA)·不存在事實是未知的 ·異構(gòu)、異質(zhì)、不同(跨)模態(tài)數(shù)據(jù)都可以通過transformerTableTableVoiceVoiceVideo序列化FoundationModelsDownstreamtasks序列化AddAdd&AttentionAttentionAttentionInputsDataDataLake(s)StreamsModel(Agent)ImageAPlsRepositorySession/AgentRepositoryStreamsTaskCoordinatorTaskPlanners)AgentRegistry-AppsWebUICLIPythonAPIEnterpriseDataPlannerDataRegistryServices#process(a,b)input#process(a,b)inputtuple#writetooutputstreamcwrite(c,….)#writetooutputstreamdwrite(d,.….)outputstreaminputstreamoutputstreamp()ESERKANDOGANetal.ABlueprintArchitectureofCompoundAISystemsforEnterprise.arXiv:2406.00584大模型實現(xiàn)智能化的數(shù)據(jù)庫系統(tǒng)“運檢維優(yōu)”據(jù)庫系統(tǒng)“運檢維優(yōu)”大模型為數(shù)據(jù)庫系統(tǒng)專業(yè)化運維故障檢索提供了價值變現(xiàn)的道路日志中頻繁出現(xiàn)連接拒絕的警告。如何調(diào)整連接池以應(yīng)對高并發(fā)請求?OpenGauss的性能監(jiān)控工具報告CPU使用率異常高，尤其是在執(zhí)行大量寫入操作時。我應(yīng)該從哪些方面開始排查?增加maxconnections參數(shù)以允許更多的并發(fā)連接。同時，優(yōu)化應(yīng)用程序的連接管理，確保連接在不使用時及時關(guān)閉。使用連接池技術(shù)可以更有效地管理數(shù)據(jù)庫連接，減少創(chuàng)建和銷毀連接的開銷。檢查是否存在長時間運行的查詢或未優(yōu)化的SQL語句，可以maintenance_work_mem參數(shù)，以優(yōu)化寫入操作的效率。這個問題中pgstatactivity和pgstatstatements是PostgreSQLhttps://deepinoutcom/mysaql/mysgI-questions/142mysal_mysql_max_user_conections_vs_max_connections.html)/ask/80311330.html,/p/696651561·錯誤推理復(fù)雜第八條因下列原因造成被保險人身故、傷殘或醫(yī)療費用支出的，保險人不承擔(dān)給付保險金責(zé)任：第八條因下列原因造成被保險人身故、傷殘或醫(yī)療費用支出的，保險人不承擔(dān)給付保險金責(zé)任：(六)被保險人遵醫(yī)囑服用、涂用、注射藥物；1)拼寫錯誤名為第13位。2)值域錯誤2)值域錯誤姓名性別父親母親出生年月小明男張三李四1980-1-1張三女王五陳六1978-1-1李四男王五李好1958-1-13)邏輯錯誤4)性別錯誤、年齡錯誤、常識錯誤…戰(zhàn)!GeoFormer:對于不標(biāo)準(zhǔn)的地址文本數(shù)據(jù)問題，引入了大模型+GeoTools的框架，利用了大模型的文本理解能力和使用工具的能力，實現(xiàn)了地址文本數(shù)據(jù)的清洗和規(guī)范化。標(biāo)準(zhǔn)地址庫地址映射模型距離計算Non-standardNon-standardaddress:Step2:CorrectOffsetStep2:CorrectOffsetToolselect標(biāo)準(zhǔn)Toolselect標(biāo)準(zhǔn)POI庫or映射模型API2,API2,API1描述函數(shù)調(diào)用道路數(shù)據(jù)方向和寬度鏈接成功標(biāo)準(zhǔn)化鏈接成功標(biāo)準(zhǔn)化標(biāo)準(zhǔn)POI庫標(biāo)準(zhǔn)地址標(biāo)準(zhǔn)地址S2tokenInputStep2OutputS2Step2OutputGeo-knowledgeQuerysimilarityrankOutputRankA海底撈(楊樹浦路店)Geocoding(121,50979,31.30102)Whereisthis?Geo-knowledgeAddressbase[SEP]Geo-knowledge[SEP]Geo-knowledgeOutputYESVNoXOutput廣場店)基于大模型驅(qū)動的屬性值規(guī)范化●利用大模型的常識和容錯能●利用大模型的常識和容錯能力發(fā)現(xiàn)知識庫中的同義詞組·低資源場景下傳統(tǒng)模型需要大量的標(biāo)注數(shù)據(jù)，難以適用于屬性多、但候選值少的場景中；·如何降低大模型的使用成本實現(xiàn)同義詞組發(fā)現(xiàn)?·與傳統(tǒng)模型相結(jié)合，利用大模型對邊界示例的修正能力，糾正錯誤詞組或補充缺失的詞組；attrvalueBeichenSociety個Do'female'and'lady'representthe<[people].gender,lady><[people].gender.female>_LLM-GuidederrordetectionsubjectJeryKira((OrePiece))Not:>predicateobjectboyTomCatJerryBeichenSocietyKira(《OnePiece》)Kira(《DehereathNote》)gendergendergenderheightbirthdate、height、0.793boynationalityinformationentropy+LLM(b)performingclusteringunisex0.781SQL查詢作為一種形式化語言，NL2SQL的本質(zhì)是模型將自然語言轉(zhuǎn)換為形式化語言的中間表示，再生成SQL查詢的過程Question:WhichteachersworkinNY?Showthenamesinalphabeticalorder.Database:LucyWong1JosephHuts11NYU2Stanford#4COMPARATIVE[#2,#3,=NY]#5SORT[#4,#4,asc]SELECT?NameWHERE{}ORDERBYASC(?Name)LucyWong使用大模型根據(jù)自然語言生成各種數(shù)據(jù)庫查詢語言使用大模型根據(jù)自然語言生成各種數(shù)據(jù)庫查詢語言(SQL、SPARQL、Cypher等)·GPT-4在數(shù)據(jù)查詢、統(tǒng)計圖表生成、數(shù)據(jù)結(jié)論分析以及文本閱讀理解等任務(wù)中都有接近人類分析師的表現(xiàn)，同時能夠大幅縮短分析時間，降·“GPT4的成本約為初級數(shù)據(jù)分析員成本的0.71%和高級數(shù)據(jù)分析員成本的0.45%?！盿ircraft.SQLQuerySELECTa.Aircraft,COUNT(m.Winning_Aircraft)aswinsFROMaircraftaJOINmatchmONa.Aircraft_ID=m.Winning_AircraftGROUPBYa.AircraftORDERBYwinsDESCFigureProportionofWinsbyAircraftmostsuccessfulaircraftinthedataset,witheachhaving2wins.andBell206B3JetRangereachhaveIwin,mak-ingthemlesssuccessfulcomparedtotheRobin-sonR-22andMilMi-26.accountfor50%ofthetotalwins,indicatingtheirdominanceinthecompetition.fromhelicoptersliketheCH-53ESuperStalliontosmalleraircraftliketheRobinsonR-22,show-casingthevarietyofwinningaircraft.thatcertainmodels,suchastheRobinsonR-22andMilMi-26,haveahigherlikelihoodofwin-ning,potentiallyduetotheirdesign,performance,orotherfactors.Ques