肖仰華：大模型時(shí)代的數(shù)據(jù)管理

肖仰華復(fù)旦大學(xué)知識(shí)工場(chǎng)實(shí)驗(yàn)室上海市數(shù)據(jù)科學(xué)重點(diǎn)實(shí)驗(yàn)室伴隨著我國(guó)數(shù)字經(jīng)濟(jì)的發(fā)展，數(shù)據(jù)要素在生產(chǎn)中的地位愈發(fā)重要，數(shù)據(jù)要素流動(dòng)所帶來(lái)的開(kāi)放性與動(dòng)態(tài)性問(wèn)題為傳統(tǒng)數(shù)據(jù)科數(shù)據(jù)成為生產(chǎn)要素?cái)?shù)字經(jīng)濟(jì)首次寫(xiě)入政府工作報(bào)告2020年4月部署，在《中共中央國(guó)務(wù)院關(guān)于構(gòu)建更加完善的要素市場(chǎng)化配置體制機(jī)制的意見(jiàn)》中，也將數(shù)據(jù)作為一種新型生成要素與土地、勞動(dòng)力、資本技術(shù)一起寫(xiě)入中央文件中2022年1月國(guó)務(wù)院發(fā)布《“十四五”數(shù)字經(jīng)濟(jì)發(fā)展規(guī)劃》,其中強(qiáng)調(diào)數(shù)據(jù)要素是數(shù)字經(jīng)濟(jì)深化發(fā)展的核心引擎，并提出到2025年將初步建立數(shù)據(jù)要素市場(chǎng)體系2023年2月 《數(shù)字中國(guó)建設(shè)整體布局規(guī)劃》,明確布局了數(shù)字中國(guó)建設(shè)的“2522”整體框架，其為“量大基礎(chǔ)”大數(shù)據(jù)首次寫(xiě)入政府工作報(bào)告2019年10月黨的十九屆四中全會(huì)首次將數(shù)據(jù)增列為生產(chǎn)要素范疇，與土地、勞動(dòng)力、資本、技術(shù)等傳統(tǒng)要素并列2020年10月黨的十九屆五中全會(huì)明確將“要素市場(chǎng)化配置”作為經(jīng)濟(jì)體制改革的重點(diǎn)，而此次全會(huì)審發(fā)展第十四個(gè)五年規(guī)劃和二○三五年遠(yuǎn)景目標(biāo)的建議》,也將“數(shù)據(jù)價(jià)值化”列為數(shù)字經(jīng)濟(jì)的新構(gòu)成2022年12月中共中央、國(guó)務(wù)院正式發(fā)布了《關(guān)于數(shù)據(jù)基礎(chǔ)制度更好發(fā)揮數(shù)據(jù)要素作用的意見(jiàn)》。這份被稱為 這個(gè)我國(guó)首份專門(mén)針對(duì)數(shù)據(jù)要素的基礎(chǔ)性文件中，提出了構(gòu)建數(shù)據(jù)產(chǎn)權(quán)、流通交易、收益分配、安全治理等制度，初步形成我國(guó)數(shù)據(jù)基礎(chǔ)制度的“四梁八柱”數(shù)據(jù)資源是有含義的數(shù)據(jù)集結(jié)到一定規(guī)模后形成的，是重要的現(xiàn)代戰(zhàn)略資源[1]。數(shù)據(jù)與土地、勞動(dòng)力、資本、技術(shù)等傳統(tǒng)要素并列成為五大生產(chǎn)要素之一[2]。[1]數(shù)據(jù)資產(chǎn)相關(guān)概念綜述葉雅珍，劉國(guó)華，朱揚(yáng)勇2019[2]《中共中央國(guó)務(wù)院關(guān)于構(gòu)建更加完善的要素市場(chǎng)化配置體制機(jī)制的意見(jiàn)》2020數(shù)據(jù)對(duì)其他生產(chǎn)要素的配置作用日益顯著其他四種要素都具有相對(duì)的獨(dú)立性。數(shù)據(jù)要素一方面可以將其他四要素作為來(lái)源，另一方面數(shù)據(jù)又可以反作用回其它四要素，只有多要素緊密耦合，才能創(chuàng)造更多的價(jià)值。土地有效盤(pán)活土地，推動(dòng)土地要素的優(yōu)化配置，引領(lǐng)土地要素可持續(xù)健康發(fā)展土地勞動(dòng)有效提高勞動(dòng)要素配置效率和勞動(dòng)生產(chǎn)率，提升傳統(tǒng)勞動(dòng)力對(duì)數(shù)據(jù)運(yùn)用的能勞動(dòng)力，同時(shí)也產(chǎn)生更多的數(shù)據(jù)，推動(dòng)數(shù)據(jù)要素的擴(kuò)張數(shù)據(jù)技術(shù)幫助研究人員挖掘分析現(xiàn)有技術(shù)中存在的問(wèn)題，以解決“卡脖子”難題，實(shí)現(xiàn)技術(shù)持續(xù)升級(jí)數(shù)據(jù)技術(shù)嚴(yán)宇.數(shù)據(jù)要素的現(xiàn)狀、價(jià)值與未來(lái)[J].企業(yè)經(jīng)濟(jì)，2023,42(11):116-122.圖表：2014-2021年中國(guó)數(shù)字經(jīng)濟(jì)454026.1%2520502014年27.5%2015年27.22016年2017年2018年2019年2020年2021年承擔(dān)的研究擬訂數(shù)字中國(guó)建設(shè)方案、協(xié)調(diào)國(guó)家數(shù)據(jù)局推動(dòng)公共服務(wù)和社會(huì)治理信息化、協(xié)調(diào)促國(guó)家數(shù)據(jù)局國(guó)家發(fā)展和改革委員會(huì)開(kāi)發(fā)利用與共享、推動(dòng)信息資源跨行業(yè)跨部門(mén)互聯(lián)互通等職責(zé)劃入承擔(dān)的統(tǒng)籌推進(jìn)數(shù)字經(jīng)濟(jì)發(fā)展、組織實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略、推進(jìn)數(shù)據(jù)要素基礎(chǔ)制度建設(shè)、推進(jìn)數(shù)字基礎(chǔ)設(shè)施布局建設(shè)等職責(zé)數(shù)據(jù)來(lái)源：中國(guó)信息通信研究院我國(guó)各行業(yè)的高質(zhì)量發(fā)展與數(shù)字化轉(zhuǎn)型對(duì)數(shù)據(jù)價(jià)值變現(xiàn)的理論與技術(shù)提出了迫切需求我國(guó)各行業(yè)的高質(zhì)量發(fā)展與數(shù)字化轉(zhuǎn)型對(duì)數(shù)據(jù)價(jià)值變現(xiàn)的理論與技術(shù)提出了迫切需求數(shù)據(jù)開(kāi)放數(shù)據(jù)·統(tǒng)計(jì)分析·模式挖掘·數(shù)據(jù)清洗·統(tǒng)計(jì)分析·模式挖掘·數(shù)據(jù)清洗數(shù)據(jù)數(shù)據(jù)整合很難，因?yàn)楸厝粫?huì)遇到要集成多個(gè)數(shù)據(jù)源的情況，其中沒(méi)有任何捷徑，得將數(shù)據(jù)進(jìn)行模糊匹配。而這一過(guò)程很復(fù)雜，也很難，但如果不這么做，數(shù)據(jù)分析就沒(méi)有意義，機(jī)器學(xué)習(xí)模型就會(huì)失效，這一切也就喪失了價(jià)值意義。所以現(xiàn)在的數(shù)據(jù)科學(xué)家大部——圖靈獎(jiǎng)得主數(shù)據(jù)治理體系遠(yuǎn)未形成，如數(shù)據(jù)資產(chǎn)地位的確立尚未達(dá)成共識(shí)、數(shù)據(jù)壁壘廣泛存在、法律法規(guī)發(fā)展滯后等等。如此種種因素，制約了數(shù)據(jù)資源中所蘊(yùn)含價(jià)值的挖掘與轉(zhuǎn)化。——中國(guó)科學(xué)院院士梅宏當(dāng)前，我國(guó)大數(shù)據(jù)產(chǎn)業(yè)在某些環(huán)節(jié)(如儲(chǔ)存)過(guò)于集中，有產(chǎn)能過(guò)剩之虞，但在分析與處理環(huán)節(jié)的產(chǎn)能又嚴(yán)重不足。同時(shí)，傳統(tǒng)統(tǒng)計(jì)學(xué)方法和數(shù)據(jù)挖掘方法對(duì)于大數(shù)據(jù)并不適用，必須重建大數(shù)據(jù)的統(tǒng)計(jì)學(xué)基礎(chǔ)、計(jì)算基礎(chǔ)與數(shù)據(jù)挖掘方法基礎(chǔ)。——中國(guó)科學(xué)院院士徐宗本數(shù)據(jù)價(jià)值仍然缺乏高效的激活手段世界日益復(fù)雜一個(gè)整車(chē)需要2萬(wàn)3萬(wàn)個(gè)零件，而每個(gè)零部件又需要一條上萬(wàn)個(gè)元器件組成的生產(chǎn)線，又涉及原材料的采集與加工等諸多流程，單從晶圓到芯片，就將經(jīng)歷700道工序。人類社會(huì)(人)人類社會(huì)利用自然生態(tài)帶來(lái)的資源，不斷設(shè)計(jì)、開(kāi)發(fā)、建設(shè)更為復(fù)雜的系統(tǒng)人造系統(tǒng)(機(jī))人造系統(tǒng)將人類社會(huì)的思維轉(zhuǎn)化成改變自然的力量，進(jìn)行各種復(fù)雜的動(dòng)作和工程 “如果組成系統(tǒng)的元素不僅數(shù)量大而且種類也很多，他們之間的關(guān)系又很復(fù)雜，并有多種層次結(jié)構(gòu)，這類系統(tǒng)成為復(fù)雜巨系統(tǒng)?！薄X(qián)學(xué)森自然生態(tài)(物)自然生態(tài)受到人造系統(tǒng)的影響，形成氣候、地理等各類不確定因素極強(qiáng)的變化，反饋給人類社會(huì)系統(tǒng)和數(shù)據(jù)日益復(fù)雜智谷公司主要生產(chǎn)設(shè)備登記表生產(chǎn)部現(xiàn)用設(shè)備明細(xì)表智谷公司主要生產(chǎn)設(shè)備登記表生產(chǎn)部現(xiàn)用設(shè)備明細(xì)表業(yè)務(wù)協(xié)同BOM采購(gòu)商信息發(fā)貨信息、詢價(jià)、發(fā)票、采購(gòu)計(jì)劃、供應(yīng)_采購(gòu)訂單、財(cái)務(wù)付款二項(xiàng)目計(jì)劃執(zhí)行發(fā)聵與費(fèi)用質(zhì)量信息、采購(gòu)到貨、材料領(lǐng)用、材料基礎(chǔ)數(shù)據(jù)庫(kù)存盤(pán)點(diǎn)數(shù)據(jù)等生產(chǎn)計(jì)劃、物料需求計(jì)劃>MES項(xiàng)目管理WMS分析數(shù)據(jù)、決策支持信采購(gòu)計(jì)劃、生產(chǎn)計(jì)劃及技術(shù)文件組織信息人員信息、工資信息SRM_績(jī)效信息完工反饋規(guī)格型號(hào)生產(chǎn)廠家入庫(kù)日期LenovoPC機(jī)M4600產(chǎn)品開(kāi)發(fā)和生產(chǎn)測(cè)試Lenovo筆記本V460產(chǎn)品開(kāi)發(fā)和生產(chǎn)測(cè)試Lenovo筆記本G450產(chǎn)品開(kāi)發(fā)和生產(chǎn)測(cè)試WH-500A芯片編程MSP430芯片編程超聲波塑料焊接機(jī)KEB-2018臺(tái)鉗ZJ4113A三相變壓器SG-4000VA生產(chǎn)調(diào)試激光打印機(jī)文檔打印激光打印機(jī)Lenovo.l180文檔打印DY/QR-CG-07-B/022014年5月供方名稱供方級(jí)別供所供產(chǎn)品審核人員南京聚降科技股份有因公塑料材料長(zhǎng)城電工科技股份有限公司漆包線王永廣2014年5月浙江麥高電子科技有限公司換向器王永廣2014年5月任丘市光明電碳有限公司2014年4月南京光明磁業(yè)有限公司王永廣2014年7月上海克拉電子有限公司電阻器模板2014年5月2014年7月溫州宋氏印刷包裝有限公司DY007外箱包裝王永廣2014年5月浙江光安標(biāo)準(zhǔn)件有限公司B類DYO082014年5月江蘇浩峰汽車(chē)附件有限公司DYO09調(diào)速電阻2014年5月2014年7月DY010軸承2014年5月2014年7月湖北開(kāi)特傳感技術(shù)有限公司DY011南京立漢化學(xué)有限公司B類DY012PP料2014年5月2014年8月歐利特電子工貿(mào)有限公司2014年5月貿(mào)易公司，無(wú)現(xiàn)場(chǎng)溫州市寶昌物資有限公司DY014金屬材料貿(mào)易公司，無(wú)現(xiàn)場(chǎng)杰特軸業(yè)有限公司王水廣2014年8月樂(lè)清市中亞無(wú)線電配件廠余列敏2014年8月工業(yè)系統(tǒng)眾多工業(yè)系統(tǒng)數(shù)據(jù)各式各樣工業(yè)系統(tǒng)眾多工業(yè)系統(tǒng)數(shù)據(jù)各式各樣數(shù)字經(jīng)濟(jì)時(shí)代·數(shù)據(jù)是生產(chǎn)要素·數(shù)據(jù)是產(chǎn)品·數(shù)據(jù)是資產(chǎn)大數(shù)據(jù)時(shí)代數(shù)據(jù)是發(fā)現(xiàn)規(guī)律、推動(dòng)創(chuàng)新的資源數(shù)據(jù)是對(duì)客觀世界的符號(hào)化記錄技術(shù)創(chuàng)新技術(shù)創(chuàng)新數(shù)據(jù)持續(xù)流動(dòng)的必要性：供求分析材料對(duì)比敏感度市場(chǎng)調(diào)研市場(chǎng)調(diào)研工藝優(yōu)化智能運(yùn)維數(shù)據(jù)流動(dòng)不暢的原因：運(yùn)力調(diào)度路徑規(guī)劃運(yùn)力調(diào)度路徑規(guī)劃數(shù)據(jù)的持續(xù)流動(dòng)對(duì)全鏈條、自動(dòng)化、智能化、高度協(xié)同的數(shù)據(jù)處理技術(shù)提出了要求要素主體權(quán)屬收益方式土地單一明確地租勞動(dòng)要素主體權(quán)屬收益方式土地單一明確地租勞動(dòng)單一明確工資資本多樣明確利息技術(shù)多樣明確利潤(rùn)數(shù)據(jù)眾多復(fù)雜?相對(duì)于傳統(tǒng)生產(chǎn)要素，數(shù)據(jù)權(quán)屬難以清晰界定數(shù)據(jù)運(yùn)營(yíng)者數(shù)據(jù)采集者數(shù)據(jù)加工者數(shù)據(jù)使用者數(shù)據(jù)在不同業(yè)務(wù)中的持續(xù)流通是實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的重要保障其他產(chǎn)權(quán)人數(shù)據(jù)要素的多方主體對(duì)數(shù)據(jù)權(quán)屬、安全可控提出了新的要求數(shù)據(jù)要素特征：開(kāi)放生態(tài)項(xiàng)目管理風(fēng)控年略運(yùn)兩p2p產(chǎn)品運(yùn)維RR數(shù)據(jù)統(tǒng)計(jì)數(shù)據(jù)統(tǒng)計(jì)商業(yè)運(yùn)營(yíng)與合作什政府監(jiān)管與服務(wù)l個(gè)人投資與學(xué)習(xí)數(shù)據(jù)只有經(jīng)過(guò)動(dòng)態(tài)處理才能形成增值，數(shù)據(jù)才能變成資產(chǎn)分析算法分析算法商業(yè)決策商業(yè)決策業(yè)務(wù)模型數(shù)據(jù)加工血-業(yè)務(wù)模型數(shù)據(jù)加工數(shù)據(jù)產(chǎn)品數(shù)據(jù)產(chǎn)品數(shù)據(jù)產(chǎn)品數(shù)據(jù)產(chǎn)品分析算法數(shù)據(jù)加工商業(yè)決策分析算法數(shù)據(jù)加工一次價(jià)值二次價(jià)值動(dòng)態(tài)增值大模型的開(kāi)發(fā)世界建模能力、語(yǔ)言認(rèn)知能力、數(shù)據(jù)理解能力、數(shù)據(jù)操控能力對(duì)于實(shí)現(xiàn)低成本、自動(dòng)化、智能化的數(shù)據(jù)管理帶來(lái)全新機(jī)遇蘊(yùn)含的知識(shí)考試方法和內(nèi)容相同 且還存在巨大的領(lǐng)域微 調(diào)空間且還存在巨大的領(lǐng)域微UMedicineTraditionalChineseMedicine(+1)ChineseMedicine(+13)Chinese&WesternMedicine(+2)ClinicalMedicine(+18)PublicHealth&PreventiveMedicine(+6)Dentistry(+2)BasicMedicine(+7)NursingSpecialityMedicinePharmacy(+6)LiteratureChineseLanguage&Literature(+8)ForeignLanguages&Literatures(+11)Journalism&Communication(+2)Language&LiteratureppliedEconomics(+10)TheoreticalEconomics(+6)CropScience(+2)VeterinaryMedicine(+3)AgriculturalResourceUtilization(+2)Horticulture(+3)Forestry(+7)PlantProtection(+3)Aquaculture(+3)AnimalHusbandry(+4)HerbologyHistoryofScience&Technology(+1)Chemistry(+5)Geophysics(+2)Geography(+3)Geology(+8)AtmosphericSciences(+2)Astronomy(+2)Mathematics(+5)MarineScience(+4)Physics(+8)EcologyBiology(+12)SystemsScience(+2)StatisticsJurisprudencePublicSecurityPoliticalScience(+8)Ethnology(+5)Law(+10)Sociology(+4)MarxistTheoryHistoryWorldHistoryHistoryofChinaHistory(+8)ArchaeologyArtStudiesTheatre&FilmStudiesFineArtArtTheoryDesignMusic&DanceAnEver-UpdatingBenchmarkforHolisticDomainKnowledgeEvaluationPhilosophy(+8)Kinesiology(+4)Psychology(+3)Pedagogy(+10)MilitaryPoliticalWork(+1)MilitaryLogisticsMilitarylogistics&equipmentscience(+3)MilitaryThought&MilitaryHistory(+2)MilitaryEquipmentStudiesMilitaryTrainingMilitarySystems(+2)MilitaryCommand(+6)CampaignStudies(+2)Tactics(+2)StrategicStudies(+2)ManagementManagementScience&Engineering(+1)PublicAdministration(+5)Agricultural&ForestryEconomic(+2)Library,IntelligenceArchivesManagement(+3)IndustrialEngineeringBusinessAdministration(+7)TourismManagementLogisticsManagement&EngineeringE-CommerceOpticalEngineering(+1)BiomedicalEngineering(+1)Traffic&TransportEngineering(+4)InstrumentScience&Technology(+2)Information&CommunicationEngineering(+2)|WeaponsScience&Technology(+4)AgriculturalEngineering(+4)MetallurgicalEngineering(+1)Mechanics(+4)Power&ThermophysicsEngineering(+6)ChemicalEngineering&Technology(+5)CivilEngineering(+6)GeologicalResources&Engineering(+3)Urban&RuralPlanningSafetyScience&EngineeringArchitecture(+4)ControlScience&Engineering(+5)MechanicalEngineering(+4)MaterialsScience&Engineering(+3)ForestryEngineering(+3)NuclearScience&Technology(+4)WaterResourcesEngineering(+5)MappingScience&Technology(+3)EnvironmentalScience&Engineering(+2)BioengineeringElectronicScience&Technology(+4)ElectricalEngineering(+5)Petroleum&NaturalGasEngineering(+3)MiningEngineering(+3)TextileScience&Engineering(+4)CyberspaceSecurityAerospaceScience&Technology(+4)Marine&OffshoreEngineering(+3)ComputerScience&Technology(+3)SoftwareEngineeringLightIndustryTechnology&Engineering(+4)Iron&SteelMetallurgy(+1)LandscapeArchitectureFoodScience&Engineering(+4)ModelsMMLU0-shot3-shot0-shot3-shotCEval0-shot1-shot3-shotM3KE0-shotXiezhi-Spec.-Chinese0-shot1-shot3-shot0-shot1-shot3-shot0-shot1-shot3-shotRandom-Guess0.0890.0890.0890890.0890.0890.0890.0890.0890.0890.0890.0890.0890.0890.0890.0890.089ForRankingcuteGPT-sft-7bchatglm2-6Bchatglm-6Bdoctorglm-6bmoss-base-16Bmoss-sft-16BChatGPTGPT-40.1320.1270.124T0.2000.1590.1820.1150.1410.1830.0970.0940.1090.1150.1040.1130.1410.1890.2090.1740.2150.2550.2420.1910.2200.1060.0950.0990.0960.0960.1120.0990.1090.1120.1060.1200.1240.0990.0790.0970.0690.0530.0430.1060.0590.0590.1240.0770.0800.1210.0580.0630.0710.0700.0590.0740.0840.0750.3600.2170.3610.4280.3050.4520.5170.3960.4340.4950.4630.5060.576大模型是人類認(rèn)知能力的引擎GPT-4等大規(guī)模生成式語(yǔ)言模型在“形式上”具備了人類思維的核心能力語(yǔ)言理解評(píng)估評(píng)價(jià)邏輯推理評(píng)估評(píng)價(jià)常識(shí)理解組合泛化常識(shí)理解組合泛化的能力山概念理解概念理解價(jià)值判斷價(jià)值判斷自識(shí)反思運(yùn)籌規(guī)劃問(wèn)題求解大模型的常識(shí)理解能力問(wèn)題求解大模型的常識(shí)理解能力語(yǔ)言是人類思維的工具，語(yǔ)言模型模擬了人腦思維能力語(yǔ)言是人類思維的工具，語(yǔ)言模型模擬了人腦思維能力大模型已經(jīng)不僅僅是語(yǔ)言/圖像數(shù)據(jù)處理與理解的基礎(chǔ)模型，更成為自治智能體的“大腦”語(yǔ)言理解自我控制長(zhǎng)期記憶自我管理自治智能體主動(dòng)學(xué)習(xí)復(fù)雜規(guī)劃CognitiveCapabilityEngineCommand適應(yīng)學(xué)習(xí)交互感知復(fù)雜決策ActuatorsAction·大模型中的知識(shí)儲(chǔ)備使其能夠認(rèn)知各類形式的數(shù)據(jù)，并且具備一定的理解能力·大模型的數(shù)據(jù)認(rèn)知能力是的自動(dòng)化的數(shù)據(jù)治理、數(shù)據(jù)管理成為可能現(xiàn)有以“姓名|性別|父親|母親|出生年月”為表頭的多行數(shù)據(jù)，請(qǐng)分析其中存在哪些常識(shí)錯(cuò)誤的數(shù)據(jù)質(zhì)Same現(xiàn)有以“姓名|性別|父親|母親|出生年月”為表頭的多行數(shù)據(jù)，請(qǐng)分析其中存在哪些常識(shí)錯(cuò)誤的數(shù)據(jù)質(zhì)SameRelation張三李四男|張三|李四|1980-1-1女|張三父|張三母|1978-1-1男|張三父|李四母|1958-1-1根據(jù)你給的數(shù)據(jù)，我發(fā)現(xiàn)了以下幾個(gè)常識(shí)錯(cuò)誤：●小明的母親李四的性別是男，這與常識(shí)不符。●張三的性別是女，但他是小明的父親，這與常識(shí)不符。·張三的出生年月是1978-1-1,但他的兒子小明的出生年月是1980-1-1,這意味著張三只有兩歲就生了小明，這與常識(shí)不符?！だ钏牡某錾暝率?958-1-1,但他的父親張三父和母親李四母的出生年月都沒(méi)有給出，這可能導(dǎo)致數(shù)據(jù)不完整或不一致。DiscoveredAnalogiesDiscoveredAnalogies大模型具備一定的schema理解能力使用大模型進(jìn)行數(shù)據(jù)治理SiyuYuanetal.ANALOGYKB:UnlockingAnalogicalReasoningofLanguageModelswithAMillion-scaleKnowledgeBase,ACL2024informationthatcouldbehelpfulforansweringthequestion.DIn-contextexample(s)Question:Whichpropertydothesetwoobjectshaveincommon?Options:(A)hard(B)bendableMetadata:'pid':329,'has_image':True,'grade':2,'subject':‘naturalscience','topic':'physics','category':"Materials','skill':'Comparepropertiesofobjects'Detectedtextintheimage:[(C[41,183],[131,183],[131,199],[41,199]],'rubbergloves'),(I[245,183],[313,183],[313,197],[245,197]),'rainboots')]SearchQuery:Commonmaterialpropertiesofjumpropeandrubberglovesloopnumber:2Here'sonesuggestionforthecommand:clickwith'backtosearch'.Pleaseusethissuggestionasareferenceandmakeyourownjudgement.Determinewhichnextcommandtouse,andrespondusingtheJSONformatspecifiedabove:{"thoughts":{"text":"Ifoundthematchingitemwithapricelowerthan$20.","reasoning":"Thefirstitem(B08G614B779)matchesthedescriptionandhasapriceof$4.99,whichislowerthan$20.","command":{"name":"click","args":{"tool_input":"BO8G14B779"}}Yang,H,Yue,S.andHe,Y.,2023.Auto-GPTforOnlineDecisionMakingYang,H,Yue,S.andHe,Y.,2023.Auto-GPTforOnlineDecisionMakingBenchmarksandAdditionalOpinions.arXiv:2306.02224models.arXiv:2304.09842.(自治智能體)使得自動(dòng)化數(shù)據(jù)操控成為可能，有望代替數(shù)據(jù)管理人員從事常規(guī)的數(shù)據(jù)管理工作，包括數(shù)據(jù)定義、管理、治理、分析。 ·DB/DM/DAAgent將極大解放繁重的數(shù)據(jù)運(yùn)維工作請(qǐng)以表格形式對(duì)比上海與北京最近10年每年8月份的平均請(qǐng)以表格形式對(duì)比上海與北京最近10年每年8月份的平均好的，我已進(jìn)行統(tǒng)計(jì)假設(shè)檢驗(yàn)并以表格形式展示對(duì)比結(jié)果：好的，我已進(jìn)行統(tǒng)計(jì)假設(shè)檢驗(yàn)并以表格形式展示對(duì)比結(jié)果：Nu假設(shè)HO:上海與北京8月平均溫度差異不顯著進(jìn)行兩樣本t檢驗(yàn)得出p值=0.016<0.05,拒絕原假設(shè)H0,接受備擇假設(shè)H1。在95%的置信水平下，可以認(rèn)為上海8月平均溫度顯著高于北京，兩地間存在顯著溫度差異。QueryErrorPerformanceFeedbackQueryTaskInterfaceDecompositionLLM-basedIntegrationActionResourceManagementDataAnalysisToolsStrategySelectionPlanningToolsMessageClaude大模型提供了“端到端”(無(wú)人干預(yù)，至少是無(wú)客戶干預(yù))大數(shù)據(jù)價(jià)值變現(xiàn)道路校驗(yàn)后處理用戶業(yè)務(wù)分析師AI模業(yè)務(wù)分析師業(yè)務(wù)邏輯結(jié)構(gòu)化結(jié)構(gòu)化數(shù)據(jù)工程師傳統(tǒng)大數(shù)據(jù)價(jià)值變現(xiàn)過(guò)程2.SimpleWealthgeneratedbydiffusion固Searchwsoogkcom面Plansliceswithyogurt.面UsediffusionmodelPromptEifedTower,watercolo)Stable2/Blendthebananapersonalfinance+CookingRobotpainting.基座大模型+插拔式組件”成為應(yīng)用形態(tài)基座大模型+插拔式組件”成為應(yīng)用形態(tài)QinY,HuS,LinY,etal.Toollearningwithfoundationmodels,arXiv:2304.08354大模型驅(qū)動(dòng)數(shù)據(jù)要素價(jià)值變現(xiàn)仍存在巨大挑戰(zhàn)大模型仍然難以勝任千行百業(yè)的嚴(yán)肅決策應(yīng)用，從開(kāi)放閑聊到復(fù)雜決策仍有漫長(zhǎng)道路··幻覺(jué)現(xiàn)象·缺乏領(lǐng)域忠實(shí)度·領(lǐng)域知識(shí)匱乏·解題能力有限·難以編輯控制·難以理解解釋·評(píng)測(cè)體系不完善·智能體難以適配場(chǎng)景·成本仍需降低豐富的應(yīng)用知識(shí)不確定場(chǎng)景的復(fù)雜的決策邏推斷能力輯斷、投資決策等嚴(yán)肅應(yīng)用場(chǎng)景復(fù)雜約束的取綜合任務(wù)的拆舍能力解能力精細(xì)嚴(yán)密的規(guī)劃能力宏觀態(tài)勢(shì)的研判能力未知事物的預(yù)見(jiàn)能力講個(gè)好笑的笑話好的，這是一個(gè)冷笑話：有一天，小明問(wèn)他的老師：“老師，您的衣服為什么這么亮?”老師回答：“因?yàn)槲覄倓傋隽艘淮纬?jí)洗衣!”小明很驚訝地說(shuō)：“什么是超級(jí)洗衣?”老師回答：“就是我把所有的衣服都放在洗衣機(jī)里，然后加入一包超級(jí)洗衣粉，再按下了'打雷'按鈕?！毙∶鞲永Щ罅?，他問(wèn)："'打雷'按鈕是干什么用的?”老師笑著回答：“當(dāng)然是讓衣服閃電干燥'啊!”哈哈哈，這是一個(gè)比較幽默的冷笑話，希望您喜歡。考試失敗了很難過(guò)怎么辦⑤考試失敗可能會(huì)讓人感到沮喪和失落，但是請(qǐng)記住，失敗并不意味著你一無(wú)是處。在這個(gè)時(shí)候，以下是一些建議：1.讓自己先冷靜下來(lái)?？荚囀】赡軙?huì)讓你感到情緒低落，但是請(qǐng)先靜下心來(lái)，讓自己冷靜下來(lái)，才能思考下一步該怎么做。2.尋求支持。如果你感到很難過(guò)，那么不要獨(dú)自承受這種情緒，可以向家人、朋友或者心理醫(yī)生等人尋求支持和幫助。3.思考失敗的原因?？荚囀〉脑蛴泻芏喾N可能，例如準(zhǔn)備不足、緊張、注意力不集中等。你可以認(rèn)真分析自己的不足之處，從而為下一次考試做好充分準(zhǔn)備。4.制定計(jì)劃。根據(jù)自己的不足之處，制定一個(gè)新的學(xué)習(xí)計(jì)劃，包括每天的學(xué)習(xí)任務(wù)、時(shí)間安排等。并保持積極的態(tài)度和耐心，慢慢地提高自己的水平。5.不要放棄。失敗并不是世界末日，要相信自己能夠成功。繼續(xù)努力，堅(jiān)持不懈地追求自己的目標(biāo)，你一定能夠取得成功的。希望這些建議能夠?qū)δ阌兴鶐椭?，記得要保持積極樂(lè)觀的態(tài)度，相信自己，未來(lái)會(huì)更美好!通用大模型仍然難以理解私域數(shù)據(jù)PARAMETERCONDITIONMINMAXUNITSNOTESSupplyVoltageVDDLocalPowerV1DataPinDQ-0.3+5.5V1Vcc+VLogic0VI-0.3+0.8VThermometerError-10℃to+85℃℃-55℃to+125℃VHLocalPowerParasitePowerVVn-0.3VSinkCurrentVuo-0.4V-4.0mA1StandbyCurrentActiveCurrent1mA4DQ-InputLoadCurrent55這是一個(gè)關(guān)于傳感器的數(shù)據(jù)，表格中每個(gè)數(shù)值的具體含義是?100私有性專業(yè)性私有性專業(yè)性其中：FACT_ORDERorderdateidFKordertimeidFKcustomeridFKproductiddecimalquantitydecimalunit_amountdecimaltotal_amountorder_date_idordertime_idDIM_DATEDIM_TIMEDIM_PRODUCTproduct_idhas_gst類別賬面價(jià)值金額比例(%)金額備26.71部門(mén)名稱部門(mén)地址姓名經(jīng)理職位最高月薪個(gè)人電話行政管理部劉備男總經(jīng)項(xiàng)金額項(xiàng)計(jì)提壞賬準(zhǔn)備26.71100.00行政管理部關(guān)羽男劉備副總經(jīng)理20000行政管理部張飛男劉備副總經(jīng)理20000按組合計(jì)提壞賬準(zhǔn)備73.2973.29合計(jì) 之間統(tǒng)計(jì)關(guān)聯(lián)，概率化語(yǔ)義(ID,Name)(ID,Name,Phone_Number)Goal:computetheprobabilityofasentenceorsequenceofwords:P(W)=P(w?,W?,W3,W?,W?…Wn)P(w?|w?,W?,W?,W?)Amodelthatcomputeseitherofthese:P(W)orP(wn|w?,W?…Wn-1)iscalledalanguagemodel.大模型擺脫了數(shù)據(jù)查詢的語(yǔ)義假設(shè) ·大模型：擺脫了對(duì)于CWA的假設(shè)，知之為知之，不知為不知database:database:·DB中不存在的事實(shí)即為假Knowledgebase:開(kāi)放世界假設(shè)(OWA)·不存在事實(shí)是未知的 ·異構(gòu)、異質(zhì)、不同(跨)模態(tài)數(shù)據(jù)都可以通過(guò)transformerTableTableVoiceVoiceVideo序列化FoundationModelsDownstreamtasks序列化AddAdd&AttentionAttentionAttentionInputsDataDataLake(s)StreamsModel(Agent)ImageAPlsRepositorySession/AgentRepositoryStreamsTaskCoordinatorTaskPlanners)AgentRegistry-AppsWebUICLIPythonAPIEnterpriseDataPlannerDataRegistryServices#process(a,b)input#process(a,b)inputtuple#writetooutputstreamcwrite(c,….)#writetooutputstreamdwrite(d,.….)outputstreaminputstreamoutputstreamp()ESERKANDOGANetal.ABlueprintArchitectureofCompoundAISystemsforEnterprise.arXiv:2406.00584大模型實(shí)現(xiàn)智能化的數(shù)據(jù)庫(kù)系統(tǒng)“運(yùn)檢維優(yōu)”據(jù)庫(kù)系統(tǒng)“運(yùn)檢維優(yōu)”大模型為數(shù)據(jù)庫(kù)系統(tǒng)專業(yè)化運(yùn)維故障檢索提供了價(jià)值變現(xiàn)的道路日志中頻繁出現(xiàn)連接拒絕的警告。如何調(diào)整連接池以應(yīng)對(duì)高并發(fā)請(qǐng)求?OpenGauss的性能監(jiān)控工具報(bào)告CPU使用率異常高，尤其是在執(zhí)行大量寫(xiě)入操作時(shí)。我應(yīng)該從哪些方面開(kāi)始排查?增加maxconnections參數(shù)以允許更多的并發(fā)連接。同時(shí)，優(yōu)化應(yīng)用程序的連接管理，確保連接在不使用時(shí)及時(shí)關(guān)閉。使用連接池技術(shù)可以更有效地管理數(shù)據(jù)庫(kù)連接，減少創(chuàng)建和銷毀連接的開(kāi)銷。檢查是否存在長(zhǎng)時(shí)間運(yùn)行的查詢或未優(yōu)化的SQL語(yǔ)句，可以maintenance_work_mem參數(shù)，以優(yōu)化寫(xiě)入操作的效率。這個(gè)問(wèn)題中pgstatactivity和pgstatstatements是PostgreSQLhttps://deepinoutcom/mysaql/mysgI-questions/142mysal_mysql_max_user_conections_vs_max_connections.html)/ask/80311330.html,/p/696651561·錯(cuò)誤推理復(fù)雜第八條因下列原因造成被保險(xiǎn)人身故、傷殘或醫(yī)療費(fèi)用支出的，保險(xiǎn)人不承擔(dān)給付保險(xiǎn)金責(zé)任：第八條因下列原因造成被保險(xiǎn)人身故、傷殘或醫(yī)療費(fèi)用支出的，保險(xiǎn)人不承擔(dān)給付保險(xiǎn)金責(zé)任：(六)被保險(xiǎn)人遵醫(yī)囑服用、涂用、注射藥物；1)拼寫(xiě)錯(cuò)誤名為第13位。2)值域錯(cuò)誤2)值域錯(cuò)誤姓名性別父親母親出生年月小明男張三李四1980-1-1張三女王五陳六1978-1-1李四男王五李好1958-1-13)邏輯錯(cuò)誤4)性別錯(cuò)誤、年齡錯(cuò)誤、常識(shí)錯(cuò)誤…戰(zhàn)!GeoFormer:對(duì)于不標(biāo)準(zhǔn)的地址文本數(shù)據(jù)問(wèn)題，引入了大模型+GeoTools的框架，利用了大模型的文本理解能力和使用工具的能力，實(shí)現(xiàn)了地址文本數(shù)據(jù)的清洗和規(guī)范化。標(biāo)準(zhǔn)地址庫(kù)地址映射模型距離計(jì)算Non-standardNon-standardaddress:Step2:CorrectOffsetStep2:CorrectOffsetToolselect標(biāo)準(zhǔn)Toolselect標(biāo)準(zhǔn)POI庫(kù)or映射模型API2,API2,API1描述函數(shù)調(diào)用道路數(shù)據(jù)方向和寬度鏈接成功標(biāo)準(zhǔn)化鏈接成功標(biāo)準(zhǔn)化標(biāo)準(zhǔn)POI庫(kù)標(biāo)準(zhǔn)地址標(biāo)準(zhǔn)地址S2tokenInputStep2OutputS2Step2OutputGeo-knowledgeQuerysimilarityrankOutputRankA海底撈(楊樹(shù)浦路店)Geocoding(121,50979,31.30102)Whereisthis?Geo-knowledgeAddressbase[SEP]Geo-knowledge[SEP]Geo-knowledgeOutputYESVNoXOutput廣場(chǎng)店)基于大模型驅(qū)動(dòng)的屬性值規(guī)范化●利用大模型的常識(shí)和容錯(cuò)能●利用大模型的常識(shí)和容錯(cuò)能力發(fā)現(xiàn)知識(shí)庫(kù)中的同義詞組·低資源場(chǎng)景下傳統(tǒng)模型需要大量的標(biāo)注數(shù)據(jù)，難以適用于屬性多、但候選值少的場(chǎng)景中；·如何降低大模型的使用成本實(shí)現(xiàn)同義詞組發(fā)現(xiàn)?·與傳統(tǒng)模型相結(jié)合，利用大模型對(duì)邊界示例的修正能力，糾正錯(cuò)誤詞組或補(bǔ)充缺失的詞組；attrvalueBeichenSociety個(gè)Do'female'and'lady'representthe<[people].gender,lady><[people].gender.female>_LLM-GuidederrordetectionsubjectJeryKira((OrePiece))Not:>predicateobjectboyTomCatJerryBeichenSocietyKira(《OnePiece》)Kira(《DehereathNote》)gendergendergenderheightbirthdate、height、0.793boynationalityinformationentropy+LLM(b)performingclusteringunisex0.781SQL查詢作為一種形式化語(yǔ)言，NL2SQL的本質(zhì)是模型將自然語(yǔ)言轉(zhuǎn)換為形式化語(yǔ)言的中間表示，再生成SQL查詢的過(guò)程Question:WhichteachersworkinNY?Showthenamesinalphabeticalorder.Database:LucyWong1JosephHuts11NYU2Stanford#4COMPARATIVE[#2,#3,=NY]#5SORT[#4,#4,asc]SELECT?NameWHERE{}ORDERBYASC(?Name)LucyWong使用大模型根據(jù)自然語(yǔ)言生成各種數(shù)據(jù)庫(kù)查詢語(yǔ)言使用大模型根據(jù)自然語(yǔ)言生成各種數(shù)據(jù)庫(kù)查詢語(yǔ)言(SQL、SPARQL、Cypher等)·GPT-4在數(shù)據(jù)查詢、統(tǒng)計(jì)圖表生成、數(shù)據(jù)結(jié)論分析以及文本閱讀理解等任務(wù)中都有接近人類分析師的表現(xiàn)，同時(shí)能夠大幅縮短分析時(shí)間，降·“GPT4的成本約為初級(jí)數(shù)據(jù)分析員成本的0.71%和高級(jí)數(shù)據(jù)分析員成本的0.45%。”aircraft.SQLQuerySELECTa.Aircraft,COUNT(m.Winning_Aircraft)aswinsFROMaircraftaJOINmatchmONa.Aircraft_ID=m.Winning_AircraftGROUPBYa.AircraftORDERBYwinsDESCFigureProportionofWinsbyAircraftmostsuccessfulaircraftinthedataset,witheachhaving2wins.andBell206B3JetRangereachhaveIwin,mak-ingthemlesssuccessfulcomparedtotheRobin-sonR-22andMilMi-26.accountfor50%ofthetotalwins,indicatingtheirdominanceinthecompetition.fromhelicoptersliketheCH-53ESuperStalliontosmalleraircraftliketheRobinsonR-22,show-casingthevarietyofwinningaircraft.thatcertainmodels,suchastheRobinsonR-22andMilMi-26,haveahigherlikelihoodofwin-ning,potentiallyduetotheirdesign,performance,orotherfactors.Ques