朱潔-大模型時代數(shù)據(jù)庫技術(shù)創(chuàng)新

j百度智能云百度智能云數(shù)據(jù)庫產(chǎn)品總架構(gòu)師個人著作個人著作《大數(shù)據(jù)架構(gòu)詳解》獲得2017電子工業(yè)出版社優(yōu)秀作者獎公眾號公眾號《大數(shù)據(jù)和云計算技術(shù)》01數(shù)據(jù)庫與大模型目錄目錄數(shù)據(jù)庫與大模型4j百度智能云數(shù)據(jù)庫行業(yè)發(fā)展史概覽j百度智能云大型機(jī)大型機(jī)科學(xué)研究數(shù)據(jù)庫層次數(shù)據(jù)庫數(shù)據(jù)庫層次數(shù)據(jù)庫大型商業(yè)應(yīng)用大型商業(yè)應(yīng)用關(guān)系型數(shù)據(jù)庫企業(yè)信息化ERP/CRM/財務(wù)企業(yè)BI個人辦公個人娛樂關(guān)系型數(shù)據(jù)庫數(shù)據(jù)倉庫Teradata媒體搜索社交開源數(shù)據(jù)庫開源數(shù)據(jù)庫新媒體移動App云計算物聯(lián)網(wǎng)在線辦公、教育娛樂、短視頻云數(shù)據(jù)庫分布式數(shù)據(jù)庫AuroraOceanbaseCockroachDBGaiaDBAI原生應(yīng)用Jasper微軟copilot大模型二次激發(fā)了數(shù)據(jù)庫和AI的結(jié)合j百度智能云數(shù)據(jù)庫智能駕駛艙數(shù)據(jù)庫智能駕駛艙j百度智能云大模型最新技術(shù)棧j百度智能云各種App各種App私有知識庫互聯(lián)網(wǎng)，金融，多媒體各種Agent客服，銷售數(shù)據(jù)庫智能駕駛艙數(shù)據(jù)庫智能駕駛艙低代碼態(tài)開發(fā)代碼態(tài)開發(fā)大模型精調(diào)，部署相關(guān)工具鏈8j百度智能云j百度智能云相似度檢索語義搜索文本和向量混合檢索?多路召回，排序模型檢索結(jié)果給大模型總結(jié)矢百矢百數(shù)據(jù)提取websiteDatabase文檔音頻文檔視頻數(shù)據(jù)索引?按固定大小?text-embedding-3檢索?專有名詞處理?針對場景優(yōu)化搜索推薦copilotj百度智能云j百度智能云?性能好，尤其是響應(yīng)時延更好?復(fù)雜問題，安全問題處理更好j百度智能云j百度智能云基于大模型的推理能力，搭配向量數(shù)據(jù)庫統(tǒng)一的客戶向量數(shù)據(jù)全生命周期管理?針對私域數(shù)據(jù)的向量標(biāo)量混合檢索?復(fù)雜的向量和標(biāo)量混合查詢條件支持?支持私有化部署，集群小型化部署j百度智能云傳統(tǒng)數(shù)據(jù)庫支持向量的缺陷j百度智能云全棧LLM開發(fā)/全棧LLM開發(fā)/?支持主流的LLMs框架集成開發(fā)?集成百度千帆Embedding模型，基于百度中文語料并加入知識圖譜進(jìn)行訓(xùn)練，中文實(shí)體和短語性能好海量向量存儲/?分布式架構(gòu)，支持百億級向量規(guī)模和十萬級分片數(shù)量?同時支持向量數(shù)據(jù)和標(biāo)量數(shù)據(jù)?支持4096維的高維向量?支持向量索引量化壓縮j百度智能云高性能訪問高性能訪問/?支持HNSW/Puck/PQ等高性能算法?毫秒級ANN向量檢索延時?架構(gòu)和數(shù)據(jù)引擎多方面工程優(yōu)化，各場景性能均高于開源產(chǎn)品3~7.5倍彈性&高可用彈性&高可用/?提供彈性伸縮能力，最大上千節(jié)點(diǎn)?內(nèi)建自動化管理和監(jiān)控?支持本地磁盤和云存儲設(shè)施RPC通信分布式數(shù)據(jù)引擎RPC通信分布式數(shù)據(jù)引擎文本檢索&生成相似圖片檢索文本檢索&生成相似圖片檢索推薦系統(tǒng)大模型推理大模型知識庫接入服務(wù)查詢檢索存儲支持存儲支持j百度智能云ChatGPTChatGPT千帆集群管理表分區(qū)Partition索引副本表分區(qū)Partition索引副本矢成熟的分布式架構(gòu)矢百高可靠、高可用、強(qiáng)擴(kuò)展、大規(guī)模百系統(tǒng)分為代理節(jié)點(diǎn)、數(shù)據(jù)節(jié)點(diǎn)和管理節(jié)點(diǎn)?代理節(jié)點(diǎn)：無狀態(tài)&對等，支持負(fù)載均衡?管理節(jié)點(diǎn)：基于Raft協(xié)議的高可用設(shè)計，管理集群的物理拓?fù)?、邏輯拓?fù)浜蛿?shù)據(jù)庫資源等?數(shù)據(jù)節(jié)點(diǎn)：負(fù)責(zé)數(shù)據(jù)的增刪改、查詢和檢索等?；赗aft協(xié)議管理表/集合數(shù)據(jù)的分片及其副本，支持自動Failover和彈性伸縮等數(shù)據(jù)類型數(shù)據(jù)類型?支持強(qiáng)Schema模型，同時支持標(biāo)量和向量數(shù)據(jù)類型?支持二級索引，支持各類向量索引?支持標(biāo)量檢索、向量檢索和標(biāo)量向量混合檢索數(shù)據(jù)存儲與均衡?支持標(biāo)量和向量數(shù)據(jù)的增刪改以及批量處理?基于LSM模型，支持行存、列存、行列混存?支持引擎內(nèi)再分片以及細(xì)粒度向量索引調(diào)度數(shù)據(jù)壓縮數(shù)據(jù)備份恢復(fù)硬件優(yōu)化?支持指令集優(yōu)化、CPU硬件優(yōu)化、編譯器優(yōu)化等表/集合列族列/字段標(biāo)量索引數(shù)據(jù)類型系統(tǒng)j百度智能云數(shù)據(jù)/控制接口數(shù)據(jù)/控制接口狀態(tài)管理狀態(tài)管理CompactionCompaction調(diào)度快照SegmentSegment路由恢復(fù)增/刪/改/掃描/查詢/檢索/迭代器接口增/刪/改/掃描/查詢/檢索/迭代器接口主鍵索引緩存主鍵索引緩存向量索引緩存向量索引緩存標(biāo)量數(shù)據(jù)緩存標(biāo)量數(shù)據(jù)緩存向量索引文件向量索引文件VectorDB支持常見標(biāo)量類型字段，并支持向量和標(biāo)量的混合檢索檢索預(yù)過濾?再在向量索引中進(jìn)行bitmap過濾?最后對結(jié)果集進(jìn)行向量相似性查詢檢索時過濾?進(jìn)行向量檢索時同時按標(biāo)量條件過濾檢索后過濾?先做相似性檢索，再對結(jié)果集進(jìn)行過濾數(shù)據(jù)分段檢索優(yōu)化?按統(tǒng)計信息對索引分段采用不同過濾機(jī)制j百度智能云 檢索后過濾檢索結(jié)果查詢時過濾Inlinefilter預(yù)過濾標(biāo)量索引邏輯執(zhí)行計劃元數(shù)據(jù)統(tǒng)計信息物理執(zhí)行計劃服務(wù)監(jiān)聽HTTP協(xié)議語法分析AST 客戶端存儲服務(wù)解析器解析器協(xié)議層執(zhí)行器百度智能云VectorDB性能測試報告VectorDBVectorDB和某開源系統(tǒng)的對比測試結(jié)果，性能（QPS）提升3倍到7.5倍??檢索QPS或吞吐：系統(tǒng)在單位時間內(nèi)能夠處理的檢索請求數(shù)量，是衡量檢索性能的關(guān)鍵指標(biāo)?召回率：檢索的TopK結(jié)果中，滿足真實(shí)情況（KNN檢索）的TopK集合的比例，是衡量向量檢索精度的關(guān)鍵指標(biāo)百度智能云VectorDB開源向量數(shù)據(jù)庫?測試規(guī)格：數(shù)據(jù)節(jié)點(diǎn)4核8GB，數(shù)量為3個?數(shù)據(jù)集：SIFT128、COHERE768、GIST960三種維度的數(shù)據(jù)集，大小為?數(shù)據(jù)表配置：數(shù)據(jù)表1個分區(qū)/分片，分片副本數(shù)為3百度智能云VectorDB開源向量數(shù)據(jù)庫j百度智能云j百度智能云 分布式架構(gòu)數(shù)據(jù)強(qiáng)同步數(shù)據(jù)強(qiáng)同步 豐富的檢索方式完整數(shù)據(jù)庫管控能力 信創(chuàng)平臺全兼容高性能查詢AIAI4DB：數(shù)據(jù)庫運(yùn)維應(yīng)用矢百矢百組織權(quán)限組織權(quán)限慢日志分析查詢治理趨勢高風(fēng)險請求任務(wù)創(chuàng)建AI產(chǎn)品咨詢產(chǎn)品咨詢?nèi)空埱蠓治鯰OP數(shù)據(jù)分析SQL注入壓測控制報告分析優(yōu)化建議操作審計增強(qiáng)能力 訪問來源分析報告分析風(fēng)險提示合規(guī)報表健康評分大模型告警配置告警模板告警規(guī)則儀表盤監(jiān)控展示監(jiān)控接入會話情況事件和建議執(zhí)行完事件計劃事件數(shù)據(jù)源操作審計增強(qiáng)能力 訪問來源分析報告分析風(fēng)險提示合規(guī)報表健康評分大模型告警配置告警模板告警規(guī)則儀表盤監(jiān)控展示監(jiān)控接入會話情況事件和建議執(zhí)行完事件計劃事件數(shù)據(jù)源知識檢索數(shù)據(jù)開發(fā)脫敏規(guī)則手動配置備份回滾流程中心定時發(fā)布消息通知數(shù)據(jù)歸檔數(shù)據(jù)開發(fā)脫敏規(guī)則手動配置備份回滾流程中心定時發(fā)布消息通知數(shù)據(jù)歸檔j百度智能云智能領(lǐng)航員：數(shù)據(jù)庫copilotj百度智能云制造、科研等行業(yè)頭部客戶行業(yè)最匯聚數(shù)百名數(shù)據(jù)庫專家大模型相比傳統(tǒng)算法帶來了更好的優(yōu)化效果相似度檢索相似度檢索文檔加載/切分/強(qiáng)化知識點(diǎn)模板知識點(diǎn)用戶問題領(lǐng)域知識解答j百度智能云原理?利用RAG（Retr