?向?成式AI的向量數(shù)據(jù)庫：架構(gòu)性能與未來趨勢(shì)

?向?成式AI的向量數(shù)據(jù)庫：架構(gòu)，性能與未來趨勢(shì)向量數(shù)據(jù)庫背景介紹Milvus整體架構(gòu)設(shè)計(jì)性能的關(guān)鍵-索引?向AI持續(xù)進(jìn)化01向量數(shù)據(jù)庫背景介紹什么是向量數(shù)據(jù)什么是向量檢索找到離查詢向量最近的 條向量（TopK）怎么計(jì)算距離取決于模型定義使?怎樣的

Metric，常?的有

L2，IP

和Cosine

等什么是向量數(shù)據(jù)庫向量數(shù)據(jù)庫是?種專為存儲(chǔ)和查詢?維度向量數(shù)據(jù)?優(yōu)化的數(shù)據(jù)庫系統(tǒng)為什么需要向量數(shù)據(jù)庫AI

1.0時(shí)代，向量數(shù)據(jù)庫已經(jīng)被?泛應(yīng)?于機(jī)器學(xué)習(xí)應(yīng)?中，包括推薦系統(tǒng)，搜索，?控，安防等系統(tǒng)中。現(xiàn)在仍然是重要的使?場(chǎng)景為什么需要向量數(shù)據(jù)庫RetrievalAugmentedGeneration(RAG)，向量數(shù)據(jù)庫作為存儲(chǔ)記憶體保存領(lǐng)域相關(guān)的知識(shí)，?于查找query相關(guān)的數(shù)據(jù)LLM從增強(qiáng)的提示詞中獲得為?戶量身定制的答案，增強(qiáng)了結(jié)果的相關(guān)性什么是?個(gè)好的向量數(shù)據(jù)庫性能擴(kuò)展性易?性功能可觀測(cè)可運(yùn)維?態(tài)集成故障恢復(fù)安全…您公司的logo02Milvus整體架構(gòu)設(shè)計(jì)云原?的分布式向量數(shù)據(jù)庫Proxy：接?層，負(fù)責(zé)請(qǐng)求編譯，檢查和路由Query：負(fù)責(zé)數(shù)據(jù)/索引的加載和查詢Data：負(fù)責(zé)數(shù)據(jù)批流轉(zhuǎn)化Index：索引構(gòu)建云原?的分布式向量數(shù)據(jù)庫強(qiáng)?的隔離性，建索引不爭搶查詢資源良好的擴(kuò)展能?，?持百億級(jí)別的向量更加靈活的流式數(shù)據(jù)處理能?和增量更新/刪除能?實(shí)時(shí)性和性能的trade

offSegment是milvus查詢的最?單位growing

segment負(fù)責(zé)流式數(shù)據(jù)的查詢，保證數(shù)據(jù)的實(shí)時(shí)可?，性能差sealed

segment負(fù)責(zé)持久化數(shù)據(jù)的查詢。數(shù)據(jù)構(gòu)建過索引，性能好通過indexNode構(gòu)建索引替換queryNode上的數(shù)據(jù)加速查詢異步compaction把?些?segment合成?segment，加速查詢合并delete數(shù)據(jù)，做物理刪除，對(duì)向量檢索更加友好批量寫??持bulk

insert功能，?戶提供json/csv/parquet等格式的?件，跳過消息隊(duì)列，直接插?到對(duì)象存儲(chǔ)?持Spark

connector，外部數(shù)據(jù)源可以通過Spark

ETL導(dǎo)?到Milvus全局索引根據(jù)不同租戶做劃分?jǐn)?shù)據(jù)根據(jù)標(biāo)量過濾條件劃分?jǐn)?shù)據(jù)根據(jù)向量空間分布劃分?jǐn)?shù)據(jù)Zilliz

cloud：向量數(shù)據(jù)庫即服務(wù)Zilliz

Cloud是Zilliz基于開源向量數(shù)據(jù)庫milvus打造的全托管企業(yè)級(jí)向量檢索云服務(wù)分為Serverless，SaaS和BYOC三個(gè)版本，?向不同需求和不同部署環(huán)境?前已經(jīng)登陸AWS，GCP，Azure，阿?云、騰訊云等您公司的logo03性能的關(guān)鍵-索引主流向量索引樹索引：維度災(zāi)難，性能差哈希：精確有限量化：精度有限，但?哈希更為常?圖索引：占?資源?，精度和性能優(yōu)異哈希量化圖樹knowhere引擎Knowhere作為milvus的核?向量引擎，集成了多種向量算法，供?戶?由選擇對(duì)外統(tǒng)?接?，?便集成新索引FLAT暴搜：效率很低，但100%準(zhǔn)確！數(shù)據(jù)量少的時(shí)候可能優(yōu)于索引的性能IVF對(duì)數(shù)據(jù)點(diǎn)做聚類，分成若?個(gè)buckets查詢時(shí)找到query最近的nprobe個(gè)buckets，避免搜索全量數(shù)據(jù)Product

quantization將向量分成m段，每段?向量通過聚類編碼成聚類中?id，有效壓縮向量的內(nèi)存占?查詢時(shí)預(yù)計(jì)算query向量和每段聚類中?的距離，把距離計(jì)算轉(zhuǎn)化成查表操作HNSW?前最為?泛使?的圖索引建索引的原則：近鄰的近鄰?概率是近鄰，同時(shí)引??些?邊防?陷?局部最優(yōu)層次化的結(jié)構(gòu)快速定位，貪?式搜索找到最終結(jié)果DISKANNDisk中保存圖索引，并按照向量本身和鄰居id?起存的?式增強(qiáng)locality。每次IO同時(shí)得到原始向量計(jì)算精確距離，同時(shí)得到鄰居id，?到內(nèi)存中的PQ編碼計(jì)算近似距離?于導(dǎo)航DiskANN可以實(shí)現(xiàn)較低的內(nèi)存占?，達(dá)到還不錯(cuò)的性能和?精度GPU

cagra和NVIDIA團(tuán)隊(duì)合作，將gpu

cagra索引集成到knowhere，充分利?gpu的并?計(jì)算能?，加速索引構(gòu)建和查詢?nèi)绾芜x擇最合適的索引希望降低cost考慮采?disk的?案，量化的?案。希望提?accuracy則不去做激進(jìn)的量化策略，要求很?則使?FLAT。希望提?performance，采?內(nèi)存圖索引/gpu索引?案不可能三?：必須在限制的條件中進(jìn)?篩選最合適的策略Zilliz

cloud商業(yè)版索引引擎-cardinal更加?程化的代碼更智能的參數(shù)學(xué)習(xí)更加優(yōu)異的數(shù)據(jù)存儲(chǔ)布局更加極致的SIMD優(yōu)化您公司的logo04?向AI持續(xù)進(jìn)化Filter

search帶標(biāo)量過濾條件的向量檢索已經(jīng)成為?個(gè)基本需求milvus?持多種scalar

index加速標(biāo)量過濾的效率。同時(shí)?持向量側(cè)通過標(biāo)量分布構(gòu)建融合索引加速過濾Sparse

vector不?于dense

vector!

與dense

vector跟更加關(guān)注語義不同，sparse

vector提取了關(guān)鍵詞的信息，通過關(guān)鍵詞匹配找相關(guān)的結(jié)果，可解釋性強(qiáng)在out

of

domain的數(shù)據(jù)上sparse

vector更有優(yōu)勢(shì)Hybrid

search?持多向量多模態(tài)存儲(chǔ)和檢索，可以是多個(gè)densevector，也可以是densevector和sparse

vector的組合可以從更多信息的維度進(jìn)?召回和rerankGrouping

search僅向量維度的召回不?定滿??戶的需求。在?本檢索時(shí)，?個(gè)向量代表?個(gè)chunk，缺少全?視?可以通過doc維度做聚合搜索更加易