海量信令數(shù)據(jù)共享的關(guān)鍵問題和解決.ppt

1、海量信令數(shù)據(jù)共享的關(guān)鍵問題和解決,海量數(shù)據(jù)共享平臺的技術(shù)挑戰(zhàn),大規(guī)模數(shù)據(jù)并發(fā)實時處理的能力（大規(guī)模關(guān)聯(lián)計算能力） 達(dá)到P級的數(shù)據(jù)存儲和快速訪問能力（傳統(tǒng)數(shù)據(jù)庫承載不了） 硬件機器群的支持和規(guī)劃 開發(fā)新應(yīng)用的靈活性,應(yīng)用對信令數(shù)據(jù)平臺處理能力的需求 存在三個不同級別,實時（10us 10ms）, 如語音監(jiān)聽,準(zhǔn)實時（10ms 10s），如手機定位,非實時（10s ）, 如營銷數(shù)據(jù)挖掘,智能采集硬件實現(xiàn)無損信令解析,充分利用采集側(cè)硬件已有資源 。降低了對信令處理服務(wù)機群的壓力和依賴 。能在L3上實現(xiàn)無損壓縮，算法平均壓縮率在8倍左右 。從底層支持實時類應(yīng)用（標(biāo)簽,核心技術(shù)之一 分布式海量存儲文件系

2、統(tǒng),基于開源內(nèi)核的海量數(shù)據(jù)庫的底層支持 穩(wěn)定，冗余，經(jīng)過超過8年的業(yè)界應(yīng)用驗證 比傳統(tǒng)的FS集群文件系統(tǒng)更具可伸縮性優(yōu)勢,核心技術(shù)之二 分布式海量數(shù)據(jù)庫,基于C，兼容linux,bsd,unix ?；诹写鎯?，適合不斷追加應(yīng)用標(biāo)簽 。Write-Once Read-Many 。類SQL的自定義查詢語言 。查詢引擎是分布式，性能能隨機器數(shù)量接近線性增長 。實際最大集群例子：20P數(shù)據(jù)，5000個節(jié)點,核心技術(shù)之三 分布式高速消息隊列,基于內(nèi)核優(yōu)化（RealTime Linux）的實時消息隊列服務(wù) 。支持生產(chǎn)者消費者模式（實時） 。支持主題定閱者模式（準(zhǔn)實時） 。在萬兆網(wǎng)（10Gb）上實現(xiàn)最小40us的end-to-end延遲(512bit大小) 。在4路opturon服務(wù)器上能實現(xiàn)10M包秒的吞吐量（100bit,核心技術(shù)之四 關(guān)聯(lián)計算用的分布式內(nèi)存數(shù)據(jù)庫,基于高速哈希表和優(yōu)化B+樹算法 ?；冢╧ey,value）對的鍵值查找算法 ?；诜植际絻?nèi)存數(shù)據(jù)庫模式 ?？捎糜诩铀侔ㄓ脩糇R別，位置識別等等實際需要的應(yīng)用標(biāo)簽過程,部分?jǐn)?shù)據(jù)處理底層技術(shù)案例,大話西游1游戲服務(wù)器后臺架構(gòu) 。垂直行業(yè)數(shù)據(jù)搜索分