NewSQL技術架構實踐

1、eBay Marketing Feeds在十億數(shù)據(jù)場景下的架構演變和NewSQL的實踐嘗試NewSQL技術架構實踐eBay Marketing Feeds在十億數(shù)據(jù)場景 下的架構演變和NewSQL的實踐嘗試AgendaFeeds廣告流業(yè)務系統(tǒng)架構演變NewSQL實踐嘗試聯(lián)合數(shù)據(jù)訪問Feeds廣告流eBay廣告 合作商數(shù)據(jù)量數(shù)據(jù)傳輸方法API文件十億級百萬級巨大的數(shù)據(jù)吞吐量核心字段的低延時要求數(shù)據(jù)準確性與一致性多樣化的對外接口業(yè)務場景eBay廣告合作商第一代系統(tǒng)架構eBay 數(shù)據(jù)倉庫第一代系統(tǒng)架構高延遲維護成本高 難以擴展兼容性差流處理層服務層eBay廣告合作商第二代系統(tǒng)架構eBay數(shù)據(jù)平臺批數(shù)

2、據(jù)流數(shù)據(jù)通用數(shù)據(jù)處理單元Google數(shù)據(jù)處理Bing數(shù)據(jù)處理Facebook 數(shù)據(jù)處理批處理層流數(shù)據(jù)處理單元緩存適配器數(shù)據(jù) 融合Google 發(fā)送器Bing 發(fā)送器Facebook 發(fā)送器發(fā)送層優(yōu)點批流統(tǒng)一高吞吐低延時第二代系統(tǒng)架構缺點邏輯分散結構復雜數(shù)據(jù)冗余流式處理Spark批數(shù)據(jù)批量處理導出發(fā)送返回G oo gleFlume更新20190902000000KV查詢批流數(shù)據(jù)融合處理唯一可信數(shù)據(jù)源多維度數(shù)據(jù)查詢批數(shù)據(jù)處理流數(shù)據(jù)處理KV查詢2ndGenNewSQL實踐嘗試相似商品太多展示最佳商品基于產(chǎn)品的廣告推送主鍵過濾條件二級索引最佳商品每天12億 更新事件10,000 80,000 QPS6

3、節(jié)點十億數(shù)據(jù)量級20+數(shù)據(jù)管道在線查詢離線查詢QPSP80P99峰值60,00060ms500ms平時10,00025ms65ms讀取數(shù)據(jù)量Spark5 min4億行二級索引查詢數(shù)據(jù)聚合分析流數(shù)據(jù)復雜計算增量數(shù)據(jù)管理向量相似度查詢批數(shù)據(jù)處理流數(shù)據(jù)處理KV查詢2ndGenNext Gen新一代架構演進聯(lián)合查詢引擎定制查詢語言SELECTitem_id, price FROMitemWHEREitem_id SIMILAR TO 1111ANDprice 5聯(lián)合數(shù)據(jù)訪問服務向量相似度在線屬性離線屬性eBay 核心數(shù)據(jù)快照變更數(shù)據(jù)捕獲（CDC）ETL校驗數(shù)據(jù)一致性聯(lián)合數(shù)據(jù)訪問服務商品 數(shù)據(jù)成效 度量統(tǒng)計 分析用戶 分組用戶 行為廣告 追蹤離線數(shù)據(jù)源在線數(shù)據(jù)源數(shù)據(jù)處理元數(shù)據(jù)管理監(jiān)控預警應用