淘寶海量數(shù)據(jù)處理產(chǎn)品技術(shù)架構(gòu)(精品) (1)

1、淘寶網(wǎng)-數(shù)據(jù)平臺(tái)與產(chǎn)品部數(shù)據(jù)產(chǎn)品用戶淘寶網(wǎng)淘寶賣家供應(yīng)商消費(fèi)者搜索、瀏覽、收藏、交易、評(píng)價(jià). 淘寶主站： 30億店鋪、寶貝瀏覽 10億計(jì)的在線寶貝數(shù) 千萬量級(jí)交易筆數(shù) 數(shù)據(jù)產(chǎn)品： 50G統(tǒng)計(jì)匯總結(jié)果 千萬量級(jí)數(shù)據(jù)查詢請(qǐng)求 平均20.8ms的響應(yīng)時(shí)間（6月1日） 計(jì)算 計(jì)算的速度 處理吞吐量 存儲(chǔ) 存儲(chǔ)是為了更方便地查詢 硬盤、內(nèi)存的成本 查詢 “大海撈針” 全“表”掃描主站備庫RAC主站日志數(shù)據(jù)源MyFOXProm存儲(chǔ)層數(shù)據(jù)中間層 / glider查詢層數(shù)據(jù)魔方淘寶指數(shù)開放API產(chǎn)品Hadoop集群 / 云梯計(jì)算層實(shí)時(shí)流數(shù)據(jù)DataX / DbSync / TimeTunnel1500節(jié)點(diǎn)，每

2、日40000 JOB，處理數(shù)據(jù)1.5PB，凌晨2點(diǎn)結(jié)束，結(jié)果20T 關(guān)系型數(shù)據(jù)庫仍然是王道 NoSQL是SQL的有益補(bǔ)充 用中間層隔離前后端 緩存是系統(tǒng)化的工程關(guān)系型數(shù)據(jù)庫仍然是王道 有成熟穩(wěn)定的開源產(chǎn)品 SQL有較強(qiáng)的表達(dá)能力 只存儲(chǔ)中間狀態(tài)的數(shù)據(jù) 查詢時(shí)過濾、計(jì)算、排序 數(shù)據(jù)產(chǎn)品的本質(zhì) 拉關(guān)系 做計(jì)算SELECT IF(INSTR(f.keyword, ) 0, UPPER(TRIM(f.keyword), CONCAT(b.brand_name, ,UPPER(TRIM(f.keyword) AS f0, SUM(f.search_num) AS f1,ROUND(SUM(f.searc

3、h_num) / SUM(f.uv), 2) AS f3,ROUND(AVG(f.uv),2) AS f4 FROM dm_fact_keyword_brand_d f INNER JOIN dim_brand b ON f.keyword_brand_id = b.brand_id WHERE f.keyword_type_id = 1 AND f.keyword != AND keyword_cat_id IN (50002535) AND thedate = 2011-07-07 GROUP BY f0 ORDER BY SUM(f.search_num) DESC LIMIT 0, 1

4、0000.72010/8/102010/9/292010/11/182011/1/72011/2/262011/4/172011/6/62011/7/26十億十億 字段+條目數(shù)分片 MyISAM引擎 離線批量裝載 跨機(jī)房互備云梯APPMySQL集群數(shù)據(jù)裝載數(shù)據(jù)查詢MyFOX 透明查詢 基于NodeJS，1200QPS 數(shù)據(jù)裝載 路由計(jì)算 數(shù)據(jù)裝入 一致性校驗(yàn) 集群管理 配置信息維護(hù) 監(jiān)控報(bào)警取分片數(shù)據(jù)（異步并發(fā)）取分片結(jié)果合并（表達(dá)式求值）合并計(jì)算緩存路由SQL解析語義理解查詢路由字段改寫分片SQL計(jì)算規(guī)則APC緩存XMyFOX熱節(jié)點(diǎn)（MySQL）15k S

5、AS盤，300G * 12，raid10內(nèi)存:24G成本:4.5W / T冷節(jié)點(diǎn)（MySQL）7.2k SATA盤，1T * 12，raid10內(nèi)存:24G成本:1.6W / T路由表30天無訪問的冷數(shù)據(jù)新增熱數(shù)據(jù) 根據(jù)業(yè)務(wù)特點(diǎn)分庫分表 冷熱數(shù)據(jù)分離 降低成本，好鋼用在刀刃上 更有效地使用內(nèi)存如果繼續(xù)用MySQL來存儲(chǔ)數(shù)據(jù)，你怎么建索引？NoSQL是SQL的有益補(bǔ)充 不同類目的商品有不同的屬性 同一商品的屬性對(duì)有很多 用戶查詢所選擇的屬性對(duì)不確定 Prometheus 定制化的存儲(chǔ) 實(shí)時(shí)計(jì)算PromHbaseHbaseHbase索引：交易id列表屬性對(duì)交易1（二進(jìn)制，定長）交易2求SUM(al

6、ipay)屬性屬性值筆記本尺寸13寸筆記本定位商務(wù)定位節(jié)點(diǎn)11, 2, 3, 4, 5, 6, 7, 8, 9節(jié)點(diǎn)21, 2, 3, 4, 5, 6, 7查索引求交集節(jié)點(diǎn)21, 2, 4, 6, 7本地SUM運(yùn)算（Hbase擴(kuò)展）匯總計(jì)算寫入緩存 明細(xì)數(shù)據(jù)大量冗余 犧牲磁盤容量，以得到： 避免明細(xì)數(shù)據(jù)網(wǎng)絡(luò)傳輸 變大量隨機(jī)讀為順序讀 NoSQL是SQL的有益補(bǔ)充 “預(yù)算”與“現(xiàn)算”的權(quán)衡 “本地”與“集中”的協(xié)同 Prom的其他應(yīng)用（淘詞、指數(shù)等） 從isearch獲取實(shí)時(shí)的店鋪、商品描述 從主站搜索獲取實(shí)時(shí)的商品數(shù) 異構(gòu)數(shù)據(jù)源如何整合統(tǒng)一？用中間層隔離前后端pengchun$ tail /lo

7、gs/glider-rt2.log 14/Jun/2011:14:54:29 +0800 GET /glider/db/brand/brandinfo_d/get_hot_brand_top/where HTTP/1.1 200 17 0.065 多數(shù)據(jù)源整合 UNION JOIN 輸出格式化 PERCENT / RANK OVER JSON輸出DispatcherController配置解析請(qǐng)求解析一級(jí)緩存actionMyFOXProm二級(jí)緩存datasourceJOINUNIONfilter緩存是系統(tǒng)化的工程glider前端產(chǎn)品一級(jí)緩存data二級(jí)緩存URL請(qǐng)求，nocache?nocache?nocache?Min (ttl)ttl, http headeretag, http header 用中間層隔離前后端 底層架構(gòu)對(duì)前端透明 水平可擴(kuò)展性 緩存是把雙刃劍 降低后端存儲(chǔ)壓力 數(shù)據(jù)一致性問題 緩存穿透與失效 關(guān)系型數(shù)據(jù)庫仍然是王道分庫分表、冷熱分離 NoSQL是SQL的有益補(bǔ)充用冗余避免網(wǎng)絡(luò)傳輸和隨機(jī)讀 用中間層隔離前后端異構(gòu)數(shù)據(jù)源的整合 緩存是系統(tǒng)化的工程數(shù)據(jù)一致性、穿透與雪崩SQLNoSQL計(jì)算時(shí)機(jī)“預(yù)算”Hadoop / 實(shí)時(shí)計(jì)算