淘寶海量數(shù)據(jù)處理產(chǎn)品技術(shù)架構(gòu)(精品)

1、張軒丞（朋春） 淘寶網(wǎng)-數(shù)據(jù)平臺(tái)與產(chǎn)品部 張軒丞（朋春） 淘寶數(shù)據(jù)平臺(tái)與產(chǎn)品部（杭州） vi黨，腳本語(yǔ)言愛(ài)好者 關(guān)注nodejs，cnode社區(qū)組織者之一 ：我是aleafs 數(shù)據(jù) 產(chǎn)品用戶 淘寶網(wǎng) 淘寶賣(mài)家 供應(yīng)商 消費(fèi)者 搜索、瀏覽、收藏、交易、評(píng)價(jià). 淘寶主站： 30億店鋪、寶貝瀏覽 10億計(jì)的在線寶貝數(shù) 千萬(wàn)量級(jí)交易筆數(shù) 數(shù)據(jù)產(chǎn)品： 50g統(tǒng)計(jì)匯總結(jié)果 千萬(wàn)量級(jí)數(shù)據(jù)查詢(xún)請(qǐng)求 平均20.8ms的響應(yīng)時(shí)間（6月1日） 計(jì)算 計(jì)算的速度 處理吞吐量 存儲(chǔ) 存儲(chǔ)是為了更方便地查詢(xún) 硬盤(pán)、內(nèi)存的成本 查詢(xún) “大海撈針” 全“表”掃描 主站備庫(kù)rac主站日志 數(shù) 據(jù) 源 myfoxprom 存 儲(chǔ)

2、 層 數(shù)據(jù)中間層 / glider 查 詢(xún) 層 數(shù)據(jù)魔方淘寶指數(shù)開(kāi)放api 產(chǎn) 品 hadoop集群 / 云梯 計(jì) 算 層 實(shí)時(shí)流數(shù)據(jù) datax / dbsync / timetunnel 1500節(jié)點(diǎn)，每日40000 job，處理數(shù)據(jù)1.5pb，凌晨2點(diǎn)結(jié)束，結(jié)果20t 關(guān)系型數(shù)據(jù)庫(kù)仍然是王道 nosql是sql的有益補(bǔ)充 用中間層隔離前后端 緩存是系統(tǒng)化的工程 關(guān)系型數(shù)據(jù)庫(kù)仍然是王道 有成熟穩(wěn)定的開(kāi)源產(chǎn)品 sql有較強(qiáng)的表達(dá)能力 只存儲(chǔ)中間狀態(tài)的數(shù)據(jù) 查詢(xún)時(shí)過(guò)濾、計(jì)算、排序 數(shù)據(jù)產(chǎn)品的本質(zhì) 拉關(guān)系 做計(jì)算 select if(instr(f.keyword, ) 0, upper(tri

3、m(f.keyword), concat(b.brand_name, ,upper(trim(f.keyword) as f0, sum(f.search_num) as f1, round(sum(f.search_num) / sum(f.uv), 2) as f3, round(avg(f.uv),2) as f4 from dm_fact_keyword_brand_d f inner join dim_brand b on f.keyword_brand_id = b.brand_id where f.keyword_type_id = 1 and f.keyword != and

4、keyword_cat_id in (50002535) and thedate = 2011-07-07 group by f0 order by sum(f.search_num) desc limit 0, 100 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 2010/8/102010/9/292010/11/182011/1/72011/2/262011/4/172011/6/62011/7/26 十億十億 字段+條目數(shù)分片 myisam引擎 離線批量裝載 跨機(jī)房互備 云梯 app mysql 集群 數(shù)據(jù)裝載 數(shù)據(jù)查詢(xún) myfox 透明查詢(xún) 基于nodejs，1200q

5、ps 數(shù)據(jù)裝載 路由計(jì)算 數(shù)據(jù)裝入 一致性校驗(yàn) 集群管理 配置信息維護(hù) 監(jiān)控報(bào)警 取分片數(shù)據(jù)（異步并發(fā)） 取 分 片 結(jié)果合并（表達(dá)式求值） 合 并 計(jì) 算 緩存 路 由 sql解析 語(yǔ)義理解 查詢(xún)路由字段改寫(xiě) 分片sql計(jì)算規(guī)則 apc 緩存 x myfox 熱節(jié)點(diǎn)（mysql） 15k sas盤(pán)，300g * 12，raid10 內(nèi)存:24g 成本:4.5w / t 冷節(jié)點(diǎn)（mysql） 7.2k sata盤(pán)，1t * 12，raid10 內(nèi)存:24g 成本:1.6w / t 路由表 30天無(wú)訪問(wèn)的冷數(shù)據(jù) 新增熱數(shù)據(jù) 根據(jù)業(yè)務(wù)特點(diǎn)分庫(kù)分表 冷熱數(shù)據(jù)分離 降低成本，好鋼用在刀刃上 更有效地使

6、用內(nèi)存 如果繼續(xù)用mysql來(lái)存儲(chǔ)數(shù)據(jù)，你怎么建索引？ nosql是sql的有益補(bǔ)充 不同類(lèi)目的商品有不同的屬性 同一商品的屬性對(duì)有很多 用戶查詢(xún)所選擇的屬性對(duì)不確定 prometheus 定制化的存儲(chǔ) 實(shí)時(shí)計(jì)算 prom hbasehbasehbase 索引：交易id列表 屬 性 對(duì) 交易1（二進(jìn)制，定長(zhǎng)） 交易2 求sum(alipay) 屬性屬性值 筆記本尺寸13寸 筆記本定位商務(wù)定位 節(jié)點(diǎn)11, 2, 3, 4, 5, 6, 7, 8, 9 節(jié)點(diǎn)21, 2, 3, 4, 5, 6, 7 查索引 求交集 節(jié)點(diǎn)21, 2, 4, 6, 7 本地sum運(yùn)算（hbase擴(kuò)展） 匯總計(jì)算 寫(xiě)入緩

7、存 明細(xì)數(shù)據(jù)大量冗余 犧牲磁盤(pán)容量，以得到： 避免明細(xì)數(shù)據(jù)網(wǎng)絡(luò)傳輸 變大量隨機(jī)讀為順序讀 nosql是sql的有益補(bǔ)充 “預(yù)算”與“現(xiàn)算”的權(quán)衡 “本地”與“集中”的協(xié)同 prom的其他應(yīng)用（淘詞、指數(shù)等） 從isearch獲取實(shí)時(shí)的店鋪、商品描述 從主站搜索獲取實(shí)時(shí)的商品數(shù) 異構(gòu)數(shù)據(jù)源如何整合統(tǒng)一？ 用中間層隔離前后端 pengchun$ tail /logs/glider-rt2.log 14/jun/2011:14:54:29 +0800 get /glider/db/brand/brandinfo_d/get_hot_brand_top/where http/1.1

8、 200 17 0.065 多數(shù)據(jù)源整合 union join 輸出格式化 percent / rank over json輸出 dispatcher controller配置解析請(qǐng)求解析 一級(jí)緩存 action myfoxprom 二級(jí)緩存 datasource joinunion filter 緩存是系統(tǒng)化的工程 glider 前端產(chǎn)品 一級(jí)緩存 data 二級(jí)緩存 url請(qǐng)求，nocache? nocache? nocache? min (ttl) ttl, http header etag, http header 用中間層隔離前后端 底層架構(gòu)對(duì)前端透明 水平可擴(kuò)展性 緩存是把雙刃劍 降低后端存儲(chǔ)壓力 數(shù)據(jù)一致性問(wèn)題 緩存穿透與失效 關(guān)系型數(shù)據(jù)庫(kù)仍然是王道 分庫(kù)分表、冷熱分離 nosql是sql的有益補(bǔ)充 用冗余避免網(wǎng)絡(luò)傳輸和隨機(jī)讀 用中間層隔離前后端 異構(gòu)數(shù)據(jù)源的整合 緩存是系統(tǒng)化的工程 數(shù)據(jù)一致性、穿透與雪崩 sqlnosql 計(jì)算時(shí)機(jī) “預(yù)算”hadoop / 實(shí)時(shí)