么剛-搜狗商業(yè)廣告流式計(jì)算實(shí)踐

1、搜狗商業(yè)廣告流式計(jì)算實(shí)踐么剛 yaogangsogou- 2015-04-24目錄商業(yè)平臺(tái)大數(shù)據(jù)的挑戰(zhàn)VarietyVelocityVolumeVeracity商業(yè)廣告平臺(tái)流式計(jì)算場(chǎng)景推廣管理物料管理資金管理客戶/代理商管理監(jiān)控工具優(yōu)化工具批量工具分析工具賬戶分析優(yōu)化建議關(guān)鍵詞推薦同行對(duì)比關(guān)鍵詞審核創(chuàng)意審核圖片審核匹配度審核CRM統(tǒng)計(jì)運(yùn)管統(tǒng)計(jì)BO統(tǒng)計(jì) 財(cái)務(wù)資金管理賬戶 組 關(guān)鍵詞 創(chuàng)意 圖片 財(cái)務(wù) 審核 統(tǒng)計(jì)信息關(guān)鍵詞重寫廣告檢索廣告匹配廣告過濾CTR預(yù)估廣告排序價(jià)格計(jì)算投放位置計(jì)費(fèi)管理資金管理賬單生成賬單對(duì)比點(diǎn)擊清理日志收集日志存儲(chǔ)ETL物料狀態(tài)計(jì)算物料審核流式計(jì)費(fèi)流式過濾PV/UV入侵檢測(cè)

2、七層DDos數(shù)據(jù)源數(shù)據(jù)采集數(shù)據(jù)接入數(shù)據(jù)計(jì)算數(shù)據(jù)查詢流式計(jì)算處理流程采集聚合過濾負(fù)載均衡持久化單播/廣播資源管理任務(wù)執(zhí)行任務(wù)調(diào)度索引冷熱分離同步/選舉傳輸讀寫分離中間結(jié)果緩存數(shù)據(jù)緩沖商業(yè)平臺(tái)流式計(jì)算的特點(diǎn)流式計(jì)算架構(gòu)圖采集系統(tǒng)選型采集系統(tǒng)實(shí)踐序列號(hào)生成服務(wù)序列號(hào)生成服務(wù)(Contd)masterupdatewatchupdateslaveslaveslave數(shù)據(jù)接入系統(tǒng)選型接入系統(tǒng)實(shí)踐接入系統(tǒng)實(shí)踐(Contd)計(jì)算系統(tǒng)選型計(jì)算系統(tǒng)實(shí)踐計(jì)算系統(tǒng)實(shí)踐（Contd）存儲(chǔ)系統(tǒng)設(shè)計(jì)存儲(chǔ)系統(tǒng)實(shí)踐存儲(chǔ)系統(tǒng)實(shí)踐（Contd）Use Case統(tǒng)一計(jì)算平臺(tái)中的流式計(jì)算框架訪問層文件接口數(shù)據(jù)庫自助查詢計(jì)算層stormMRpighivehadoophbaseimpala采集層實(shí)時(shí)采集離線采集kafkaFlume-NG調(diào)度管理ZKYarn數(shù)據(jù)源物料數(shù)據(jù)用戶數(shù)據(jù)運(yùn)營(yíng)數(shù)據(jù)日志數(shù)據(jù)其他數(shù)據(jù)cgroup運(yùn)行監(jiān)控zabbixStorm UIHadoop UIZK 監(jiān)控Hbase UI數(shù)據(jù)庫 監(jiān)控一體化管理數(shù)據(jù)源管理數(shù)據(jù)接入管理NoSQL用戶管理任務(wù)管理流式計(jì)算開源