百度私有云建設(shè)及開(kāi)發(fā)模式實(shí)踐

1、百度私有云建設(shè)及開(kāi)發(fā)模式實(shí)踐技術(shù)創(chuàng)新，變革未來(lái)百度內(nèi)部系統(tǒng)架構(gòu)搜索廣告社區(qū)業(yè)務(wù)云平臺(tái)數(shù)據(jù)智能海量數(shù)據(jù)存儲(chǔ)與處理軟件基礎(chǔ)架構(gòu)數(shù)據(jù)中心、網(wǎng)絡(luò)、服務(wù)器硬件基礎(chǔ)架構(gòu)云 計(jì) 算百度內(nèi)部云特點(diǎn)快速迭代超大規(guī)?？焖俚卣麟x線在線離線分析與在線實(shí)驗(yàn)相結(jié)合算法A算法B通過(guò)反饋來(lái)驗(yàn)證算法優(yōu)劣算法B互聯(lián)網(wǎng)對(duì)快速迭代的需求原型系統(tǒng)快速開(kāi)發(fā)測(cè)試產(chǎn)品部署 運(yùn)維開(kāi)發(fā) 框架數(shù)據(jù)收集A/B測(cè)試數(shù)據(jù)智能驗(yàn)證數(shù)據(jù)分析產(chǎn)品開(kāi)發(fā)全過(guò)程方法論+流程+平臺(tái)應(yīng)用 引擎應(yīng)用 引擎超大規(guī)模特征海量數(shù)據(jù)存儲(chǔ)百P大規(guī)模數(shù)據(jù)計(jì)算大規(guī)模計(jì)算描述能力數(shù)據(jù)流優(yōu)化 控制流管理資源分配優(yōu)先級(jí)、并發(fā)控制 隔離、安全執(zhí)行層模型層MapReduce表示層SQL-l

2、ike翻譯JoinSelectTopBCDA計(jì)算類型Map Reduce通用批量數(shù)據(jù)處理HPC大規(guī)模機(jī)器學(xué)習(xí)Volunteer Computing計(jì)算密集型上下文無(wú)關(guān)數(shù)據(jù)處理資源調(diào)度系統(tǒng)AgentExecutorTaskExecutorTaskTaskTaskExecutorExecutorAgent業(yè)務(wù)總控資源調(diào)度分布式存儲(chǔ)百度存儲(chǔ)體系 統(tǒng)一存儲(chǔ)體系平衡大容量、高并發(fā)、低延遲不同訪問(wèn)模式通過(guò)組合滿足 統(tǒng)一訪問(wèn)與傳輸DiskFlashPipeK/VFileTable數(shù)據(jù)訪問(wèn)層P2PCDN典型實(shí)時(shí)存儲(chǔ)系統(tǒng)：MolaUpdate CenterUpdate Center (backup)Update

3、 CenterUpdate Center (backup)chunckchunckchunckchunckchunckchunckupdateMeta serverMeta Server (backup)Qcontroler查詢典型的離線存儲(chǔ)系統(tǒng)：BailingIndex Logs+Merge-Sort Index StreamMod StreamMod Logs+ Merge-SortPatch StreamPatch Logs+ Merge-Sort1Write StreamBase Stream2.12.233.13.245Merge6百度開(kāi)放云預(yù)覽互聯(lián)網(wǎng)服務(wù)架構(gòu)數(shù)據(jù)智能平臺(tái)層數(shù)據(jù)存儲(chǔ)與

4、處理基礎(chǔ)層IDC與網(wǎng)絡(luò)網(wǎng)盤應(yīng)用開(kāi)放平臺(tái)智能交通應(yīng)用層相冊(cè)云存儲(chǔ)開(kāi)放云平臺(tái)應(yīng)用托管事件通知數(shù)據(jù)分析 服務(wù)私有云到開(kāi)放云云化機(jī)制私有云到公有云的轉(zhuǎn)化機(jī)制讓云接口更易用使更貼近云應(yīng)用開(kāi)發(fā)云安全保障統(tǒng)一的權(quán)限管理虛擬化獨(dú)立隔離環(huán)境開(kāi)放云逐步開(kāi)放hYp:/開(kāi)放云的公益性質(zhì)開(kāi)放程度已經(jīng)開(kāi)放云存儲(chǔ)預(yù)計(jì)Q2能基本功能全開(kāi)放誠(chéng)意對(duì)于百萬(wàn)PV的網(wǎng)站，免費(fèi)額度基本夠用資源不夠，協(xié)商后可以免費(fèi)繼續(xù)提高，無(wú)規(guī)定上限目前提供1T的分布式存儲(chǔ)（多副本、多機(jī)房、CDN支持）開(kāi)放資質(zhì)面向有經(jīng)驗(yàn)的中小開(kāi)發(fā)團(tuán)隊(duì)開(kāi)放流程查看：hYp:/wiki/yun發(fā)郵件到 yun 詳細(xì)介紹自己云環(huán)境分布式存儲(chǔ)資源池( 大規(guī)模計(jì)算結(jié)點(diǎn)）調(diào)度器鏡像

5、服務(wù)消息 服務(wù)分布式計(jì)算數(shù)據(jù) 分析IO本地存儲(chǔ)云接入與管理Network & 調(diào)度CPU & Memory網(wǎng)絡(luò) & 動(dòng)態(tài)負(fù)載均衡業(yè)務(wù)開(kāi)發(fā)流程消息服務(wù)分布式隊(duì)列Comet系統(tǒng)Mail短信HYp可以嵌入邏 輯主動(dòng)推送長(zhǎng)連接維持關(guān)系計(jì)算服務(wù)SQLDDBInstanceReplica_ onReplica_ onTableTableTable分布式MySQLTable表示層執(zhí)行層分布式計(jì)算系統(tǒng)單機(jī)自動(dòng)化運(yùn)維分布式數(shù)據(jù)庫(kù)分布式關(guān)系計(jì)算云存儲(chǔ)個(gè)人為中心數(shù)據(jù)存儲(chǔ)系統(tǒng)數(shù)據(jù)存儲(chǔ)系統(tǒng)數(shù)據(jù)提交系統(tǒng)檢索系統(tǒng)數(shù)據(jù)智能縮略圖系統(tǒng)視頻預(yù)覽系統(tǒng)文件預(yù)覽系統(tǒng)指紋識(shí)別用戶權(quán)限管理Tag服務(wù)Meta管理云存儲(chǔ)相冊(cè)視頻音樂(lè)文檔其他數(shù)據(jù)云存儲(chǔ)空間貼吧手機(jī)掌百HiTing第三方開(kāi)發(fā)者開(kāi)放API第三方私有的 分布式存儲(chǔ)百度獲發(fā)改委 項(xiàng)最高激勵(lì)國(guó)家百度持