中國(guó)電信云計(jì)算技術(shù)應(yīng)用與實(shí)踐--PaaS

中國(guó)電信云計(jì)算 PaaS技術(shù)應(yīng)用與實(shí)踐 云計(jì)算：從炒作到實(shí)踐 中國(guó)電信集團(tuán) 2014年 9月 14日 排版 : /webmoney 2 中國(guó)電信 PaaS技術(shù)應(yīng)用與實(shí)踐 企業(yè)機(jī)密 嚴(yán)禁外傳 提綱 PaaS概述 PaaS核心技術(shù) 相關(guān)實(shí)踐 排版 : /webmoney 3 中國(guó)電信 PaaS技術(shù)應(yīng)用與實(shí)踐 企業(yè)機(jī)密 嚴(yán)禁外傳 PaaS概述 定義 面向互聯(lián)網(wǎng)應(yīng)用開發(fā)者 ， 把端到端的分布式軟件開發(fā) 、 測(cè)試 、 部署 、 運(yùn)行環(huán)境以及應(yīng)用程序托管當(dāng)作服務(wù) ， 通過互聯(lián)網(wǎng)提供給用戶 特點(diǎn) 網(wǎng)絡(luò)化的分布式開發(fā)平臺(tái) ， 以 Web服務(wù)方式提供給用戶 開發(fā) 、 測(cè)試 、 運(yùn)行環(huán)境在云端 ， 用戶共享云平臺(tái)海量存儲(chǔ) 、 超大規(guī)模計(jì)算能力 ，開發(fā)環(huán)境維護(hù)工作由服務(wù)提供商解決 集成帳戶認(rèn)證 、 數(shù)據(jù)庫(kù) 、 消息隊(duì)列等配套基礎(chǔ)服務(wù) ， 提高開發(fā)效率 Java、 Python等高級(jí)編程語(yǔ)言 ， 易于應(yīng)用程序開發(fā)者使用 服務(wù)形態(tài) 通過互聯(lián)網(wǎng)提供服務(wù) ， 按需提供 ， 按量計(jì)費(fèi) Google App Engine Microsoft Asure Amazon Hadoop Salesforce F The cloud 排版 : /webmoney 4 中國(guó)電信 PaaS技術(shù)應(yīng)用與實(shí)踐 企業(yè)機(jī)密 嚴(yán)禁外傳 PaaS發(fā)展 商業(yè)推動(dòng) SaaS企業(yè)為提高用戶粘著度 ， 把支撐應(yīng)用開發(fā)的平臺(tái)發(fā)布出來(lái) ，供軟件開發(fā)上自行開發(fā) 、 自由定制 需求推動(dòng) 高校等科研機(jī)構(gòu)需要臨時(shí)性的超大規(guī)模計(jì)算能力 大型系統(tǒng)面臨嚴(yán)峻的擴(kuò)展性問題 Google等公司擁有超大規(guī)模服務(wù)器集群 ， 需要把海量存儲(chǔ)和大規(guī)模計(jì)算資源提供出來(lái) 技術(shù)推動(dòng) 把多臺(tái)機(jī)器虛擬成一臺(tái)超級(jí)機(jī)器的分布式技術(shù)日趨成熟和穩(wěn)定 PaaS是一場(chǎng)互聯(lián)網(wǎng)應(yīng)用軟件開發(fā)革命，體現(xiàn)了互聯(lián)網(wǎng)低成本、高效率和規(guī)模化應(yīng)用的特性，能夠幫助應(yīng)用程序開發(fā)人員快速定制、開發(fā)滿足特定需求的互聯(lián)網(wǎng)應(yīng)用，從而大大提高工作效率和執(zhí)行力。 排版 : /webmoney 5 中國(guó)電信 PaaS技術(shù)應(yīng)用與實(shí)踐 企業(yè)機(jī)密 嚴(yán)禁外傳 提綱 PaaS概述 PaaS核心技術(shù) 相關(guān)實(shí)踐 排版 : /webmoney 6 中國(guó)電信 PaaS技術(shù)應(yīng)用與實(shí)踐 企業(yè)機(jī)密 嚴(yán)禁外傳 PaaS核心技術(shù) 分布式技術(shù)：把多臺(tái)機(jī)器虛擬成一臺(tái)性能極強(qiáng)的超級(jí)計(jì)算機(jī) 分布式存儲(chǔ) 、 分布式計(jì)算 、 分布式數(shù)據(jù)庫(kù) 、 同步機(jī)制 、 負(fù)載分擔(dān) 、任務(wù)調(diào)度 分布式軟件開發(fā) 、 測(cè)試 、 運(yùn)行工具 編程環(huán)境 SDK、 編程接口 、 代碼庫(kù) 、 測(cè)試工具 、 運(yùn)行工具 運(yùn)營(yíng)管理系統(tǒng) 用戶管理 、 計(jì)費(fèi)認(rèn)證 、 資源監(jiān)控 、 應(yīng)用管理 分 布 式 技 術(shù)分 布 式 存 儲(chǔ) 、 分 布 式 計(jì) 算 、 分 布 式 數(shù) 據(jù) 庫(kù) 、 同步 機(jī) 制運(yùn) 營(yíng) 管 理 系 統(tǒng)開 發(fā) 環(huán) 境 、 編 程 接 口 、 編 程 模 型 、 代 碼 庫(kù)服 務(wù) 器 集 群用 戶 管 理 、 計(jì) 費(fèi) 認(rèn) 證 、 資 源 監(jiān) 控 、 程 序 管 理 多合一 （ Google） 分布式 排版 : /webmoney 7 中國(guó)電信 PaaS技術(shù)應(yīng)用與實(shí)踐 企業(yè)機(jī)密 嚴(yán)禁外傳 分布式解決的問題 分布式問題由來(lái)已久 ， 把多臺(tái)機(jī)器合并成一臺(tái)機(jī)器是夢(mèng)寐以求的目標(biāo) 編寫程序 ， 需要考慮任務(wù)怎么分解 ， 怎么匯總結(jié)果 分發(fā)程序 ， 需要把程序拷貝到不同的機(jī)器上 ， 逐一啟動(dòng)程序 收集結(jié)果 ， 需要把每部分程序的結(jié)果收集起來(lái) ， 并進(jìn)行匯總 顯示結(jié)果 ， 需要通過統(tǒng)一的界面把結(jié)果輸出給用戶 自動(dòng)分發(fā)程序 自動(dòng)啟動(dòng)程序 自動(dòng)收集結(jié)果 .java .java .java .java .java .java .java .java 虛擬 超級(jí)計(jì)算機(jī) 排版 : /webmoney 8 中國(guó)電信 PaaS技術(shù)應(yīng)用與實(shí)踐 企業(yè)機(jī)密 嚴(yán)禁外傳 云計(jì)算分布式計(jì)算模型 分布式計(jì)算是由來(lái)已久的問題 計(jì)算模型：操作 (CPU)+數(shù)據(jù) (內(nèi)存 /硬盤 ) 并行方法：傳統(tǒng)分布式系統(tǒng)試圖解決任何 CPU訪問任何數(shù)據(jù) CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 中間件承擔(dān)多機(jī)之間的“總線” 結(jié)束 輸入 開發(fā)者必須將程序邏輯轉(zhuǎn)換成分布式平臺(tái)的邏輯 CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 借助網(wǎng)絡(luò)， Hadoop實(shí)現(xiàn)了多機(jī)之間的“總線” 結(jié)束 輸入 Map Map Map Map Reduce 應(yīng)用 邏輯 轉(zhuǎn)換 邏輯 分布 執(zhí)行 排版 : /webmoney 9 中國(guó)電信 PaaS技術(shù)應(yīng)用與實(shí)踐 企業(yè)機(jī)密 嚴(yán)禁外傳 分布式文件系統(tǒng) 分布式文件系統(tǒng)為提供海量存儲(chǔ)空間提供了極大的便利 NameNode負(fù)責(zé)文件目錄管理 DataNode負(fù)責(zé)真實(shí)的數(shù)據(jù)存儲(chǔ) 排版 : /webmoney 10 中國(guó)電信 PaaS技術(shù)應(yīng)用與實(shí)踐 企業(yè)機(jī)密 嚴(yán)禁外傳 分布式數(shù)據(jù)庫(kù) 數(shù)據(jù)庫(kù)關(guān)系模型不再是 PaaS解決的問題 排版 : /webmoney 11 中國(guó)電信 PaaS技術(shù)應(yīng)用與實(shí)踐 企業(yè)機(jī)密 嚴(yán)禁外傳 提綱 PaaS概述 PaaS核心技術(shù) 相關(guān)實(shí)踐 排版 : /webmoney 12 中國(guó)電信 PaaS技術(shù)應(yīng)用與實(shí)踐 企業(yè)機(jī)密 嚴(yán)禁外傳 中國(guó)電信與云計(jì)算 PaaS 需求分析 內(nèi)部需求分析 傳統(tǒng)電信系統(tǒng)多用小型機(jī)集群 ， 面臨擴(kuò)展性問題 ， 擴(kuò)容成本高 海量數(shù)據(jù)分析處理困難：用戶數(shù)據(jù) 、 計(jì)費(fèi)數(shù)據(jù) 、 網(wǎng)管數(shù)據(jù) 外部需求分析 互聯(lián)網(wǎng)信息應(yīng)用：大規(guī)模數(shù)據(jù)存儲(chǔ)和處理需求 、 快速開發(fā)能力 移動(dòng)互聯(lián)網(wǎng)應(yīng)用：瘦客戶端應(yīng)用開發(fā)需求 科研單位大規(guī)模并行計(jì)算需求 外部對(duì)電信能力的開放需求 應(yīng)對(duì)策略 打造大規(guī)模分布式處理平臺(tái) 運(yùn)用分布式技術(shù)構(gòu)建新型大規(guī)模集群 ， 解決大型系統(tǒng)的擴(kuò)展性 為 OSS/BSS等電信運(yùn)營(yíng)系統(tǒng)提供大量的存儲(chǔ)空間和并行計(jì)算能力 為號(hào)百等信息應(yīng)用 、 移動(dòng)互聯(lián)網(wǎng) 、 物聯(lián)網(wǎng)應(yīng)用提供超大服務(wù)器集群支撐 建設(shè)電信能力開放平臺(tái) 排版 : /webmoney 13 中國(guó)電信 PaaS技術(shù)應(yīng)用與實(shí)踐 企業(yè)機(jī)密 嚴(yán)禁外傳 相關(guān)工作 -技術(shù)研究及基礎(chǔ)平臺(tái)建設(shè) 技術(shù)研究 各種技術(shù)研究報(bào)告 中國(guó)電信云計(jì)算白皮書 云計(jì)算技術(shù)手冊(cè) 規(guī)范編寫 IaaS服務(wù)技術(shù)要求及相關(guān)設(shè)備規(guī)范 平臺(tái)搭建 數(shù)百 CPU核的云平臺(tái) ， 域名 部署虛擬化平臺(tái)及分布式計(jì)算平臺(tái) 試點(diǎn)應(yīng)用 網(wǎng)絡(luò)流量矩陣分析 ， IPv4/IPv6協(xié)議轉(zhuǎn)換 ， 餐飲搜索 ， 熱點(diǎn)播報(bào) ，行業(yè)資訊 排版 : /webmoney 14 中國(guó)電信 PaaS技術(shù)應(yīng)用與實(shí)踐 企業(yè)機(jī)密 嚴(yán)禁外傳 平臺(tái)建設(shè)：大規(guī)模分布式服務(wù)引擎 電信 系統(tǒng) 典型架構(gòu) 小型機(jī)集群 規(guī)模 數(shù)百 臺(tái) 關(guān)系型數(shù)據(jù) 結(jié)構(gòu)化數(shù)據(jù)為核心 傳統(tǒng)數(shù)據(jù)處理為主 成本很高 容量可規(guī)劃 互聯(lián)網(wǎng) 系統(tǒng) 典型架構(gòu) X86集群 規(guī)模 數(shù)萬(wàn) 臺(tái) 自有數(shù)據(jù)庫(kù) 非結(jié)構(gòu)化數(shù)據(jù)為核心 數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí) 成本相對(duì)較低 容量可預(yù)見性低 隨著數(shù)據(jù)規(guī)模的增長(zhǎng)以及互聯(lián)網(wǎng)應(yīng)用在電信行業(yè)的發(fā)展，需要引入新的架構(gòu)解決擴(kuò)展性和建設(shè)成本問題 排版 : /webmoney 15 中國(guó)電信 PaaS技術(shù)應(yīng)用與實(shí)踐 企業(yè)機(jī)密 嚴(yán)禁外傳 分布式服務(wù)引擎 -定位 建設(shè)一個(gè)滿足多個(gè)應(yīng)用對(duì)底層大規(guī)模數(shù)據(jù)智能處理需求的平臺(tái) 出發(fā)點(diǎn)：節(jié)約投資，提高效率，推動(dòng)創(chuàng)新 電信運(yùn)營(yíng)數(shù)據(jù)：位置數(shù)據(jù)、用戶行為數(shù)據(jù)、流量數(shù)據(jù)等 互聯(lián)網(wǎng)數(shù)據(jù)：網(wǎng)頁(yè)數(shù)據(jù)、圖像數(shù)據(jù)、視頻數(shù)據(jù) 能力定位：面向億兆級(jí)數(shù)據(jù)規(guī)模 提供海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、統(tǒng)計(jì)分析、數(shù)據(jù)查詢等服務(wù) 為業(yè)務(wù)平臺(tái)、互聯(lián)網(wǎng) /物聯(lián)網(wǎng)應(yīng)用提供基本服務(wù)組件 系統(tǒng)定位：電信應(yīng)用的核，互聯(lián)網(wǎng)應(yīng)用基本組件 服務(wù)接口層次化，滿足不同應(yīng)用需求 設(shè)計(jì)定位：抽象公共基礎(chǔ)服務(wù)，簡(jiǎn)化應(yīng)用開發(fā) 排版 : /webmoney 16 中國(guó)電信 PaaS技術(shù)應(yīng)用與實(shí)踐 企業(yè)機(jī)密 嚴(yán)禁外傳 分布式服務(wù)引擎 -架構(gòu) 關(guān)系型 /分布式 數(shù)據(jù)庫(kù)查詢引擎 特征提取 數(shù)據(jù)獲取 分布式數(shù)據(jù)庫(kù) 分布式文件系統(tǒng) 分布式計(jì)算 硬件平臺(tái) 分布式平臺(tái) 統(tǒng)計(jì)分析 分類 聚類 預(yù)測(cè) 關(guān)聯(lián)分析 基礎(chǔ)能力層 （數(shù)據(jù)挖掘、分析） 內(nèi)容分類 信息檢索 位置服務(wù) 可視處理 文本處理 圖表服務(wù) 服務(wù)能力層 （信息收集、處理） ONS系統(tǒng) EPC查詢 流量分析 可視檢索 餐飲搜索 行為分析 應(yīng)用層 熱點(diǎn)播報(bào) 行業(yè)資訊 配置 調(diào)度 監(jiān)控 接入 排版 : /webmoney 17 中國(guó)電信 PaaS技術(shù)應(yīng)用與實(shí)踐 企業(yè)機(jī)密 嚴(yán)禁外傳 應(yīng)用 1：移動(dòng)互聯(lián)網(wǎng)網(wǎng)絡(luò)加速 網(wǎng)絡(luò)加速融合了 IPv4/IPv6互通 、 內(nèi)容加速及重排等功能 ， 是極富有價(jià)值的應(yīng)用 移動(dòng)用戶 云計(jì)算軟件平臺(tái) (內(nèi)容過濾，頁(yè)面重排 ) 自動(dòng)分布 HTTP請(qǐng)求 內(nèi)部云計(jì)算平臺(tái) （加速云） IPv6互聯(lián)網(wǎng) IPv4互聯(lián)網(wǎng) 移動(dòng)用戶 寬帶用戶 云計(jì)算硬件平臺(tái) 排版 : /webmoney 18 中國(guó)電信 PaaS技術(shù)應(yīng)用與實(shí)踐 企業(yè)機(jī)密 嚴(yán)禁外傳 應(yīng)用 2：網(wǎng)絡(luò)流量分析 應(yīng)用云計(jì)算集群技術(shù)實(shí)現(xiàn)現(xiàn)有系統(tǒng)難以實(shí)現(xiàn)的任務(wù) 系統(tǒng)目標(biāo) 基本的數(shù)據(jù)統(tǒng)計(jì)、地域分布、應(yīng)用分布、流量矩陣 實(shí)時(shí)全網(wǎng)異常流量檢測(cè) 處理任務(wù) 各種統(tǒng)計(jì)任務(wù)的 MapReduce并行化計(jì)算 應(yīng)用主成份分析檢測(cè)網(wǎng)絡(luò)狀態(tài)異常 核心技術(shù) 全網(wǎng) Netflow流量每天數(shù)十 TB 每秒數(shù)十萬(wàn) Flow Record紀(jì)錄 數(shù)據(jù)規(guī)模 排版 : /webmoney 19 中國(guó)電信 PaaS技術(shù)應(yīng)用與實(shí)踐 企業(yè)機(jī)密 嚴(yán)禁外傳 應(yīng)用 3：可視化搜索 利用云計(jì)算技術(shù)解決可視化搜索對(duì)計(jì)算和存儲(chǔ)的高強(qiáng)度需求 運(yùn)用可視化搜索技術(shù)推動(dòng) 3G創(chuàng)新應(yīng)用研發(fā) 系統(tǒng)目標(biāo) 快速檢索： Locality Sensitive Hashing 底層特征： Color、 Texture、 GIST、 SIFT 檢索模型： Bag of visual words with global context 核心技術(shù) 目標(biāo)索引數(shù)千萬(wàn)張圖片，數(shù)十 T的存儲(chǔ)需求 海量的數(shù)百維的高維特征向量，計(jì)算和存儲(chǔ)高度密集 快速檢索面臨極大挑戰(zhàn)，普