如何構(gòu)建企業(yè)云平臺(tái).ppt

童景文,技術(shù)架構(gòu)師 景文童 大中華區(qū)軟件集團(tuán),IBM軟件CTO論壇,如何構(gòu)建企業(yè)云平臺(tái),2,議程,現(xiàn)狀分析； 如何架構(gòu)和建設(shè)；,3,現(xiàn)存問題,傳統(tǒng)的建設(shè)方式 每建設(shè)一套業(yè)務(wù)應(yīng)用系統(tǒng)基本上都要購買新的硬件設(shè)備（例如服務(wù)器、存儲(chǔ)等）和平臺(tái)系統(tǒng)軟件（例如數(shù)據(jù)庫、中間件等）。帶來了大量的硬件資源的浪費(fèi)（例如大量的服務(wù)器利用率低下、存儲(chǔ)利用率不高和管理復(fù)雜）和占用大量的空間、電力的浪費(fèi)、運(yùn)維成本的提高.對(duì)于一些高負(fù)載和高數(shù)據(jù)量的應(yīng)用系統(tǒng)，我們對(duì)硬件資源的要求是按照此應(yīng)用系統(tǒng)高峰值的需要來進(jìn)行購買以應(yīng)用此應(yīng)用的需要，但是此應(yīng)用的高峰期是具有周期性的。,4,現(xiàn)存問題,傳統(tǒng)的建設(shè)方式示例圖,OA,數(shù)據(jù)庫,服務(wù)器,存儲(chǔ)備份,系統(tǒng)管理,中間件,郵件,數(shù)據(jù)庫,服務(wù)器,存儲(chǔ)備份,系統(tǒng)管理,中間件,CRM,數(shù)據(jù)庫,服務(wù)器,存儲(chǔ)備份,系統(tǒng)管理,中間件,客服,數(shù)據(jù)庫,服務(wù)器,存儲(chǔ)備份,系統(tǒng)管理,中間件,業(yè)務(wù)支撐,數(shù)據(jù)庫,服務(wù)器,存儲(chǔ)備份,系統(tǒng)管理,中間件,網(wǎng)管,數(shù)據(jù)庫,服務(wù)器,存儲(chǔ)備份,系統(tǒng)管理,中間件,網(wǎng)絡(luò)安全,網(wǎng)絡(luò)安全,網(wǎng)絡(luò)安全,網(wǎng)絡(luò)安全,網(wǎng)絡(luò)安全,網(wǎng)絡(luò)安全,系統(tǒng)集成,系統(tǒng)建設(shè),系統(tǒng)維護(hù),系統(tǒng)采購,系統(tǒng)設(shè)計(jì),1.業(yè)務(wù)實(shí)現(xiàn)周期長； 2.系統(tǒng)獨(dú)立建設(shè)，資源浪費(fèi)嚴(yán)重； 3. 維護(hù)效率低，軟硬件設(shè)備型號(hào)多 ; 4. 資源使用不均衡,系統(tǒng)集成,系統(tǒng)建設(shè),系統(tǒng)維護(hù),系統(tǒng)采購,系統(tǒng)設(shè)計(jì),系統(tǒng)集成,系統(tǒng)建設(shè),系統(tǒng)維護(hù),系統(tǒng)采購,系統(tǒng)設(shè)計(jì),系統(tǒng)集成,系統(tǒng)建設(shè),系統(tǒng)維護(hù),系統(tǒng)采購,系統(tǒng)設(shè)計(jì),系統(tǒng)集成,系統(tǒng)建設(shè),系統(tǒng)維護(hù),系統(tǒng)采購,系統(tǒng)設(shè)計(jì),系統(tǒng)集成,系統(tǒng)建設(shè),系統(tǒng)維護(hù),系統(tǒng)采購,系統(tǒng)設(shè)計(jì),5,現(xiàn)存問題,數(shù)據(jù)孤島和應(yīng)用豎井 應(yīng)用系統(tǒng)按照傳統(tǒng)的方式進(jìn)行設(shè)計(jì)和開發(fā)，從而形成一個(gè)個(gè)的數(shù)據(jù)孤島、應(yīng)用的豎井等。以至不能形成完整的數(shù)據(jù)視圖（例如相互有關(guān)聯(lián)的數(shù)據(jù)分散于不同的應(yīng)用系統(tǒng)，數(shù)據(jù)編碼標(biāo)準(zhǔn)不一致，數(shù)據(jù)不一致和不可信等；讓進(jìn)行數(shù)據(jù)的整合和數(shù)據(jù)分析基本上不太可能）和應(yīng)用系統(tǒng)集成復(fù)雜度和難度很高（沒有好的設(shè)計(jì)規(guī)范和架構(gòu)以及代碼質(zhì)量，基本上代碼重用程度都很低；從界面集成、數(shù)據(jù)集成、應(yīng)用集成這三個(gè)方向來做都很困難）；甚至出現(xiàn)無法集成或者為了集成而集成純粹完成任務(wù)而已）。,6,現(xiàn)存問題,性能和可靠性 對(duì)于一個(gè)性能要求很高的系統(tǒng)（例如高負(fù)載量和高數(shù)據(jù)量的系統(tǒng)）我們會(huì)利用大量的硬件資源和相應(yīng)的集群技術(shù)等技術(shù)進(jìn)行相應(yīng)的數(shù)據(jù)分區(qū)、集群和均衡負(fù)載來應(yīng)對(duì)峰值的訪問情況,7,現(xiàn)存問題,完整地端到端監(jiān)控 沒有一個(gè)完整地、 端到端的整體IT系統(tǒng)監(jiān)控解決方案，無法對(duì)我們整體IT系統(tǒng)（例如主機(jī)、存儲(chǔ)、網(wǎng)絡(luò)、數(shù)據(jù)庫、應(yīng)用服務(wù)器、應(yīng)用）的運(yùn)行情況進(jìn)行一個(gè)很好的監(jiān)控，通過監(jiān)控產(chǎn)生的數(shù)據(jù)來指導(dǎo)我們優(yōu)化我們的IT系統(tǒng)。,8,現(xiàn)存問題,我們需要一個(gè)最佳實(shí)踐 我們存在很多的應(yīng)用軟件開發(fā)商，每個(gè)應(yīng)用開發(fā)商都有自己一套設(shè)計(jì)思路和想法；這給我們帶來了一定混亂，并且對(duì)各個(gè)應(yīng)用軟件開發(fā)商的協(xié)調(diào)和控制非常的困難。所以我們需要一個(gè)自己的應(yīng)用平臺(tái)，此應(yīng)用平臺(tái)需要借助產(chǎn)商外腦的成熟解決方案和人才的力量形成，從而形成一個(gè)較好的平臺(tái)，從而給我們以后的應(yīng)用系統(tǒng)的建設(shè)設(shè)計(jì)出相應(yīng)的模板或者最佳實(shí)踐：例如應(yīng)用軟件開發(fā)和設(shè)計(jì)規(guī)范、應(yīng)用軟件參考架構(gòu)、應(yīng)用軟件用戶體驗(yàn)設(shè)計(jì)規(guī)范、業(yè)務(wù)信息編碼標(biāo)準(zhǔn)、應(yīng)用軟件部署和維護(hù)規(guī)范等。從而讓以后開發(fā)的應(yīng)用系統(tǒng)更加的穩(wěn)定可靠、性能較好、易用性較好、維護(hù)方便等.,9,面對(duì)的挑戰(zhàn),SoLoMo：社交+本地化+移動(dòng),大并發(fā)、大數(shù)據(jù)、用戶體驗(yàn),10,議程,現(xiàn)狀分析； 如何架構(gòu)和建設(shè)；,11,現(xiàn)今云計(jì)算領(lǐng)域的技術(shù)趨勢,在現(xiàn)今云計(jì)算風(fēng)起云涌，主要分成三種模式Saas，Paas，Iaas；當(dāng)然在幾種模式基礎(chǔ)上發(fā)展出了很多的的模式，但是核心的還是Saas，Pass，Iaas，示例簡圖如下所示。,12,現(xiàn)今云計(jì)算領(lǐng)域的技術(shù)趨勢,云計(jì)算涵蓋了硬件（服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)、終端）和軟件（例如Google的GFS、Mapreduce、BigTable、Megastore等技術(shù)和Google Application Engine；IBM 的 BigInsight、GPFS On Hadoop等技術(shù)和產(chǎn)品等等）。云計(jì)算不僅僅是商業(yè)模式上的變革，并且也是技術(shù)模式上的變革；對(duì)于主流的云計(jì)算三種模式（Saas、Paas、Iaas），Paas模式的云計(jì)算對(duì)IT產(chǎn)商和客戶來說最具有價(jià)值，必將是將來幾年的重點(diǎn)發(fā)展方向,而Paas模式的云計(jì)算必然是一個(gè)重大的技術(shù)變革（正如應(yīng)用軟件架構(gòu)從C/S架構(gòu)過渡到B/S架構(gòu)一樣）。Paas模式的云計(jì)算應(yīng)該是一種大規(guī)模地、可靠、高效、穩(wěn)定的服務(wù)器集群系統(tǒng)，它應(yīng)該是能夠幫助我們的客戶和開發(fā)人員解決Big Data 、Big Concurrent User、Better User Experience、Better Develop&Deploy Application等一系列問題,將來的應(yīng)用軟件架構(gòu)必然是Paas模式的云計(jì)算架構(gòu),13,定義和特點(diǎn),定義：我們必然需要利用相應(yīng)的新技術(shù)（服務(wù)器虛擬化技術(shù)、存儲(chǔ)虛擬化技術(shù)、網(wǎng)絡(luò)虛擬化技術(shù)、應(yīng)用虛擬化技術(shù)、高速內(nèi)存緩沖技術(shù)、NoSQL技術(shù)、OpenID技術(shù)等等）、吸收和補(bǔ)充以及裁剪相應(yīng)成熟可靠的原有技術(shù)（例如J2EE架構(gòu)、SOA架構(gòu)等等）建設(shè)一個(gè)“較大規(guī)模的，可擴(kuò)展和高性能，成本可控，易運(yùn)維，易訪問，易設(shè)計(jì)和開發(fā)，但是高可靠性的集群系統(tǒng)“。,14,定義和特點(diǎn),特點(diǎn)： 1、是一個(gè)軟硬件結(jié)合的系統(tǒng)，它需要依賴一個(gè)先進(jìn)的硬件架構(gòu)、軟件系統(tǒng)底層架構(gòu)以及應(yīng)用開發(fā)設(shè)計(jì)規(guī)范和架構(gòu)。它吸收和補(bǔ)充以及裁剪相應(yīng)成熟可靠的原有技術(shù)（例如J2EE架構(gòu)、SOA架構(gòu)等等）。 2、提供了一個(gè)完整的開發(fā)堆棧，使用熟悉的技術(shù)和相應(yīng)的新技術(shù)，成熟可用的數(shù)據(jù)標(biāo)準(zhǔn)和規(guī)范，成熟可用的可重用服務(wù)來構(gòu)建和托管網(wǎng)絡(luò)應(yīng)用程序。 3、可自動(dòng)伸縮：對(duì)于應(yīng)用開發(fā)商開發(fā)的應(yīng)用，應(yīng)用開發(fā)商的只關(guān)注于在它的開發(fā)和設(shè)計(jì)規(guī)范的要求下編寫他們所需要的應(yīng)用邏輯以及在它的部署規(guī)范的要求下部署他們的應(yīng)用；它將根據(jù)應(yīng)用的需要自動(dòng)分配出相應(yīng)的計(jì)算資源并利用相應(yīng)的技術(shù)來滿足應(yīng)用的需要。為了讓應(yīng)用開發(fā)商的應(yīng)用能夠在高性能的壓力下（例如高負(fù)載和高數(shù)據(jù)量）能夠健康運(yùn)行，無需應(yīng)用開發(fā)商關(guān)心系統(tǒng)管理、提出應(yīng)用程序的新實(shí)例（例如進(jìn)行集群以提高性能）、數(shù)據(jù)庫分片或購買計(jì)算機(jī)。大幅提高硬件資源的利用率、降低空間的占用和降低電力的損耗。 4、可靠性、性能和安全性：它將實(shí)現(xiàn)高度可靠、高性能的基礎(chǔ)設(shè)施結(jié)構(gòu)，從而可以大規(guī)模運(yùn)行可擴(kuò)展、高性能、高安全的應(yīng)用系統(tǒng)。,15,定義和特點(diǎn),特點(diǎn)： 5、成本可控：通過它內(nèi)置的完整的端到端的IT監(jiān)控模塊，可以完整的監(jiān)控整體的硬件情況（例如服務(wù)器，存儲(chǔ)，網(wǎng)絡(luò)的使用情況，數(shù)據(jù)庫系統(tǒng)和中間件系統(tǒng)的使用情況）；監(jiān)控各個(gè)應(yīng)用的運(yùn)行情況（例如應(yīng)用的請(qǐng)求負(fù)載情況，瓶頸在哪，數(shù)據(jù)存儲(chǔ)容量消耗情況等等）。通過這種自動(dòng)化的監(jiān)控模塊，從而讓我們的運(yùn)維人員更加快速和方便的運(yùn)維我們的系統(tǒng)。 6、管理可控：通過在它里面提供的一系列的開發(fā)設(shè)計(jì)和架構(gòu)規(guī)范，可重用的服務(wù)等，從而可以讓各個(gè)應(yīng)用開發(fā)商開發(fā)的應(yīng)用比較完整地遵循我們的要求，降低和協(xié)調(diào)成本可提高了開發(fā)效率。 7、消除數(shù)據(jù)孤島和應(yīng)用的豎井：對(duì)于應(yīng)用系統(tǒng)所需要的數(shù)據(jù)庫系統(tǒng)以及數(shù)據(jù)服務(wù)都是由它統(tǒng)一進(jìn)行提供，應(yīng)用開發(fā)商的應(yīng)用系統(tǒng)不再關(guān)心他們的數(shù)據(jù)存儲(chǔ)在哪、怎么存儲(chǔ)等等以及數(shù)據(jù)的標(biāo)準(zhǔn)和格式將統(tǒng)一；從而不再會(huì)存在數(shù)據(jù)不一致、數(shù)據(jù)分散、無法形成完整的數(shù)據(jù)視圖以很難進(jìn)行數(shù)據(jù)分析的問題。對(duì)于應(yīng)用系統(tǒng)為了某些目的需要與其它系統(tǒng)進(jìn)行交互以完成應(yīng)用的集成，相應(yīng)的集成服務(wù)將由它統(tǒng)一進(jìn)行提供，所以所有的應(yīng)用系統(tǒng)天然是一個(gè)統(tǒng)一的整體不再是一個(gè)個(gè)應(yīng)用的豎井。 8、客戶體驗(yàn)至上，適應(yīng)頻繁的應(yīng)用發(fā)布與線上和系統(tǒng)變更，以及管理代碼庫中的大量分支。,16,架構(gòu)概覽 High Level View,硬件-服務(wù)器/存儲(chǔ)/網(wǎng)絡(luò),Iaas- Iaas云計(jì)算平臺(tái)管理：服務(wù)器虛擬化、存儲(chǔ)虛擬化、網(wǎng)絡(luò)虛擬化、自動(dòng)化,數(shù)據(jù)-關(guān)系型數(shù)據(jù)庫、NoSQL etc,應(yīng)用運(yùn)行支撐-J2EE應(yīng)用服務(wù)器、MQ、ESB、WorkFlow 、Hadoop、Web服務(wù)器 etc,應(yīng)用-核心支撐應(yīng)用（統(tǒng)一用戶管理中心、數(shù)據(jù)開放平臺(tái)、監(jiān)控）,各種業(yè)務(wù)應(yīng)用 etc,接入端-PC、智能手機(jī)、智能平板 等,17,架構(gòu)細(xì)化-基礎(chǔ)設(shè)施架構(gòu)（Iaas）,我們通過Iaas模式，把我們數(shù)據(jù)中心中的硬件全部給虛擬化形成一個(gè)虛擬化的資源池，從而更好地支撐我們的上層即Pass和Saas,18,架構(gòu)細(xì)化-基礎(chǔ)設(shè)施架構(gòu)（Iaas）- 整體思路,架構(gòu)細(xì)化-基礎(chǔ)設(shè)施架構(gòu)（Iaas）- 整體思路,1、對(duì)于服務(wù)器這一塊我們限制必須采用刀片式/機(jī)架式的服務(wù)器（例如X86架構(gòu)）；從而可以降低服務(wù)器的體積，提高空間利用率。 2、對(duì)于服務(wù)器中所包含的存儲(chǔ)盤，我們建議以采用SSD技術(shù)的固態(tài)硬盤和采用HDD硬盤混。 3、服務(wù)器所包含的芯片的主頻越高越好和芯片的CORE數(shù)目越多越好。 4、服務(wù)器將進(jìn)行堆疊放入機(jī)柜/刀片中心，機(jī)柜/刀片中心至少要放10臺(tái)以上的服務(wù)器，當(dāng)然放的越多越好例如可以放40-80臺(tái)；在機(jī)柜中的服務(wù)器以高速以太網(wǎng)交換聯(lián)絡(luò)起來。 5、多臺(tái)機(jī)柜/刀片中心形成一個(gè)比較大規(guī)模的服務(wù)器集群，機(jī)柜/刀片中心用相應(yīng)的交換機(jī)聯(lián)絡(luò)起來。,19,架構(gòu)細(xì)化-基礎(chǔ)設(shè)施架構(gòu)（Iaas）- 硬件能力,20,架構(gòu)細(xì)化-基礎(chǔ)設(shè)施架構(gòu)（Iaas）-利用硬件的能力（大內(nèi)存，SSD,高速網(wǎng)絡(luò)等）,21,架構(gòu)細(xì)化-基礎(chǔ)設(shè)施架構(gòu)（Iaas）-利用硬件的能力（大內(nèi)存，SSD,高速網(wǎng)絡(luò)等）-SSD,22,Processors,Memory,Disk,SSD,Very, very, very, very, very fast,Very, very, very fast,Very, very slow comparatively,Fast,架構(gòu)細(xì)化-基礎(chǔ)設(shè)施架構(gòu)（Iaas）-利用硬件的能力（大內(nèi)存，SSD,高速網(wǎng)絡(luò)等）-高速網(wǎng)路,23,1.萬兆以太網(wǎng) 2.Infiniband 網(wǎng)絡(luò)，此網(wǎng)絡(luò)技術(shù)特別適合于關(guān)系數(shù)據(jù)庫集群機(jī)制中（例如DB2 PureScale）。,架構(gòu)細(xì)化-基礎(chǔ)設(shè)施架構(gòu)（Iaas）,24,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化,25,軟件基礎(chǔ)設(shè)施架構(gòu)最重要的是數(shù)據(jù)架構(gòu)、然后再是應(yīng)用架構(gòu)；把這個(gè)架構(gòu)做好也是一是為了解決數(shù)據(jù)孤島、應(yīng)用豎井的問題，二是提供各種各樣的服務(wù)例如數(shù)據(jù)存儲(chǔ)服務(wù)（SQL數(shù)據(jù)服務(wù)、非結(jié)構(gòu)化信息數(shù)據(jù)服務(wù)等）、消息服務(wù)、應(yīng)用集成服務(wù)、流程服務(wù)、安全服務(wù)、監(jiān)控服務(wù)等，三是讓應(yīng)用開發(fā)更加簡單，四是能夠適應(yīng)大并發(fā)和大數(shù)據(jù)量的挑戰(zhàn)。不把Pass給建設(shè)好，就想要去把Sass給建設(shè)好是不大可能的，特別是在大并發(fā)、大數(shù)據(jù)量等峰值壓力的挑戰(zhàn)下提供給外部用戶使用的Sass應(yīng)用必奔潰無疑。并且一個(gè)真正的云計(jì)算平臺(tái)是逃脫不了一定要能夠面對(duì)大并發(fā)、大數(shù)據(jù)量的挑戰(zhàn)的。,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化,26,我們會(huì)部署很多應(yīng)用，所以這樣的話對(duì)于應(yīng)用的快速部署的關(guān)注點(diǎn)在于應(yīng)用的可靠運(yùn)行、快速開發(fā)和部署、機(jī)器資源的充分利用、以及方便的運(yùn)維等問題；對(duì)于這個(gè)時(shí)候我們應(yīng)該主要采用Iaas云計(jì)算架構(gòu)（即很依賴于硬件虛擬化技術(shù)）和部分采用Pass云計(jì)算架構(gòu)來解決（這個(gè)可以參考IBM IWD） 1.重點(diǎn)采用Iaas 云計(jì)算架構(gòu)中的硬件虛擬化技術(shù)等技術(shù)（服務(wù)器虛擬化、網(wǎng)絡(luò)虛擬化、存儲(chǔ)虛擬化）以提高硬件的利用率、降低機(jī)房占用空間和功耗。 2.快速和方便地給應(yīng)用提供應(yīng)用所需要的服務(wù)器資源（VM)、網(wǎng)絡(luò)資源、存儲(chǔ)資源。 3.快速和方便地給應(yīng)用提供應(yīng)用所需要依賴的平臺(tái)軟件資源，例如數(shù)據(jù)庫系統(tǒng)（DB2)、J2EE應(yīng)用服務(wù)器（WAS)、WEB 服務(wù)器（IHS)等。 4.快速和方便地自動(dòng)地把應(yīng)用部署到相應(yīng)的硬件環(huán)境中。,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化-數(shù)據(jù)架構(gòu)闡述,我們一定要堅(jiān)信特別是信息架構(gòu)師更要堅(jiān)信，處于大多數(shù)系統(tǒng)核心的是數(shù)據(jù)，而不是算法（或者稱之為代碼）。隨著互聯(lián)網(wǎng)（固定互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)）技術(shù)和物聯(lián)網(wǎng)技術(shù)的發(fā)展，最終用戶產(chǎn)生和消費(fèi)的數(shù)據(jù)將比以往更加推動(dòng)信息技術(shù)的使用，我們業(yè)務(wù)流程的運(yùn)轉(zhuǎn)需要各個(gè)環(huán)節(jié)的人員產(chǎn)生和消費(fèi)相應(yīng)的數(shù)據(jù)，數(shù)據(jù)需要更加地及時(shí)、有效、精確；我們的業(yè)務(wù)的運(yùn)營越來越離不開相應(yīng)的數(shù)據(jù)。 在任何情況下我們需要通過Web來呈現(xiàn)給用戶使用的所有功能歸根結(jié)底都是一個(gè)界面一個(gè)具有較好用戶體驗(yàn)的界面來更好地產(chǎn)生和消費(fèi)數(shù)據(jù)，以促進(jìn)人與人之間的協(xié)同、人與機(jī)器之間的協(xié)同以及業(yè)務(wù)流程更加高效、精準(zhǔn)的運(yùn)轉(zhuǎn)從而提高企業(yè)的經(jīng)營效率和效益。這些數(shù)據(jù)就構(gòu)成了我們企業(yè)應(yīng)用信息系統(tǒng)的核心價(jià)值，不論這些數(shù)據(jù)是合作伙伴創(chuàng)建的還是我們的一線員工和管理層所創(chuàng)建的。市場需求的變化促進(jìn)了業(yè)務(wù)和業(yè)務(wù)流程的變化和促進(jìn)了人的變化，促進(jìn)了數(shù)據(jù)的變化即需要?jiǎng)?chuàng)建和消費(fèi)、利用更多類型、更多種類、更大量的數(shù)據(jù)，數(shù)據(jù)推動(dòng)了我們需要更多的產(chǎn)品/應(yīng)用，所以架構(gòu)師、開發(fā)人員將會(huì)圍繞數(shù)據(jù)創(chuàng)建了傳統(tǒng)的“n”層軟件棧（數(shù)據(jù)存儲(chǔ)層、業(yè)務(wù)邏輯層與顯示層）即我們的應(yīng)用都是由數(shù)據(jù)來驅(qū)動(dòng)的。,27,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化-數(shù)據(jù)架構(gòu)闡述,問題： 如下圖按照傳統(tǒng)的方式建設(shè)的方式必然產(chǎn)生數(shù)據(jù)孤島，能夠被共享的業(yè)務(wù)核心數(shù)據(jù)被分散到各個(gè)應(yīng)用，并且各個(gè)應(yīng)用的開發(fā)商很多不一樣的甚至是同一個(gè)開發(fā)商由于各種問題導(dǎo)致數(shù)據(jù)編碼標(biāo)準(zhǔn)不一致，數(shù)據(jù)不一致和不可信等問題；這些問題導(dǎo)致不能夠形成完整和精準(zhǔn)的數(shù)據(jù)視圖，導(dǎo)致很難進(jìn)行數(shù)據(jù)分析和支撐業(yè)務(wù)流程的運(yùn)營。,28,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化-數(shù)據(jù)架構(gòu)闡述,目標(biāo)：我們需要采用新的思路，即把在企業(yè)中能夠被支撐各個(gè)業(yè)務(wù)場景的業(yè)務(wù)應(yīng)用系統(tǒng)所共享的基礎(chǔ)數(shù)據(jù)全部放入到統(tǒng)一的數(shù)據(jù)存儲(chǔ)池中，并且讓這個(gè)統(tǒng)一的數(shù)據(jù)存儲(chǔ)池提供相應(yīng)的服務(wù)API讓各個(gè)業(yè)務(wù)應(yīng)用使用（查詢、增加、修改等），各個(gè)業(yè)務(wù)應(yīng)用系統(tǒng)不再保存和維護(hù)這些數(shù)據(jù)，與各個(gè)業(yè)務(wù)應(yīng)用私有相關(guān)的數(shù)據(jù)有相應(yīng)的各個(gè)業(yè)務(wù)應(yīng)用進(jìn)行維護(hù)和控制。這個(gè)數(shù)據(jù)存儲(chǔ)池我們稱之為數(shù)據(jù)開放平臺(tái)，統(tǒng)一相應(yīng)的編碼規(guī)則、數(shù)據(jù)元定義等等。,29,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化-數(shù)據(jù)架構(gòu)闡述,在我們建設(shè)支撐企業(yè)業(yè)務(wù)運(yùn)營的業(yè)務(wù)應(yīng)用當(dāng)中，我們不僅僅需要管理關(guān)系型的業(yè)務(wù)數(shù)據(jù)，還有許多非關(guān)系型的數(shù)據(jù)需要進(jìn)行管理（例如office文檔、圖片、音頻/視頻等），我們不能把這些數(shù)據(jù)信息由不同的單獨(dú)業(yè)務(wù)應(yīng)用進(jìn)行單獨(dú)管理，我們應(yīng)該統(tǒng)一管理起來提供服務(wù)器讓不同的業(yè)務(wù)應(yīng)用進(jìn)行利用(存儲(chǔ)、提取等）。,30,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化數(shù)據(jù)架構(gòu)闡述數(shù)據(jù)分析,很經(jīng)典的一個(gè)數(shù)據(jù)分析場景的分層實(shí)現(xiàn)設(shè)計(jì)架構(gòu),31,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化數(shù)據(jù)架構(gòu)闡述數(shù)據(jù)分析,32,內(nèi)存,SSD,高端HDD,低端HDD,特點(diǎn)： 1.如果每天產(chǎn)生的增量數(shù)據(jù)不大（例如幾十個(gè)G以下的話），在一定機(jī)器配置的情況下；進(jìn)行相應(yīng)地裝載、清洗、數(shù)據(jù)挖掘等工作沒有多大的問題。 2.如果數(shù)據(jù)量非常之大的話，一般會(huì)采用大機(jī)器、大內(nèi)存、SSD、高端存儲(chǔ)、高速網(wǎng)絡(luò)（萬兆網(wǎng)/Infiniband網(wǎng)絡(luò))來進(jìn)行；但是成本可能非常巨大（例如硬件成本、正版的軟件成本）；并且還會(huì)出現(xiàn)數(shù)據(jù)量上到一個(gè)量級(jí)別后甚至?xí)霈F(xiàn)硬件再好也無法應(yīng)對(duì)。 3.實(shí)施的架構(gòu)其實(shí)是非常復(fù)雜的 4.在大部分客戶場景（很多客戶沒有那么多的數(shù)據(jù)）的情況下用此架構(gòu)是合理有效的,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化數(shù)據(jù)架構(gòu)闡述數(shù)據(jù)分析,33,業(yè)務(wù)數(shù)據(jù)庫（Oracle）,業(yè)務(wù)數(shù)據(jù)庫（DB2）,業(yè)務(wù)數(shù)據(jù)庫（MS SQL）,業(yè)務(wù)系統(tǒng)數(shù)據(jù),XLS數(shù)據(jù),批量導(dǎo)入和基于日志實(shí)時(shí)復(fù)制,數(shù)據(jù)存儲(chǔ)區(qū)（數(shù)據(jù)倉庫、數(shù)據(jù)集市）,錄入和導(dǎo)入,數(shù)據(jù)分析區(qū)-Cognos/SPSS（CubeView）,ETL,改良后以適應(yīng)Big Data 的BA系統(tǒng)技術(shù)架構(gòu),架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化數(shù)據(jù)架構(gòu)闡述數(shù)據(jù)分析,34,改良后以適應(yīng)Big Data 的BA系統(tǒng)技術(shù)架構(gòu)-Netezza簡介,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化數(shù)據(jù)架構(gòu)闡述數(shù)據(jù)分析,35,特點(diǎn)： 1.架構(gòu)更加簡單。 2.性能足夠強(qiáng)勁：處理更大的數(shù)據(jù)量、更快的裝載、更快的處理 3.它更適合SQL場景,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化數(shù)據(jù)架構(gòu)闡述數(shù)據(jù)分析,在我們的企業(yè)應(yīng)用系統(tǒng)中，不僅僅是關(guān)系型數(shù)據(jù)還存在大量的非關(guān)系型數(shù)據(jù)都需要進(jìn)行分析，例如日志、Office文檔等等；并且在很多數(shù)據(jù)量（關(guān)系型和非關(guān)系型）增長到一個(gè)讓人非?？植赖臅r(shí)候（例如一些互聯(lián)網(wǎng)應(yīng)用），在做數(shù)據(jù)分析的時(shí)就必須采用Hadoop框架進(jìn)行大規(guī)模的機(jī)器集群來進(jìn)行處理。,36,引入Hadoop框架：IBM InforSphere BigInsight,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化數(shù)據(jù)架構(gòu)闡述數(shù)據(jù)分析,37,業(yè)務(wù)系統(tǒng)數(shù)據(jù)源,增量實(shí)時(shí)裝載/全量/非實(shí)時(shí)裝載,Hadoop集群: IBM InforSphere BigInsight/ETL,計(jì)算結(jié)果（CDW,DM),結(jié)果裝載,關(guān)系型數(shù)據(jù)庫數(shù)據(jù),非結(jié)構(gòu)化數(shù)據(jù),半結(jié)構(gòu)化數(shù)據(jù),引入Hadoop框架：IBM InforSphere BigInsight,DB2,DB2 10將能與Hadoop（ IBM InforSphere BigInsight）無縫緊密的進(jìn)行集成,數(shù)據(jù)可視化,SPSS,Cognos,其它,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化應(yīng)用架構(gòu)闡述,38,通過上面的數(shù)據(jù)架構(gòu)的內(nèi)容闡述，我們都知道應(yīng)用都是圍繞數(shù)據(jù)來進(jìn)行創(chuàng)建的，數(shù)據(jù)分成兩大類：1.可能被在整個(gè)企業(yè)范圍內(nèi)很多應(yīng)用所共享的數(shù)據(jù)，這個(gè)稱之為主數(shù)據(jù)。2.被自身應(yīng)用所控制的私有數(shù)據(jù)，即應(yīng)用數(shù)據(jù)。在數(shù)據(jù)架構(gòu)所闡述的內(nèi)容將會(huì)演化出一個(gè)數(shù)據(jù)開發(fā)平臺(tái)這個(gè)核心應(yīng)用系統(tǒng)以及其它重要的核心應(yīng)用系統(tǒng)，并且在我們企業(yè)當(dāng)中也會(huì)自己的各種不同地業(yè)務(wù)應(yīng)用系統(tǒng)；這些應(yīng)用系統(tǒng)中可能會(huì)存在很大數(shù)據(jù)量和很大并發(fā)訪問量的應(yīng)用系統(tǒng)等等。必然也需要遵循以下幾個(gè)方面。在我并且我們構(gòu)建相應(yīng)的WEB應(yīng)用系統(tǒng)中，會(huì)使用J2EE架構(gòu)/.NET架構(gòu)/LAMP架構(gòu)之一或者其中的混合。,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化應(yīng)用架構(gòu)闡述,39,架構(gòu)目標(biāo)與挑戰(zhàn),每個(gè)目標(biāo)背后面臨著技術(shù)、設(shè)計(jì)、維護(hù)等諸多方面的挑戰(zhàn)。 而目標(biāo)本身的期望值也會(huì)根據(jù)實(shí)際情況進(jìn)行調(diào)整，這也意味著架構(gòu)建設(shè)是個(gè)不斷調(diào)整的過程。,負(fù)載均衡 數(shù)據(jù)備份 異地容災(zāi) 。,高速緩存 并行計(jì)算 異地鏡像 。,開發(fā)框架 多層設(shè)計(jì) 業(yè)務(wù)分割 。,大數(shù)據(jù)、大并發(fā),并且對(duì)于一個(gè)大型應(yīng)用來說，大并發(fā)、大數(shù)據(jù)量的高性能和可靠性的架構(gòu)設(shè)計(jì)是最重要的；只要這個(gè)架構(gòu)設(shè)計(jì)和相應(yīng)的代碼質(zhì)量較好就可以滿足所有的不同類型大型網(wǎng)站的要求。并且為了支撐大并發(fā)、大數(shù)據(jù)量的高性能和可靠性的思想都是比較類似的,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化應(yīng)用架構(gòu)闡述,40,Step1Web動(dòng)靜態(tài)資源分離及其與DB物理分離,優(yōu)點(diǎn)：“簡單”、安全性提高 缺點(diǎn)：存在單點(diǎn)，談不上高可用性（high availability架構(gòu)目標(biāo)） 技術(shù)點(diǎn)：應(yīng)用設(shè)計(jì)要保證可擴(kuò)展（framework很重要Spring）、Web Server動(dòng)/靜態(tài)資源分離 Web Server（ApacheNginxIISWAS）、 Database Server（RedisDB2）,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化應(yīng)用架構(gòu)闡述,41,Step1技術(shù)點(diǎn)Web動(dòng)靜態(tài)資源分離,img,doc,js,css等靜態(tài)資源使用單獨(dú)的Web HTTP Server處理請(qǐng)求 動(dòng)態(tài)頁面靜態(tài)化處理,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化應(yīng)用架構(gòu)闡述,42,Step2.1 采取緩存處理,優(yōu)點(diǎn)：簡單有效、維護(hù)方便 缺點(diǎn)：依然存在單點(diǎn) 技術(shù)點(diǎn)：客戶端（瀏覽器）緩存、前端頁面緩存、頁面片段緩存、本地?cái)?shù)據(jù)緩存/數(shù)據(jù)庫緩存,減少對(duì)網(wǎng)站的訪問,減少對(duì)Web應(yīng)用服務(wù)器的請(qǐng)求,減少對(duì)數(shù)據(jù)庫的查詢,減少文件系統(tǒng)I/O操作,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化應(yīng)用架構(gòu)闡述,43,Step2.1技術(shù)點(diǎn)客戶端（瀏覽器）緩存,能夠讓瀏覽器緩存的數(shù)據(jù)一定要緩存；瀏覽器能夠處理的運(yùn)算，決不放在服務(wù)器端來處理。,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化應(yīng)用架構(gòu)闡述,44,Step2.1技術(shù)點(diǎn)前端頁面緩存,采用具備緩存功能的http反向代理服務(wù)器作前端頁面緩存器， WebSphere Edge Component (商業(yè)),架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化應(yīng)用架構(gòu)闡述,45,Step2.1技術(shù)點(diǎn)頁面片段緩存ESI(Edge Side Includes),ESI需要服務(wù)器端支持，常見apache(mod_esi)、WebSphere Appliication Server、 JSP標(biāo)簽庫(JESI)等。,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化應(yīng)用架構(gòu)闡述,46,Step2.1技術(shù)點(diǎn)本地?cái)?shù)據(jù)緩存,需要從數(shù)據(jù)庫系統(tǒng)和Web應(yīng)用服務(wù)器兩個(gè)層面考慮緩存優(yōu)化,Step2.2技術(shù)點(diǎn)WEB HTTP Server 服務(wù)器HA(Active-StandBy)、應(yīng)用服務(wù)器集群、數(shù)據(jù)庫集群,當(dāng)然Web 服務(wù)器可以采用Apache Http Server/Nginx 應(yīng)用服務(wù)器可以采用 WAS 數(shù)據(jù)庫服務(wù)器可以采用DB2 PureScale,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化應(yīng)用架構(gòu)闡述,Step3增加機(jī)器做WEB HTTP Server 服務(wù)器集群、數(shù)據(jù)庫讀寫分離,優(yōu)點(diǎn)：Web HTTP Server 集群能夠接入更多的并發(fā)請(qǐng)求，數(shù)據(jù)庫擴(kuò)展更好（讀寫分離）；從而提升系統(tǒng)整體性能 缺點(diǎn)：讀寫分離，增加程序難度，架構(gòu)變復(fù)雜，維護(hù)難度增加 技術(shù)點(diǎn)：負(fù)載均衡、DAL、數(shù)據(jù)庫讀寫分離,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化應(yīng)用架構(gòu)闡述,Step3技術(shù)點(diǎn)Web HTTP Server 集群負(fù)載均衡,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化應(yīng)用架構(gòu)闡述,Step3技術(shù)點(diǎn)數(shù)據(jù)庫讀寫分離及DAL,讀寫分離邏輯分批 負(fù)載均衡 失效轉(zhuǎn)移（failover） 數(shù)據(jù)庫分區(qū)透明支持 兩大實(shí)現(xiàn)模式：獨(dú)立Proxy服務(wù)器；單獨(dú)API庫文件,各個(gè)數(shù)據(jù)庫廠商都有自己復(fù)制方案(例如基于日志實(shí)時(shí)復(fù)制）常見通用方案,CDC,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化應(yīng)用架構(gòu)闡述,Step4CDN、分布式緩存、分庫、NoSQL、大數(shù)據(jù),優(yōu)點(diǎn)：異地緩存有效解決不同地方用戶訪問過慢的問題；分庫策略帶來網(wǎng)站性能整體提升等等 缺點(diǎn)：成本大幅增加，架構(gòu)進(jìn)一步復(fù)雜化，也維護(hù)難度進(jìn)一步增大，架構(gòu)開始臃腫了 技術(shù)點(diǎn)：CDN、分布式緩存、Shard分庫、NoSQL、重新思考硬件體系、大數(shù)據(jù),架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化應(yīng)用架構(gòu)闡述,Step4技術(shù)點(diǎn)CDN,CDN(Content Delivery Network)內(nèi)容分發(fā)網(wǎng)絡(luò) 將網(wǎng)站的內(nèi)容分發(fā)到最接近用戶的網(wǎng)絡(luò)“邊緣”，使用戶可以就近獲取，從而解決互聯(lián)網(wǎng)網(wǎng)絡(luò)擁擠的狀況，提高用戶訪問的響應(yīng)速度。 適合靜態(tài)內(nèi)容很多（如：靜態(tài)頁面、圖片、視頻等）及頁面內(nèi)容實(shí)時(shí)性要求不高的網(wǎng)站，如：新聞?lì)愰T戶網(wǎng)站 CDN構(gòu)建可以做的很簡單，也可以很復(fù)雜，主要根據(jù)自己網(wǎng)站實(shí)際情況而定,WebSphere Edge Component,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化應(yīng)用架構(gòu)闡述,Step4技術(shù)點(diǎn)分布式緩存,本地緩存性能優(yōu)秀，但容量有限，無伸縮性 采用分布式緩存方案突破容量限制，具備良好伸縮性；但分布式涉及遠(yuǎn)程網(wǎng)絡(luò)通信消耗其性能本地緩存來得優(yōu)秀，并可涉及節(jié)點(diǎn)狀態(tài)維護(hù)及數(shù)據(jù)復(fù)制問題，其穩(wěn)定性和可靠性是個(gè)挑戰(zhàn)。 目前流行分布式緩存方案：memcached、membase、redis,WebSphere extreme Scale 等，基本上當(dāng)前的NoSQL方案都可以用來做分布式緩存方案,WebSphere eXtreme Scale,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化應(yīng)用架構(gòu)闡述,Step4技術(shù)點(diǎn)分布式緩存,DB2,Not SQL：KV,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化應(yīng)用架構(gòu)闡述,Step4技術(shù)點(diǎn)分布式緩存,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化應(yīng)用架構(gòu)闡述,Step4技術(shù)點(diǎn)分庫,讀寫分離（簡單有效，前面已介紹） 垂直分區(qū)（功能域）和水平切分,用戶信息,產(chǎn)品信息,交易流水信息,客戶信息,業(yè)務(wù)類型信息,功能域,用戶信息1,水平切分（sharding）,交易流水信息1,交易流水信息2,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化應(yīng)用架構(gòu)闡述,Step4技術(shù)點(diǎn)分庫,垂直分區(qū),良好的松耦合的模塊化設(shè)計(jì)是垂直分庫的前提,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化應(yīng)用架構(gòu)闡述,Step4技術(shù)點(diǎn)分庫,水平分區(qū)（Shard）,分片Key識(shí)別（劃分檢索依據(jù)）是關(guān)鍵,是否還有其它招？用NoSql數(shù)據(jù)庫部分替換關(guān)系數(shù)據(jù)庫,架構(gòu)細(xì)化-軟件基礎(chǔ)設(shè)施架構(gòu)(Pass)細(xì)化應(yīng)用架構(gòu)闡述,Step4技術(shù)點(diǎn)NoSQL,隨著Web 的發(fā)展，電子商務(wù)和社交計(jì)算的興起所引起的企業(yè)里不受