開源架構(gòu)及服務(wù)介紹

上海拜服信息科技有限公司2014-6上海清算所

企業(yè)級開源架構(gòu)交流匯報人介紹余軍

joeyu任上海拜服開源架構(gòu)總監(jiān)2006-2012RedHat中國區(qū)解決方案業(yè)務(wù)總監(jiān)2000-2006中國惠普高級顧問中國區(qū)HPC高性能計算集群技術(shù)顧問亞太區(qū)Linux二線支持團(tuán)隊成員AlphaTru64Unix高級講師，HP-UXMC/SG講師1998-2000上海信息技術(shù)投資有限公司項目經(jīng)理，RS6000/AIX程序員國內(nèi)早期開源運(yùn)動的熱心推動者，開源許可協(xié)議GPL中文版初版譯者1998年創(chuàng)建中國第一個(規(guī)模最大)Linux用戶協(xié)會–SHLUG()ChinaUnix集群及高可用版

版主(ID:nntp–since2006)專業(yè)研究方向開源分布式架構(gòu)和高可用系統(tǒng)上海拜服信息科技有限公司公司成立

成為IBM/HP合作伙伴,開始為外資客戶提供IT服務(wù)成為富士通服務(wù)合作伙伴為星巴克，歐尚超市，易買得等大型連鎖零售行業(yè)提供IT服務(wù)成為RedHat高級合作伙伴

確立開源解決方案和專家服務(wù)作為業(yè)務(wù)核心和發(fā)展方向成為RedHat認(rèn)證服務(wù)合作伙伴(CSP)開始為華東地區(qū)金融和電信客戶提供專業(yè)服務(wù)同年正式成為上海市開源軟件專業(yè)委員會成員成為Novell公司SuSELinux業(yè)務(wù)高級合作伙伴成為Dell中國開源解決方案供應(yīng)商和服務(wù)商成為OracleMySQL,Linux,虛擬化開源方案高級合作伙伴2011年Intel中國開展Hadoop大數(shù)據(jù)解決方案合作200320052006200720082009-20102009-現(xiàn)在10年歷程公司總部:上海,北京和成都有分公司和辦事處員工70人左右，80%以上為技術(shù)工程師技術(shù)工程師認(rèn)證:持有RedHatRHCE/RHCA認(rèn)證,NovellNCLP認(rèn)證,OracleMySQL認(rèn)證，VMWareVCP認(rèn)證按技術(shù)能力分為Linux系統(tǒng)組,開源數(shù)據(jù)庫組,基礎(chǔ)系統(tǒng)與工具開發(fā)組我們的金融業(yè)客戶-銀行業(yè)銀行客戶主要平臺及服務(wù)主要支持應(yīng)用和工作中國銀聯(lián)MySQL數(shù)據(jù)庫,

高容量Web系統(tǒng)設(shè)計批量自動化運(yùn)維平臺設(shè)計,Apache門戶Hadoop集群服務(wù),SuSELinux服務(wù)集團(tuán)短彩信平臺，電子票據(jù)DB2到MySQL遷移，商戶管理Web平臺RISCtoIA遷移，openstack云管理后臺數(shù)據(jù)庫，加密發(fā)卡平臺，MySQL數(shù)據(jù)庫資源池管理平臺,Linux/XEN運(yùn)維管理規(guī)劃和服務(wù)中國建設(shè)銀行(總行及上海分行)Linux,Linux高可用集群前置機(jī)鏡像災(zāi)備高可用咨詢，實施和運(yùn)維支持服務(wù)會計對賬，自主發(fā)卡，總賬管理，ECTIP，綜合前端，會計稽核內(nèi)容管理，DCC柜面，信用卡進(jìn)件，SWIFT報文處理系統(tǒng)，鈔箱管理系統(tǒng)，安全服務(wù)器，員工績效考核系統(tǒng)，企業(yè)信息門戶系統(tǒng)，E路通積分系統(tǒng)，ATMV系統(tǒng)，券商網(wǎng)點管理，BO儀表盤系統(tǒng)，CBPS系統(tǒng)，ODSB系統(tǒng)，分行報表平臺等中國銀行Linux,現(xiàn)場專家服務(wù)單證影像，綜合門戶，安全監(jiān)控,總行開源架構(gòu)咨詢，MySQL數(shù)據(jù)庫，自動化運(yùn)維中國工商銀行Linux,現(xiàn)場專家服務(wù)故障排查，應(yīng)急響應(yīng)，運(yùn)維支持交通銀行Linux,現(xiàn)場專家服務(wù)故障排查，應(yīng)急響應(yīng)，運(yùn)維支持浦東發(fā)展銀行Linux,現(xiàn)場專家服務(wù)數(shù)據(jù)匯聚平臺，中移動支付網(wǎng)關(guān)，銀稅共享平臺，第三方存管，卡稽核系統(tǒng)，證券交易所債券交易系統(tǒng)，西聯(lián)匯款,

成都客服中心上海銀行LinuxLinux高可用集群高可用咨詢，實施和運(yùn)維支持服務(wù)電子國債，大小額支付，開放式理財，電子工作流，電子商業(yè)匯票，數(shù)據(jù)倉庫，新一代電子銀行，數(shù)據(jù)傳輸平臺，路透外匯交易，大宗農(nóng)產(chǎn)品交易，網(wǎng)銀平臺，同城票據(jù)，在線客服中國農(nóng)業(yè)銀行Linux,現(xiàn)場專家服務(wù)報表反傳項目,影像平臺華夏銀行Linux,Linux高可用集群,現(xiàn)場專家服務(wù)全國分行金融IC卡平臺上海清算所Linux,現(xiàn)場專家服務(wù)外匯MQ詢價平臺，招投標(biāo)平臺，門戶平臺中國外匯交易中心Linux,現(xiàn)場專家服務(wù)批量自動化運(yùn)維設(shè)計DNS容災(zāi)平臺，央行項目，增值服務(wù)平臺，BMO系統(tǒng)，外匯做市商報價引擎等,自動化運(yùn)維工具我們的金融業(yè)客戶-證券期貨業(yè)交易所產(chǎn)品與服務(wù)主要應(yīng)用和工作上海證券交易所Linux架構(gòu)咨詢，現(xiàn)場專家服務(wù)BPM/ERP平臺,NTP服務(wù)器,綜合門戶網(wǎng)站基礎(chǔ)架構(gòu)平臺架構(gòu)咨詢上海期貨交易所Linux架構(gòu)咨詢，現(xiàn)場專家服務(wù)全面部署，核心交易引擎性能優(yōu)化咨詢，運(yùn)維支持中國金融期貨交易所Linux

現(xiàn)場專家服務(wù)模擬交易集群及網(wǎng)絡(luò)監(jiān)控深證證券交易所Linux,OracleMySQL架構(gòu)咨詢，現(xiàn)場專家服務(wù)高性能核心交易引擎日志數(shù)據(jù)庫系統(tǒng)架構(gòu)設(shè)計咨詢?nèi)?期貨公司相關(guān)產(chǎn)品與服務(wù)主要應(yīng)用和工作海通證券Linux現(xiàn)場專家服務(wù)故障排查，應(yīng)急響應(yīng)，運(yùn)維支持上海證券Linux現(xiàn)場專家服務(wù)故障排查，應(yīng)急響應(yīng)，運(yùn)維支持東方證券Linux,JBoss中間件故障排查，應(yīng)急響應(yīng)，運(yùn)維支持華寶證券Linux,JBoss中間件現(xiàn)場專家服務(wù)綜合門戶平臺，清算系統(tǒng)上海期貨信息技術(shù)有限公司Linux現(xiàn)場專家服務(wù)CTP期貨交易平臺上海證券通信技術(shù)有限公司Linux現(xiàn)場專家服務(wù)通訊平臺我們的金融業(yè)客戶-保險業(yè)保險客戶產(chǎn)品與服務(wù)主要應(yīng)用和支持太平洋保險Linux現(xiàn)場專家服務(wù)太保網(wǎng)上商城Hadoop大數(shù)據(jù)分析平臺故障排查，應(yīng)急響應(yīng)，運(yùn)維支持平安保險OracleMySQL分布式架構(gòu)設(shè)計及現(xiàn)場專家服務(wù)平安保險集團(tuán)，新一貸

網(wǎng)銷-電銷融合項目長江養(yǎng)老保險Linux,JBoss中間件現(xiàn)場專家服務(wù)從交易核心到外圍，所有平臺故障排查，應(yīng)急響應(yīng)，運(yùn)維支持AIA友邦保險中國LinuxJBoss

中間件JBoss

BRMS規(guī)則引擎現(xiàn)場專家服務(wù)BRMS開發(fā)支持服務(wù)核保業(yè)務(wù)規(guī)則計算平臺故障排查，應(yīng)急響應(yīng)，運(yùn)維支持AXA金盛人壽中國LinuxJBoss中間件現(xiàn)場專家服務(wù)影像和工作流系統(tǒng)，通訊平臺，數(shù)據(jù)倉庫平臺,災(zāi)備系統(tǒng)部分電信行業(yè)–制造行業(yè)-大型國企客戶產(chǎn)品與服務(wù)中國移動(上海)Linux現(xiàn)場專家服務(wù)架構(gòu)咨詢，故障排查，應(yīng)急響應(yīng)，運(yùn)維支持中國電信(上海)Linux專家服務(wù)架構(gòu)咨詢，故障排查，應(yīng)急響應(yīng)，運(yùn)維支持寶鋼/寶信Linux現(xiàn)場專家服務(wù)Linux高可用,虛擬化平臺云計算項目架構(gòu)咨詢，故障排查，應(yīng)急響應(yīng)，運(yùn)維支持通用汽車Linux現(xiàn)場專家服務(wù)大規(guī)模Linux自動化運(yùn)維平臺開發(fā)故障排查，應(yīng)急響應(yīng)，運(yùn)維支持大眾汽車Linux現(xiàn)場專家服務(wù)故障排查，應(yīng)急響應(yīng)，運(yùn)維支持上汽Linux現(xiàn)場專家服務(wù)HPC高性能計算集群故障排查，應(yīng)急響應(yīng)，運(yùn)維支持中遠(yuǎn)集裝箱Linux現(xiàn)場專家服務(wù)大規(guī)模Linux自動化運(yùn)維平臺開發(fā)故障排查，應(yīng)急響應(yīng)，運(yùn)維支持議題互聯(lián)網(wǎng)的開源架構(gòu)簡介金融行業(yè)的開源架構(gòu)實踐(案例分享)金融行業(yè)的應(yīng)用場景與互聯(lián)網(wǎng)行業(yè)的區(qū)別當(dāng)前主要的主要的開源架構(gòu)和基礎(chǔ)技術(shù)金融行業(yè)適用的典型開源架構(gòu)我們對于金融行業(yè)開源架構(gòu)的進(jìn)一步思考和研發(fā)開源及生態(tài)圈介紹開源技術(shù)引入的策略性思考1.互聯(lián)網(wǎng)開源架構(gòu)簡介

核心業(yè)務(wù)平臺軟負(fù)載&配置中心:LVS/HAProxy/Tengine/Diamond消息中間件:MetaQ/RocketMQ,Notify服務(wù)框架:Dubbo分布式數(shù)據(jù):

TDDL分布式日志跟蹤:Tracer/EagleEye系統(tǒng)穩(wěn)定性平臺:CSP系統(tǒng)性能優(yōu)化平臺:未公布詳細(xì)技術(shù)細(xì)節(jié)見阿里中間件團(tuán)隊官方網(wǎng)站/?p=335910年的系統(tǒng)架構(gòu)進(jìn)化互聯(lián)網(wǎng)開源架構(gòu)簡介

核心系統(tǒng)平臺互聯(lián)網(wǎng)開源架構(gòu)簡介

核心數(shù)據(jù)平臺GatewayServersOracle備庫MySQL備庫日志系統(tǒng)LogServerHadoop開發(fā)平臺GatewayServersDBSync爬蟲數(shù)據(jù)MapReduceJavaJobsStreamingJobsHiveJobsTimeTunnelDataX數(shù)據(jù)流向主站服務(wù)（淘寶，B2B，廣告，搜索，BOSS）HbaseHbaseMysqlOracleDataXMyfoxLoaderLzLoaderOtherSystem數(shù)據(jù)產(chǎn)品Adhoc報表(淘數(shù)據(jù)，BusinessPreview)回流主站應(yīng)用流式計算其它實時計算平臺OLAPserver2.金融行業(yè)的開源實踐中國銀聯(lián)貸款信息集中庫（MySql）網(wǎng)銷數(shù)據(jù)庫（Oracle）電銷數(shù)據(jù)庫（Oracle）②②網(wǎng)銷、電銷通過調(diào)用公共服務(wù)，來維護(hù)雙方共享的信息；網(wǎng)銷、電銷各自的，不需要共享的渠道數(shù)據(jù)，在各自的數(shù)據(jù)庫維護(hù)；把所有公共模塊，包裝成公共服務(wù)，網(wǎng)，電不直接寫集中庫，而是通過調(diào)用公共服務(wù)來完成；網(wǎng)銷電銷客戶中國平安保險集團(tuán)

網(wǎng)銷-電銷融合項目業(yè)務(wù)架構(gòu)①③貸款公共服務(wù)網(wǎng)銷數(shù)據(jù)庫:維護(hù)網(wǎng)銷特有的，不需要在網(wǎng)電間共享的數(shù)據(jù):如網(wǎng)絡(luò)活動信息等電銷數(shù)據(jù)庫：維護(hù)電銷特有的，不需要在網(wǎng)電間共享的數(shù)據(jù)；如坐席信息等；貸款信息集中庫:維護(hù)網(wǎng)、電需要共享貸款信息；包括：客戶信息；申請單信息；客戶貸款方案信息；處理進(jìn)度信息；貸款信息等；坐席①③3.金融行業(yè)的應(yīng)用場景與互聯(lián)網(wǎng)行業(yè)的區(qū)別與互聯(lián)網(wǎng)應(yīng)用的主要差異規(guī)模：無需為單一應(yīng)用建立大規(guī)模集群，且沒有互聯(lián)網(wǎng)應(yīng)用類型的海量并發(fā)應(yīng)用：數(shù)據(jù)庫的架構(gòu)設(shè)計需要和應(yīng)用設(shè)計開發(fā)保持一致安全：高可用和數(shù)據(jù)安全是放在第一位的團(tuán)隊：沒有獨立的開源軟件核心定制開發(fā)團(tuán)隊運(yùn)維：嚴(yán)格的運(yùn)維和監(jiān)管要求值得參考和借鑒互聯(lián)網(wǎng)應(yīng)用的地方重視結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的歸集和價值挖掘性能優(yōu)化的研究和實踐分布式和橫向擴(kuò)展的架構(gòu)的實踐自動化運(yùn)維監(jiān)控的實踐需要警惕和注意的拿來主義不可取，代價高，風(fēng)險大開發(fā)到運(yùn)維的應(yīng)用交付要統(tǒng)籌考慮，避免脫節(jié)規(guī)范的缺失導(dǎo)致開源技術(shù)引入入口失守虛擬化操作系統(tǒng)高可用保護(hù)層數(shù)據(jù)庫/數(shù)據(jù)處理層中間件業(yè)務(wù)邏輯層Web接入和展現(xiàn)層負(fù)載均衡層服務(wù)器/存儲/網(wǎng)絡(luò)VMWareAIX,HPUXPartitionVeritasVCS,IBMHACMP,HPMC/SGOracleDB,IBMDB2Teradata,EMCGreenplumOracleWeblogicIBMWebsphere,iLogOracleIAS,IBMIHS,MSIISF5服務(wù)器/存儲/網(wǎng)絡(luò)RHEV/OVMRedHat/OracleLinuxRHCS,Heartbeat,KeepalivedPacemaker,Corosync,DRBDPostgres,MySQL,MongoDB,Hadoop/HBase/HiveJBoss,Tomcat,BRMS,JBPMApache/Nginx/TengineLVS,HAProxy,Nginx服務(wù)器/存儲/網(wǎng)絡(luò)數(shù)據(jù)存儲和管理VeritasStorageFoundationXFS,GFS,GlusterFS,HDFS典型的IT架構(gòu)常見的閉源實現(xiàn)架構(gòu)主流企業(yè)級開源架構(gòu)CobblerPuppetMcoLogstashKibanaNagiosZenOSSZabbixBMCPatrolHPOpenViewIBMTivoli4.主要的開源架構(gòu)和基礎(chǔ)技術(shù)–演進(jìn)RHEV/OVMRedHat/OracleLinuxRHCS,Heartbeat,KeepalivedPacemaker,Corosync,DRBDMySQL,Postgres,MongoDB,Hadoop/HBase/HiveJBoss,Tomcat,BRMS,JBPMApache/Nginx/TengineLVS,HAProxy,Nginx服務(wù)器/存儲/網(wǎng)絡(luò)XFS,GFS,GlusterFS,HDFS企業(yè)級開源架構(gòu)方案CobblerPuppetMcoLogstashKibanaNagiosZenOSSZabbix高性能，高可靠性Web平臺解決方案OSI4/7層負(fù)載均衡集群高性能反向代理，動靜分離開源中間件解決方案開源Java應(yīng)用服務(wù)器開源工作流引擎，規(guī)則引擎開源數(shù)據(jù)庫，數(shù)據(jù)庫集群解決方案開源大數(shù)據(jù)處理解決方案開源HA高可用集群解決方案開源集群存儲，彈性分布式存儲解決方案開源虛擬化解決方案開源自動化運(yùn)維管理方案開源架構(gòu)咨詢和規(guī)劃服務(wù)開源架構(gòu)專家實施服務(wù)開源系統(tǒng)運(yùn)維支持服務(wù)我們的開源解決方案和服務(wù)金融行業(yè)電信行業(yè)制造行業(yè)主要的開源架構(gòu)和基礎(chǔ)技術(shù)–方案化虛擬化操作系統(tǒng)高可用保護(hù)層數(shù)據(jù)庫/數(shù)據(jù)處理層中間件業(yè)務(wù)邏輯層Web接入和展現(xiàn)層負(fù)載均衡層服務(wù)器/存儲/網(wǎng)絡(luò)VMWare生產(chǎn)環(huán)境Oracle/DB2核心生產(chǎn)服務(wù)器/存儲/網(wǎng)絡(luò)KVM開發(fā)測試環(huán)境RHCS,Heartbeat,KeepalivedPacemaker,CorosyncMySQL/Hadoop核心外圍JBoss,Tomcat,BRMS,JBPM，SolrApache/Nginx/TengineLVS,HAProxy,Nginx數(shù)據(jù)存儲和管理RedHatEnterpriseLinux典型的IT架構(gòu)CobblerPuppetMcoLogstashKibanaNagiosZenOSSZabbixBMCPatrolHPOpenViewIBMTivoli5.金融行業(yè)適用的典型開源架構(gòu)XFS,GFS,GlusterFS,HDFS6.我們對金融行業(yè)開源架構(gòu)的進(jìn)一步探索和研發(fā)計算資源池數(shù)據(jù)庫資源池中間件資源池虛擬機(jī)VMWare/KVM/XENIaaSOpenstack/Cloudstack輕量虛擬化cgroup/namespace/unifiedfsMySQLPostgreSQLMongoDBApache/NginxTomcatJBossHAProxy/LVSMemcachedRedis自動化部署集中配置管理集中日志分析集中監(jiān)控告警資源的池化，

本質(zhì)上是計物理資源的歸集和調(diào)度自動化運(yùn)維，本質(zhì)上是規(guī)范的落地HadoopSolrElasticSearch三橫一縱的開源運(yùn)行/管理架構(gòu)我們對金融行業(yè)開源架構(gòu)的進(jìn)一步探索和研發(fā)計算資源池資源的池化，

本質(zhì)上是物理資源的歸集和調(diào)度自動化運(yùn)維管理數(shù)據(jù)庫資源池中間件資源池應(yīng)用負(fù)載自動化部署集中配置管理集中日志分析集中監(jiān)控告警資源池管理應(yīng)用負(fù)載均衡

資源池調(diào)度算法實例生命周期管理實例高可用控制資源池資源回收MW實例DB實例OS實例12341234應(yīng)用申請池內(nèi)資源資源池調(diào)度資源，創(chuàng)建實例自動化部署和配置推送(監(jiān)控)應(yīng)用開始使用資源三橫一縱的開源運(yùn)行/管理架構(gòu)–應(yīng)用視角

7.開源及生態(tài)圈介紹-什么是開源軟件在軟件開發(fā)和分發(fā)的過程中，提交最終軟件產(chǎn)品的同時，全部公開和分發(fā)該軟件的源代碼，并允許其它個人或組織對該軟件的源代碼進(jìn)行修改或再分發(fā)的軟件開發(fā)和傳播模式。開源軟件的開發(fā)和傳播過程，依據(jù)開源許可證協(xié)議作為法律基礎(chǔ)。根據(jù)開源許可證的限制范圍和強(qiáng)度的不同，同時存在多種開源許可證供軟件作者方選擇。開源不等于免費(fèi),軟件本身仍舊可以進(jìn)行銷售，只不過在銷售的過程中，必須同時開放該軟件的源代碼或提供獲取源代碼的途徑。商業(yè)開源軟件，可以100%開源，也可以部分開源，部分閉源，但是閉源代碼和開源代碼的接口部分代碼必須開放。開源軟件基金會及其合作伙伴（商業(yè)開源公司）在統(tǒng)一的法律框架下，維護(hù)整個開源軟件的游戲和運(yùn)行規(guī)則。開源的發(fā)展脈絡(luò)

回顧幾乎所有Unix系統(tǒng)都開源Unix上絕大多數(shù)的軟件都開源1976年前比爾蓋茨宣布微軟基于許可證的收費(fèi)模式1976年2月3日RichardStallman建立GNU和自由軟件基金會1984年商業(yè)軟件公司普遍采用微軟的基于許可證的收費(fèi)模式互聯(lián)網(wǎng)和互聯(lián)網(wǎng)經(jīng)濟(jì)崛起開源軟件被大量使用1995-2000傳統(tǒng)用戶在周邊系統(tǒng)上嘗試開源軟件WEB門戶類應(yīng)用率先部署開源技術(shù)互聯(lián)網(wǎng)公司開始進(jìn)化到云計算模式(商業(yè)模式和技術(shù)平臺)2003–2005傳統(tǒng)用戶周邊系統(tǒng)規(guī)?；褂瞄_源軟件，部分用戶開始在重要平臺上嘗試開源軟件(軍工，金融交易所)互聯(lián)網(wǎng)公司大規(guī)模進(jìn)入云計算和大數(shù)據(jù)應(yīng)用階段2006年–2013傳統(tǒng)用戶業(yè)務(wù)模式發(fā)生變化，電商化和互聯(lián)網(wǎng)化業(yè)務(wù)產(chǎn)生，開源云計算和大數(shù)據(jù)技術(shù)引入互聯(lián)網(wǎng)公司業(yè)務(wù)拓展進(jìn)入傳統(tǒng)行業(yè)2013

–未來5年?Openstack主流社區(qū)(Upstream)Fedora主流社區(qū)(Upstream)Linux內(nèi)核主流社區(qū)(Upstream)開源軟件是如何生產(chǎn)和流通的(生態(tài)圈)頂級開源軟件基金會Linux基金會,自由軟件基金會,Apache基金會,OpenStack基金會商業(yè)開源公司

打包發(fā)行，提供商業(yè)服務(wù)RedHat,SuSE,Oracle,Cloudera,Intel,MongoDB….權(quán)威合法組織政府接口中心財/才資源中心法律，規(guī)范中心廠商接口中心委員會形式管理代碼審核權(quán)控制代碼遞交權(quán)控制成熟的全球化聯(lián)合開發(fā)協(xié)作模式核心開發(fā)成員由對口基金會聘用最終用戶個人開發(fā)者開源開發(fā)小團(tuán)體商業(yè)公司如IBM,Intel,Oracle,RedHat,Cisco互聯(lián)網(wǎng)如Facebook,Twitter阿里巴巴，網(wǎng)易策略影響資源贊助規(guī)則維護(hù)代碼遞交參與社區(qū)重要人事管理資源提供法律支持提供社區(qū)版代碼庫提供代碼修訂意見開發(fā)社區(qū)活動產(chǎn)品打包和商業(yè)發(fā)布增強(qiáng)企業(yè)特性提供產(chǎn)品