大數(shù)據(jù)處理平臺解決方案_第1頁
大數(shù)據(jù)處理平臺解決方案_第2頁
大數(shù)據(jù)處理平臺解決方案_第3頁
大數(shù)據(jù)處理平臺解決方案_第4頁
大數(shù)據(jù)處理平臺解決方案_第5頁
已閱讀5頁,還剩37頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

1、大數(shù)據(jù)處理平臺處理方案第1頁提要23橘云大數(shù)據(jù)處理平臺功效與特點橘云大數(shù)據(jù)處理平臺布署方案1橘云大數(shù)據(jù)處理平臺介紹4橘云大數(shù)據(jù)處理平臺二次開發(fā)接口5橘云大數(shù)據(jù)處理平臺業(yè)務場景示例第2頁概念大數(shù)據(jù):大數(shù)據(jù)(big data),或稱巨量資料,指是所包括資料量規(guī)模巨大到無法透過當前主流軟件工具,在合理時間內(nèi)到達抽取,管理 ,處理,并整理成為幫助企業(yè)經(jīng)營決議更主動目標資訊。大數(shù)據(jù)3V特點:volume,velocity,variety大數(shù)據(jù)單位:最小基本單位是Byte,按次序給出全部單位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、DB、NB,云計算:(cloud computi

2、ng)是基于互聯(lián)網(wǎng)相關(guān)服務增加、使用和交付模式,通常包括經(jīng)過互聯(lián)網(wǎng)來提供動態(tài)易擴展且經(jīng)常是虛擬化資源。意味著計算能力也可作為一個商品經(jīng)過互聯(lián)網(wǎng)進行流通。云計算是一個經(jīng)過Internet以服務方式提供動態(tài)可伸縮虛擬化資源計算模式。云模式:cloud model ,用于預測云性能和行為而采取物理或數(shù)學框架第3頁“大數(shù)據(jù)”時代已經(jīng)降臨 互聯(lián)網(wǎng)時代,尤其是社交網(wǎng)絡(luò)、電子商務與移動通訊把人類社會帶入一個以PB為單位結(jié)構(gòu)與非結(jié)構(gòu)數(shù)據(jù)信息新時代,它就是“大數(shù)據(jù)(BigData)”時代。 大數(shù)據(jù)為云計算大規(guī)模與分布式計算能力提供了應用空間,處理了傳統(tǒng)計算機無法處理問題。這個領(lǐng)域計算標準與軟件均剛才起步,為全世

3、界新型軟、硬件及應用創(chuàng)新提供了前所未有機會。 Volume海量Variety多樣Velocity實時數(shù)據(jù)處理量級正從TB級向PB、ZB級擴張。能處理結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù),Web 數(shù)據(jù)、語音數(shù)據(jù)甚至是圖像、視頻數(shù)據(jù)。從延遲、批量處理向?qū)崟r處理、流式處理轉(zhuǎn)變,支持海量數(shù)據(jù)毫秒級運算?!按髷?shù)據(jù)”3V特征第4頁移動運行商云計算需求單個網(wǎng)民日均上網(wǎng)時間增加趨勢(小時)網(wǎng)民數(shù)量增加趨勢(億)中國手機互聯(lián)網(wǎng)用戶每七天手機上網(wǎng)頻次統(tǒng)計數(shù)據(jù)起源:中國互聯(lián)網(wǎng)發(fā)展情況統(tǒng)計匯報、中國移動互聯(lián)網(wǎng)與3G用戶調(diào)查匯報 DCCI 手機互聯(lián)網(wǎng)受眾消費與廣告營銷調(diào)查44.4%中國手機互聯(lián)網(wǎng)用戶每七天媒體接觸時長統(tǒng)計33.3%

4、3.18億第5頁伴隨智能手機快速普及以及移動互聯(lián)網(wǎng)業(yè)務迅猛發(fā)展,各種網(wǎng)絡(luò)信令、互聯(lián)網(wǎng)、流量數(shù)據(jù)信息等數(shù)據(jù)源競相引入,對經(jīng)營分析數(shù)據(jù)處理及存放要求不停增加,傳統(tǒng)BI數(shù)據(jù)處理架構(gòu)在日益增加計算、存放、可靠性要求以及系統(tǒng)擴容成本等方面均面臨著嚴峻考驗:計算能力傳統(tǒng)ETL工具對主機性能依賴較大,數(shù)據(jù)處理任務交織,無法充分利用設(shè)備性能。很多在DB/DW中進行數(shù)據(jù)校驗、轉(zhuǎn)換等工作對應用性能影響較大。存放能力存放壓力大,海量存放難以滿足。存放擴容難度大。高可靠性傳統(tǒng)ETL方式可靠性不高,運維管理復雜,影響應用穩(wěn)定性和數(shù)據(jù)安全性。擴容成本擴容成本高,難度大、主機、存放、數(shù)據(jù)庫成本占系統(tǒng)建設(shè)比重大,壓縮了應用建

5、設(shè)投入。面臨問題第6頁結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)1、對于IT行業(yè)來說,大數(shù)據(jù),云計算,云模式,無疑是未來熱門研究領(lǐng)域。2、大數(shù)據(jù)是由結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)組成。3、結(jié)構(gòu)化數(shù)據(jù)是存放在數(shù)據(jù)庫里面,占大數(shù)據(jù)10%4、非結(jié)構(gòu)化數(shù)據(jù)是跟人類信息親密相關(guān)數(shù)據(jù),比如說郵件,視頻,微博,帖子,手機呼叫,網(wǎng)頁點擊等。它們占大數(shù)據(jù)90%。1、結(jié)構(gòu)化數(shù)據(jù):任何一列數(shù)據(jù)不可以再細分;任何一列數(shù)據(jù)都有相同數(shù)據(jù)類型;全部關(guān)系型數(shù)據(jù)庫中數(shù)據(jù),全部都是結(jié)構(gòu)化數(shù)據(jù);一般文件中數(shù)據(jù),就不是結(jié)構(gòu)化數(shù)據(jù);2、非結(jié)構(gòu)化數(shù)據(jù);不是結(jié)構(gòu)化數(shù)據(jù),即非結(jié)構(gòu)化數(shù)據(jù);簡單來說,一列數(shù)據(jù)可以再細拆分;第7頁1、分布式系統(tǒng)(distributed syst

6、em)是建立在網(wǎng)絡(luò)之上軟件系統(tǒng);2、分布式數(shù)據(jù)庫:分布式數(shù)據(jù)庫系統(tǒng)通常使用較小計算機系統(tǒng),每臺計算機可單獨放在一個地方,每臺計算機中都有DBMS一份完整拷貝副本,并含有自己局部數(shù)據(jù)庫,位于不一樣地點許多計算機經(jīng)過網(wǎng)絡(luò)相互連接,共同組成一個完整、全局大型數(shù)據(jù)庫。3、Hadoop是一個分布式文件系統(tǒng)基礎(chǔ)架構(gòu),用戶能夠在不了解分布式底層細節(jié)情況下,開發(fā)分布式程序,充分利用集群威力高速運算和存放。HADOOP實現(xiàn)了一個分布式文件系統(tǒng),簡稱HDFS。而且設(shè)計用來布署在低廉(low-cost)硬件上。且它提供高傳輸率(high throughput)來訪問應用程序數(shù)據(jù),適合那些有著超大數(shù)據(jù)集(large

7、data set)應用程序。HADOOP概念1、HADOOPr產(chǎn)品介紹:1.1:HDFS:能夠支持千萬級大型分布式文件系統(tǒng);1.2:HBase是一個分布式、面向列開源數(shù)據(jù)庫;HBase不一樣于普通關(guān)系數(shù)據(jù)庫,它是一個適合于非結(jié)構(gòu)化數(shù)據(jù)存放數(shù)據(jù)庫。另一個不一樣是HBase基于列而不是基于行模式。1.3:MapReduce經(jīng)過把對數(shù)據(jù)集大規(guī)模操作分發(fā)給網(wǎng)絡(luò)上每個節(jié)點實現(xiàn)可靠性;每個節(jié)點會周期性把完成工作和狀態(tài)更新匯報回來。他極大地方便了編程人員在不會分布式并行編程情況下,將自己程序運行在分布式系統(tǒng)上。第8頁主要產(chǎn)品對應關(guān)系GoogleHadoop分布式文件系統(tǒng)GFSHDFS,分布式數(shù)據(jù)處理模型和執(zhí)

8、行環(huán)境,運行于大型商用機集群。分布式數(shù)據(jù)庫BigTableHbase,一個分布式、按列存放數(shù)據(jù)庫。HBase使用HDFS作為底層存放,同時支持MapReduce批量式計算和點查詢(隨機讀取)。分布式編程算法MapReduceMapReduce,分布式數(shù)據(jù)處理模型和執(zhí)行環(huán)境,運行于大型商用機集群。分布式鎖服務ChubbyZooKeeper Hadoop是一個分布式系統(tǒng)基礎(chǔ)架構(gòu)項目標總稱,起源于作者兒子一只玩具大象名字,由Apache基金會開發(fā),并開源提供支持,以后被FaceBook等互聯(lián)網(wǎng)企業(yè)選取,在此基礎(chǔ)上進行二次開發(fā)。主要產(chǎn)品是HDFS,Hbase,MapReduce。擴展能力:能可靠地存放

9、和處理千兆字節(jié)(PB)數(shù)據(jù)。在不確保低延時前提下,含有相當大吞吐量,非常適合海量數(shù)據(jù)運算。成本低:能夠經(jīng)過普通機器組成服務器群來分發(fā)以及處理數(shù)據(jù)。這些服務器群總計可達數(shù)千個節(jié)點。而且每個節(jié)點都是運行在開源操作系統(tǒng)Linux上面。 高效率:經(jīng)過分發(fā)數(shù)據(jù),hadoop能夠在數(shù)據(jù)所在節(jié)點上并行地(parallel)處理它們,這使得處理非??焖?。 可靠性:hadoop能自動地維護數(shù)據(jù)多份復制,而且在任務失敗后能自動地重新布署計算任務。該框架設(shè)計初衷是針對海量數(shù)據(jù)運算處理問題。所以對于一些數(shù)據(jù)量很小處理沒有任何優(yōu)勢可言,甚至還不如單機串行效果,性能也完全表達不出來。集群中存在大量機器,所以節(jié)點故障是不可

10、防止。在Hadoop中有兩種類型結(jié)點:namenode和datanode。Hadoop集群采取master/slave結(jié)構(gòu)。Datanode故障普通是不會影響整個系統(tǒng),這個和它存放策略相關(guān)。不過namenode故障是是極大問題其文件系統(tǒng)設(shè)計前提是一次寫入屢次讀取情況,所以我們是無法修改某條詳細數(shù)據(jù)。為何選擇Hadoop選擇Hadoop需要注意什么HadoopGoogle分布式技術(shù)開源實現(xiàn)第9頁橘云大數(shù)據(jù)處理平臺OCDC介紹 OCDataComputing平臺包含基于Map/Reduce分布式批量計算和基于流式計算技術(shù)分布式實時計算功效,實現(xiàn)海量數(shù)據(jù)并行處理。適合用于ETL、經(jīng)營決議、用戶行為分

11、析、精準營銷、移動互聯(lián)網(wǎng)等領(lǐng)域智能數(shù)據(jù)處理與分析。第10頁橘云大數(shù)據(jù)處理平臺技術(shù)架構(gòu)第11頁云平臺基于文件刀片機或PC Server分布式存儲和并行計算方便擴容全圖形化配置監(jiān)控傳統(tǒng)ETL基于數(shù)據(jù)倉庫小型機以上統(tǒng)一存儲和單節(jié)點運算難以擴容需要專業(yè)人員維護云 VS 傳統(tǒng)平臺VS傳統(tǒng)ETL第12頁提要23橘云大數(shù)據(jù)處理平臺功效與特點橘云大數(shù)據(jù)處理平臺布署方案1橘云大數(shù)據(jù)處理平臺介紹4橘云大數(shù)據(jù)處理平臺二次開發(fā)接口5橘云大數(shù)據(jù)處理平臺業(yè)務場景示例第13頁平臺功效概要基礎(chǔ)數(shù)據(jù)元數(shù)據(jù)接入平臺自定義節(jié)點活動類別維度數(shù)據(jù)數(shù)據(jù)流程數(shù)據(jù)流程編輯數(shù)據(jù)清洗轉(zhuǎn)換算法數(shù)據(jù)抽取加載參數(shù)調(diào)度任務觸發(fā)器開啟參數(shù)任務組依賴任務監(jiān)

12、控監(jiān)控任務操作任務批量執(zhí)行系統(tǒng)管理用戶管理角色管理Hive查詢數(shù)據(jù) HIVE:就基于HADOOP一個數(shù)據(jù)倉庫工具,能夠?qū)⒎墙Y(jié)構(gòu)化數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表,并提供完整SQL查詢功效。能夠?qū)QL轉(zhuǎn)換為MAPREDUCE任務進行運行。其優(yōu)點是學習成本低,可經(jīng)過類SQL語句快速實現(xiàn)簡單MAPREDUCE統(tǒng)計,適合數(shù)據(jù)他庫統(tǒng)計分析; 第14頁多種格式CVSXMLExcelASN.1參數(shù)可配不同格式不同參數(shù)編碼分隔符、Tag字段定義可擴展提供擴展接口,方便支持其他格式參數(shù)自定義高效率內(nèi)部運算使用二進制存儲針對大批量零散文件優(yōu)化基礎(chǔ)數(shù)據(jù)-元數(shù)據(jù)元數(shù)據(jù):用于描述業(yè)務數(shù)據(jù)格式、含義、特征及其運行環(huán)境等數(shù)據(jù)第

13、15頁多種協(xié)議FTPOracle/DB2/Mysql/TeradataGP其他(可方便擴展)并發(fā)和控制多任務發(fā)布到集群中并行處理可限制抽取并發(fā)數(shù)可控制并發(fā)優(yōu)先級基礎(chǔ)數(shù)據(jù)-接入平臺第16頁基礎(chǔ)數(shù)據(jù)-維度數(shù)據(jù)維度數(shù)據(jù): 定義云數(shù)據(jù)中字段取值枚舉類型,能夠經(jīng)過此維度校驗云 數(shù)據(jù)正確性第17頁基礎(chǔ)數(shù)據(jù)-自定義節(jié)點自定義節(jié)點:用戶能夠依據(jù)平臺二次接口開發(fā)規(guī)范定義個性化業(yè) 務處理接口,在此處把定義接口類注冊到系統(tǒng)中第18頁數(shù)據(jù)流程系統(tǒng)提供圖形化流程定義畫面,用戶以拖拉和配置方式,從“工具箱”中將流程節(jié)點拖動到流程設(shè)計器畫板上,并依據(jù)實際業(yè)務需要對流程節(jié)點進行配置第19頁數(shù)據(jù)流程-流程節(jié)點流程節(jié)點幫助實現(xiàn)詳

14、細流程邏輯完成詳細工作流任務流程節(jié)點功效描述開始 標識著一個數(shù)據(jù)流程開始。里面沒有什么配置數(shù)據(jù)抽取將外部提供數(shù)據(jù)抽取到,需要定義抽取接口連接方式、訪問協(xié)議和接入賬戶等信息,提供了文件和數(shù)據(jù)庫兩種抽取方式:文件提供了FTP、HTTP訪問方式以獲取文件數(shù)據(jù)庫 能夠獲取Oracle和DB2中數(shù)據(jù),需要配置獲取數(shù)據(jù)查詢條件輸出把處理后數(shù)據(jù)以文件或壓縮包方式輸出到指定位置加載到數(shù)據(jù)庫加載到對應數(shù)據(jù)倉庫中進行后續(xù)分析運算,支持Oracle、DB2等主流數(shù)據(jù)庫結(jié)束標識著一個數(shù)據(jù)流程結(jié)束。里面沒有什么配置第20頁數(shù)據(jù)流程-邏輯節(jié)點邏輯節(jié)點在流程中對數(shù)據(jù)進行對應處理流程節(jié)點功效描述Join能夠?qū)蓚€文件經(jīng)過一項

15、或多項統(tǒng)計進行關(guān)聯(lián)輸出,能夠是left join、right join或inner join。在過程中也能夠進行統(tǒng)計過濾和轉(zhuǎn)換操作Group 能夠依據(jù)某個文件一項或多項統(tǒng)計進行聚合,并進行Max、Min、Count等運算處理。在過程中也能夠進行統(tǒng)計過濾和轉(zhuǎn)換操作Union 能過對多個文件進行轉(zhuǎn)換為統(tǒng)一字段后進行合并處理。在過程中也能夠進行統(tǒng)計過濾Hive 經(jīng)過編寫HIVE QL語句對流程中數(shù)據(jù)進行處理Parallet 經(jīng)過JEXL語言,能夠用編程方式對統(tǒng)計進行處理,把抽取數(shù)據(jù)轉(zhuǎn)換為系統(tǒng)需要數(shù)據(jù)格式Udf 引入客戶自定義java類處理特殊業(yè)務要求第21頁數(shù)據(jù)流程-監(jiān)聽節(jié)點經(jīng)過設(shè)置監(jiān)聽器對流程運行

16、狀態(tài)進行監(jiān)控第22頁調(diào)度任務觸發(fā)器月、周、日、循環(huán)觸發(fā)可擴展自定義觸發(fā)器參數(shù)綁定到ETL流程的變量名和變量值可設(shè)定數(shù)據(jù)日期和偏移量執(zhí)行自動根據(jù)觸發(fā)器執(zhí)行手動單個執(zhí)行批量運行數(shù)據(jù)日期區(qū)間批量運行最后一次到目前為止未執(zhí)行的任務第23頁調(diào)度任務時間觸發(fā)器設(shè)置:能夠按照小時、天、周、月設(shè)置觸發(fā)條件,設(shè)置觸發(fā)器開始執(zhí)行時間及失效時間事件觸發(fā)器設(shè)置:經(jīng)過開發(fā)自定義接口,實現(xiàn)在滿足業(yè)務邏輯情況下觸發(fā)任務執(zhí)行設(shè)置流程中定義類所使用參數(shù)第24頁調(diào)度任務-任務組 各個流程之間可能存在依賴關(guān)系,平臺提供任務組管理,以流程化、圖形化配置能力把相互之間相關(guān)系流程,在同一任務組中經(jīng)過連線、屬性配置等方式實現(xiàn)流程間依賴關(guān)系

17、管理第25頁平臺監(jiān)控-任務監(jiān)控對全部已經(jīng)發(fā)起流程以圖形化方式進行,監(jiān)控。流程整體監(jiān)控:能夠監(jiān)控管轄范圍內(nèi)全部流程整體執(zhí)行情況、異常情況;流程監(jiān)控:能夠監(jiān)控某個流程執(zhí)行情況,以流程圖方式查看運行到哪一步;短信提醒:調(diào)度出現(xiàn)了異常,能夠短信形式發(fā)送給相關(guān)責任人;調(diào)度事件日志:統(tǒng)計調(diào)度日志信息,包含調(diào)度開始、結(jié)束時間、調(diào)度異常等 第26頁平臺監(jiān)控-集群監(jiān)控監(jiān)控整個Hadoop集群設(shè)備情況,包含設(shè)備可用性,設(shè)備整體負載情況(CPU、網(wǎng)絡(luò)、內(nèi)存、IO等)第27頁平臺監(jiān)控-集群監(jiān)控第28頁Hive管理 hive介紹(1)用戶接口,包含 CLI,Client,WUI。(2)元數(shù)據(jù)存放,通常是存放在關(guān)系數(shù)據(jù)庫

18、如 mysql, derby 中。(3)解釋器、編譯器、優(yōu)化器、執(zhí)行器。(4)Hadoop:用 HDFS 進行存放,利用 MapReduce 進行計算 Hive 是建立在 Hadoop 上數(shù)據(jù)倉庫基礎(chǔ)構(gòu)架。它提供了一系列工具,能夠存放、查詢和分析存放在 Hadoop 中大規(guī)模數(shù)。Hive 定義了簡單類 SQL 查詢語言,稱為 HQL,允許熟悉 SQL 用戶查詢數(shù)據(jù)。同時,這個語言也允許熟悉 MapReduce 開發(fā)者開發(fā)自定義 mapper 和 reducer 來處理內(nèi)建 mapper 和 reducer 無法完成復雜分析工作。橘云平臺對Hive服務優(yōu)化改進 Hive底層調(diào)整,支持Hive任務

19、與Map/Reduce任務關(guān)聯(lián)跟蹤。 Hive支持GBK字符集和雙字符分隔符。 提供Hive數(shù)據(jù)倉庫圖形化管理和HQL執(zhí)行能力。Hadoop:用HDFS來存放 ;用MAPREDUCE來計算;用HIVE查詢;第29頁類庫表數(shù)據(jù)管理機制為了方便數(shù)據(jù)運維管理,橘云分布式計算產(chǎn)品將基于文件、目錄結(jié)構(gòu)分布式文件,映射為類數(shù)據(jù)庫表數(shù)據(jù)管理方式。能夠以數(shù)據(jù)庫實例、數(shù)據(jù)庫表方式,方便地進行數(shù)據(jù)創(chuàng)建、修改和查詢。并支持類似數(shù)據(jù)庫分區(qū)、分表機制,提升數(shù)據(jù)處理效能。類SQL數(shù)據(jù)處理邏輯基于表方式數(shù)據(jù)管理,橘云分布式計算平臺支持類SQL語句ETL數(shù)據(jù)處理邏輯編輯方式,能夠?qū)F(xiàn)有數(shù)據(jù)庫存放過程非常便捷地遷移到云平臺。并

20、支持經(jīng)過SQL執(zhí)行隨時查詢分布式文件系統(tǒng)中數(shù)據(jù)。Hive管理 庫表管理第30頁平臺應用流程定義元數(shù)據(jù)類型及格式定義數(shù)據(jù)抽取及加載平臺信息2配置流程3配置調(diào)度監(jiān)控流程任務監(jiān)控集群硬件環(huán)境4 監(jiān)控系統(tǒng)配置數(shù)據(jù)處理流程,抽取、轉(zhuǎn)換、加載依據(jù)項目實際場景定義轉(zhuǎn)換流程(自定義類)定義流程觸發(fā)機制,定時觸發(fā)、自定義觸發(fā)器配置任務組,定義不一樣流程間觸發(fā)關(guān)系1基礎(chǔ)信息第31頁23橘云大數(shù)據(jù)處理平臺功效與特點橘云大數(shù)據(jù)處理平臺布署方案1橘云大數(shù)據(jù)處理平臺介紹4橘云大數(shù)據(jù)處理平臺二次開發(fā)接口5橘云大數(shù)據(jù)處理平臺業(yè)務場景示例提要第32頁 主機支持:支持HP、IBM、Cisco、Dell等任意廠商主機設(shè)備,提議基于

21、x86架構(gòu)刀片機PC服務器。 存放支持:支持集中式磁盤陣列存放,也支持基于當?shù)赜脖P存放方式。 網(wǎng)絡(luò)要求:主節(jié)點和子節(jié)點之間需支持千兆及以上網(wǎng)絡(luò)帶寬。 操作系統(tǒng):支持各類操作系統(tǒng)如Unix、Linux。提議采取Linux系列(Redhat、CentOS等)。 擴容方式:支持經(jīng)過擴容方式線性增加ETL平臺處理能力,支持設(shè)備動態(tài)擴容。平臺布署第33頁計算能力線性擴容云計算集群增加新節(jié)點存放和運算能力得到擴展第34頁提要23橘云大數(shù)據(jù)處理平臺功效與特點橘云大數(shù)據(jù)處理平臺布署方案1橘云大數(shù)據(jù)處理平臺介紹4橘云大數(shù)據(jù)處理平臺二次開發(fā)接口5橘云大數(shù)據(jù)處理平臺業(yè)務場景示例第35頁二次開發(fā)接口方式:支持WebS

22、ervice、Rest、Java API、Jar包Plugin等各種接口輸入輸出方式。 接口種類:內(nèi)置與網(wǎng)管、4A等管理類系統(tǒng)接口,同時支持其它調(diào)度工具向OCDC平臺發(fā)送調(diào)度請求。 開放性:支持數(shù)據(jù)格式、接入平臺、ETL算法等單元自定義開發(fā)、能夠靈活擴充平臺抽取、轉(zhuǎn)換、裝載能力。 第36頁提要23橘云大數(shù)據(jù)處理平臺功效與特點橘云大數(shù)據(jù)處理平臺布署方案1橘云大數(shù)據(jù)處理平臺介紹4橘云大數(shù)據(jù)處理平臺二次開發(fā)接口5橘云大數(shù)據(jù)處理平臺業(yè)務場景示例第37頁功效描述:Oracle、DB2等數(shù)據(jù)庫抽取FTP從接口機指定目錄抽取主要處理流程:1 FTP傳輸(或DB抽?。? 統(tǒng)計傳輸數(shù)據(jù)3 刪除FTP遠程數(shù)據(jù)實施關(guān)鍵

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論