大數(shù)據(jù)概述Oracle大數(shù)據(jù)解決方案

大數(shù)據(jù)概述&

Oracle大數(shù)據(jù)解決方案RichNiemiec，Rolta公司，2013年提供創(chuàng)新性技術(shù)，發(fā)揮富有洞察力的影響2Rich簡介RoltaInternational董事會(huì)顧問TUSC前總裁500強(qiáng)企業(yè)（增長速度最快的500家私營公司）在美國設(shè)有10個(gè)辦事處；總部設(shè)在芝加哥Oracle技術(shù)&應(yīng)用高級合作伙伴RoltaTUSC前總裁、RoltaEICTInternational前總裁著有以下著作（3本Oracle暢銷書—十多年來排名第一的Oracle調(diào)優(yōu)書籍）：OraclePerformingTips&Techniques(CoversOracle7&8i)Oracle9iPerformanceTips&TechniquesOracleDatabase10gPerformanceTips&TechniquesOracleDatabase11gPerformanceTips&TechniquesOracle國際用戶組前主席Oracle中西部用戶組現(xiàn)任主席入選芝加哥企業(yè)家名人堂—1998年入選安永年度企業(yè)家和世界名人堂—2001年IOUG頂級演說家—1991、1994、1997、2001、2006和2007年12次榮獲MOUG頂級演說家稱號國家三人組成功人士獎(jiǎng)—2006年Oracle認(rèn)證大師和OracleACE總監(jiān)普渡大學(xué)杰出電子與計(jì)算機(jī)工程師—2007年議題Oracle趨勢現(xiàn)狀技術(shù)發(fā)展未來規(guī)劃

Oracle趨勢

了解OracleExadataX-3：內(nèi)存數(shù)據(jù)庫

4TDRAM/22T閃存6Oracle首創(chuàng)的技術(shù)—?jiǎng)?chuàng)新！1979年，第一個(gè)商用關(guān)系型數(shù)據(jù)庫管理系統(tǒng)

1983年，第一個(gè)32位的RDBMS

1984年，第一個(gè)具備讀取一致性的數(shù)據(jù)庫

1987年，第一個(gè)客戶端-服務(wù)器模式的數(shù)據(jù)庫

1994年，首次商業(yè)評估和多層安全性數(shù)據(jù)庫評估

1995年，第一個(gè)64位的RDBMS

1996年，首次突破30,000TPC-C

1997年，第一個(gè)Web

數(shù)據(jù)庫

1998年，第一個(gè)具備原生Java

支持并且突破100,000TPC-C的數(shù)據(jù)庫

1998年，第一個(gè)Linux上

的商用RDBMS

2000年，第一個(gè)支持XML

語言的RDBMS

2001年，第一個(gè)實(shí)現(xiàn)中間層數(shù)據(jù)庫緩存的數(shù)據(jù)庫

2001年，第一個(gè)帶有RealApplicationClusters

集群支持的RDBMS

2004年，第一個(gè)真正的網(wǎng)格數(shù)據(jù)庫

2005年，第一款免費(fèi)的Oracle數(shù)據(jù)庫（10g快捷版）

2006年，Oracle首次為Linux平臺提供支持

2007年，發(fā)布Oracle11g！

2008年，發(fā)布OracleExadata（Oracle收購BEA）

2009年，Oracle收購Sun—Java、MySQL、Solaris、硬件和OpenOffice2010年，Oracle發(fā)布MySQLCluster7.1、Exadata、Exalogic2011年，OracleX2-2、ODA、Exalytics、SuperCluster、大數(shù)據(jù)、云和社交網(wǎng)絡(luò)

2012年，OracleX3-2、Oracle12cOEM、可插拔數(shù)據(jù)庫和X3-82013年，發(fā)布Oracle12c！發(fā)布OracleExadata

X3-8，收購AcmePacket！風(fēng)險(xiǎn)和利潤效率和利用率可靠性和完整性合規(guī)性企業(yè)面臨的挑戰(zhàn)和分析需求文化和態(tài)度計(jì)劃和執(zhí)行參與度和支持信息和溝通管理

角度業(yè)務(wù)

角度孤立思維我不關(guān)注我不知道您沒有告訴我這是他們的問題制定決策很困難數(shù)據(jù)不可靠報(bào)告不可追溯沒有訪問權(quán)限數(shù)據(jù)源不相關(guān)缺少集成戰(zhàn)略管理老板不喜歡我不知道我為什么會(huì)這樣做云計(jì)算、移動(dòng)計(jì)算、社交媒體和大數(shù)據(jù)分析推動(dòng)產(chǎn)生新的計(jì)算模式。該模式進(jìn)而引發(fā)業(yè)務(wù)轉(zhuǎn)型以提升效率,促進(jìn)法規(guī)遵從,提升整體業(yè)務(wù)可持續(xù)性,以及以客戶為中心。加深認(rèn)識：大數(shù)據(jù)革命收集、存儲和分析數(shù)據(jù)的能力在信息技術(shù)帶來的影響中始終占有重要一席。在這個(gè)數(shù)字化程度日益提高的時(shí)代，您所做的每件事都會(huì)有一個(gè)電子記錄。隨著企業(yè)積聚的數(shù)據(jù)越來越多并達(dá)到數(shù)百TB，他們紛紛尋求更加尖端的軟件工具對數(shù)據(jù)進(jìn)行挖掘和分析，從而幫助企業(yè)更好地了解市場和客戶，甚至是幫助企業(yè)對未來作出預(yù)測。8您如何收集和存儲數(shù)據(jù)？您如何傳輸數(shù)據(jù)？您如何分析數(shù)據(jù)？您如何從數(shù)據(jù)獲益？大數(shù)據(jù)為何重要？張加萬天津大學(xué)軟件學(xué)院技術(shù)趨勢：GartnerHypeCycle2012Gartner發(fā)布的2012技術(shù)趨勢數(shù)據(jù)量增大—數(shù)據(jù)量大小變得重要……近年來,全球的數(shù)據(jù)量迅速增長。2000年：800TB(1012)2006年：160EB(1018)2009年：500EB（僅互聯(lián)網(wǎng)）2012年：2.7ZB(1021)2020年：35ZB？一天中生成的數(shù)據(jù)？Twitter：7TBFacebook：10TB以上大數(shù)據(jù)：創(chuàng)新、競爭力和生產(chǎn)率的下一個(gè)前沿McKinseyGlobalInstitute，2011年我們淹沒于數(shù)據(jù)之中，但渴望獲得信息2.8x1020

位的內(nèi)存空間—JohnvonNeumann（《ComputerandtheBrain》，哈佛大學(xué)講稿，發(fā)表于半個(gè)世紀(jì)前）從各種在線來源整理所得的數(shù)據(jù)數(shù)據(jù)量有多少……2004年每月的互聯(lián)網(wǎng)流量超過1E；2010年每月的互聯(lián)網(wǎng)流量為21E。2012年，每天創(chuàng)建的數(shù)據(jù)達(dá)到2.5E（大約等于1Z(1000E)/年）2012年6月—Facebook的Hadoop集群的數(shù)據(jù)量達(dá)到100PFacebook：每天處理的數(shù)據(jù)量達(dá)到500T—每小時(shí)掃描的Hive數(shù)據(jù)量達(dá)到210T單個(gè)Jet引擎—20T/小時(shí)（此速率與Facebook相同！）Gmail擁有4.5億用戶沃爾瑪—100萬筆客戶交易/小時(shí)（相當(dāng)于2.5P的數(shù)據(jù)庫）大型強(qiáng)子對撞機(jī)一年產(chǎn)生的數(shù)據(jù)量達(dá)13P業(yè)務(wù)數(shù)據(jù)每1.2年翻一番19%的市值達(dá)10億美元的公司擁有超過1P的數(shù)據(jù)（2013年將達(dá)到31%）2011年—Oracle率先發(fā)布EB級磁帶庫之前對人類基因組進(jìn)行解碼需10年；現(xiàn)在只需一周！IOUG調(diào)查*—2012年9月*大數(shù)據(jù)帶來巨大的挑戰(zhàn)與機(jī)遇：2012年IOUG大數(shù)據(jù)戰(zhàn)略調(diào)查（IOUG=IndependentOracleUsersGroup，獨(dú)立的Oracle用戶組）大數(shù)據(jù)預(yù)測未來天氣*V*EarthRisk公司的系統(tǒng)基于:820億次計(jì)算60年的數(shù)據(jù)什么是大數(shù)據(jù)和大數(shù)據(jù)分析？大數(shù)據(jù)是指規(guī)模超出常用軟件工具在容許時(shí)間內(nèi)捕獲、管理和處理能力的數(shù)據(jù)集。大數(shù)據(jù)分析是指可處理傳統(tǒng)分析方法因數(shù)據(jù)量過大、數(shù)據(jù)類型過于多樣、速度變化過快等原因無法分析處理的數(shù)據(jù)。16每個(gè)組織都將使用大數(shù)據(jù)17大數(shù)據(jù)涵蓋以下領(lǐng)域：社交媒體、傳感器數(shù)據(jù)、生物學(xué)、交通數(shù)據(jù)、RFID數(shù)據(jù)、環(huán)境數(shù)據(jù)、航空、無線網(wǎng)絡(luò)、安防與視頻數(shù)據(jù)、零售、醫(yī)療、工程系統(tǒng)、搜索數(shù)據(jù)、攝影、呼叫記錄和CRM/ERP數(shù)據(jù)等。IOUG調(diào)查—2012年9月IOUG調(diào)查—2012年9月大數(shù)據(jù)的特點(diǎn)大數(shù)據(jù)的主題適用于大數(shù)據(jù)量的軟硬件技術(shù)專注于Web2.0技術(shù)數(shù)據(jù)庫橫向擴(kuò)展關(guān)系型&分布式數(shù)據(jù)分析分布式文件系統(tǒng)實(shí)時(shí)分析大數(shù)據(jù)的領(lǐng)域數(shù)字營銷優(yōu)化數(shù)據(jù)探索和發(fā)現(xiàn)欺詐檢測與防范社交網(wǎng)絡(luò)和關(guān)系分析機(jī)器生成的數(shù)據(jù)分析數(shù)據(jù)保留財(cái)務(wù)電信媒體生命科學(xué)零售政府大數(shù)據(jù)提供商在最開始的階段……我們是如何實(shí)現(xiàn)的？LarryPage和SergeyBrin編寫B(tài)igFile；GFS(GoogleFileSystem)得自于此，接著，MapReduce

將工作映射到集群的多工作節(jié)點(diǎn)，然后對分布式處理結(jié)果做聚合（用于生成Google的WWW索引）Apache推出了Hadoop（Facebook、Yahoo、AmazonEC2和S3均采用此框架），此開源版框架采用HDFS和MapReduce

—在同一工作節(jié)點(diǎn)對分布處理后的作業(yè)做批處理，—速度不算超快（秒鐘比毫秒），也不適合于交互式分析（不支持更新,只支持疊加）Google則推出了BigTable（支持壓縮的高性能數(shù)據(jù)存儲），GoogleMaps、GoogleReader、GoogleEarth、YouTube和Gmail均采用該存儲系統(tǒng)Apache添加了NoSQL

數(shù)據(jù)庫：Cassandra和HBase多個(gè)系統(tǒng)開始采用NoSQL，這其中也包括Oracle的NoSQL(BerkeleyDB)。大數(shù)據(jù)基礎(chǔ)知識我們的目標(biāo)是組織數(shù)據(jù)而不移動(dòng)數(shù)據(jù)！—HadoopHDFS和MapReduce（訪問PB級數(shù)據(jù)的低成本方式）。HDFS能夠存儲任何類型的數(shù)據(jù)或結(jié)構(gòu)，但MapReduce只與鍵值對配合工作獲取并存儲數(shù)據(jù)—NoSQL（簡單的鍵值對存儲)

—AmazonDynamoDB（托管）、ApacheCassandra、HBase、BigTable、MongoDB、OracleNoSQL（分布式鍵值），或者僅使用原始的HDFS/GFS和MapReduce（這些架構(gòu)大多都具備最終一致性?。┓治鰯?shù)據(jù)—GoogleDremel、ApacheHive數(shù)據(jù)倉庫、Oracle數(shù)據(jù)分析工具(OBIEE)54%正在使用大數(shù)據(jù)的公司表示： “項(xiàng)目至關(guān)重要！”多種NoSQL數(shù)據(jù)庫—最終一致性NoSQL

支持

BASE：基本可用性

(BasicallyAvailable)柔性狀態(tài)

(Softstate)最終一致性(Eventually

consistent)大數(shù)據(jù)工具革命……GoogleFileSystem(GFS)Google

MapReduceApache/Hadoop世界Hadoop文件系統(tǒng)(HDFS)MapReduceHbaseHypertable（百度使用）GoogleBigTableApacheHive(DWHSE)ZooKeeper與Pig（協(xié)作）（操作HDFS）Cassandra（基于DynamoDB[Amazon]和BigTable）審視Hadoop生態(tài)系統(tǒng)的另一種方法*這張精彩的幻燈片節(jié)選自ClouderaHadoop演示文稿，作者是ToddLipconYahoo!將Hadoop擴(kuò)展至4000個(gè)節(jié)點(diǎn)4000個(gè)節(jié)點(diǎn)—100個(gè)機(jī)架（每個(gè)機(jī)架40個(gè)節(jié)點(diǎn)）32T的RAM=8G/節(jié)點(diǎn)x4000個(gè)節(jié)點(diǎn)超過30,000個(gè)核心的CPU處理能力16PB的裸容量,千兆以太網(wǎng)IOUG調(diào)查—2012年9月IOUG調(diào)查—2012年9月注意：未來3年，“NotUsingHadoop”所占的比例為56%2012年的NoSQL趨勢Hadoop擴(kuò)展至企業(yè)級Microsoft加入Hadoop大軍（與Yahoo!分拆出的Hortonworks建立合作伙伴關(guān)系

在WindowsServer和Azure中采用

Hadoop，有到MSSQL的連接器）基于NoSQL的解決方案安全問題阻礙了NoSQL的發(fā)展Oracle以更大的力度投入NoSQL競爭（大數(shù)據(jù)機(jī)）“隨著客戶尋求方法應(yīng)對新的以及不斷發(fā)展的數(shù)據(jù)源(如Web、傳感器、社交網(wǎng)絡(luò)、和移動(dòng)應(yīng)用）引發(fā)的數(shù)據(jù)激增，Oracle開始通過提供高可用、可靠和可伸縮的NoSQL數(shù)據(jù)庫環(huán)境，幫助客戶發(fā)現(xiàn)和挖掘這些數(shù)據(jù)的價(jià)值?！薄狾racle高級副總裁AndrewMendelsohn內(nèi)存數(shù)據(jù)網(wǎng)格與NoSQL的集成成就了Facebook和Twitter的成功案例2012年1月26日發(fā)布于

DataVersityNoSQL

數(shù)據(jù)庫—超過120種下一代數(shù)據(jù)架構(gòu)32所有數(shù)據(jù)都有所不同！數(shù)據(jù)領(lǐng)域特征（Oracle信息架構(gòu)框架）IOUG調(diào)查—2012年9月IOUG調(diào)查—2012年9月開源項(xiàng)目框架查詢/數(shù)據(jù)流數(shù)據(jù)訪問協(xié)作/工作流統(tǒng)計(jì)工具實(shí)時(shí)分析兩面性各個(gè)領(lǐng)域保持一致統(tǒng)計(jì)學(xué)、計(jì)算機(jī)科學(xué)、應(yīng)用數(shù)學(xué)、經(jīng)濟(jì)學(xué)、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、模式識別、自然語言處理、數(shù)據(jù)融合與集成、模擬和優(yōu)化等等。以下描述模型和預(yù)測模型有助于獲得對數(shù)據(jù)的有益的了解交流已獲得的認(rèn)識（可視化）分析具有各種各樣的形式和規(guī)模：零售業(yè)銷售分析金融服務(wù)分析風(fēng)險(xiǎn)分析與信用分析人才分析營銷分析行為分析集合分析欺詐分析定價(jià)分析電信供應(yīng)鏈分析運(yùn)輸分析以上跨職能分析有助于推動(dòng)組織戰(zhàn)略交流已獲得的認(rèn)識（可視化）石油與天然氣煉油石油化工冶金電力化工預(yù)定義的職能KPI、知識數(shù)據(jù)模型、目標(biāo)、警報(bào)多維績效分析、預(yù)測分析、預(yù)測設(shè)計(jì)正確的戰(zhàn)略、溝通、協(xié)作、記分卡、促進(jìn)行動(dòng)工程師、主管、操作員直屬經(jīng)理、職能經(jīng)理職能專員/戰(zhàn)略分析師高管基于實(shí)時(shí)運(yùn)營數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)以及現(xiàn)場圖的智能分析解決方案Oracle數(shù)據(jù)庫

具備分析功能?。》治龉δ苷f明數(shù)據(jù)挖掘Oracle數(shù)據(jù)挖掘

通過復(fù)合算法實(shí)現(xiàn)模式發(fā)現(xiàn)、結(jié)果預(yù)測以及識別關(guān)鍵預(yù)測指標(biāo)等。復(fù)雜數(shù)據(jù)轉(zhuǎn)換ETL功能,SQL表達(dá)式或DBMS_DATA_MINING_TRANSFORM程序包。適用于缺失值、異常值處理、分級和標(biāo)準(zhǔn)化。統(tǒng)計(jì)功能SQL統(tǒng)計(jì)功能：假設(shè)檢驗(yàn)（t測試、F測試）、皮爾遜相關(guān)、交叉表/描述統(tǒng)計(jì)（中值和模式等）DBMS_STAT_FUNCS包添加了分布擬合過程。窗口函數(shù)/SQL分析函數(shù)計(jì)算累積、移動(dòng)和居中聚合。頻繁項(xiàng)目集OracleDataMining所使用的關(guān)聯(lián)算法將以DBMS_FREQUENT_ITEMSET為基礎(chǔ)。圖像特征提取OracleIntermedia支持提取顏色直方圖、紋理和位置顏色。線性代數(shù)UTL_NLA程序包提供用于向量和矩陣運(yùn)算的常用BLAS庫和LAPACK庫的子集。OLAP除下鉆和匯總之外，OracleOLAP還支持多維分析、時(shí)間序列分析、建模和預(yù)測空間分析OracleSpatial的分析和挖掘功能包括分級、模式識別、空間關(guān)聯(lián)、共存挖掘和空間聚類、拓?fù)浜蚇W數(shù)據(jù)模型分析—最短路徑、最小生成樹、最近鄰分析和貨郎擔(dān)問題等等文本挖掘此標(biāo)準(zhǔn)SQL用于通過自動(dòng)分類和聚類對存儲在數(shù)據(jù)庫、文件和Web中的文本/文檔進(jìn)行索引、搜索和分析還提供預(yù)先打包的分析……Oracle支持常用DMF和DMA函數(shù)適用性算法分類適用于預(yù)測特定結(jié)果的常用技術(shù)邏輯回歸樸素貝葉斯支持向量機(jī)決策樹回歸預(yù)測連續(xù)的數(shù)值結(jié)果多重回歸支持向量機(jī)屬性重要性根據(jù)與目標(biāo)屬性的關(guān)系緊密程度對屬性進(jìn)行排名。最短描述長度異常檢測識別罕見情況或可疑情況一類支持向量機(jī)聚類找到自然分組。增強(qiáng)的K均值正交分區(qū)聚類關(guān)聯(lián)找到與頻繁一起出現(xiàn)的項(xiàng)關(guān)聯(lián)的規(guī)則Apriori特性提取產(chǎn)生新的屬性作為現(xiàn)有屬性的線性組合。非負(fù)矩陣分解高價(jià)值客戶、中等價(jià)值客戶或低價(jià)值客戶可能會(huì)購買/不會(huì)購買客戶終身價(jià)值制程不良率醫(yī)療診斷因素買方優(yōu)先保險(xiǎn)欺詐依法納稅客戶細(xì)分生命科學(xué)發(fā)現(xiàn)產(chǎn)品捆綁缺陷分析模式識別數(shù)據(jù)預(yù)測示例是否具有預(yù)測性？后見之明洞察先見之明歷史定位典型MIS報(bào)告或BIOracleReports、Hyperion、IBMCognos和SAPBO等業(yè)務(wù)/行為分析、趨勢當(dāng)前正在發(fā)生什么情況？/為什么會(huì)發(fā)生這種情況？預(yù)測優(yōu)化過去的行為有助于預(yù)測未來結(jié)果目前正在發(fā)生什么情況？為什么會(huì)發(fā)生這種情況？將會(huì)/應(yīng)當(dāng)會(huì)發(fā)生什么情況？Oracle適用于大數(shù)據(jù)預(yù)測分析的“開放性”秘訣源：Wikipedia“Hadoop增強(qiáng)了Oracle的力量”“Hadoop旨在增強(qiáng)傳統(tǒng)數(shù)據(jù)庫，而不是取而代之?！盌ougCuttingIOUG調(diào)查—2012年9月Oracle為大數(shù)據(jù)預(yù)測分析

提供的技術(shù)Oracle用10天的時(shí)間訪問TwitterFirehose**選自LarryEllison在2012甲骨文全球大會(huì)上發(fā)表的主題演講將關(guān)注者、地理位置、榮譽(yù)和興趣等繪制成圖

選自LarryEllison在2012甲骨文全球大會(huì)上發(fā)表的主題演講

使用X2-8Exadata,

X2-4Exalytics及EndecaOracle為大數(shù)據(jù)快速部署提供的技術(shù)—

已準(zhǔn)備就緒！50ExadataX-3：內(nèi)存數(shù)據(jù)庫

4TDRAM/22T閃存緩存51優(yōu)勢倍增*：訪問1/2000的數(shù)據(jù)；

就像將8P內(nèi)存駐留在X3-8的4T存儲中一樣1TB（經(jīng)壓縮）10TB用戶數(shù)據(jù)需要10TB的IO100GB（使用分區(qū)修剪）20GB（使用存儲索引）5GB（使用智能掃描）亞秒級（在數(shù)據(jù)庫機(jī)上）數(shù)據(jù)減少到原來的1/10，掃描加快2000倍

工程化系統(tǒng)的優(yōu)勢！ *Oracle幻燈片—感謝！IOUG調(diào)查—2012年9月

Oracle大數(shù)據(jù)優(yōu)勢真正成熟和完備

—與眾不同完全集成Hadoop和加載器Exadata和ExalyticsBI集成與解決方案大數(shù)據(jù)硬件,其上包括HadoopHDFS、MapReduce、R編程語言（統(tǒng)計(jì)和回歸等）、OracleNoSQL，符合ACID，簡單的鍵-值對數(shù)據(jù)模型（多服務(wù)器上的哈希鍵—主鍵/次鍵和字節(jié)數(shù)組）OracleBerkeleyDB（已商業(yè)化8年?。?，該架構(gòu)能夠根據(jù)需要使用外部表與HDFS（Hadoop文件系統(tǒng)）集成。OracleLoaderforHadoop(OLH)從MapReduce獲取分析的數(shù)據(jù)，最后將這些數(shù)據(jù)裝載到11gDatabase（這樣做更加容易）任何級別的并發(fā)都是靈活的，并且可以橫向擴(kuò)展Oracle對集群化和高可用性(HA)具有深刻理解（不會(huì)出現(xiàn)單點(diǎn)故障?。㎡racle管理工具與Oracle專業(yè)人員一樣具有巨大作用BerkeleyDB是全球最廣泛使用的數(shù)據(jù)庫工具包，全球已部署超過2億個(gè)Oracle的速度堪稱實(shí)時(shí)，不會(huì)像批處理那樣緩慢建立一支成功的團(tuán)隊(duì)使用能夠創(chuàng)造未來的技術(shù)！使每位團(tuán)隊(duì)成員覺得有責(zé)任為項(xiàng)目成功出一份力使每位團(tuán)隊(duì)成員各盡其職與所有團(tuán)隊(duì)成員分享成功成功團(tuán)隊(duì)的特質(zhì)：尊重 客戶忠誠度 信任共同目標(biāo) 溝通 靈活性誠信 無私精神 支持相互理解 積極態(tài)度 領(lǐng)導(dǎo)力凝聚眾人之力，取得更大成就55Oracle的規(guī)模成長到多么大

—OW56最后的思考……追逐技術(shù)浪潮！“守株待兔或許也會(huì)有所得，但