SAP HANA及大數(shù)據(jù)方案

1、SAP HANA及大數(shù)據(jù)方案SAP In-Memory主要內(nèi)容大數(shù)據(jù)領(lǐng)域的概況石油行業(yè)大數(shù)據(jù)方面的需求SAP大數(shù)據(jù)方案概述SAP HANA針對大數(shù)據(jù)領(lǐng)域提供的技術(shù)問答環(huán)節(jié)SAP Big DataGartner對IT業(yè)界敏感話題研究Big Data大數(shù)據(jù)機會: 將原始數(shù)據(jù)轉(zhuǎn)化為推動大規(guī)模的商業(yè)價值的見解大數(shù)據(jù)挑戰(zhàn):通常是指來自與內(nèi)部與外部數(shù)據(jù)源的多種格式的數(shù)據(jù)，數(shù)據(jù)量一般在TB或者PB級別，這些數(shù)據(jù)產(chǎn)生的速度很快并且需要進(jìn)行復(fù)雜的分析1“大數(shù)據(jù)是指捕獲，存儲，管理和分析各種數(shù)據(jù)的大量的相關(guān)問題?！?1 /Aberdeen-Library/8361/RA-big-data-quality-mana

2、gement.aspx互聯(lián)警務(wù)互聯(lián)醫(yī)療互聯(lián)城市互聯(lián)家庭互聯(lián)汽車互聯(lián)家庭SAP 大數(shù)據(jù)將觸及到生活和業(yè)務(wù)的方方面面互聯(lián)零售互聯(lián)資產(chǎn)管理響應(yīng)迅速的供應(yīng)鏈互聯(lián)物流預(yù)測性維護(hù)互聯(lián)建筑石油和天然氣領(lǐng)域的大數(shù)據(jù) 石油和天然氣信息正在迅猛增加燃料 POS 數(shù)據(jù)競爭價格GPS促銷計劃速度主要趨勢生產(chǎn)數(shù)據(jù)儀表數(shù)據(jù)雇員記錄供應(yīng)商采購訂單貿(mào)易及交易電子郵件Tweet計劃社交媒體移動即時消息最佳渠道分類這意味著什么進(jìn)行分析以獲取洞察力大數(shù)據(jù)蘊含1.數(shù)量3D 地震數(shù)據(jù)集、地面監(jiān)控、鉆探測量、天氣、市場價格等2.高速度實時流送數(shù)據(jù)的 SCADA 系統(tǒng)、鉆頭、流量和條件傳感器等。3.多樣化結(jié)構(gòu)化、非結(jié)構(gòu)化、準(zhǔn)結(jié)構(gòu)化（經(jīng)過處

3、理的）數(shù)據(jù)。一口井1 太字節(jié)(TB) 每日生產(chǎn)數(shù)據(jù)2014 年在加拿大將會鉆探 11,475 口井加拿大 石油服務(wù)協(xié)會 (PSAC) 估計：每口生產(chǎn)井生成的數(shù)據(jù)量達(dá)到 Wikipedia 每周的全部文本數(shù)據(jù)參考來源在此。/SAPanalytics/drilling-for-data-analytics-to-extract-insight-infographic融合一切的單一平臺內(nèi)存業(yè)務(wù)交易數(shù)字連接協(xié)作業(yè)務(wù)云社交大數(shù)據(jù)移動高級分析實時石油和天然氣的下一代業(yè)務(wù)平臺通過來自 SAP 的大數(shù)據(jù)解決方案把握石油和天然氣行業(yè)的機遇基于HANA的SAP大數(shù)據(jù)平臺覆蓋內(nèi)容從機器、資產(chǎn)和設(shè)備的角度提供了更實時

4、的決策、分析預(yù)測和更高的操作性能機器數(shù)據(jù)洞察力全渠道的洞察力傳感器M2M移動設(shè)備IoT資產(chǎn)流程非結(jié)構(gòu)化數(shù)據(jù)多媒體數(shù)據(jù)實時地理數(shù)據(jù)富格式數(shù)據(jù)企業(yè)數(shù)據(jù)社交數(shù)據(jù)從海量和多種形態(tài)數(shù)據(jù)進(jìn)行實時分析和可操作的情報提供了洞察力大數(shù)據(jù) 機器數(shù)據(jù)洞察從物理資產(chǎn)的詳細(xì)數(shù)據(jù)中提供洞察力實時地集成與互聯(lián)根據(jù)條件與環(huán)境進(jìn)行預(yù)測并采取措施低成本新增并改進(jìn)服務(wù)新業(yè)務(wù)模型預(yù)測性維護(hù)位置信息服務(wù)遠(yuǎn)程資產(chǎn)管理分布式流程監(jiān)控大數(shù)據(jù) 多渠道的數(shù)據(jù)洞察非結(jié)構(gòu)化數(shù)據(jù)的洞察力與分析模擬預(yù)測性能優(yōu)化從多個數(shù)據(jù)源與多種類型中獲取洞察力集成和整合企業(yè)的實時數(shù)據(jù)為了獲取更加的洞察力與性能而進(jìn)行的優(yōu)化最大限度地提高業(yè)務(wù)與IT優(yōu)勢優(yōu)化組織績效提高銷售

5、業(yè)績/提升服務(wù)質(zhì)量SAP大數(shù)據(jù)方案概覽使客戶完成實時的商業(yè)決策14大數(shù)據(jù)平臺內(nèi)存計算平臺分析型數(shù)據(jù)庫Hadoop流式數(shù)據(jù)處理Data Services加快你獲取、分析大數(shù)據(jù)洞察并能快速地采取行動大數(shù)據(jù)分析預(yù)測分析可視化文本分析商務(wù)智能在企業(yè)內(nèi)部全面釋放大數(shù)據(jù)的能力大數(shù)據(jù)應(yīng)用大數(shù)據(jù)應(yīng)用自開發(fā)應(yīng)用采用新的商業(yè)模式，提供大數(shù)據(jù)應(yīng)用的見解大數(shù)據(jù)服務(wù)端到端方案：探索、規(guī)劃、實現(xiàn)、運行數(shù)據(jù)科學(xué)專家：更全面規(guī)劃您的企業(yè)需求實現(xiàn)從大數(shù)據(jù)計劃實際成果與應(yīng)用科學(xué)的數(shù)據(jù)為您的企業(yè)服務(wù)平臺 + 工具 數(shù)據(jù)的提取與分析專家 從多年的行業(yè)經(jīng)驗中細(xì)化數(shù)據(jù)需求應(yīng)用 將洞察力融入每個人與業(yè)務(wù)流程SAP HANA品牌情感:-)預(yù)

6、測性維護(hù)網(wǎng)絡(luò)優(yōu)化內(nèi)部威脅探測實時風(fēng)險管理資產(chǎn)追蹤360度客戶視圖客戶流失個性化關(guān)懷產(chǎn)品建議實時需求供應(yīng)預(yù)測欺詐監(jiān)測利用大數(shù)據(jù)來驅(qū)動業(yè)務(wù)更深入地了解客戶的需求SAP HANA平臺為預(yù)測分析、規(guī)劃、文本處理和商業(yè)分析提供各種庫，使得這些業(yè)務(wù)可以達(dá)到實時的操作任何應(yīng)用任何應(yīng)用服務(wù)器SAP商務(wù)套件 BW ABAP應(yīng)用服務(wù)器JSONROpen ConnectivityMDXSQLSAP HANA平臺統(tǒng)一管理生命周期管理安全擴展應(yīng)用服務(wù)數(shù)據(jù)集成服務(wù)Deployment:數(shù)據(jù)庫服務(wù)應(yīng)用程序開發(fā)流程編排OLTP | OLAP | 搜索 | 文本分析 | 預(yù)測分析| 事件處理| 地理信息 | 規(guī)則| 計劃 處理

7、引擎應(yīng)用函數(shù)庫 & 數(shù)據(jù)模型Predictive Analysis Libraries | Business Function Libraries | Data Models & Stored Procedures數(shù)據(jù)虛擬化| 復(fù)制| ETL/ELT | 移動設(shè)備同步| 流式處理App Server| UI Integration Services | Web Server預(yù)置型 | 云部署 | 混合部署模式Supports any DeviceSAP HANA平臺涵蓋了數(shù)據(jù)庫、數(shù)據(jù)處理與應(yīng)用平臺的能力SAP HANA平臺不僅僅是數(shù)據(jù)產(chǎn)品SAP HANAIn-Memory / Text Ana

8、lysis /PredictiveSAP HANA 大數(shù)據(jù)處理平臺移動與嵌入式高級分析HANA Extended Services (XS), Data Services, SAP ESP Information and Real-time Data Movement集成建模和元數(shù)據(jù)處理Common Data AccessBusiness WarehouseBusiness IntelligenceMobile & Embedded ERPOData, JSON, Smart Data AccessSAP ESP流式分析SAP IQ近線EDW分析應(yīng)用 / BI Lumira云應(yīng)用商務(wù)套件自開發(fā)

9、應(yīng)用 Hadoop海量數(shù)據(jù)管理集成的系統(tǒng)管理和靈活的部署模式分析應(yīng)用 / BI Lumira云應(yīng)用HTML5/UI5Fiori Apps 商務(wù)套件以HANA為核心的技術(shù)平臺集成和整合了大量大數(shù)據(jù)管理工具采用最領(lǐng)先的技術(shù)處理不同類型的數(shù)據(jù)，同時從任何其他源訪問數(shù)據(jù). 內(nèi)存計算可提升所有數(shù)據(jù)處理的性能.SAP HANA平臺快速部署的解決方案簡單SAP HANASAP HANA平臺新版本中的革新SAP HANA Platform多租戶數(shù)據(jù)容器動態(tài)分層Smart Data Streaming圖形數(shù)據(jù)處理Smart Data Integration & QualityHadoop集成簡化配置的多個數(shù)據(jù)庫

10、的部署和管理管理和分析實時的各種信息流直接訪問Hadoop的HDFS和Map降低與HANA的UDF優(yōu)化內(nèi)存使用，擴展對海量數(shù)據(jù)的支持集成的數(shù)據(jù)加載，轉(zhuǎn)換，清洗很容易發(fā)現(xiàn)和分析復(fù)雜的關(guān)系Series Data庫內(nèi)多形態(tài)數(shù)據(jù)存儲和處理能力高級分析利用新的和增強的高級分析功能簡化配置的多個數(shù)據(jù)庫的部署和管理管理和分析實時的各種信息流直接訪問Hadoop的HDFS和Map降低與HANA的UDF集成的數(shù)據(jù)加載，轉(zhuǎn)換，清洗很容易發(fā)現(xiàn)和分析復(fù)雜的關(guān)系庫內(nèi)多形態(tài)數(shù)據(jù)存儲和處理能力增強的數(shù)據(jù)虛擬化和訪問功能支持新一代邏輯的企業(yè)架構(gòu) - 分析數(shù)據(jù)倉庫數(shù)據(jù)源新增: SAP MaxDBSAP數(shù)據(jù)源: HANA, AS

11、E, IQ, MaxDB, ESP, SQLA數(shù)據(jù)庫: Teradata, Microsoft SQLServer, Oracle, IBM DB2, IBM NetezzaHadoop: Cloudera, Hortonworks, MapR & Others效益實時 虛擬化訪問外部數(shù)據(jù)源充分利用企業(yè)現(xiàn)有系統(tǒng)，保護(hù)投資利用HANA高級原生功能構(gòu)建應(yīng)用優(yōu)化性能 避免在內(nèi)存中存放過多數(shù)據(jù)降低開發(fā)成本 直接從數(shù)據(jù)源中獲取數(shù)據(jù)HANA創(chuàng)新智能數(shù)據(jù)訪問(Smart Data Access)新的增強使Hadoop集成方式更先進(jìn)，大數(shù)據(jù)的處理手段更加豐富虛擬UDF (vUDF)為實現(xiàn)數(shù)據(jù)聯(lián)盟而設(shè)計的新的用

12、戶函數(shù)類型直接訪問Hadoop Distributed File System (HDFS) 調(diào)用自定義的Map Reduce jobvUDF可以嵌入到SQL中使用場景與優(yōu)勢可以利用Hadoop集群中除HIVE和Spark之外的其它技術(shù) (e.g. Hadoop Distributed File System (HDFS) and MapReduce)即席查詢功能和非結(jié)構(gòu)化數(shù)據(jù)的處理利用vUDF用戶無需通過SDA調(diào)用HIVE轉(zhuǎn)譯SAP HANAvUDF OperatorRFC HadoopHadoopMap ReduceHDFSYARNHIVEHANA創(chuàng)新Hadoop的高級集成Merge采用H

13、ANA技術(shù)的EDW平臺簡化: 消除了數(shù)據(jù)緩存和數(shù)據(jù)冗余，實現(xiàn)了實時的數(shù)據(jù)聚集計算加速: 利用內(nèi)存計算技術(shù)實現(xiàn)實時的數(shù)據(jù)訪問預(yù)測: 庫集成了預(yù)測算法和數(shù)據(jù)流傳統(tǒng)方式: OLTP 與 OLAP 相分離10:00 AM10:00 AMMultiple Data SourcesOLTP + OLAP in SAP HANA10:00:00 AM10:00:00 AMImmediateSmart Data AccessCurrent Data24hr Old DataAggregateETLMultiple Data Sources available with Live Access ETLStrea

14、msStaging DBTransactionsTransactionsStreamsETLLots of separate ETL processes!48 Hours利用HANA Live的虛擬模型在OLTP庫中直接進(jìn)行分析SAP HANASAPHANA LiveCustomersChannelSuppliersAccountingForecastingInventoryProductsPricingPlanning* SAP HANA Live is a separate package, available with SAP HANACustomer ServiceRisk Manag

15、ement TeamFinance and OperationsAccount AdministrationExecutive ManagementSAP HANA Live為用戶提供了一個通用的數(shù)據(jù)分析模型:易于業(yè)務(wù)人員理解和使用快速出具業(yè)務(wù)報表 (無時延)沒有冗余的數(shù)據(jù)易于使用和擴展SAP大數(shù)據(jù)領(lǐng)域的部分案例Provide engagement for 380 million fans with 65 years of statistics available on website2X More time spent by fans on NBA websiteIdentify cance

16、r DNA variants for treatment216x faster results: 3 days 20 minutesPremier soccer club performs real-time spatial analysis of player movements to optimize trainingStress-tolerance for each player identified and addressed in real-timeImproved forecasting of energy load on in order to make sound invest

17、ment decisions 70% Reduction In the efforts for generation of the forecastingEnable fleets to sense deviations in tire temperature and pressure3% Cost Reduction in fuel and tire costsSupport decisions about sales campaigns, loan risks with SAP Sybase IQ - 250 analysts14 Terabytes Uncompressed dataIm

18、prove analysis and create influencer impact, crawling data form ca. 450 social media sites using SAP HANA (POC)$12M USD Revenue channel enabled by implementationUse real-time information to operate its call centers with greater productivity, a higher first-call resolution rate, and a lower cost per

19、transaction.5% Cost Reduction In total overall costReal-time decision-making and greater control of the supply chain for better inventory management50% Decrease in inventoryPulse Analytics Social Media Analytics using SAP HANA One6x faster Text analysis processingMonitor eBays marketplace through au

20、tomated signal detection powered by predictive analytics100% Accuracy that a signal is positive at 97% confidence地震數(shù)據(jù)處理和解釋挑戰(zhàn)：處理例程的操作：增強信號會導(dǎo)致噪音過大提供速度信息折疊衍射，將浸漬事件放到其真正的地下位置（遷移）提高分辨率解決方案詳情：震波圖分析的目的是為了將獲取的數(shù)據(jù)處理成圖片，用于推斷地下結(jié)構(gòu)。POC 探索了儀表盤和可視化展示方法的使用以定義和調(diào)整噪音參數(shù)，以便來自多個記錄點的多波段數(shù)據(jù)能夠在同一個視圖中顯示。然后這些數(shù)據(jù)讀取能夠與其他分析進(jìn)行比較，并進(jìn)行優(yōu)化以找出現(xiàn)有已知儲量和預(yù)測的未來儲量之間的一致性優(yōu)勢介紹： 提高對地震數(shù)據(jù)的