大數(shù)據(jù)與大數(shù)據(jù)技術(shù)

量變到質(zhì)變

大數(shù)據(jù)與大數(shù)據(jù)技術(shù)虞強(qiáng)

2016.10議程公司簡介大數(shù)據(jù)與大數(shù)據(jù)技術(shù)大數(shù)據(jù)技術(shù)應(yīng)用

大數(shù)據(jù)案例分享問題討論2公司簡介公司概況&發(fā)展歷史主要客戶&大數(shù)據(jù)產(chǎn)品3新加坡上海北京公司概況青島雅加達(dá)專注于分析預(yù)測與行業(yè)應(yīng)用的的大數(shù)據(jù)公司深圳業(yè)務(wù)1業(yè)務(wù)2業(yè)務(wù)3提供基于大數(shù)據(jù)技術(shù)的預(yù)測性分析及商務(wù)智能解決方案大數(shù)據(jù)平臺、數(shù)據(jù)集成與準(zhǔn)備工具、開源開發(fā)技術(shù)自助式分析工具、數(shù)據(jù)可視化工具提供全球頂尖的大數(shù)據(jù)軟件產(chǎn)品300+

技術(shù)服務(wù)人員端到端的大數(shù)據(jù)平臺數(shù)據(jù)集成、數(shù)據(jù)挖掘與預(yù)測性分析、高級分析企業(yè)級大數(shù)據(jù)倉庫、企業(yè)績效管理、商務(wù)智能大數(shù)據(jù)SaaS應(yīng)用和DaaS服務(wù)基于云平臺的軟件即服務(wù)大數(shù)據(jù)應(yīng)用為企業(yè)提供全面的數(shù)據(jù)服務(wù)

發(fā)展歷史數(shù)據(jù)倉庫績效管理高級分析數(shù)據(jù)可視化看板管理商務(wù)智能2.0至今2005200720112002大數(shù)據(jù)技術(shù)大數(shù)據(jù)應(yīng)用分析預(yù)測數(shù)據(jù)挖掘數(shù)據(jù)即服務(wù)數(shù)據(jù)集市

14年來，我們與數(shù)俱進(jìn)汽車制造·電子產(chǎn)品及家電·快消零售·醫(yī)藥與生命科學(xué)·航空與物流·高科技制造業(yè)·金融及其他主要客戶云以H

a

d

o

o

p為核心的大數(shù)據(jù)產(chǎn)品系列數(shù)據(jù)集成與準(zhǔn)備SQLonHadoopTexthere流計(jì)算機(jī)器學(xué)習(xí)開源開發(fā)技術(shù)數(shù)據(jù)挖掘以H

a

d

o

o

p為核心的大數(shù)據(jù)產(chǎn)品大數(shù)據(jù)軟件產(chǎn)品Statistica數(shù)據(jù)可視化Vortex數(shù)據(jù)創(chuàng)新經(jīng)驗(yàn)融合擁有多元化的數(shù)據(jù)科學(xué)家團(tuán)隊(duì)和十余年的數(shù)據(jù)分析經(jīng)驗(yàn)。經(jīng)十余年自主開發(fā)的IP打造數(shù)據(jù)行業(yè)領(lǐng)先的技術(shù)優(yōu)勢。

追蹤吸收和引進(jìn)行業(yè)內(nèi)最先進(jìn)的技術(shù)，產(chǎn)品和應(yīng)用經(jīng)驗(yàn)。世界頂尖數(shù)據(jù)技術(shù)公司在中國地區(qū)的首選合作伙伴。在一大批競爭行業(yè)（汽車、制藥、快消、家電、物流等）內(nèi)擁有深厚的客戶基礎(chǔ)和眾多行業(yè)成功案例。追求行業(yè)業(yè)務(wù)能力和技術(shù)能力的融合以及企業(yè)系統(tǒng)架構(gòu)與解決業(yè)務(wù)問題間的平衡，具有扎實(shí)的項(xiàng)目實(shí)施能力。HEADLINE

競爭優(yōu)勢9大數(shù)據(jù)與大數(shù)據(jù)技術(shù)Hadoop技術(shù)的發(fā)展物聯(lián)網(wǎng)應(yīng)用需要將Hadoop變?yōu)橐粋€高性能的分析平臺需要Hadoop不光能存儲數(shù)據(jù)，更要能夠處理計(jì)算數(shù)據(jù)SQL分析挖掘預(yù)測圖形化數(shù)據(jù)分分析智能搜索時間、用戶、、地理位置、、事件等標(biāo)標(biāo)簽輔助技術(shù)：Kafka,HBase,Cassandra,Accumulo基于大數(shù)據(jù)據(jù)技術(shù)的數(shù)數(shù)據(jù)分析處處理Hadoop核心層數(shù)據(jù)準(zhǔn)備技術(shù)更迭過過快開源產(chǎn)品成成熟度開發(fā)效率與現(xiàn)有架構(gòu)構(gòu)的關(guān)系運(yùn)維與安全全大數(shù)據(jù)技術(shù)術(shù)的顧慮？大數(shù)據(jù)平臺臺計(jì)算框架架傳統(tǒng)數(shù)倉功功能非結(jié)構(gòu)化流流式挖掘分分析軟件架構(gòu)（（舉例））DATAPLATFORM(HDFS)靈活數(shù)據(jù)準(zhǔn)準(zhǔn)備SQLinHadoop數(shù)據(jù)挖掘與與預(yù)測S

Q

L（ODBC、JDBC、、。NET）API：Java,

C/++,Python前端應(yīng)用報表外部應(yīng)用下游系統(tǒng)管理控制臺臺（CloudEra、Talend、KNIME）數(shù)據(jù)安全以以及認(rèn)證（（Portal集成）用工具取代代代碼作坊坊MapReducePerformance(runsondisk)OneClickSparkPerformance(runsin-memory&ondisk)20XFaster同時處理實(shí)實(shí)時與批次次流式處理批次處理轉(zhuǎn)換清洗治理轉(zhuǎn)換清洗治理推薦引擎SparkStreaming/KafkaSpark數(shù)據(jù)庫，文文件，批次次數(shù)據(jù)實(shí)時，流數(shù)數(shù)據(jù)HDFS文件數(shù)據(jù)流輸出基于用戶數(shù)數(shù)據(jù)理解地地模型預(yù)測測圖形化數(shù)據(jù)據(jù)準(zhǔn)備挖掘掘運(yùn)用SparkMlib等進(jìn)行計(jì)算算結(jié)果回寫入入Impala或者HIVE非結(jié)構(gòu)化數(shù)數(shù)據(jù)為存儲儲的新型SQL基于落地HDFS的文件或HBASE進(jìn)行SQL建表解析提供工業(yè)MPP級別查詢性性能線性可擴(kuò)展展標(biāo)準(zhǔn)JDBCSQL界面，直連連BO，Tableau，Qlikview,MSTR等報表工具具技術(shù)方案：：特點(diǎn)小結(jié)結(jié)基于開源系系統(tǒng)的成熟熟商用插件件方案部署簡便提高開發(fā)效效率降低實(shí)施風(fēng)風(fēng)險基于內(nèi)存的計(jì)算性能優(yōu)優(yōu)異全部部基基于于唯唯一一Hadoop集群群內(nèi)內(nèi)，，統(tǒng)統(tǒng)一一存存儲儲統(tǒng)統(tǒng)一一計(jì)計(jì)算算減少數(shù)據(jù)據(jù)傳傳輸輸遷遷移移的的同同步步問問題題維護(hù)護(hù)便便捷捷：：一一套集群,維護(hù)簡單擴(kuò)展性：無限限擴(kuò)展線性提升便捷的開發(fā)及及報表展現(xiàn)工工具圖形化ETL，數(shù)據(jù)挖掘開開發(fā)便捷報表展現(xiàn)現(xiàn)分析工具建模過程100%用戶參與IT基礎(chǔ)架構(gòu)與用用戶數(shù)據(jù)準(zhǔn)備備、探查、分分析、預(yù)測分離19大數(shù)據(jù)團(tuán)隊(duì)組織織建設(shè)數(shù)據(jù)與業(yè)務(wù)的的結(jié)合大數(shù)據(jù)開發(fā)團(tuán)隊(duì)隊(duì)技術(shù)平臺支持業(yè)務(wù)人員咨詢團(tuán)隊(duì)大數(shù)據(jù)管理員內(nèi)部團(tuán)隊(duì)與專專業(yè)伙伴緊密密合作Evan數(shù)據(jù)科學(xué)家21大數(shù)據(jù)技術(shù)應(yīng)應(yīng)用InternetofCustomersandInternetofThingsIoTInvisibledevicesandWearabledevicesTrillionsofnetworkednodesLowbandwidthlast-mileconnection100kBit/secMostlyaddressedbylocalschemesMachine-centricSensing-focusTrillionsofcomputer-enableddeviceswhicharepartoftheIoTGlobaladdressingUser-centricCommunication-focusIoCLaptops/tablets/smartphonesBillionsofnetworkeddevicesHigh-bandwidthaccessCable:10Mbs+Fiber:50-100Mbs6+billionpeople1.5billionusenetUS:4.3devicesperadultBigDataonIoTPredictiveMaintenancethatenableyoutochangeyourbusiness…HadoopMachineLearningQueryandreportingIoT解決方案CommandandControlYouhavedevicesonthenetworkedge…PlantFloorThingsSupplyChainThingsBackOfficeThingsBasicSensorsIntelligentDevicesthatprovideyoudata…SQLDatabasesBlobStorageTableStorageExternalStorageDocumentDBthatyouunderstand,applyrules,modelsandmore…CommandandControlEventHub(ServiceBus)本質(zhì)是基于“信息息物理系統(tǒng)””實(shí)現(xiàn)“智能化…”二、工業(yè)4.0時代的智能制制造IoT的本質(zhì)二、工業(yè)4.0時代的智能制制造IoT--智能工廠BigDataonIoC360CustomerProfileMicro-SegmentationCustomerLifetimeValueNextBestActionCustomerSentimentCampaignOptimizationChurnMarketBasketAnalysis關(guān)聯(lián)分析行動創(chuàng)建客戶檔案識別共同關(guān)鍵詞CRM賬戶戶信息息及客客戶特特征EDW交易易歷史史社交媒媒體關(guān)關(guān)鍵字字整合數(shù)據(jù)并載入hadoop連接至文本挖掘應(yīng)用將數(shù)據(jù)庫連接至EDW連接至flatfileSalesLift20%60%100%n%購買周期期趨勢購買家庭庭信息購買人口口特征通過API與CRM相連連接至flatfile連接至flatfile刪除重復(fù)客戶載入Hadoop在用戶ID間連接數(shù)據(jù)第一階段段識別人口微簇客戶畫像像刪除重復(fù)客戶在用戶ID間連接數(shù)據(jù)識別共同關(guān)鍵字創(chuàng)建客戶檔案數(shù)據(jù)流引引擎人口分布布客戶傾向向HADOOP集集群/YARN關(guān)聯(lián)分析行動數(shù)據(jù)庫分分析查詢可視視化報表表分析工具具及應(yīng)用用HDFS/NFS低延遲查詢集成服務(wù)務(wù)器BI服務(wù)務(wù)器數(shù)據(jù)庫集集群/服服務(wù)器社交媒體鏈接數(shù)據(jù)庫鏈接文本分割鏈接API鏈接固定文本鏈接文本分割鏈接消費(fèi)心理理第一階段段HDFSAPI數(shù)據(jù)混合合與濃縮縮集成引擎擎ACTIAN分分析平臺臺CRM賬賬戶信息息及客戶戶特征EDW交交易歷史史社交媒體體關(guān)鍵字字購買周期期趨勢購買家庭庭信息購買人口口特征客戶畫像像參考架架構(gòu)360度客戶視視圖31案例分享享車聯(lián)網(wǎng)大大數(shù)據(jù)應(yīng)應(yīng)用項(xiàng)目背景景圍繞車輛全生命周期，數(shù)據(jù)驅(qū)動的車聯(lián)聯(lián)網(wǎng)與跨行行業(yè)融合合，可衍衍生出多多樣的商商業(yè)模式式與創(chuàng)新新服務(wù)；；基于豐富的車車聯(lián)數(shù)據(jù)據(jù)、多樣樣的服務(wù)務(wù)平臺，可對行業(yè)、、社會熱熱點(diǎn)展開開洞見分分析，同同時挖掘掘更多的的商業(yè)價價值，拓拓展新的業(yè)務(wù)務(wù)車輛全生命周期CarFullLifeCycle車輛防盜，財產(chǎn)保護(hù)

PropertyProtection保險車聯(lián)網(wǎng)

TelematicsInsurance車內(nèi)LBS服務(wù)

In-CarLBS車載4G熱點(diǎn)

Onboard4GWIFI預(yù)測性保養(yǎng)提醒

ProactiveReminder汽車延保

ExtendedWarranty預(yù)測性維修提醒

ProactiveReminder遠(yuǎn)程在線升級

OTAUpgrade車隊(duì)管理

FleetMgmt.汽車共享

CarSharing車況分析報告

AssessReport二手車聯(lián)合鑒定

UnitedAssessment消費(fèi)者畫像

UserPortrait新車銷售線索

SalesLeeds客制化服務(wù)

Customization產(chǎn)品規(guī)劃

Planning設(shè)計(jì)研發(fā)

R&D生產(chǎn)制造Production市場營銷

Marketing售后保障AfterSales持續(xù)改進(jìn)KeepImprove新車銷售CarSales試駕TestDrive金融Finance維修Repair車生活I(lǐng)n-CarLife保險Insurance保養(yǎng)

Maintain租賃Leasing二手車UsedCar安吉星大數(shù)據(jù)項(xiàng)目目標(biāo)與當(dāng)當(dāng)前的問問題目標(biāo)：主數(shù)據(jù)(數(shù)據(jù)質(zhì)質(zhì)量)的的升級主題模型型落地,保持?jǐn)?shù)數(shù)據(jù)一致致性提高運(yùn)維維的靈活活性應(yīng)用數(shù)據(jù)據(jù)緩存的的改造用空間換換時間的的方法保保護(hù)后臺臺核心應(yīng)應(yīng)用的正正常運(yùn)行行企業(yè)經(jīng)營營分析的的改造提高運(yùn)營營速度和和質(zhì)量,降低數(shù)數(shù)據(jù)開發(fā)發(fā)成本新業(yè)務(wù)的的支持駕駛行為為分析燃油分析析二手車評評估車況鑒定定報告問題：缺少數(shù)據(jù)據(jù)主題重復(fù)開發(fā)發(fā)和浪費(fèi)費(fèi)成本數(shù)據(jù)質(zhì)量量不可控控數(shù)據(jù)缺少少管控BI開開發(fā)成本本高,周周期長缺少業(yè)務(wù)務(wù)分析平平臺車輛數(shù)據(jù)據(jù)采集能能力有限限業(yè)務(wù)數(shù)據(jù)據(jù)無法有有效支持持大數(shù)據(jù)平臺邏輯架構(gòu)報表/可視化數(shù)據(jù)集成成區(qū)批量數(shù)據(jù)據(jù)處理實(shí)時消息息隊(duì)列數(shù)據(jù)湖泊泊區(qū)機(jī)器學(xué)習(xí)習(xí)區(qū)NoSQL區(qū)流計(jì)算區(qū)區(qū)數(shù)據(jù)暫存存區(qū)數(shù)據(jù)倉庫庫區(qū)主題分析析區(qū)MobileDAAPVehicleLVDSTrafficProbeHA/HBOVDACR其它數(shù)據(jù)據(jù)源其它數(shù)據(jù)據(jù)源系統(tǒng)管理理數(shù)據(jù)管理理搜索引擎擎區(qū)數(shù)據(jù)交換換區(qū)數(shù)據(jù)源車輛行駛駛?cè)罩拒囕v行駛駛?cè)罩炯奔铀?、、加速日日志車載系統(tǒng)日志實(shí)時數(shù)據(jù)據(jù)計(jì)算36駕駛行為為評分37第1步：建模變量的選擇從所有變量中，選取建模選定的變量

第2步：衍生建模變量計(jì)算基于TP類別的變量，進(jìn)行用戶駕駛風(fēng)險的初步計(jì)算第3步：用戶出險概率計(jì)算基于第2步計(jì)算結(jié)果，結(jié)合HAHB類別變量，進(jìn)行用戶出險概率的計(jì)算第4步：駕駛風(fēng)險評分計(jì)算將出險概率，轉(zhuǎn)化為對應(yīng)的駕駛風(fēng)險評分第5步：駕駛行為評分計(jì)算將駕駛風(fēng)險評分，轉(zhuǎn)化為對應(yīng)的駕駛行為評分駕駛行為為評分—閾值計(jì)算算通過機(jī)器器學(xué)習(xí)算算法，實(shí)實(shí)時的將將所有用用戶數(shù)據(jù)據(jù)代入駕駕駛風(fēng)險險概率模模型，動動態(tài)計(jì)算算相關(guān)閾閾值Setresponsevariable=uncomfortablemaneuverSetpredictorvariable=acceleration,speed,turnsCalculatethescore38駕駛行為為評分用車軌跡跡--用戶畫像像When何時Where何地Who是誰What做什么上班族Commuter商務(wù)人士士BizMan家庭主婦婦Housewife夜晚活動動族NightOwls用車軌跡跡–交叉銷售售售后維修修保養(yǎng)機(jī)機(jī)會點(diǎn)OpportunitiesforA/SMaintenance新車銷售售機(jī)會點(diǎn)點(diǎn)OpportunitiesforNewCarSalesMaintenanceOpportunities車況報告告車況報告告44案例分享智能生產(chǎn)預(yù)預(yù)測項(xiàng)目背景項(xiàng)目背景隨著業(yè)務(wù)的的不斷發(fā)展展，生產(chǎn)線線不斷擴(kuò)張張，不同生生產(chǎn)線、不不同機(jī)臺、、不同工序序所產(chǎn)生的的玻璃面板板壞點(diǎn)數(shù)量量參差不起起，良品率率總體呈現(xiàn)現(xiàn)下降趨勢勢。為了提提高玻璃面面板的良品品率，不斷斷優(yōu)化工藝藝流程，提提升產(chǎn)品質(zhì)質(zhì)量，決定定建立數(shù)據(jù)據(jù)分析平臺臺，來預(yù)測測壞點(diǎn)產(chǎn)生生跟生產(chǎn)流流程上的哪哪些因素有有關(guān)，來做做有正對性性的改進(jìn)。。項(xiàng)目實(shí)施收集生產(chǎn)Glass過程當(dāng)中所所有相關(guān)的的因子信息息，通過Dataflow工具對品質(zhì)質(zhì)異常的玻玻璃數(shù)據(jù)進(jìn)進(jìn)行regression、correlation挖掘算法分分析，計(jì)算算各因子與與產(chǎn)品異常常之間的影影響關(guān)系。。同時針對對正常品質(zhì)質(zhì)玻璃也做做因子分析析，計(jì)算得得出正常品品質(zhì)下各因因子的正常常范圍值，，從而可以以快速判定定超出范圍圍的為異常常值。品質(zhì)異常因因子分析抽取源系統(tǒng)統(tǒng)數(shù)據(jù)并通通過數(shù)據(jù)的的業(yè)務(wù)邏輯輯進(jìn)行數(shù)據(jù)據(jù)關(guān)聯(lián)進(jìn)行行數(shù)據(jù)準(zhǔn)備備，然后通過數(shù)數(shù)據(jù)挖掘算算法進(jìn)行correlation、regression兩類數(shù)據(jù)挖挖掘，并將將挖掘結(jié)果果寫寫到到HDFS文件件系系統(tǒng)統(tǒng)中中。。通過過針針對對defect_count、recipe、TC_C1_EV因子子，，經(jīng)經(jīng)過過regression算法法，，從從測測試試數(shù)數(shù)據(jù)據(jù)中中挖挖掘掘出出defect_count預(yù)測測數(shù)據(jù)據(jù)數(shù)據(jù)據(jù)分分析析過過程程通過過針針對對不不同同Product_ID下下，，defect_count因因子子和和TC_PRESSS、、TC_IP1_PRESS、、TC_IP2_PRESS，車車臺臺溫溫度度等因子，經(jīng)過correlation算法法，從測試數(shù)據(jù)中中挖掘出相關(guān)關(guān)性數(shù)據(jù)注：挖掘數(shù)據(jù)據(jù)位于測試中中轉(zhuǎn)機(jī)I:\To_Andy\correlation.txt、、I:\To_Andy\regression.txt關(guān)聯(lián)預(yù)測準(zhǔn)確確度（越靠近中線線，預(yù)測偏差差越?。┚€性回歸分析析異常點(diǎn)部分需需要進(jìn)一步分分析分析結(jié)果基于目前的數(shù)據(jù)，從correlation挖掘結(jié)果數(shù)據(jù)中可以看到如下結(jié)果例如TA546A5ABC00這款產(chǎn)品，較其他產(chǎn)品，defect_count和TC_PRESS等壓力參數(shù)因子的相關(guān)性更低，跟車臺溫度相關(guān)性較高例如TB546A6ABC00這款產(chǎn)品，較其他產(chǎn)品，defect_count和TC_PRESS等壓力參數(shù)因子的相關(guān)性更高，說明壓力參數(shù)對這款產(chǎn)品的defect數(shù)量有較大影響；其中TC_IP2_PRESS因子的較其他因子的影響更大基于目前的數(shù)據(jù)，由regression模型通過參數(shù)因子預(yù)測defect數(shù)量，比對原來的數(shù)量，可以看到如下結(jié)果當(dāng)原defect_count較大時，預(yù)測的defect_count也較大?？梢钥闯瞿Ｐ皖A(yù)測趨勢與實(shí)際情況吻合隨著數(shù)據(jù)和因子數(shù)量的增加，模型會更加穩(wěn)定和成熟。那時將新的參數(shù)因子數(shù)據(jù)傳遞給模型，作出更加準(zhǔn)確的預(yù)測51案例分分享傳統(tǒng)數(shù)數(shù)倉轉(zhuǎn)轉(zhuǎn)大數(shù)數(shù)據(jù)項(xiàng)目背背景使用傳傳統(tǒng)的的標(biāo)準(zhǔn)準(zhǔn)數(shù)倉倉建模模，分分ODS、DW、DM及DMAETL主要通通過存存儲過過程實(shí)實(shí)現(xiàn)存儲過過程數(shù)數(shù)據(jù)加加工較較多的的使用用臨時時表、、中間間表使用傳傳統(tǒng)交交易型型DBMSORACLE作為數(shù)數(shù)據(jù)倉倉庫平平臺前端通通過刷刷CUBE提升報報表查查詢速速度支撐撐報報表表數(shù)數(shù)量量：：目目前前150左右右每日日增量量更更新新時時長長：：1：00－12：50存在在的的問問題題數(shù)據(jù)據(jù)冗冗余余比比較較嚴(yán)嚴(yán)重重臨時時表表、、中中間間表表使使用用過過多多，，對對內(nèi)內(nèi)存存及及磁磁盤盤IO壓力力較較大大層與與層層之之間間調(diào)調(diào)度度依依賴賴嚴(yán)嚴(yán)格格數(shù)據(jù)據(jù)加加工工性性能能不不足足數(shù)據(jù)據(jù)查查詢詢性性能能不不足足高并并發(fā)發(fā)查查詢詢性性能能下下降降嚴(yán)嚴(yán)重重并發(fā)發(fā)的的計(jì)計(jì)算算架架構(gòu)構(gòu)54SQL(JDBC/ODBC/.Net)JAVA/C/…API加載入分布式存存儲SQLonHadoop加載入