工程大數(shù)據(jù)分析平臺.doc

1、工程大數(shù)據(jù)分析平臺隨著大數(shù)據(jù)時代來臨、無人駕駛和車聯(lián)網(wǎng)的快速發(fā)展，汽車研發(fā)部門需要處理的數(shù)據(jù)量 激增、數(shù)據(jù)類型不斷擴展。相關數(shù)據(jù)涵蓋車內髙頻CAN數(shù)據(jù)和車外ADAS視頻非結構化數(shù)據(jù)、 位置地理空間數(shù)據(jù)、車輛運營數(shù)據(jù)、用戶CRM數(shù)拯、WEB數(shù)據(jù)、APP數(shù)據(jù)、和MES數(shù)據(jù)等。踣線圍規(guī)劃大數(shù)據(jù)管理規(guī)劃大數(shù)據(jù)應用大數(shù)據(jù)存儲規(guī)劃組織、流程成本軸分析在此背景下，整車廠研發(fā)部門關心的是：如何將企業(yè)內部的研發(fā)、實驗、測試、生產(chǎn)數(shù) 據(jù)，社會用戶的用車數(shù)據(jù)，互聯(lián)網(wǎng)第三方數(shù)據(jù)等結合起來，將異構數(shù)據(jù)和同構數(shù)據(jù)整合到一 起，并在此基礎上，實現(xiàn)業(yè)務系統(tǒng)、分析系統(tǒng)和服務系統(tǒng)的一體化：怎樣利用深度的駕駛員 行為感知、智能的車

2、輛預防性維護、與實時的環(huán)境狀態(tài)交互，通過大數(shù)據(jù)與機器學習技術, 建立而向業(yè)務服務與產(chǎn)品持續(xù)優(yōu)化的車聯(lián)網(wǎng)智能分析：最終利用數(shù)據(jù)來為產(chǎn)品研發(fā)、生產(chǎn)、 銷售、售后提供精準的智能決策支撐。這些都是整車廠在大數(shù)據(jù)時代下亟待解決的問題。大數(shù)據(jù)實踐平臺實施I 人員培訓I 經(jīng)驗分拿I 技術支持I針對這一需求，恒潤科技探索出以EXCEEDDATA大數(shù)據(jù)分析平臺為核心的汽車工程大數(shù) 拯整體解決方案。借助EXCEEDDATA大數(shù)攜分析平臺，企業(yè)可以集成、處理、分析、以及可 視化海疑級別的數(shù)據(jù)，可實現(xiàn)對原始數(shù)據(jù)的高效利用，并將原始數(shù)據(jù)轉化成產(chǎn)品所需的智能, 從而改進業(yè)務流程、實現(xiàn)智慧決策的產(chǎn)業(yè)升級。產(chǎn)品介紹： 先進的

3、技術架構EXCEEDDATA采用分布式架構、包含集成處理(ETL)與分析挖掘兩大產(chǎn)品功能體系， 共支持超過20多個企業(yè)常見傳統(tǒng)數(shù)據(jù)庫和大數(shù)拯源系統(tǒng)，超過50多個分析處理算法、以 及超過豐富的可視化智能展現(xiàn)庫。用戶可以自主的、靈活的將并種來源的原始數(shù)據(jù)與分析處理串聯(lián)應用，建立科學的數(shù)據(jù)模型，得出預測結果并配以互動的可視化智能，快速髙效的將 大數(shù)據(jù)智能實現(xiàn)至業(yè)務應用中。大數(shù)據(jù)系統(tǒng)H5RSEEnamoDB I mongoDB redis I數(shù)據(jù)源 GXCGGDDZiCTA|- I分析挖掘J用戶數(shù)據(jù)倉庫ORACLEIeradaia d號一SQLServer, iviujsql平臺包括分布式大數(shù)據(jù)分析引

4、擎、智能終端展示、以及API。大數(shù)據(jù)分析引擎為MPP架 構,建立在開源的Apache Hadoop與Apache Spark之上，可簡易的scale-out擴展。在 分析引擎的基礎上包含數(shù)據(jù)源庫、數(shù)據(jù)轉換匹配器、數(shù)據(jù)處理操作庫、機器學習算法庫、可 視化圖形庫等子模塊。智能終端展示為行業(yè)通用的B/S架構，用戶通過支持跨操作系統(tǒng)和 瀏覽器的HTML5/JS界面與API來與平臺互動。Kafka消息列隊分布式計算Hadoop/Spark用戶HTML5/JS移動PC終端分析SDE工貝REST APIStream API廣泛的數(shù)據(jù)類型和存儲格式支持能力EXCEEDDATA平臺支持數(shù)值、字符、時間、向量、列

5、表等17種數(shù)據(jù)類型，還可支持多 種Hadoop數(shù)據(jù)存儲格式，如HDFS的文件存儲格式和Hive的表存儲格式。為數(shù)據(jù)分析人 員肖省大屋的數(shù)據(jù)格式轉換和文件系統(tǒng)轉移的準備時間。分析員可快速的從既有數(shù)據(jù)源中靈 活的獲取數(shù)據(jù)，盡快開展數(shù)據(jù)分析任務。 豐富的算法模塊和直觀的編程環(huán)境EXCEEDDATA平臺提供豐富的機器學習算法，共六大類函數(shù)對數(shù)據(jù)進行匯總、分析、分 類或聚類，并配以靈活的算法流程引擎和可拉動式界而。業(yè)務人員可輕松地選擇和組合多個 數(shù)據(jù)源和算法模塊，快速構建分析流程，對業(yè)務進行綜合分析。20機器學習算法包網(wǎng)絡分析類型：Graph Analytics推薦引擎類型：Recommendation

6、 Engine時間路徑類別：Time & Path聚類分析類別：Cluster Analytics 決策樹分析類型：Decision Tree 樸素貝葉斯分析類型：Naive Bayes統(tǒng)計分析類別：Statistical Analysis多維度大數(shù)據(jù)的分析與預測算法包 行為網(wǎng)絡算法，包括圖譜統(tǒng)訃、最短路徑等 中英文語言分析算法，包括TF-IDF、Word2Vec等 地理分析算法 分類挖掘：邏輯回歸、向量機、樸素貝葉斯、決策樹、梯度提升決策樹、隨 機森林 回歸預測：線性回歸、嶺回歸、套索回歸、保序回歸 聚類：KMeans、高斯混合模型 關聯(lián)推薦：Apriori、FPGrowth、Alternate Least Squares （協(xié)同過濾） 時間路徑：sessionize.去重、分區(qū)、路徑（遍歷、順序、起始點） 網(wǎng)絡地理：最短路徑、方塊分區(qū)索引、異狀邊際左位 統(tǒng)計處理：直方分布、密度分布、聚合、排序、過濾等豐富的數(shù)據(jù)呈現(xiàn)方式EXCEEDDATA平