智能網(wǎng)聯(lián)汽車技術(shù)課件：大數(shù)據(jù)在智能網(wǎng)聯(lián)汽車上的應(yīng)用

大數(shù)據(jù)在智能網(wǎng)聯(lián)汽車上的應(yīng)用主講人：智能網(wǎng)聯(lián)汽車技術(shù)智能化網(wǎng)聯(lián)化大數(shù)據(jù)在智能網(wǎng)聯(lián)汽車上的應(yīng)用

智能網(wǎng)聯(lián)汽車發(fā)展最重要的一環(huán)就是數(shù)據(jù)處理，數(shù)據(jù)化可以使車輛信息可測(cè)、可視、可控。全拓?cái)?shù)據(jù)調(diào)查顯示，僅僅是自動(dòng)駕駛汽車每秒就可產(chǎn)生1GB的數(shù)據(jù)量，所以智能網(wǎng)聯(lián)汽車對(duì)系統(tǒng)冗余和安全性要求很高，而大數(shù)據(jù)的云存儲(chǔ)技術(shù)與分析研判剛好可以解決這一需求。一、大數(shù)據(jù)在智能網(wǎng)聯(lián)汽車產(chǎn)業(yè)的應(yīng)用

1.在研發(fā)制造方面的應(yīng)用智能網(wǎng)聯(lián)汽車已經(jīng)成為每一個(gè)汽車企業(yè)的目標(biāo)。然而，現(xiàn)在的應(yīng)用其實(shí)只是入門級(jí)。如何能讓汽車真正轉(zhuǎn)型為所謂數(shù)據(jù)中心、計(jì)算中心和控制中心，和大數(shù)據(jù)本身的價(jià)值意義密切相關(guān)。利用買車賣車用車維保大數(shù)據(jù)在造車領(lǐng)域的應(yīng)用的還是傳統(tǒng)車企，4S模式就是這方面應(yīng)用最好的案例，4S包括整車銷售(Sale)、零配件(Sparepart)、售后服務(wù)(Service)、信息反饋(Survey)等，而最后這個(gè)S(Survey)信息反饋就是大數(shù)據(jù)的應(yīng)用。雖然說傳統(tǒng)車企的車型升級(jí)比較緩慢，但這些大數(shù)據(jù)是他們升級(jí)、改造或開發(fā)新車型的重要依據(jù)。互聯(lián)網(wǎng)在汽車領(lǐng)域應(yīng)用越來多，汽車變得更加智能。除了傳統(tǒng)的車企結(jié)合互聯(lián)網(wǎng)技術(shù)不斷更新自己的技術(shù)以外，互聯(lián)網(wǎng)企業(yè)也加入了造車的風(fēng)潮。大數(shù)據(jù)在智能網(wǎng)聯(lián)汽車上的應(yīng)用一、大數(shù)據(jù)在智能網(wǎng)聯(lián)汽車產(chǎn)業(yè)的應(yīng)用

2.在營(yíng)銷領(lǐng)域的應(yīng)用大數(shù)據(jù)在汽車營(yíng)銷領(lǐng)域應(yīng)用眾多，如產(chǎn)品、渠道、價(jià)格、顧客、行情等，但最為重要的包含兩個(gè)方面：一是通過獲取數(shù)據(jù)并加以統(tǒng)計(jì)分析來充分了解市場(chǎng)信息，掌握競(jìng)爭(zhēng)者的商情和動(dòng)態(tài)，知曉產(chǎn)品在競(jìng)爭(zhēng)群中所處的市場(chǎng)地位，來達(dá)到“知彼知己，百戰(zhàn)不殆”的目的；二是企業(yè)通過積累和挖掘汽車行業(yè)消費(fèi)者檔案數(shù)據(jù)，有助于分析顧客的消費(fèi)行為和價(jià)值趣向，便于更好地為消費(fèi)者服務(wù)和發(fā)展忠誠(chéng)顧客。大數(shù)據(jù)在智能網(wǎng)聯(lián)汽車上的應(yīng)用一、大數(shù)據(jù)在智能網(wǎng)聯(lián)汽車產(chǎn)業(yè)的應(yīng)用

3.在交通智能化領(lǐng)域的應(yīng)用隨著云計(jì)算的不斷發(fā)展，大數(shù)據(jù)的受關(guān)注度也越來越高，而基于大數(shù)據(jù)在技術(shù)上、在應(yīng)用上的強(qiáng)大功能，被引用到了智能交通的管理中，通過理論、方法和技術(shù)等來改善城市交通存在的問題。大數(shù)據(jù)在智能網(wǎng)聯(lián)汽車上的應(yīng)用二、大數(shù)據(jù)在智能網(wǎng)聯(lián)汽車產(chǎn)業(yè)的處理流程大數(shù)據(jù)在智能網(wǎng)聯(lián)汽車上的應(yīng)用

智能網(wǎng)聯(lián)汽車產(chǎn)業(yè)的大數(shù)據(jù)處理流程主要包括數(shù)據(jù)收集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理與分析、數(shù)據(jù)展示/數(shù)據(jù)可視化、數(shù)據(jù)分享與保密等環(huán)節(jié)，其中數(shù)據(jù)質(zhì)量貫穿于整個(gè)大數(shù)據(jù)流程，每一個(gè)數(shù)據(jù)處理環(huán)節(jié)都會(huì)對(duì)大數(shù)據(jù)質(zhì)量產(chǎn)生影響作用。通常，一個(gè)好的大數(shù)據(jù)產(chǎn)品要有大量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)處理、精確的數(shù)據(jù)分析與預(yù)測(cè)、優(yōu)秀的可視化圖表以及簡(jiǎn)練易懂的結(jié)果解釋，以下內(nèi)容將基于以上環(huán)節(jié)分別分析不同階段大數(shù)據(jù)的處理方式和應(yīng)用。二、大數(shù)據(jù)在智能網(wǎng)聯(lián)汽車產(chǎn)業(yè)的處理流程大數(shù)據(jù)在智能網(wǎng)聯(lián)汽車上的應(yīng)用

1.數(shù)據(jù)收集（1）傳感器傳感器常用于測(cè)量物理環(huán)境變量并將其轉(zhuǎn)化為可讀的數(shù)字信號(hào)以待處理。（2）日志文件日志是廣泛使用的數(shù)據(jù)采集方法之一,由數(shù)據(jù)源系統(tǒng)產(chǎn)生,以特殊的文件格式記錄系統(tǒng)的活動(dòng)。（3）眾包“眾包”是一種分布式的問題解決模式，指的是一個(gè)公司或者機(jī)構(gòu)、平臺(tái)把過去由固定人員完成的工作任務(wù)，以自由自愿的形式外包給（通常指網(wǎng)絡(luò)上的）非特定大眾的做法。而“非特定大眾”通過網(wǎng)絡(luò)登錄這些眾包平臺(tái)即可接受和完成任務(wù)。二、大數(shù)據(jù)在智能網(wǎng)聯(lián)汽車產(chǎn)業(yè)的處理流程大數(shù)據(jù)在智能網(wǎng)聯(lián)汽車上的應(yīng)用

2.數(shù)據(jù)預(yù)處理（1）數(shù)據(jù)集成數(shù)據(jù)集成技術(shù)在邏輯上和物理上把來自不同數(shù)據(jù)源的數(shù)據(jù)進(jìn)行集中,為用戶提供一個(gè)統(tǒng)一的視圖。數(shù)據(jù)集成在傳統(tǒng)的數(shù)據(jù)庫研究中是一個(gè)成熟的研究領(lǐng)域,如數(shù)據(jù)倉庫和數(shù)據(jù)聯(lián)合方法。數(shù)據(jù)倉庫又稱為ETL,由3個(gè)步驟構(gòu)成:1）提?。哼B接源系統(tǒng)并選擇和收集必要的數(shù)據(jù)用于隨后的分析處理。2）變換：通過一系列的規(guī)則將提取的數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)格式。3）裝載：將提取并變換后的數(shù)據(jù)導(dǎo)入目標(biāo)存儲(chǔ)基礎(chǔ)設(shè)施。數(shù)據(jù)聯(lián)合則創(chuàng)建一個(gè)虛擬的數(shù)據(jù)庫,從分離的數(shù)據(jù)源查詢并合并數(shù)據(jù)。虛擬數(shù)據(jù)庫并不包含數(shù)據(jù)本身,而是存儲(chǔ)了真實(shí)數(shù)據(jù)及其存儲(chǔ)位置的信息或元數(shù)據(jù)。二、大數(shù)據(jù)在智能網(wǎng)聯(lián)汽車產(chǎn)業(yè)的處理流程大數(shù)據(jù)在智能網(wǎng)聯(lián)汽車上的應(yīng)用

2.數(shù)據(jù)預(yù)處理（2）數(shù)據(jù)清洗

數(shù)據(jù)清洗是指在數(shù)據(jù)集中發(fā)現(xiàn)不準(zhǔn)確、不完整或不合理數(shù)據(jù),并對(duì)這些數(shù)據(jù)進(jìn)行修補(bǔ)或移除以提高數(shù)據(jù)質(zhì)量的過程。一個(gè)通用的數(shù)據(jù)清洗框架由5個(gè)步驟構(gòu)成:定義錯(cuò)誤類型、搜索并標(biāo)識(shí)錯(cuò)誤實(shí)例、改正錯(cuò)誤,文檔記錄錯(cuò)誤實(shí)例和錯(cuò)誤類型、修改數(shù)據(jù)錄入程序以減少未來的錯(cuò)誤。（3）冗余消除數(shù)據(jù)冗余是指數(shù)據(jù)的重復(fù)或過剩,這是許多數(shù)據(jù)集的常見問題。數(shù)據(jù)冗余無疑會(huì)增加傳輸開銷,浪費(fèi)存儲(chǔ)空間,導(dǎo)致數(shù)據(jù)不一致,降低可靠性。因此許多研究提出了數(shù)據(jù)冗余減少機(jī)制,例如冗余檢測(cè)和數(shù)據(jù)壓縮。這些方法能夠用于不同的數(shù)據(jù)集和應(yīng)用環(huán)境,提升性能,但同時(shí)也帶來一定風(fēng)險(xiǎn)。二、大數(shù)據(jù)在智能網(wǎng)聯(lián)汽車產(chǎn)業(yè)的處理流程大數(shù)據(jù)在智能網(wǎng)聯(lián)汽車上的應(yīng)用

3.數(shù)據(jù)存儲(chǔ)（1）大數(shù)據(jù)存儲(chǔ)方式1）分布式系統(tǒng)2）NoSQL數(shù)據(jù)庫3）云數(shù)據(jù)庫（2）大數(shù)據(jù)存儲(chǔ)技術(shù)路線1）MPP架構(gòu)的新型數(shù)據(jù)庫集群2）基于Hadoop的技術(shù)擴(kuò)展3）大數(shù)據(jù)一體機(jī)（3）大數(shù)據(jù)存儲(chǔ)安全大數(shù)據(jù)可通過云計(jì)算平臺(tái)存儲(chǔ)在云端，在基于云計(jì)算的大數(shù)據(jù)存儲(chǔ)架構(gòu)中，數(shù)據(jù)安全問題是云存儲(chǔ)的一個(gè)重要問題。二、大數(shù)據(jù)在智能網(wǎng)聯(lián)汽車產(chǎn)業(yè)的處理流程大數(shù)據(jù)在智能網(wǎng)聯(lián)汽車上的應(yīng)用

4.數(shù)據(jù)探索與分析

所謂數(shù)據(jù)的探索，是指對(duì)已有的數(shù)據(jù)（特別是調(diào)查或觀察得來的原始數(shù)據(jù)）在盡量少的先驗(yàn)假定下進(jìn)行探素，通過作圖、制表、方程擬合、計(jì)算特征量等手段探索數(shù)據(jù)的結(jié)構(gòu)和規(guī)律的一種數(shù)據(jù)分析方法。特別是當(dāng)我們對(duì)這些數(shù)據(jù)中的信息沒有足夠的經(jīng)驗(yàn)，不知道該用何種傳統(tǒng)統(tǒng)計(jì)方法進(jìn)行分析時(shí)，探索性數(shù)據(jù)分析就會(huì)非常有效。二、大數(shù)據(jù)在智能網(wǎng)聯(lián)汽車產(chǎn)業(yè)的處理流程大數(shù)據(jù)在智能網(wǎng)聯(lián)汽車上的應(yīng)用

5.數(shù)據(jù)可視化（1）數(shù)據(jù)可視化發(fā)展歷史數(shù)據(jù)可視化是一個(gè)包含科學(xué)可視化和信息可視化的新概念。它是可視化技術(shù)在非空間數(shù)據(jù)上新的應(yīng)用，可以讓人們不再局限于通過關(guān)系數(shù)據(jù)表來觀察和分析數(shù)據(jù)，還能以更直觀的方式看到數(shù)據(jù)及數(shù)據(jù)之間的結(jié)構(gòu)關(guān)系。（2）數(shù)據(jù)可視化工具介紹1）