物聯(lián)網(wǎng)中的智能決策

第13章物聯(lián)網(wǎng)中智能決議物聯(lián)網(wǎng)中的智能決策第1頁(yè)內(nèi)容提要智能決議是物聯(lián)網(wǎng)“智慧”起源。本章將介紹數(shù)據(jù)挖掘基本流程，基本類型和經(jīng)典算法。物聯(lián)網(wǎng)中的智能決策第2頁(yè)13.1數(shù)據(jù)挖掘概述13.2數(shù)據(jù)挖掘基本類型和算法*13.3智能決議與物聯(lián)網(wǎng)什么是數(shù)據(jù)挖掘？數(shù)據(jù)挖掘有哪三個(gè)步驟？本章內(nèi)容物聯(lián)網(wǎng)中的智能決策第3頁(yè)13.1數(shù)據(jù)挖掘概述數(shù)據(jù)挖掘（DataMining）從大量數(shù)據(jù)中獲取潛在有用而且能夠被人們了解模式過(guò)程。即從大量數(shù)據(jù)中提取或“挖掘”知識(shí)。是一個(gè)重復(fù)迭代人機(jī)交互和處理過(guò)程，歷經(jīng)多個(gè)步驟，而且在一些步驟中需要由用戶提供決議數(shù)據(jù)挖掘過(guò)程：數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘和對(duì)挖掘結(jié)果評(píng)定與表示每一個(gè)階段輸出結(jié)果成為下一個(gè)階段輸入沃爾馬故事物聯(lián)網(wǎng)中的智能決策第4頁(yè)13.1數(shù)據(jù)挖掘概述數(shù)據(jù)挖掘過(guò)程數(shù)據(jù)預(yù)處理階段數(shù)據(jù)準(zhǔn)備：了解領(lǐng)域特點(diǎn)，確定用戶需求數(shù)據(jù)選取：從原始數(shù)據(jù)庫(kù)中選取相關(guān)數(shù)據(jù)或樣本數(shù)據(jù)預(yù)處理：檢驗(yàn)數(shù)據(jù)完整性及一致性，消除噪聲等數(shù)據(jù)變換：經(jīng)過(guò)投影或利用其它操作降低數(shù)據(jù)量數(shù)據(jù)挖掘階段確定挖掘目標(biāo)：確定要發(fā)覺(jué)知識(shí)類型選擇算法：依據(jù)確定目標(biāo)選擇適當(dāng)數(shù)據(jù)挖掘算法數(shù)據(jù)挖掘：利用所選算法，提取相關(guān)知識(shí)并以一定方式表示知識(shí)評(píng)定與表示階段模式評(píng)定：對(duì)在數(shù)據(jù)挖掘步驟中發(fā)覺(jué)模式(知識(shí))進(jìn)行評(píng)定知識(shí)表示：使用可視化和知識(shí)表示相關(guān)技術(shù)，展現(xiàn)所挖掘知識(shí)物聯(lián)網(wǎng)中的智能決策第5頁(yè)13.1數(shù)據(jù)挖掘概述數(shù)據(jù)挖掘過(guò)程物聯(lián)網(wǎng)中的智能決策第6頁(yè)13.1數(shù)據(jù)挖掘概述13.2數(shù)據(jù)挖掘基本類型和算法*13.3智能決議與物聯(lián)網(wǎng)數(shù)據(jù)挖掘基本類型和算法有那些？本章內(nèi)容物聯(lián)網(wǎng)中的智能決策第7頁(yè)13.2數(shù)據(jù)挖掘基本類型和算法數(shù)據(jù)挖掘基本類型關(guān)聯(lián)分析(AssociationAnalysis)聚類分析(ClusteringAnalysis)離群點(diǎn)分析(OutlierAnalysis)分類與預(yù)測(cè)(ClassificationandPrediction)演化分析(EvolutionAnalysis)描述性挖掘任務(wù)：刻畫(huà)數(shù)據(jù)庫(kù)中數(shù)據(jù)普通特征預(yù)測(cè)性挖掘任務(wù)：在當(dāng)前數(shù)據(jù)上進(jìn)行推斷和預(yù)測(cè)物聯(lián)網(wǎng)中的智能決策第8頁(yè)關(guān)聯(lián)分析關(guān)聯(lián)分析目標(biāo)是從給定數(shù)據(jù)中發(fā)覺(jué)頻繁出現(xiàn)模式，即關(guān)聯(lián)規(guī)則關(guān)聯(lián)規(guī)則通常表述形式是XY，表示“數(shù)據(jù)庫(kù)中滿足條件X統(tǒng)計(jì)(元組)可能也滿足條件Y”以某電器商場(chǎng)銷售統(tǒng)計(jì)為例：含義：4%(支持度)用戶年紀(jì)在20至29歲且月收入在3000至5000元，且這么用戶中，65%(置信度)人購(gòu)置了筆記本電腦物聯(lián)網(wǎng)中的智能決策第9頁(yè)關(guān)聯(lián)分析挖掘關(guān)聯(lián)規(guī)則，需要置信度和支持度越高越好基本概念項(xiàng)集：滿足若干條件數(shù)據(jù)項(xiàng)集合，假如條件數(shù)為k，則稱k-項(xiàng)集滿足年紀(jì)(用戶,“20~29”)項(xiàng)集是1-項(xiàng)集滿足年紀(jì)(用戶,“20~29”)收入(用戶,“3000~5000”)項(xiàng)集是2-項(xiàng)集計(jì)算步驟首先找到具備足夠支持度項(xiàng)集，即頻繁項(xiàng)集然后由頻繁項(xiàng)集組成關(guān)聯(lián)規(guī)則，并計(jì)算置信度物聯(lián)網(wǎng)中的智能決策第10頁(yè)分類和預(yù)測(cè)分類和預(yù)測(cè)目標(biāo)是找出描述和區(qū)分不一樣數(shù)據(jù)類或概念模型或函數(shù)，方便能夠使用模型預(yù)測(cè)數(shù)據(jù)類或標(biāo)識(shí)未知對(duì)象所取得分類模型能夠采取各種形式加以描述輸出分類規(guī)則判定樹(shù)數(shù)學(xué)公式神經(jīng)網(wǎng)絡(luò)…分類與預(yù)測(cè)區(qū)分：分類通常指預(yù)測(cè)數(shù)據(jù)對(duì)象屬于哪一類，而當(dāng)被預(yù)測(cè)值是數(shù)值數(shù)據(jù)時(shí)，通常稱為預(yù)測(cè)物聯(lián)網(wǎng)中的智能決策第11頁(yè)分類和預(yù)測(cè)以判定樹(shù)方法為例，簡(jiǎn)明介紹分類基本步驟和結(jié)果表示問(wèn)題實(shí)例：假定商場(chǎng)需要向潛在客戶郵寄新產(chǎn)品資料和促銷信息?？蛻魯?shù)據(jù)庫(kù)描述客戶屬性包含姓名、年紀(jì)、收入、職業(yè)和信用統(tǒng)計(jì)。我們能夠按是否會(huì)在商場(chǎng)購(gòu)置計(jì)算機(jī)將客戶分為兩類，只將促銷材料郵寄給那些會(huì)購(gòu)置計(jì)算機(jī)客戶，從而降低成本。

物聯(lián)網(wǎng)中的智能決策第12頁(yè)分類和預(yù)測(cè)用于預(yù)測(cè)客戶是否可能購(gòu)置計(jì)算機(jī)判定樹(shù)，其中每個(gè)非樹(shù)葉節(jié)點(diǎn)表示一個(gè)屬性上測(cè)試，每個(gè)樹(shù)葉節(jié)點(diǎn)代表預(yù)測(cè)結(jié)果物聯(lián)網(wǎng)中的智能決策第13頁(yè)聚類分析聚類目標(biāo)是將數(shù)據(jù)對(duì)象劃分為多個(gè)類或簇，在同一個(gè)簇中對(duì)象之間含有較高相同度，而不一樣簇中對(duì)象差異較大聚類與分類區(qū)分：要?jiǎng)澐诸愂鞘孪任粗垲惙治鰬?yīng)用物聯(lián)網(wǎng)中的智能決策第14頁(yè)聚類分析聚類分析方法劃分方法：要求事先給定聚類數(shù)目k。首先創(chuàng)建一個(gè)初始劃分，然后經(jīng)過(guò)對(duì)劃分中心點(diǎn)重復(fù)迭代來(lái)改進(jìn)劃分。經(jīng)典算法包含k-means算法和k-medoids算法等層次方法：對(duì)給定數(shù)據(jù)集合進(jìn)行逐層遞歸合并或者分裂，所以能夠被分為合并或分裂方法。合并方法首先將每個(gè)對(duì)象都作為獨(dú)立類，然后連續(xù)合并相近類，直到抵達(dá)終止條件為止。分裂方法首先將全部數(shù)據(jù)對(duì)象置于一個(gè)類中，然后重復(fù)迭代并判定當(dāng)前類是否能夠被繼續(xù)分裂，直到抵達(dá)終止條件為止基于密度方法：只要某區(qū)域數(shù)據(jù)密度超出閾值，就將該區(qū)域數(shù)據(jù)進(jìn)行聚類。其優(yōu)勢(shì)在于噪音數(shù)據(jù)下抗干擾能力，并能夠發(fā)覺(jué)任意形狀聚類物聯(lián)網(wǎng)中的智能決策第15頁(yè)聚類分析聚類分析方法（續(xù)）基于網(wǎng)格方法：把對(duì)象空間量化為含有規(guī)則形狀單元格，從而形成一個(gè)網(wǎng)格狀結(jié)構(gòu)。在聚類時(shí)候，將每個(gè)單元格看成一條數(shù)據(jù)進(jìn)行處理。優(yōu)點(diǎn)是處理速度很快，因處理時(shí)間與數(shù)據(jù)對(duì)象數(shù)目無(wú)關(guān)，而只與量化空間中單元格數(shù)目相關(guān)基于模型方法：假如事先已知數(shù)據(jù)是依據(jù)潛在概率分布生成，基于模型方法便可為每個(gè)聚類構(gòu)建相關(guān)數(shù)據(jù)模型，然后尋找數(shù)據(jù)對(duì)給定模型最正確匹配。主要分兩類：統(tǒng)計(jì)學(xué)方法和神經(jīng)網(wǎng)絡(luò)方法物聯(lián)網(wǎng)中的智能決策第16頁(yè)離群點(diǎn)分析離群點(diǎn)(Outlier)：數(shù)據(jù)集合中存在一些數(shù)據(jù)對(duì)象，它們與其余絕大多數(shù)數(shù)據(jù)特征或模型不一致尋找離群點(diǎn)意義發(fā)覺(jué)信用卡詐騙。經(jīng)過(guò)檢測(cè)購(gòu)物地點(diǎn)、商品種類或者購(gòu)物金額和頻率，能夠發(fā)覺(jué)與絕大多數(shù)正常消費(fèi)不一樣統(tǒng)計(jì)，這種行為就有可能屬于信用卡詐騙性使用預(yù)防網(wǎng)絡(luò)詐騙。在網(wǎng)絡(luò)銷售時(shí)候，詐騙者往往冒充商家，出售報(bào)價(jià)比正常價(jià)格低出許多商品，這么行為也是能夠經(jīng)過(guò)離群點(diǎn)分析被找到物聯(lián)網(wǎng)中的智能決策第17頁(yè)離群點(diǎn)分析尋找離群點(diǎn)方法基于統(tǒng)計(jì)方法：需要事先已知數(shù)據(jù)分布或概率模型(比如一個(gè)正態(tài)分布)，然后依據(jù)數(shù)據(jù)點(diǎn)與該模型不一致性檢驗(yàn)來(lái)確定離群點(diǎn)基于距離方法：不需要數(shù)據(jù)模型，而是將那些沒(méi)有足夠鄰居數(shù)據(jù)對(duì)象看作是離群點(diǎn)，這里鄰居是基于距給定對(duì)象距離來(lái)定義?，F(xiàn)有基于距離離群點(diǎn)探測(cè)算法又分為基于索引算法，嵌套循環(huán)算法和基于單元算法，其目標(biāo)都是為了減小計(jì)算和I/O開(kāi)銷基于偏移方法：不采取統(tǒng)計(jì)檢驗(yàn)或基于距離度量值來(lái)確定異常對(duì)象。相反，它經(jīng)過(guò)檢驗(yàn)數(shù)據(jù)對(duì)象一組主要特征來(lái)確定離群點(diǎn)。偏離事先給出特征描述數(shù)據(jù)對(duì)象被認(rèn)為是離群點(diǎn)物聯(lián)網(wǎng)中的智能決策第18頁(yè)演化分析演化分析目標(biāo)是挖掘隨時(shí)間改變數(shù)據(jù)對(duì)象改變規(guī)律和趨勢(shì)，并對(duì)其建模，進(jìn)而為相關(guān)決議提供參考演化分析應(yīng)用對(duì)股票演化分析能夠得出整個(gè)股票市場(chǎng)和特定企業(yè)股票改變規(guī)律，為投資者決議提供幫助對(duì)生態(tài)和氣候演化分析能夠知道人類活動(dòng)對(duì)自然影響程度，為環(huán)境保護(hù)提供主要依據(jù)…建模方法：除了關(guān)聯(lián)分析和分類分析，還包含與時(shí)間相關(guān)數(shù)據(jù)分析方法，主要包含趨勢(shì)分析、相同搜索、序列模式挖掘和與周期分析物聯(lián)網(wǎng)中的智能決策第19頁(yè)演化分析與時(shí)間相關(guān)數(shù)據(jù)分析方法趨勢(shì)分析：確定趨勢(shì)常見(jiàn)方法是計(jì)算數(shù)據(jù)n階改變平均值，或者采取最小二乘法等方法平滑數(shù)據(jù)改變曲線相同搜索：相同搜索用于找出與給定序列最靠近數(shù)據(jù)序列序列模式挖掘：挖掘相對(duì)時(shí)間或其它維屬性出現(xiàn)頻率高模式周期分析：挖掘含有周期模式或者關(guān)聯(lián)規(guī)則，比如”若每七天六企業(yè)下班時(shí)間比平時(shí)晚半小時(shí)以上，則選擇打車回家人數(shù)大約增加20%”物聯(lián)網(wǎng)中的智能決策第20頁(yè)13.1數(shù)據(jù)挖掘概述13.2數(shù)據(jù)挖掘基本類型和算法*13.3智能決議與物聯(lián)網(wǎng)數(shù)據(jù)挖掘在物聯(lián)網(wǎng)背景下有著廣泛需求本章內(nèi)容物聯(lián)網(wǎng)中的智能決策第21頁(yè)13.3智能決議與物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)在物聯(lián)網(wǎng)中需求精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷智能家居金融安全產(chǎn)品制造和質(zhì)量監(jiān)控互聯(lián)網(wǎng)用戶行為分析…物聯(lián)網(wǎng)中的智能決策第22頁(yè)精準(zhǔn)農(nóng)業(yè)精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷智能家居金融安全產(chǎn)品制造和質(zhì)量監(jiān)控互聯(lián)網(wǎng)用戶行為分析經(jīng)過(guò)植入土壤或暴露在空氣中傳感器監(jiān)控土壤性狀和環(huán)境情況。數(shù)據(jù)經(jīng)過(guò)物聯(lián)網(wǎng)傳輸?shù)竭h(yuǎn)程控制中心，可及時(shí)查清當(dāng)前農(nóng)作物生長(zhǎng)環(huán)境現(xiàn)實(shí)狀況和改變趨勢(shì)，確定農(nóng)作物生產(chǎn)目標(biāo)。經(jīng)過(guò)數(shù)據(jù)挖掘方法，能夠知道：環(huán)境溫度濕度和土壤各項(xiàng)參數(shù)等原因是怎樣影響農(nóng)作物產(chǎn)量，怎樣調(diào)整它們才能夠最大程度地提升農(nóng)作物產(chǎn)量物聯(lián)網(wǎng)中的智能決策第23頁(yè)市場(chǎng)行銷精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷智能家居金融安全產(chǎn)品制造和質(zhì)量監(jiān)控互聯(lián)網(wǎng)用戶行為分析利用數(shù)據(jù)挖掘技術(shù)經(jīng)過(guò)對(duì)用戶數(shù)據(jù)分析，能夠得到關(guān)于用戶購(gòu)物取向和興趣信息，從而為商業(yè)決議提供依據(jù)數(shù)據(jù)庫(kù)行銷(DatabaseMarketing)經(jīng)過(guò)交互式查詢、數(shù)據(jù)分割和模型預(yù)測(cè)等方法來(lái)選擇潛在用戶方便向它們推銷產(chǎn)品預(yù)測(cè)采取何種銷售渠道和優(yōu)惠條件，使得用戶最有可能被打動(dòng)貨籃分析(BasketAnalysis)經(jīng)過(guò)分析市場(chǎng)銷售數(shù)據(jù)(比如POS數(shù)據(jù)庫(kù))來(lái)發(fā)覺(jué)用戶購(gòu)置行為模式物聯(lián)網(wǎng)中的智能決策第24頁(yè)智能家居精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷智能家居金融安全產(chǎn)品制造和質(zhì)量監(jiān)控互聯(lián)網(wǎng)用戶行為分析以獲取天氣信息為例：一方面，智能設(shè)備隨時(shí)關(guān)注氣象信息，并針對(duì)雨天發(fā)出報(bào)警提醒；其次，另外一些智能終端會(huì)隨時(shí)跟蹤主人行蹤，并經(jīng)過(guò)數(shù)據(jù)挖掘方法由主人歷史行動(dòng)特征數(shù)據(jù)預(yù)測(cè)他去向一旦預(yù)測(cè)到主人要出門，那么就在合適時(shí)候由相應(yīng)智能終端提醒他不要忘記帶雨傘。例如，如果主人在門口，就將由安裝在門上智能設(shè)備向他發(fā)出提醒，如果在車內(nèi)，則由車載計(jì)算機(jī)發(fā)出提醒物聯(lián)網(wǎng)中的智能決策第25頁(yè)金融安全精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷智能家居金融安全產(chǎn)品制造和質(zhì)量監(jiān)控互聯(lián)網(wǎng)用戶行為分析因?yàn)榻鹑谕顿Y風(fēng)險(xiǎn)很大，所以在進(jìn)行投資決議時(shí)，需要經(jīng)過(guò)對(duì)各種投資方向數(shù)據(jù)進(jìn)行分析，以選擇最正確投資方向。數(shù)據(jù)挖掘能夠經(jīng)過(guò)對(duì)已經(jīng)有數(shù)據(jù)處理，找到數(shù)據(jù)對(duì)象之間關(guān)系，然后利用學(xué)習(xí)得到模式進(jìn)行合理預(yù)測(cè)金融欺詐識(shí)別主要是經(jīng)過(guò)分析正常行為和詐騙行為數(shù)據(jù)和模式，得到詐騙行為一些特征，這么當(dāng)某項(xiàng)業(yè)務(wù)統(tǒng)計(jì)符合這么特征時(shí)，識(shí)別系統(tǒng)能夠向決議人員提出警告物聯(lián)網(wǎng)中的智能決策第26頁(yè)產(chǎn)品制造和質(zhì)量監(jiān)控精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷智能家居金融安全產(chǎn)品制造和質(zhì)量監(jiān)控互聯(lián)網(wǎng)用戶行為分析伴隨科技進(jìn)步，制造業(yè)已不是簡(jiǎn)單手工勞動(dòng)，而是集成了各種先進(jìn)科技流水作業(yè)。在產(chǎn)品生產(chǎn)制造過(guò)程中經(jīng)常伴隨有大量數(shù)據(jù)，如產(chǎn)品各種加工條件或控制參數(shù)(如時(shí)間、溫度等)。經(jīng)過(guò)各種監(jiān)控儀器搜集這些數(shù)據(jù)反應(yīng)了每個(gè)生產(chǎn)步驟狀態(tài)，對(duì)生產(chǎn)順利進(jìn)行起著這關(guān)主要作用。經(jīng)過(guò)數(shù)據(jù)挖掘?qū)?shù)據(jù)進(jìn)行分析，能夠得到產(chǎn)品質(zhì)量與這些參數(shù)之間關(guān)系，從而能取得針對(duì)性很強(qiáng)提議以改進(jìn)產(chǎn)品質(zhì)量，而且有可能發(fā)覺(jué)新更高效節(jié)約控制模式，為廠家?guī)?lái)豐厚回報(bào)物聯(lián)網(wǎng)中的智能決策第27頁(yè)互聯(lián)網(wǎng)用戶行為分析精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷智能家居金融安全產(chǎn)品制造和質(zhì)量監(jiān)控互聯(lián)網(wǎng)用戶行為分析伴隨中國(guó)互聯(lián)網(wǎng)用戶數(shù)激增，用戶在互聯(lián)網(wǎng)上行為分析逐步引發(fā)了關(guān)注。比如，用戶在上網(wǎng)時(shí)候通常需要不停地從一個(gè)網(wǎng)頁(yè)經(jīng)過(guò)HTTP鏈接跳轉(zhuǎn)到另一個(gè)網(wǎng)頁(yè)獲取互聯(lián)網(wǎng)用戶訪問(wèn)模式帶來(lái)好處很多，首先能夠輔助改進(jìn)分布式網(wǎng)絡(luò)系統(tǒng)性能，比如在有高度相關(guān)站點(diǎn)間提供快速有效訪問(wèn)通道。其次，能夠幫助更加好地組織和設(shè)計(jì)網(wǎng)頁(yè)，以及幫助改進(jìn)市場(chǎng)營(yíng)銷策略(比如把廣告放在適當(dāng)網(wǎng)頁(yè)上)以更加好地吸引客戶注意物聯(lián)網(wǎng)中的智能決策第28頁(yè)本章小結(jié)內(nèi)容回顧本章介紹了數(shù)據(jù)挖掘基本流程，重點(diǎn)介紹了五種經(jīng)典數(shù)據(jù)挖掘算法和步驟。最終討論了物聯(lián)網(wǎng)背景下數(shù)據(jù)挖掘技術(shù)廣泛應(yīng)用。重點(diǎn)掌握了解數(shù)據(jù)挖掘概念以及特點(diǎn)（重復(fù)