第章-物聯(lián)網(wǎng)中的智能決策

第13章物聯(lián)網(wǎng)中的智能決策內(nèi)容提要智能決策是物聯(lián)網(wǎng)“智慧”的來(lái)源。本章將介紹數(shù)據(jù)挖掘的基本流程，基本類型和典型算法。13.1數(shù)據(jù)挖掘概述13.2數(shù)據(jù)挖掘的基本類型和算法*13.3智能決策與物聯(lián)網(wǎng)什么是數(shù)據(jù)挖掘？數(shù)據(jù)挖掘有哪三個(gè)步驟？本章內(nèi)容13.1數(shù)據(jù)挖掘概述數(shù)據(jù)挖掘（DataMining）從大量數(shù)據(jù)中獲取潛在有用的并且可以被人們理解的模式的過(guò)程。即從大量數(shù)據(jù)中提取或“挖掘”知識(shí)。是一個(gè)反復(fù)迭代的人機(jī)交互和處理的過(guò)程，歷經(jīng)多個(gè)步驟，并且在一些步驟中需要由用戶提供決策數(shù)據(jù)挖掘的過(guò)程：數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘和對(duì)挖掘結(jié)果的評(píng)估與表示每一個(gè)階段的輸出結(jié)果成為下一個(gè)階段的輸入沃爾馬的故事13.1數(shù)據(jù)挖掘概述數(shù)據(jù)挖掘的過(guò)程數(shù)據(jù)預(yù)處理階段數(shù)據(jù)準(zhǔn)備：了解領(lǐng)域特點(diǎn)，確定用戶需求數(shù)據(jù)選取：從原始數(shù)據(jù)庫(kù)中選取相關(guān)數(shù)據(jù)或樣本數(shù)據(jù)預(yù)處理：檢查數(shù)據(jù)的完整性及一致性，消除噪聲等數(shù)據(jù)變換：通過(guò)投影或利用其他操作減少數(shù)據(jù)量數(shù)據(jù)挖掘階段確定挖掘目標(biāo)：確定要發(fā)現(xiàn)的知識(shí)類型選擇算法：根據(jù)確定的目標(biāo)選擇合適的數(shù)據(jù)挖掘算法數(shù)據(jù)挖掘：運(yùn)用所選算法，提取相關(guān)知識(shí)并以一定的方式表示知識(shí)評(píng)估與表示階段模式評(píng)估：對(duì)在數(shù)據(jù)挖掘步驟中發(fā)現(xiàn)的模式(知識(shí))進(jìn)行評(píng)估知識(shí)表示：使用可視化和知識(shí)表示相關(guān)技術(shù)，呈現(xiàn)所挖掘的知識(shí)13.1數(shù)據(jù)挖掘概述數(shù)據(jù)挖掘的過(guò)程13.1數(shù)據(jù)挖掘概述13.2數(shù)據(jù)挖掘的基本類型和算法*13.3智能決策與物聯(lián)網(wǎng)數(shù)據(jù)挖掘的基本類型和算法有那些？本章內(nèi)容13.2數(shù)據(jù)挖掘的基本類型和算法數(shù)據(jù)挖掘的基本類型關(guān)聯(lián)分析(AssociationAnalysis)聚類分析(ClusteringAnalysis)離群點(diǎn)分析(OutlierAnalysis)分類與預(yù)測(cè)(ClassificationandPrediction)演化分析(EvolutionAnalysis)描述性挖掘任務(wù)：刻畫數(shù)據(jù)庫(kù)中數(shù)據(jù)的一般特性預(yù)測(cè)性挖掘任務(wù)：在當(dāng)前數(shù)據(jù)上進(jìn)行推斷和預(yù)測(cè)關(guān)聯(lián)分析關(guān)聯(lián)分析的目標(biāo)是從給定的數(shù)據(jù)中發(fā)現(xiàn)頻繁出現(xiàn)的模式，即關(guān)聯(lián)規(guī)則關(guān)聯(lián)規(guī)則通常的表述形式是XY，表示“數(shù)據(jù)庫(kù)中滿足條件X的記錄(元組)可能也滿足條件Y”以某電器商場(chǎng)銷售記錄為例：含義：4%(支持度)的顧客的年齡在20至29歲且月收入在3000至5000元，且這樣的顧客中，65%(置信度)的人購(gòu)買了筆記本電腦關(guān)聯(lián)分析挖掘關(guān)聯(lián)規(guī)則，需要置信度和支持度越高越好基本概念項(xiàng)集：滿足若干條件的數(shù)據(jù)項(xiàng)的集合，如果條件數(shù)為k，則稱k-項(xiàng)集滿足年齡(顧客,“20~29”)的項(xiàng)集是1-項(xiàng)集滿足年齡(顧客,“20~29”)收入(顧客,“3000~5000”)的項(xiàng)集是2-項(xiàng)集計(jì)算步驟首先找到具備足夠支持度的項(xiàng)集，即頻繁項(xiàng)集然后由頻繁項(xiàng)集構(gòu)成關(guān)聯(lián)規(guī)則，并計(jì)算置信度分類和和預(yù)測(cè)測(cè)分類和和預(yù)測(cè)測(cè)的目標(biāo)標(biāo)是找出描描述和和區(qū)分分不同同數(shù)據(jù)據(jù)類或或概念念的模模型或或函數(shù)數(shù)，以便便能夠夠使用用模型型預(yù)測(cè)測(cè)數(shù)據(jù)據(jù)類或或標(biāo)記記未知知的對(duì)對(duì)象所獲得得的分類模模型可以采采用多多種形形式加加以描描述輸輸出分類規(guī)規(guī)則判定樹樹數(shù)學(xué)公公式神經(jīng)網(wǎng)網(wǎng)絡(luò)…分類與與預(yù)測(cè)測(cè)的區(qū)區(qū)別：：分類通通常指指預(yù)測(cè)測(cè)數(shù)據(jù)據(jù)對(duì)象象屬于于哪一一類，，而當(dāng)當(dāng)被預(yù)預(yù)測(cè)的的值是是數(shù)值值數(shù)據(jù)據(jù)時(shí)，，通常常稱為為預(yù)測(cè)測(cè)分類和和預(yù)測(cè)測(cè)以判定樹樹方法為為例，，簡(jiǎn)要要介紹紹分類類的基基本步步驟和和結(jié)果果表示示問(wèn)題實(shí)實(shí)例：假定定商場(chǎng)場(chǎng)需要要向潛潛在的的客戶戶郵寄寄新產(chǎn)產(chǎn)品資資料和和促銷銷信息息?？涂蛻魯?shù)數(shù)據(jù)庫(kù)庫(kù)描述述的客客戶屬屬性包包括姓姓名、、年齡齡、收收入、、職業(yè)業(yè)和信信用記記錄。。我們可可以按按是否否會(huì)在在商場(chǎng)場(chǎng)購(gòu)買買計(jì)算算機(jī)將將客戶戶分為為兩類類，只只將促促銷材材料郵郵寄給給那些些會(huì)購(gòu)購(gòu)買計(jì)計(jì)算機(jī)機(jī)的客客戶，，從而而降低低成本本。分類和和預(yù)測(cè)測(cè)用于預(yù)預(yù)測(cè)客客戶是是否可可能購(gòu)購(gòu)買計(jì)計(jì)算機(jī)機(jī)的判定樹樹，其中中每個(gè)非非樹葉葉節(jié)點(diǎn)點(diǎn)表示一一個(gè)屬性上上的測(cè)測(cè)試，每個(gè)樹樹葉節(jié)節(jié)點(diǎn)代表預(yù)測(cè)結(jié)結(jié)果聚類分分析聚類的的目的的是將數(shù)據(jù)據(jù)對(duì)象象劃分分為多多個(gè)類類或簇簇，在同同一個(gè)個(gè)簇中中的對(duì)對(duì)象之之間具具有較較高的的相似似度，，而不不同簇簇中的的對(duì)象象差別別較大大聚類與與分類類的區(qū)區(qū)別：：要?jiǎng)澐址值念愵愂鞘率孪任次粗牡木垲惙址治龅牡膽?yīng)用用聚類分分析聚類分分析的的方法法劃分方方法：要求求事先先給定定聚類類的數(shù)數(shù)目k。首先先創(chuàng)建建一個(gè)個(gè)初始始劃分分，然然后通通過(guò)對(duì)對(duì)劃分分中心心點(diǎn)的的反復(fù)復(fù)迭代代來(lái)改改進(jìn)劃劃分。。典型型算法法包括括k-means算法和和k-medoids算法等等層次方方法：對(duì)給給定數(shù)數(shù)據(jù)集集合進(jìn)進(jìn)行逐逐層遞遞歸的的合并并或者者分裂裂，因因此可可以被被分為為合并并或分分裂方方法。。合并并方法法首先先將每每個(gè)對(duì)對(duì)象都都作為為獨(dú)立立的類類，然然后持持續(xù)合合并相相近的的類，，直到到達(dá)到到終止止條件件為止止。分分裂方方法首首先將將所有有的數(shù)數(shù)據(jù)對(duì)對(duì)象置置于一一個(gè)類類中，，然后后反復(fù)復(fù)迭代代并判判定當(dāng)當(dāng)前的的類是是否可可以被被繼續(xù)續(xù)分裂裂，直直到達(dá)達(dá)到終終止條條件為為止基于密度的的方法：只要某區(qū)區(qū)域數(shù)據(jù)密密度超過(guò)閾閾值，就將將該區(qū)域的的數(shù)據(jù)進(jìn)行行聚類。其其優(yōu)勢(shì)在于于噪音數(shù)據(jù)據(jù)下的抗干干擾能力，，并能夠發(fā)發(fā)現(xiàn)任意形形狀的聚類類聚類分析聚類分析的的方法（續(xù)續(xù)）基于網(wǎng)格的的方法：把對(duì)象空空間量化為為具有規(guī)則則形狀的單單元格，從從而形成一一個(gè)網(wǎng)格狀狀結(jié)構(gòu)。在在聚類的時(shí)時(shí)候，將每每個(gè)單元格格當(dāng)作一條條數(shù)據(jù)進(jìn)行行處理。優(yōu)優(yōu)點(diǎn)是處理理速度很快快，因處理理時(shí)間與數(shù)數(shù)據(jù)對(duì)象數(shù)數(shù)目無(wú)關(guān)，，而只與量量化空間中中的單元格格數(shù)目相關(guān)關(guān)基于模型的的方法：如果事先先已知數(shù)據(jù)據(jù)是根據(jù)潛潛在的概率率分布生成成的，基于于模型的方方法便可為為每個(gè)聚類類構(gòu)建相關(guān)關(guān)的數(shù)據(jù)模模型，然后后尋找數(shù)據(jù)據(jù)對(duì)給定模模型的最佳佳匹配。主主要分兩類類：統(tǒng)計(jì)學(xué)學(xué)方法和神神經(jīng)網(wǎng)絡(luò)方方法離群點(diǎn)分析析離群點(diǎn)(Outlier)：數(shù)據(jù)集合合中存在的的一些數(shù)據(jù)據(jù)對(duì)象，它它們與其余余絕大多數(shù)數(shù)數(shù)據(jù)的特特性或模型型不一致尋找離群點(diǎn)點(diǎn)的意義發(fā)現(xiàn)信用卡卡詐騙。通過(guò)檢測(cè)測(cè)購(gòu)物地點(diǎn)點(diǎn)、商品種種類或者購(gòu)購(gòu)物金額和和頻率，能能夠發(fā)現(xiàn)與與絕大多數(shù)數(shù)正常消費(fèi)費(fèi)不一樣的的記錄，這這種行為就就有可能屬屬于信用卡卡詐騙性使使用預(yù)防網(wǎng)絡(luò)詐詐騙。在網(wǎng)絡(luò)銷銷售的時(shí)候候，詐騙者者往往冒充充商家，出出售報(bào)價(jià)比比正常價(jià)格格低出許多多的商品，，這樣的行行為也是可可以通過(guò)離離群點(diǎn)分析析被找到的的離群點(diǎn)分析析尋找離群點(diǎn)點(diǎn)的方法基于統(tǒng)計(jì)的的方法：需要事先已已知數(shù)據(jù)的的分布或概概率模型(例如一個(gè)正正態(tài)分布)，然后根據(jù)據(jù)數(shù)據(jù)點(diǎn)與與該模型的的不一致性性檢驗(yàn)來(lái)確確定離群點(diǎn)點(diǎn)基于距離的的方法：不需要數(shù)據(jù)據(jù)模型，而而是將那些些沒(méi)有足夠夠鄰居的數(shù)數(shù)據(jù)對(duì)象看看作是離群群點(diǎn)，這里里的鄰居是是基于距給給定對(duì)象的的距離來(lái)定定義的。現(xiàn)現(xiàn)有的基于于距離的離離群點(diǎn)探測(cè)測(cè)算法又分分為基于索索引的算法法，嵌套循循環(huán)算法和和基于單元元的算法，，其目的都都是為了減減小計(jì)算和和I/O開銷基于偏移的的方法：不采用統(tǒng)計(jì)計(jì)檢驗(yàn)或基基于距離的的度量值來(lái)來(lái)確定異常常對(duì)象。相相反，它通通過(guò)檢查數(shù)數(shù)據(jù)對(duì)象的的一組主要要特征來(lái)確確定離群點(diǎn)點(diǎn)。偏離事事先給出的的特征描述述的數(shù)據(jù)對(duì)對(duì)象被認(rèn)為為是離群點(diǎn)點(diǎn)演化分析演化分析的目的是挖挖掘隨時(shí)間變化化的數(shù)據(jù)對(duì)象象的變化規(guī)規(guī)律和趨勢(shì)勢(shì)，并對(duì)其其建模，進(jìn)進(jìn)而為相關(guān)關(guān)決策提供供參考演化分析的的應(yīng)用對(duì)股票的演演化分析可可以得出整整個(gè)股票市市場(chǎng)和特定定的公司的的股票變化化規(guī)律，為為投資者決決策提供幫幫助對(duì)生態(tài)和氣氣候的演化化分析可以以知道人類類活動(dòng)對(duì)自自然的影響響程度，為為環(huán)境保護(hù)護(hù)提供重要要依據(jù)…建模方法：：除了關(guān)聯(lián)分分析和分類類分析，還還包括與時(shí)時(shí)間相關(guān)的的數(shù)據(jù)分析析方法，主主要包括趨趨勢(shì)分析、、相似搜索索、序列模模式挖掘和和與周期分分析演化分析與時(shí)間相關(guān)關(guān)的數(shù)據(jù)分分析方法趨勢(shì)分析：：確定趨勢(shì)的的常見方法法是計(jì)算數(shù)數(shù)據(jù)n階的變化平平均值，或或者采用最最小二乘法法等方法平平滑數(shù)據(jù)變變化曲線相似搜索：：相似搜索用用于找出與與給定序列列最接近的的數(shù)據(jù)序列列序列模式挖挖掘：挖掘相對(duì)時(shí)時(shí)間或其它它維屬性出出現(xiàn)頻率高高的模式周期分析：：挖掘具有周周期的模式式或者關(guān)聯(lián)聯(lián)規(guī)則，例例如”若每每周六公司司的下班時(shí)時(shí)間比平時(shí)時(shí)晚半小時(shí)時(shí)以上，則則選擇打車車回家的人人數(shù)大約增增加20%”13.1數(shù)據(jù)挖掘概概述13.2數(shù)據(jù)挖掘的的基本類型型和算法*13.3智能決策與與物聯(lián)網(wǎng)數(shù)據(jù)挖掘在在物聯(lián)網(wǎng)背背景下有著著廣泛的需需求本章內(nèi)容13.3智能決策與與物聯(lián)網(wǎng)數(shù)據(jù)挖掘技技術(shù)在物聯(lián)聯(lián)網(wǎng)中的需需求精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷智能家居金融安全產(chǎn)品制造和和質(zhì)量監(jiān)控控互聯(lián)網(wǎng)用戶戶行為分析析…精準(zhǔn)農(nóng)業(yè)精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷智能家居金融安全產(chǎn)品制造和和質(zhì)量監(jiān)控控互聯(lián)網(wǎng)用戶戶行為分析析通過(guò)植入土土壤或暴露露在空氣中中的傳感器器監(jiān)控土壤壤性狀和環(huán)環(huán)境狀況。數(shù)據(jù)通過(guò)物物聯(lián)網(wǎng)傳輸輸?shù)竭h(yuǎn)程控控制中心，，可及時(shí)查查清當(dāng)前農(nóng)農(nóng)作物的生長(zhǎng)環(huán)境現(xiàn)現(xiàn)狀和變化化趨勢(shì)，確確定農(nóng)作物物的生產(chǎn)目目標(biāo)。通過(guò)數(shù)據(jù)挖挖掘的方法法，可以知知道：環(huán)境境溫度濕度度和土壤各各項(xiàng)參數(shù)等等因素是如如何影響農(nóng)農(nóng)作物產(chǎn)量量的，如何何調(diào)節(jié)它們們才能夠最最大限度地地提高農(nóng)作作物產(chǎn)量市場(chǎng)行銷精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷智能家居金融安全產(chǎn)品制造和和質(zhì)量監(jiān)控控互聯(lián)網(wǎng)用戶戶行為分析析利用數(shù)據(jù)挖挖掘技術(shù)通通過(guò)對(duì)用戶戶數(shù)據(jù)的分分析，可以以得到關(guān)于于顧客購(gòu)物物取向和興興趣的信息息，從而為為商業(yè)決策策提供依據(jù)據(jù)數(shù)據(jù)庫(kù)行銷銷(DatabaseMarketing)通過(guò)交互式式查詢、數(shù)數(shù)據(jù)分割和和模型預(yù)測(cè)測(cè)等方法來(lái)來(lái)選擇潛在在的顧客以以便向它們們推銷產(chǎn)品品預(yù)測(cè)采用何何種銷售渠渠道和優(yōu)惠惠條件，使使得用戶最最有可能被被打動(dòng)貨籃分析(BasketAnalysis)通過(guò)分析市市場(chǎng)銷售數(shù)數(shù)據(jù)(例如POS數(shù)據(jù)庫(kù))來(lái)發(fā)現(xiàn)顧客客的購(gòu)買行行為模式智能家居精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷智能家居金融安全產(chǎn)品制造和和質(zhì)量監(jiān)控控互聯(lián)網(wǎng)用戶戶行為分析析以獲取天氣氣信息為例例：一方面面，智能設(shè)設(shè)備隨時(shí)關(guān)關(guān)注氣象信信息，并針針對(duì)雨天發(fā)發(fā)出報(bào)警提提醒；另一一方面，另另外一些智智能終端會(huì)會(huì)隨時(shí)跟蹤蹤主人的行行蹤，并通通過(guò)數(shù)據(jù)挖挖掘方法由由主人的歷歷史行動(dòng)特特征數(shù)據(jù)預(yù)預(yù)測(cè)他的去去向一旦預(yù)測(cè)到到主人要出出門，那么么就在合適適的時(shí)候由由相應(yīng)的智智能終端提提醒他不要要忘記帶雨雨傘。例如如，如果主主人在門口口，就將由由安裝在門門上的智能能設(shè)備向他他發(fā)出提醒醒，如果在在車內(nèi)，則則由車載計(jì)計(jì)算機(jī)發(fā)出出提醒金融安全精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷智能家居金融安全產(chǎn)品制造和和質(zhì)量監(jiān)控控互聯(lián)網(wǎng)用戶戶行為分析析由于金融投投資的風(fēng)險(xiǎn)險(xiǎn)很大，所所以在進(jìn)行行投資決策策時(shí)，需要要通過(guò)對(duì)各各種投資方方向的數(shù)據(jù)據(jù)進(jìn)行分析析，以選擇擇最佳的投投資方向。。數(shù)據(jù)挖掘掘可以通過(guò)過(guò)對(duì)已有數(shù)數(shù)據(jù)的處理理，找到數(shù)數(shù)據(jù)對(duì)象之之間的關(guān)系系，然后利利用學(xué)習(xí)得得到的模式式進(jìn)行合理理的預(yù)測(cè)金融欺詐識(shí)識(shí)別主要是是通過(guò)分析析正常行為為和詐騙行行為的數(shù)據(jù)據(jù)和模式，，得到詐騙騙行為的一一些特性，，這樣當(dāng)某某項(xiàng)業(yè)務(wù)記記錄符合這這樣的特征征時(shí)，識(shí)別別系統(tǒng)可以以向決策人人員提出警警告產(chǎn)品制造和和質(zhì)量監(jiān)控控精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷智能家居金融安全產(chǎn)品制造和和質(zhì)量監(jiān)控控互聯(lián)網(wǎng)用戶戶行為分析析隨著科技進(jìn)進(jìn)步，制造造業(yè)已不是是簡(jiǎn)單的手手工勞動(dòng)，，而是集成成了多種先先進(jìn)科技的的流水作業(yè)業(yè)。在產(chǎn)品品的生產(chǎn)制制造過(guò)程中中常常伴隨隨有大量的的數(shù)據(jù)，如如產(chǎn)品的各各種加工條條件或控制制參數(shù)(如時(shí)間、溫溫度等)。通過(guò)各種種監(jiān)控儀器器收集的這這些數(shù)據(jù)反反映了每個(gè)個(gè)生產(chǎn)環(huán)節(jié)節(jié)的狀態(tài)，，對(duì)生產(chǎn)的的順利進(jìn)行行起著這關(guān)關(guān)重要的作作用。通過(guò)數(shù)據(jù)挖挖掘?qū)?shù)據(jù)據(jù)進(jìn)行分析析，可以得得到產(chǎn)品質(zhì)質(zhì)量與這些些參數(shù)之間間的關(guān)系，，從而能獲獲得針對(duì)性性很強(qiáng)的建建議以改進(jìn)進(jìn)產(chǎn)品質(zhì)量量，而且有有可能發(fā)現(xiàn)現(xiàn)新的更高高效節(jié)約的的控制模式式，為廠家家?guī)?lái)豐厚厚的回報(bào)互聯(lián)網(wǎng)用戶戶行為分析析精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷智能家居金融安全產(chǎn)品制造和和質(zhì)量監(jiān)控控互聯(lián)網(wǎng)用戶戶行為分析析隨著中國(guó)互互聯(lián)網(wǎng)用戶戶數(shù)的激增增，用戶在在互聯(lián)網(wǎng)上上的行為分分析逐漸引引起了關(guān)注注。例如，