物聯(lián)網(wǎng)導(dǎo)論-第13章-物聯(lián)網(wǎng)中的智能決策v1135

物聯(lián)網(wǎng)導(dǎo)論-第13章_物聯(lián)網(wǎng)中的智能決策v1135內(nèi)容提要智能決策是物聯(lián)網(wǎng)“智慧”的來(lái)源。本章將介紹數(shù)據(jù)挖掘的基本流程，基本類(lèi)型和典型算法。第12章介紹了搜索引擎的相關(guān)知識(shí)搜索引擎的基本組成搜索引擎的體系結(jié)構(gòu)（信息采集，索引技術(shù)，搜索服務(wù)）物聯(lián)網(wǎng)中搜索引擎的挑戰(zhàn)本章介紹數(shù)據(jù)挖掘的基本流程（預(yù)處理，數(shù)據(jù)挖掘，知識(shí)評(píng)估與表示），重點(diǎn)介紹幾種典型的數(shù)據(jù)挖掘算法，最后討論物聯(lián)網(wǎng)中智能決策的新特點(diǎn)。內(nèi)容回顧13.1數(shù)據(jù)挖掘概述13.2數(shù)據(jù)挖掘的基本類(lèi)型和算法*13.3智能決策與物聯(lián)網(wǎng)什么是數(shù)據(jù)挖掘？數(shù)據(jù)挖掘有哪三個(gè)步驟？本章內(nèi)容13.1數(shù)據(jù)挖掘概述數(shù)據(jù)挖掘（DataMining）從大量數(shù)據(jù)中獲取潛在有用的并且可以被人們理解的模式的過(guò)程是一個(gè)反復(fù)迭代的人機(jī)交互和處理的過(guò)程，歷經(jīng)多個(gè)步驟，并且在一些步驟中需要由用戶(hù)提供決策數(shù)據(jù)挖掘的過(guò)程：數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘和對(duì)挖掘結(jié)果的評(píng)估與表示每一個(gè)階段的輸出結(jié)果成為下一個(gè)階段的輸入13.1數(shù)據(jù)挖掘概述數(shù)據(jù)挖掘的過(guò)程數(shù)據(jù)預(yù)處理階段數(shù)據(jù)準(zhǔn)備：了解領(lǐng)域特點(diǎn)，確定用戶(hù)需求數(shù)據(jù)選取：從原始數(shù)據(jù)庫(kù)中選取相關(guān)數(shù)據(jù)或樣本數(shù)據(jù)預(yù)處理：檢查數(shù)據(jù)的完整性及一致性，消除噪聲等數(shù)據(jù)變換：通過(guò)投影或利用其他操作減少數(shù)據(jù)量數(shù)據(jù)挖掘階段確定挖掘目標(biāo)：確定要發(fā)現(xiàn)的知識(shí)類(lèi)型選擇算法：根據(jù)確定的目標(biāo)選擇合適的數(shù)據(jù)挖掘算法數(shù)據(jù)挖掘：運(yùn)用所選算法，提取相關(guān)知識(shí)并以一定的方式表示知識(shí)評(píng)估與表示階段模式評(píng)估：對(duì)在數(shù)據(jù)挖掘步驟中發(fā)現(xiàn)的模式(知識(shí))進(jìn)行評(píng)估知識(shí)表示：使用可視化和知識(shí)表示相關(guān)技術(shù)，呈現(xiàn)所挖掘的知識(shí)13.1數(shù)據(jù)挖掘概述數(shù)據(jù)挖掘的過(guò)程13.1數(shù)據(jù)挖掘概述13.2數(shù)據(jù)挖掘的基本類(lèi)型和算法*13.3智能決策與物聯(lián)網(wǎng)數(shù)據(jù)挖掘的基本類(lèi)型和算法有那些？本章內(nèi)容13.2數(shù)據(jù)挖掘的基本類(lèi)型和算法數(shù)據(jù)挖掘的基本類(lèi)型關(guān)聯(lián)分析(AssociationAnalysis)聚類(lèi)分析(ClusteringAnalysis)離群點(diǎn)分析(OutlierAnalysis)分類(lèi)與預(yù)測(cè)(ClassificationandPrediction)演化分析(EvolutionAnalysis)描述性挖掘任務(wù)：刻劃數(shù)據(jù)庫(kù)中數(shù)據(jù)的一般特性預(yù)測(cè)性挖掘任務(wù)：在當(dāng)前數(shù)據(jù)上進(jìn)行推斷和預(yù)測(cè)關(guān)聯(lián)分析關(guān)聯(lián)分析的目標(biāo)是從給定的數(shù)據(jù)中發(fā)現(xiàn)頻繁出現(xiàn)的模式，即關(guān)聯(lián)規(guī)則關(guān)聯(lián)規(guī)則通常的表述形式是XY，表示“數(shù)據(jù)庫(kù)中滿(mǎn)足條件X的記錄(元組)可能也滿(mǎn)足條件Y”以某電器商場(chǎng)銷(xiāo)售記錄為例：含義：4%(支持度)的顧客的年齡在20至29歲且月收入在3000至5000元，且這樣的顧客中，65%(置信度)的人購(gòu)買(mǎi)了筆記本電腦關(guān)聯(lián)分析挖掘關(guān)聯(lián)規(guī)則，需要置信度和支持度越高越好基本概念項(xiàng)集：滿(mǎn)足若干條件的數(shù)據(jù)項(xiàng)的集合，如果條件數(shù)為k，則稱(chēng)k-項(xiàng)集滿(mǎn)足年齡(顧客,“20~29”)的項(xiàng)集是1-項(xiàng)集滿(mǎn)足年齡(顧客,“20~29”)收入(顧客,“3000~5000”)的項(xiàng)集是2-項(xiàng)集計(jì)算步驟首先找到具備足夠支持度的項(xiàng)集，即頻繁項(xiàng)集然后由頻繁項(xiàng)集構(gòu)成關(guān)聯(lián)規(guī)則，并計(jì)算置信度關(guān)聯(lián)分析如何尋找頻繁項(xiàng)集Apriori算法基本思想：利用已求出的k-項(xiàng)集來(lái)計(jì)算(k+1)-項(xiàng)集首先計(jì)算頻繁1-項(xiàng)集然后根據(jù)兩個(gè)頻繁k-項(xiàng)集{p1,p2,...,pk}，{q1,q2,...,qk}計(jì)算頻繁(k+1)-項(xiàng)集，其中pi=qi，1<=i<=k-1，且該(k+1)-項(xiàng)集為{p1,p2,...,pk,qk}最后判定該(k+1)-項(xiàng)集是否頻繁即可缺點(diǎn)：可能產(chǎn)生大量候選項(xiàng)集，并需要重復(fù)地掃描數(shù)據(jù)庫(kù)FP-Growth算法利用樹(shù)狀結(jié)構(gòu)保存項(xiàng)集，從而減小了計(jì)算頻繁項(xiàng)集所需的存儲(chǔ)空間關(guān)聯(lián)分析如何由頻繁項(xiàng)集構(gòu)造關(guān)聯(lián)規(guī)則，并計(jì)算置信度關(guān)聯(lián)規(guī)AB的置信度其中count(AANDB)為滿(mǎn)足條件A以及B的數(shù)據(jù)項(xiàng)數(shù)目，count(A)為滿(mǎn)足條件A的數(shù)據(jù)項(xiàng)數(shù)目計(jì)算步驟對(duì)于每一個(gè)頻繁項(xiàng)集S，計(jì)算S的所有非空子集對(duì)于每個(gè)S的非空子集F，若大于給定置信度閾值，則得到一個(gè)關(guān)聯(lián)規(guī)則分類(lèi)和預(yù)測(cè)分類(lèi)和預(yù)測(cè)的目標(biāo)是找出描述和區(qū)分不同數(shù)據(jù)類(lèi)或概念的模型或函數(shù)，以便能夠使用模型預(yù)測(cè)數(shù)據(jù)類(lèi)或標(biāo)記未知的對(duì)象所獲得的分類(lèi)模型可以采用多種形式加以描述輸出分類(lèi)規(guī)則判定樹(shù)數(shù)學(xué)公式神經(jīng)網(wǎng)絡(luò)…分類(lèi)與預(yù)測(cè)的區(qū)別：分類(lèi)通常指預(yù)測(cè)數(shù)據(jù)對(duì)象屬于哪一類(lèi)，而當(dāng)被預(yù)測(cè)的值是數(shù)值數(shù)據(jù)時(shí)，通常稱(chēng)為預(yù)測(cè)分類(lèi)和預(yù)測(cè)以判定樹(shù)方法為例，簡(jiǎn)要介紹分類(lèi)的基本步驟和結(jié)果表示問(wèn)題實(shí)例：假定商場(chǎng)需要向潛在的客戶(hù)郵寄新產(chǎn)品資料和促銷(xiāo)信息?？蛻?hù)數(shù)據(jù)庫(kù)描述的客戶(hù)屬性包括姓名、年齡、收入、職業(yè)和信用記錄。我們可以按是否會(huì)在商場(chǎng)購(gòu)買(mǎi)計(jì)算機(jī)將客戶(hù)分為兩類(lèi)，只將促銷(xiāo)材料郵寄給那些會(huì)購(gòu)買(mǎi)計(jì)算機(jī)的客戶(hù)，從而降低成本。

分類(lèi)和預(yù)測(cè)用于預(yù)測(cè)客戶(hù)是否可能購(gòu)買(mǎi)計(jì)算機(jī)的判定樹(shù)，其中每個(gè)非樹(shù)葉節(jié)點(diǎn)表示一個(gè)屬性上的測(cè)試，每個(gè)樹(shù)葉節(jié)點(diǎn)代表預(yù)測(cè)結(jié)果分類(lèi)和預(yù)測(cè)如何構(gòu)造上述判定樹(shù)？基本概念：n個(gè)客戶(hù)中有a個(gè)購(gòu)買(mǎi)了計(jì)算機(jī)的期望信息建立樹(shù)節(jié)點(diǎn)時(shí)，選取合適的判定屬性，以最大化期望信息增益應(yīng)某種屬性上的信息增益大小反映了該屬性區(qū)分給定數(shù)據(jù)的的能力強(qiáng)弱10條客戶(hù)記錄，其中6人購(gòu)買(mǎi)了計(jì)算機(jī)，4人沒(méi)有購(gòu)買(mǎi)。這10位客戶(hù)中有3人的職業(yè)是學(xué)生，其中有2人購(gòu)買(mǎi)計(jì)算機(jī)，而非學(xué)生客戶(hù)購(gòu)買(mǎi)計(jì)算機(jī)的有4人。在選擇區(qū)分屬性以前，數(shù)據(jù)的期望信息為，用職業(yè)區(qū)分之后的期望信息為，則選擇職業(yè)作為區(qū)分屬性的信息增益為聚類(lèi)分析聚類(lèi)的目的是將數(shù)據(jù)對(duì)象劃分為多個(gè)類(lèi)或簇，在同一個(gè)簇中的對(duì)象之間具有較高的相似度，而不同簇中的對(duì)象差別較大聚類(lèi)與分類(lèi)的區(qū)別：要?jiǎng)澐值念?lèi)是事先未知的聚類(lèi)分析的應(yīng)用聚類(lèi)分析聚類(lèi)分析的方法劃分方法：要求事先給定聚類(lèi)的數(shù)目k。首先創(chuàng)建一個(gè)初始劃分，然后通過(guò)對(duì)劃分中心點(diǎn)的反復(fù)迭代來(lái)改進(jìn)劃分。典型算法包括k-means算法和k-medoids算法等層次方法：對(duì)給定數(shù)據(jù)集合進(jìn)行逐層遞歸的合并或者分裂，因此可以被分為合并或分裂方法。合并方法首先將每個(gè)對(duì)象都作為獨(dú)立的類(lèi)，然后持續(xù)合并相近的類(lèi)，直到達(dá)到終止條件為止。分裂方法首先將所有的數(shù)據(jù)對(duì)象置于一個(gè)類(lèi)中，然后反復(fù)迭代并判定當(dāng)前的類(lèi)是否可以被繼續(xù)分裂，直到達(dá)到終止條件為止基于密度的方法：只要某區(qū)域數(shù)據(jù)密度超過(guò)閾值，就將該區(qū)域的數(shù)據(jù)進(jìn)行聚類(lèi)。其優(yōu)勢(shì)在于噪音數(shù)據(jù)下的抗干擾能力，并能夠發(fā)現(xiàn)任意形狀的聚類(lèi)聚類(lèi)分析聚類(lèi)分析的方法（續(xù)）基于網(wǎng)格的方法：把對(duì)象空間量化為具有規(guī)則形狀的單元格，從而形成一個(gè)網(wǎng)格狀結(jié)構(gòu)。在聚類(lèi)的時(shí)候，將每個(gè)單元格當(dāng)作一條數(shù)據(jù)進(jìn)行處理。優(yōu)點(diǎn)是處理速度很快，因處理時(shí)間與數(shù)據(jù)對(duì)象數(shù)目無(wú)關(guān)，而只與量化空間中的單元格數(shù)目相關(guān)基于模型的方法：如果事先已知數(shù)據(jù)是根據(jù)潛在的概率分布生成的，基于模型的方法便可為每個(gè)聚類(lèi)構(gòu)建相關(guān)的數(shù)據(jù)模型，然后尋找數(shù)據(jù)對(duì)給定模型的最佳匹配。主要分兩類(lèi)：統(tǒng)計(jì)學(xué)方法和神經(jīng)網(wǎng)絡(luò)方法離群點(diǎn)分析離群點(diǎn)(Outlier)：數(shù)據(jù)集合中存在的一些數(shù)據(jù)對(duì)象，它們與其余絕大多數(shù)數(shù)據(jù)的特性或模型不一致尋找離群點(diǎn)的意義發(fā)現(xiàn)信用卡詐騙。通過(guò)檢測(cè)購(gòu)物地點(diǎn)、商品種類(lèi)或者購(gòu)物金額和頻率，能夠發(fā)現(xiàn)與絕大多數(shù)正常消費(fèi)不一樣的記錄，這種行為就有可能屬于信用卡詐騙性使用預(yù)防網(wǎng)絡(luò)詐騙。在網(wǎng)絡(luò)銷(xiāo)售的時(shí)候，詐騙者往往冒充商家，出售報(bào)價(jià)比正常價(jià)格低出許多的商品，這樣的行為也是可以通過(guò)離群點(diǎn)分析被找到的離群點(diǎn)分析尋找離群點(diǎn)的方法基于統(tǒng)計(jì)的方法：需要事先已知數(shù)據(jù)的分布或概率模型(例如一個(gè)正態(tài)分布)，然后根據(jù)數(shù)據(jù)點(diǎn)與該模型的不一致性檢驗(yàn)來(lái)確定離群點(diǎn)基于距離的方法：不需要數(shù)據(jù)模型，而是將那些沒(méi)有足夠鄰居的數(shù)據(jù)對(duì)象看作是離群點(diǎn)，這里的鄰居是基于距給定對(duì)象的距離來(lái)定義的?，F(xiàn)有的基于距離的離群點(diǎn)探測(cè)算法又分為基于索引的算法，嵌套循環(huán)算法和基于單元的算法，其目的都是為了減小計(jì)算和I/O開(kāi)銷(xiāo)基于偏移的方法：不采用統(tǒng)計(jì)檢驗(yàn)或基于距離的度量值來(lái)確定異常對(duì)象。相反，它通過(guò)檢查數(shù)據(jù)對(duì)象的一組主要特征來(lái)確定離群點(diǎn)。偏離事先給出的特征描述的數(shù)據(jù)對(duì)象被認(rèn)為是離群點(diǎn)演化分析演化分析的目的是挖掘隨時(shí)間變化的數(shù)據(jù)對(duì)象的變化規(guī)律和趨勢(shì)，并對(duì)其建模，進(jìn)而為相關(guān)決策提供參考演化分析的應(yīng)用對(duì)股票的演化分析可以得出整個(gè)股票市場(chǎng)和特定的公司的股票變化規(guī)律，為投資者決策提供幫助對(duì)生態(tài)和氣候的演化分析可以知道人類(lèi)活動(dòng)對(duì)自然的影響程度，為環(huán)境保護(hù)提供重要依據(jù)…建模方法：除了關(guān)聯(lián)分析和分類(lèi)分析，還包括與時(shí)間相關(guān)的數(shù)據(jù)分析方法，主要包括趨勢(shì)分析、相似搜索、序列模式挖掘和與周期分析演化分析與時(shí)間相關(guān)的數(shù)據(jù)分析方法趨勢(shì)分析：確定趨勢(shì)的常見(jiàn)方法是計(jì)算數(shù)據(jù)n階的變化平均值，或者采用最小二乘法等方法平滑數(shù)據(jù)變化曲線(xiàn)相似搜索：相似搜索用于找出與給定序列最接近的數(shù)據(jù)序列序列模式挖掘：挖掘相對(duì)時(shí)間或其它維屬性出現(xiàn)頻率高的模式周期分析：挖掘具有周期的模式或者關(guān)聯(lián)規(guī)則，例如”若每周六公司的下班時(shí)間比平時(shí)晚半小時(shí)以上，則選擇打車(chē)回家的人數(shù)大約增加20%”13.1數(shù)據(jù)挖掘概述13.2數(shù)據(jù)挖掘的基本類(lèi)型和算法*13.3智能決策與物聯(lián)網(wǎng)數(shù)據(jù)挖掘在物聯(lián)網(wǎng)背景下有著廣泛的需求本章內(nèi)容13.3智能決策與物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)在物聯(lián)網(wǎng)中的需求精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷(xiāo)智能家居金融安全產(chǎn)品制造和質(zhì)量監(jiān)控互聯(lián)網(wǎng)用戶(hù)行為分析…精準(zhǔn)農(nóng)業(yè)精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷(xiāo)智能家居金融安全產(chǎn)品制造和質(zhì)量監(jiān)控互聯(lián)網(wǎng)用戶(hù)行為分析通過(guò)植入土壤或暴露在空氣中的傳感器監(jiān)控土壤性狀和環(huán)境狀況。數(shù)據(jù)通過(guò)物聯(lián)網(wǎng)傳輸?shù)竭h(yuǎn)程控制中心，可及時(shí)查清當(dāng)前農(nóng)作物的生長(zhǎng)環(huán)境現(xiàn)狀和變化趨勢(shì)，確定農(nóng)作物的生產(chǎn)目標(biāo)。通過(guò)數(shù)據(jù)挖掘的方法，可以知道：環(huán)境溫度濕度和土壤各項(xiàng)參數(shù)等因素是如何影響農(nóng)作物產(chǎn)量的，如何調(diào)節(jié)它們才能夠最大限度地提高農(nóng)作物產(chǎn)量市場(chǎng)行銷(xiāo)精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷(xiāo)智能家居金融安全產(chǎn)品制造和質(zhì)量監(jiān)控互聯(lián)網(wǎng)用戶(hù)行為分析利用數(shù)據(jù)挖掘技術(shù)通過(guò)對(duì)用戶(hù)數(shù)據(jù)的分析，可以得到關(guān)于顧客購(gòu)物取向和興趣的信息，從而為商業(yè)決策提供依據(jù)數(shù)據(jù)庫(kù)行銷(xiāo)(DatabaseMarketing)通過(guò)交互式查詢(xún)、數(shù)據(jù)分割和模型預(yù)測(cè)等方法來(lái)選擇潛在的顧客以便向它們推銷(xiāo)產(chǎn)品預(yù)測(cè)采用何種銷(xiāo)售渠道和優(yōu)惠條件，使得用戶(hù)最有可能被打動(dòng)貨籃分析(BasketAnalysis)通過(guò)分析市場(chǎng)銷(xiāo)售數(shù)據(jù)(例如POS數(shù)據(jù)庫(kù))來(lái)發(fā)現(xiàn)顧客的購(gòu)買(mǎi)行為模式智能家居精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷(xiāo)智能家居金融安全產(chǎn)品制造和質(zhì)量監(jiān)控互聯(lián)網(wǎng)用戶(hù)行為分析以獲取天氣信息為例：一方面，智能設(shè)備隨時(shí)關(guān)注氣象信息，并針對(duì)雨天發(fā)出報(bào)警提醒；另一方面，另外一些智能終端會(huì)隨時(shí)跟蹤主人的行蹤，并通過(guò)數(shù)據(jù)挖掘方法由主人的歷史行動(dòng)特征數(shù)據(jù)預(yù)測(cè)他的去向一旦預(yù)測(cè)到主人要出門(mén)，那么就在合適的時(shí)候由相應(yīng)的智能終端提醒他不要忘記帶雨傘。例如，如果主人在門(mén)口，就將由安裝在門(mén)上的智能設(shè)備向他發(fā)出提醒，如果在車(chē)內(nèi)，則由車(chē)載計(jì)算機(jī)發(fā)出提醒金融安全精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷(xiāo)智能家居金融安全產(chǎn)品制造和質(zhì)量監(jiān)控互聯(lián)網(wǎng)用戶(hù)行為分析由于金融投資的風(fēng)險(xiǎn)很大，所以在進(jìn)行投資決策時(shí)，需要通過(guò)對(duì)各種投資方向的數(shù)據(jù)進(jìn)行分析，以選擇最佳的投資方向。數(shù)據(jù)挖掘可以通過(guò)對(duì)已有數(shù)據(jù)的處理，找到數(shù)據(jù)對(duì)象之間的關(guān)系，然后利用學(xué)習(xí)得到的模式進(jìn)行合理的預(yù)測(cè)金融欺詐識(shí)別主要是通過(guò)分析正常行為和詐騙行為的數(shù)據(jù)和模式，得到詐騙行為的一些特性，這樣當(dāng)某項(xiàng)業(yè)務(wù)記錄符合這樣的特征時(shí)，識(shí)別系統(tǒng)可以向決策人員提出警告產(chǎn)品制造和質(zhì)量監(jiān)控精準(zhǔn)農(nóng)業(yè)市場(chǎng)行銷(xiāo)智能家居金融安全產(chǎn)品制造和質(zhì)量監(jiān)控互聯(lián)網(wǎng)用戶(hù)行為分析隨著科技進(jìn)步，制造業(yè)已不是簡(jiǎn)單的手工勞動(dòng)，而是集成了多種先進(jìn)科技的流水作業(yè)。在產(chǎn)品的生產(chǎn)制造過(guò)程中常常伴隨有大量的數(shù)據(jù)，如產(chǎn)品的各種加工條件或控制參數(shù)(如時(shí)間、溫度等)。通過(guò)各種監(jiān)控儀器收集的這些數(shù)據(jù)反映了每個(gè)生產(chǎn)環(huán)節(jié)的狀態(tài)，對(duì)生產(chǎn)的順利進(jìn)行起著這關(guān)重要的作用。通過(guò)數(shù)據(jù)挖掘?qū)?shù)據(jù)進(jìn)行分析，可以得到產(chǎn)品質(zhì)量與這些參數(shù)之間的關(guān)系，從而能獲得針對(duì)性很強(qiáng)的建議以改進(jìn)