大數(shù)據(jù)建模概述

大數(shù)據(jù)建模概述演講人：通用名大數(shù)據(jù)建模應(yīng)遵循的規(guī)律以業(yè)務(wù)目標(biāo)作為實現(xiàn)目標(biāo)業(yè)務(wù)知識是每一步的核心做好數(shù)據(jù)預(yù)處理試驗對尋找解決方案是必要的數(shù)據(jù)中總含有模式數(shù)據(jù)挖掘增大對業(yè)務(wù)的認識與猜測提高了信息作用能力大數(shù)據(jù)建模的價值不在于預(yù)測的準確率模式因業(yè)務(wù)變化而變化大數(shù)據(jù)建模技術(shù)，是為了解決業(yè)務(wù)流程問題。數(shù)據(jù)建模的核心：業(yè)務(wù)目標(biāo)。我們要什么樣的數(shù)據(jù)挖掘模型業(yè)務(wù)調(diào)研

問題定位

可解釋、有實際業(yè)務(wù)涵義、可使用的

制定目標(biāo)

①以業(yè)務(wù)目標(biāo)作為實現(xiàn)目標(biāo)

→↓↓←②業(yè)務(wù)知識是每一步的核心

業(yè)務(wù)知識是理解問題的基礎(chǔ)。例如大數(shù)據(jù)分析“飲食與疾病的關(guān)系”“糖尿病與高血壓發(fā)病關(guān)系”，這些分析都需要對醫(yī)學(xué)相關(guān)知識有一定了解才能建模。數(shù)據(jù)分布數(shù)據(jù)質(zhì)量指標(biāo)選擇衍生指標(biāo)→→→③做好數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理比數(shù)據(jù)挖掘其他任何一個過程都重要且費力，數(shù)據(jù)預(yù)處理的目的是把數(shù)據(jù)挖掘問題轉(zhuǎn)化為格式化的數(shù)據(jù)，使得分析技術(shù)更容易利用它。數(shù)據(jù)預(yù)處理兩種方法

第一種方法是將數(shù)據(jù)轉(zhuǎn)化為可以分析的完全格式化的數(shù)據(jù)，比如，大多數(shù)數(shù)據(jù)挖掘算法需要單一表格形式的數(shù)據(jù)，一個記錄就是一個樣例。數(shù)據(jù)挖掘者都知道什么樣的算法需要什么樣的數(shù)據(jù)形式，因此可以將數(shù)據(jù)轉(zhuǎn)化為一個合適的格式。第二種方法是使得數(shù)據(jù)能夠含有業(yè)務(wù)問題的更多的信息，通過這些領(lǐng)域的知識，數(shù)據(jù)挖掘者可能可以找到一個合適的技術(shù)解決方案。數(shù)據(jù)提取數(shù)據(jù)清洗數(shù)據(jù)審核數(shù)據(jù)集成→→→④試驗對尋找解決方案是必要的

挖掘過程中往往通過算法和業(yè)務(wù)知識結(jié)合進行多次試驗，才能揭示數(shù)據(jù)隱藏的規(guī)則。了解業(yè)務(wù)知識對模式有更好的理解，模式也對業(yè)務(wù)知識有貢獻。模型初步構(gòu)建模型優(yōu)化模型帶動業(yè)務(wù)業(yè)務(wù)帶動模型→→→⑤數(shù)據(jù)中總含有模式

在一個與業(yè)務(wù)相關(guān)的數(shù)據(jù)集中，即使一些期望的模式不能被發(fā)現(xiàn)，但其他的一些有用的東西可能會被發(fā)現(xiàn)。一些數(shù)據(jù)挖掘項目失敗是因為開始的數(shù)據(jù)采集存在問題。⑥數(shù)據(jù)挖掘增大對業(yè)務(wù)的認識

為什么數(shù)據(jù)挖掘必須是一個業(yè)務(wù)過程而不是一個技術(shù)過程？

業(yè)務(wù)問題是由人而非算法解決的。

數(shù)據(jù)挖掘算法揭示的模式通常不是人類以正常的方式所能認識到的，幫助業(yè)務(wù)專家解決他們不能單獨完成的業(yè)務(wù)問題。如：通過大數(shù)據(jù)分析幫學(xué)校找到學(xué)生學(xué)習(xí)困難的原因。⑦與猜測提高了信息作用能力

數(shù)據(jù)挖掘算法揭示的模式通常不是人類以正常的方式所能認識到的。聚類和關(guān)聯(lián)模型也有預(yù)測特征。聚類：預(yù)測一個個體屬于哪個群體。eg：預(yù)測個別交易是否為欺詐。關(guān)聯(lián)：基于已知基本屬性預(yù)測更多屬性。eg：預(yù)測客戶行為。⑧大數(shù)據(jù)建模的價值不在于預(yù)測的準確率

準確性和穩(wěn)定性是預(yù)測模型常用的兩個度量。準確性是指正確的預(yù)測結(jié)果所占的比例；穩(wěn)定性是指當(dāng)創(chuàng)建模型的數(shù)據(jù)改變時，其預(yù)測結(jié)果變化有多大。一個好的大數(shù)據(jù)是為了改變企業(yè)的行為以及預(yù)測的結(jié)果來改善企業(yè)的行為，會不會適應(yīng)業(yè)務(wù)發(fā)展需要才是它的衡量標(biāo)準。⑨模式因業(yè)務(wù)變化而變化

模式的變化