大數(shù)據(jù)時代下的數(shù)據(jù)挖掘簡易

大數(shù)據(jù)時代

生活、工作與思維的大變革

Living,workingandthinkingbigchanges大數(shù)據(jù)開啟了一次重大的時代轉(zhuǎn)型。就想望遠(yuǎn)鏡讓我們能夠感受宇宙，顯微鏡讓我們能夠觀測微生物一樣，大數(shù)據(jù)正在改變我們的生活以及理解世界的方式，成為新發(fā)明和新服務(wù)的源泉，而更多的改變正蓄勢待發(fā)……一場生活、工作與思維的大變革一場生活、工作與思維的大變革大數(shù)據(jù)，變革公共衛(wèi)生大數(shù)據(jù)，變革商業(yè)大數(shù)據(jù)，變革思維大數(shù)據(jù)，開啟重大的時代轉(zhuǎn)型預(yù)測，大數(shù)據(jù)的核心大數(shù)據(jù)，大挑戰(zhàn)什么是大數(shù)據(jù)2009年，甲型H1N1流感在全球爆發(fā)傳播，為了發(fā)現(xiàn)和控制疫情，各國政府和衛(wèi)生相關(guān)部門付出了巨大努力，但得到的數(shù)據(jù)仍然滯后一兩周，而Google對人們的搜索的歷史記錄進行處理，建立合理的數(shù)學(xué)模型后，得到的預(yù)測結(jié)果與官方的數(shù)據(jù)相關(guān)性高達(dá)97%，能夠立刻判斷出流感是從哪里傳播出來的，沒有一兩周的滯后。Google處理了5000萬條歷史記錄、4.5億個不同的數(shù)學(xué)模型。什么是大數(shù)據(jù)Farecast是一個對機票價格進行預(yù)測的公司，幫助消費者抓住最佳購買機票的時機，使乘客節(jié)省很多錢。最初預(yù)測系統(tǒng)建立在41天之內(nèi)的12000個價格樣本基礎(chǔ)上，數(shù)據(jù)是從旅游網(wǎng)站上抓取的，如今已經(jīng)擁有超過2000億條飛行記錄。系統(tǒng)只推測機票的價格何時最便宜，不關(guān)心是什么原因?qū)е碌膬r格下降。Farecast→Bing大數(shù)據(jù)的特性大數(shù)據(jù)的特性

更關(guān)注相關(guān)性

主要用于預(yù)測

數(shù)據(jù)量巨大

實時性要求高大數(shù)據(jù)時代的思維變革大數(shù)據(jù)時代的商業(yè)變革大數(shù)據(jù)時代的管理變革一、大數(shù)據(jù)時代的思維變革一、大數(shù)據(jù)時代的思維變革—更多“更多”——不是隨機樣本，而是全體數(shù)據(jù)當(dāng)數(shù)據(jù)處理技術(shù)已經(jīng)發(fā)生翻天覆地的變化時，在大數(shù)據(jù)時代進行抽樣分析就像在汽車時代騎馬一樣。一切都改變了，我們需要的是所有的數(shù)據(jù)，“樣本＝總體”。讓數(shù)據(jù)“發(fā)聲”小數(shù)據(jù)時代的隨機采樣，最少的數(shù)據(jù)獲得最多的信息全數(shù)據(jù)模式，樣本＝總體一、大數(shù)據(jù)時代的思維變革—更雜“更雜”——不是精確性，而是混雜性執(zhí)迷于精確性是信息缺乏時代和模擬時代的產(chǎn)物。只有5%的數(shù)據(jù)是有框架且能適用于傳統(tǒng)數(shù)據(jù)庫的。如果不能接受混亂，剩下95%的非框架數(shù)據(jù)都無法被利用，只有接受不精確性，我們才能打開一扇從未涉足的世界的窗戶。允許不精確大數(shù)據(jù)的簡單算法比小數(shù)據(jù)的復(fù)雜算法更有效紛繁的數(shù)據(jù)越多越好混雜性，不是竭力避免，而是標(biāo)準(zhǔn)途徑新的數(shù)據(jù)庫設(shè)計的誕生一、大數(shù)據(jù)時代的思維變革—更好“更好”——不是因果關(guān)系，而是相關(guān)關(guān)系知道“是什么”就夠了，沒必要知道“為什么”。在大數(shù)據(jù)時代，我們不必非得知道現(xiàn)象背后的原因，而是要讓數(shù)據(jù)自己“發(fā)聲”。關(guān)聯(lián)物，預(yù)測的關(guān)鍵“是什么”，而不是“為什么”改變，從操作方式開始大數(shù)據(jù)，改變?nèi)祟愄剿魇澜绲姆椒ǘ?、大?shù)據(jù)時代的商業(yè)變革二、大數(shù)據(jù)時代的商業(yè)變革—數(shù)據(jù)化“數(shù)據(jù)化”——一切皆可“量化”大數(shù)據(jù)發(fā)展的核心動力來源于人類測量、記錄和分析世界的渴望。信息技術(shù)變革隨處可見，但是如今信息技術(shù)變革的重點在“T”（技術(shù)）上，而不是在“I”(信息）上?，F(xiàn)在，我們是時候把聚光燈打向“I”，開始關(guān)注信息本身了。數(shù)據(jù)，從最不可能的地方提取出來數(shù)據(jù)化，不是數(shù)字化量化一切，數(shù)據(jù)化的核心當(dāng)文字變成數(shù)據(jù)當(dāng)方位變成數(shù)據(jù)當(dāng)溝通成為數(shù)據(jù)一切事物的數(shù)據(jù)化二、大數(shù)據(jù)時代的商業(yè)變革—價值“價值”——“取之不盡，用之不竭”的數(shù)據(jù)創(chuàng)新數(shù)據(jù)就像一個神奇的鉆石礦，當(dāng)它的首要價值被發(fā)掘后仍能不斷給予。它的真實價值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，而絕大部分都隱藏在表面之下。數(shù)據(jù)創(chuàng)新1：數(shù)據(jù)的再利用數(shù)據(jù)創(chuàng)新2：重組數(shù)據(jù)數(shù)據(jù)創(chuàng)新3：可擴展數(shù)據(jù)數(shù)據(jù)創(chuàng)新4：數(shù)據(jù)的折舊值數(shù)據(jù)創(chuàng)新5：數(shù)據(jù)廢氣數(shù)據(jù)創(chuàng)新6：開放數(shù)據(jù)給數(shù)據(jù)估值二、大數(shù)據(jù)時代的商業(yè)變革—角色定位“角色定位”——數(shù)據(jù)、技術(shù)與思維的三足鼎立微軟以1.1億美元的價格購買了大數(shù)據(jù)公司Farecast，而兩年后谷歌則以7億美元的價格購買了給Farecast提供數(shù)據(jù)的ITASoftware公司。如今，我們正處在大數(shù)據(jù)時代的早期，思維和技術(shù)是最有價值的，但是最終大部分價值還是必須從數(shù)據(jù)本身來挖掘。大數(shù)據(jù)價值的3大構(gòu)成大數(shù)據(jù)掌控公司大數(shù)據(jù)技術(shù)公司大數(shù)據(jù)思維公司和個人全新的數(shù)據(jù)中間商專家的消亡與數(shù)據(jù)科學(xué)家的崛起大數(shù)據(jù)，決定企業(yè)的競爭力三、大數(shù)據(jù)時代的管理變革二、大數(shù)據(jù)時代的管理變革—風(fēng)險“風(fēng)險”——讓數(shù)據(jù)主宰一切的隱憂我們時刻都暴露在“第三只眼”之下：亞馬遜監(jiān)視著我們的購物習(xí)慣，谷歌監(jiān)視著我們的網(wǎng)頁瀏覽習(xí)慣，而微博似乎什么都知道，不僅竊聽到了我們心中的“TA”，還有我們的社交關(guān)系網(wǎng)。無處不在的“第三只眼”我們的隱私被二次利用了預(yù)測與懲罰，不是因為“所做”，而是因為“將做”數(shù)據(jù)獨裁掙脫大數(shù)據(jù)的困境二、大數(shù)據(jù)時代的管理變革—掌控“掌控”——責(zé)任與自由并舉的信息管理當(dāng)世界開始邁向大數(shù)據(jù)時代時，社會也將經(jīng)歷類似的地殼運動。在改變?nèi)祟惢镜纳钆c思考方式的同時，大數(shù)據(jù)早已在推動人類信息管理準(zhǔn)則上重新定位。然而，不同于印刷革命，我們沒有幾個世紀(jì)的時間去適應(yīng)，我們也許只有幾年時間。管理變革1：個人隱私保護，從個人許可到讓數(shù)據(jù)使用者承擔(dān)責(zé)任管理變革2：個人動因VS預(yù)測分析管理變革3：擊碎黑盒子，大數(shù)據(jù)程序員的崛起管理變革4：反數(shù)據(jù)壟斷大亨結(jié)語正在發(fā)生的未來大數(shù)據(jù)并不是一個充斥著算法和機器的冰冷世界，人類的作用依然無法被完全替代。大數(shù)據(jù)為我們提供的不是最終答案，只是參考答案，幫助是暫時的，而更好的方法和答案還在不久的未來。大數(shù)據(jù)時代下的數(shù)據(jù)挖掘

Contents數(shù)據(jù)挖掘簡介1數(shù)據(jù)挖掘分類2成功案例3總結(jié)與展望4數(shù)據(jù)挖掘簡介產(chǎn)生背景隨著數(shù)據(jù)庫技術(shù)的飛速發(fā)展，快速增長的海量數(shù)據(jù)收集、存放在大量數(shù)據(jù)儲存庫中理解他們已經(jīng)遠(yuǎn)遠(yuǎn)超出人的能力數(shù)據(jù)墳?zāi)埂y得再訪問的數(shù)據(jù)檔案數(shù)據(jù)豐富，但信息缺乏

如何利用大量數(shù)據(jù)數(shù)據(jù)挖掘定義從大量的、不完全的、有噪聲的、隨機的數(shù)據(jù)中提取含在其中的、人們事先不知道的、有用的信息和知識的過程。功能的廣義觀點：從存放在數(shù)據(jù)庫、數(shù)據(jù)倉庫或其他信息庫中的大量數(shù)據(jù)中發(fā)現(xiàn)知識的過程數(shù)據(jù)挖掘是一個新興、交叉學(xué)科領(lǐng)域演變歷程數(shù)據(jù)倉庫提取信息和知識數(shù)據(jù)挖掘數(shù)據(jù)庫原始文件原始文件處理紙張界面、查詢硬盤聯(lián)機分析處理各個數(shù)據(jù)庫各種媒體20世紀(jì)60年代前20世紀(jì)60年代20世紀(jì)80年代現(xiàn)在

數(shù)據(jù)挖掘受多學(xué)科的影響數(shù)據(jù)挖掘BECDA統(tǒng)計學(xué)數(shù)據(jù)庫技術(shù)信息科學(xué)其他學(xué)科機器學(xué)習(xí)數(shù)據(jù)挖掘步驟結(jié)果解釋和評估數(shù)據(jù)挖掘算法執(zhí)行數(shù)據(jù)收集和與處理問題定義數(shù)據(jù)挖掘分類離群點分析分類分析聚類分析關(guān)聯(lián)分析時間序列數(shù)據(jù)挖掘分類分析：找出描述和區(qū)分?jǐn)?shù)據(jù)類或概念的模型，以便能夠使模型預(yù)測未知的對象類常用方法：分類規(guī)則；決策樹；神經(jīng)網(wǎng)絡(luò)；聚類分析：根據(jù)最大化類內(nèi)部的相似性、最小化類之間的相似性的原則進行聚類或分組常用算法：K-MEAMS；分層凝聚發(fā)；估算最大值法關(guān)聯(lián)分析：發(fā)現(xiàn)數(shù)據(jù)庫中不同項之間的聯(lián)系常用方法：Apriori；MAQA;IUA;時間序列分析：描述行為隨時間變化的對象的規(guī)律或趨勢，并對其建模

匹配方法：ARMA模型離群點分析：檢測和分析離群點

離群點：與數(shù)據(jù)的一般行為或模型不一致的點成功案例啤酒加尿布地點：沃爾瑪在美國加州的某連鎖店起因：每天銷售信息和顧客基本情況的數(shù)據(jù)庫中發(fā)現(xiàn)購買嬰兒尿布的顧客多是男性，而且往往也同時購買啤酒經(jīng)過：重新布置貨架，把啤酒類商品布置在嬰兒尿布貨架附近，并在兩者之間放上土豆之類的佐酒小食品和男性生活用品結(jié)果：上述幾種商品銷量大增總結(jié)與展望現(xiàn)狀：作為一個新興的研究領(lǐng)域，數(shù)據(jù)挖掘已經(jīng)取得了廣泛和重大進展。應(yīng)用到眾多領(lǐng)域，出現(xiàn)了大量的商品化數(shù)據(jù)挖掘系統(tǒng)發(fā)展方向：對現(xiàn)有方法進一步改進，研究發(fā)展數(shù)據(jù)挖掘語言的標(biāo)準(zhǔn)化，可視化方法和處理復(fù)雜數(shù)據(jù)類型的新方法目前面臨困難：成功案例少，中小企業(yè)需求少，人才稀缺。歷史ⅱ岳麓版第13課交通與通訊的變化資料精品課件歡迎使用[自讀教材·填要點]一、鐵路，更多的鐵路1．地位鐵路是

建設(shè)的重點，便于國計民生，成為國民經(jīng)濟發(fā)展的動脈。2．出現(xiàn)1881年，中國自建的第一條鐵路——唐山

至胥各莊鐵路建成通車。1888年，宮廷專用鐵路落成。交通運輸開平

3．發(fā)展(1)原因：①甲午戰(zhàn)爭以后列強激烈爭奪在華鐵路的

。②修路成為中國人

的強烈愿望。(2)成果：1909年

建成通車；民國以后，各條商路修筑權(quán)收歸國有。4．制約因素政潮迭起，軍閥混戰(zhàn)，社會經(jīng)濟凋敝，鐵路建設(shè)始終未入正軌。修筑權(quán)救亡圖存京張鐵路

二、水運與航空1．水運(1)1872年,

正式成立，標(biāo)志著中國新式航運業(yè)的誕生。(2)1900年前后，民間興辦的各種輪船航運公司近百家，幾乎都是在列強排擠中艱難求生。2．航空(1)起步：1918年，附設(shè)在福建馬尾造船廠的海軍飛機工程處開始研制

。(2)發(fā)展：1918年，北洋政府在交通部下設(shè)“

”；此后十年間，航空事業(yè)獲得較快發(fā)展。輪船招商局水上飛機籌辦航空事宜處三、從驛傳到郵政1．郵政(1)初辦郵政：1896年成立“大清郵政局”，此后又設(shè)

，郵傳正式脫離海關(guān)。(2)進一步發(fā)展：1913年，北洋政府宣布裁撤全部驛站；1920年，中國首次參加

。郵傳部萬國郵聯(lián)大會2．電訊(1)開端：1877年，福建巡撫在

架設(shè)第一條電報線，成為中國自辦電報的開端。(2)特點：進程曲折，發(fā)展緩慢，直到20世紀(jì)30年代情況才發(fā)生變化。3．交通通訊變化的影響(1)新式交通促進了經(jīng)濟發(fā)展，改變了人們的通訊手段和

，

轉(zhuǎn)變了人們的思想觀念。(2)交通近代化使中國同世界的聯(lián)系大大增強，使異地傳輸更為便捷。(3)促進了中國的經(jīng)濟與社會發(fā)展，也使人們的生活

。臺灣出行方式多姿多彩[合作探究·提認(rèn)知]

電視劇《闖關(guān)東》講述了濟南章丘朱家峪人朱開山一家，從清末到九一八事變爆發(fā)闖關(guān)東的前塵往事。下圖是朱開山一家從山東輾轉(zhuǎn)逃亡到東北途中可能用到的四種交通工具。依據(jù)材料概括晚清中國交通方式的特點，并分析其成因。

提示：特點：新舊交通工具并存(或：傳統(tǒng)的帆船、獨輪車，近代的小火輪、火車同時使用)。

原因：近代西方列強的侵略加劇了中國的貧困，阻礙社會發(fā)展；西方工業(yè)文明的沖擊與示范；中國民族工業(yè)的興起與發(fā)展；政府及各階層人士的提倡與推動。[串點成面·握全局]

一、近代交通業(yè)發(fā)展的原因、特點及影響1．原因(1)先進的中國人為救國救民，積極興辦近代交通業(yè)，促進中國社會發(fā)展。(2)列強侵華的需要。為擴大在華利益，加強控制、鎮(zhèn)壓中國人民的反抗，控制和操縱中國交通建設(shè)。(3)工業(yè)革命的成果傳入中國，為近代交通業(yè)的發(fā)展提供了物質(zhì)條件。2．特點(1)近代中國交通業(yè)逐漸開始近代化的進程，鐵路、水運和航空都獲得了一定程度的發(fā)展。(2)近代中國交通業(yè)受到西方列強的控制和操縱。(3)地域之間的發(fā)展不平衡。3．影響(1)積極影響：促進了經(jīng)濟發(fā)展，改變了人們的出行方式，一定程度上轉(zhuǎn)變了人們的思想觀念；加強了中國與世界各地的聯(lián)系，豐富了人們的生活。(2)消極影響：有利于西方列強的政治侵略和經(jīng)濟掠奪。1．李鴻章1872年在上海創(chuàng)辦輪船招商局，“前10年盈和，成為長江上重要商局，招商局和英商太古、怡和三家呈鼎立之勢”。這說明該企業(yè)的創(chuàng)辦 (

)A．打破了外商對中國航運業(yè)的壟斷B．阻止了外國對中國的經(jīng)濟侵略C．標(biāo)志著中國近代化的起步D．使李鴻章轉(zhuǎn)變?yōu)槊褡遒Y本家解析：李鴻章是地主階級的代表，并未轉(zhuǎn)化為民族資本家；洋務(wù)運動標(biāo)志著中國近代化的開端，但不是具體以某個企業(yè)的創(chuàng)辦為標(biāo)志；洋務(wù)運動中民用企業(yè)的創(chuàng)辦在一定程度上抵制了列強的經(jīng)濟侵略，但是并未能阻止其侵略。故B、C、D三項表述都有錯誤。答案：A二、近代以來交通、通訊工具的進步對人們社會生活的影響(1)交通工具和交通事業(yè)的發(fā)展，不僅推動各地經(jīng)濟文化交流和發(fā)展，而且也促進信息的傳播，開闊人們的視野，加快生活的節(jié)奏，對人們的社會生活產(chǎn)生了深刻影響。(2)通訊工具的變遷和電訊事業(yè)的發(fā)展，使信息的傳遞變得快捷簡便，深刻地改變著人們的思想觀念，影響著人們的社會生活。2．清朝黃遵憲曾作詩曰：“鐘聲一及時，頃刻不少留。雖有萬鈞柁，動如繞指柔。”這是在描寫 (

)A．電話B．汽車C．電報 D．火車解析：從“萬鈞柁”“動如繞指柔”可推斷為火車。答案：D[典題例析][例1]

上海世博會曾吸引了大批海內(nèi)外人士利用各種交通工具前往參觀。然而在19世紀(jì)七十年代，江蘇沿江居民到上海，最有可能乘坐的交通工具是 (

)A．江南制造總局的汽車B．洋人發(fā)明的火車C．輪船招商局的輪船D．福州船政局的軍艦[解析]由材料信息“19世紀(jì)七十年代，由江蘇沿江居民到上?！笨膳袛嘧钣锌赡苁禽喆猩叹值妮喆答案]

C[題組沖關(guān)]1．中國近代史上首次打破列強壟斷局面的交通行業(yè)是(

)A．公路運輸 B．鐵路運輸C．輪船運輸 D．航空運輸解析：根據(jù)所學(xué)1872年李鴻章創(chuàng)辦輪船招商局，這是洋務(wù)運動中由軍工企業(yè)轉(zhuǎn)向兼辦民用企業(yè)、由官辦轉(zhuǎn)向官督商辦的第一個企業(yè)。具有打破外輪壟斷中國航運業(yè)的積極意義，這在一定程度上保護了中國的權(quán)利。據(jù)此本題選C項。答案：C2.右圖是1909年《民呼日報》上登載的一幅漫畫，其要表達(dá)的主題是(

)A．帝國主義掠奪中國鐵路權(quán)益B．西方國家學(xué)習(xí)中國文化C．西方列強掀起瓜分中國狂潮D．西方八國組成聯(lián)軍侵略中國解析：從圖片中可以了解到各國舉的燈籠是火車形狀，20世紀(jì)初的這一幅漫畫正反映了帝國主義掠奪中國鐵路權(quán)益。B項說法錯誤，C項不能反映漫畫的主題，D項時間上不一致。答案：A[典題例析][例2]

(2010·福建高考)上海是近代中國茶葉的一個外銷中心。1884年，福建茶葉市場出現(xiàn)了茶葉收購價格與上海出口價格同步變動的現(xiàn)象。與這一現(xiàn)象直接相關(guān)的近代事業(yè)是(

)A．電報業(yè) B．大眾報業(yè)C．鐵路交通業(yè) D．輪船航運業(yè)[解析]材料主要反映了信息交流的快捷，故選A。[答案]

A[題組沖關(guān)]3．假如某愛國實業(yè)家在20世紀(jì)初需要了解全國各地商業(yè)信息，可采用的最快捷的方式是 (

)A．乘坐飛機赴各地了解B．通過無線電報輸送訊息C．通過互聯(lián)網(wǎng)D．乘坐火車赴各地了解解析：本題考查中國近代物質(zhì)生活的變遷。注意題干信息“20世紀(jì)初”“最快捷的方式”，因此應(yīng)選B，火車速度遠(yuǎn)不及電報快。20世紀(jì)30年代民航飛機才在中國出現(xiàn)，互聯(lián)網(wǎng)出現(xiàn)在20世紀(jì)90年代。答案：B4．下列不屬于通訊工具變遷和電訊事業(yè)發(fā)展影響的是(

)A．信息傳遞快捷簡便B．改變著人們的思想觀念C．阻礙了人們的感情交流D．影響著人們的社會生活解析：新