大數(shù)據(jù)-數(shù)據(jù)學(xué)學(xué)

大數(shù)據(jù)發(fā)展概況sfsf1內(nèi)容提要sfsf2一、概念sfsf3什么大數(shù)據(jù)？1、概念泛指信息數(shù)據(jù)經(jīng)過積累達(dá)到一定程度以后，現(xiàn)有的信息系統(tǒng)、軟件平臺、存儲體

系難以對這些數(shù)據(jù)進(jìn)行擷取、管理、處理、分析利用，這樣的數(shù)據(jù)集合稱為大數(shù)據(jù)。sfsf42、大數(shù)據(jù)的4V特點：容量大（Volume）：種類多（Variety）：產(chǎn)生快（Velocity）：價值大（Value）：sfsf51、從“概念”走向“價值”大數(shù)據(jù)向更多新領(lǐng)域擴張。有更多領(lǐng)域開始有意識地收集和積累大數(shù)據(jù)，并從中挖掘以前不曾觸及的新價值，從而使該領(lǐng)域產(chǎn)生重大變化；更多數(shù)據(jù)驅(qū)動的商業(yè)模式。指除了廣告和電商兩種已有的數(shù)據(jù)驅(qū)動應(yīng)用的商業(yè)模式之外，互聯(lián)網(wǎng)、金融等將會成為大數(shù)據(jù)應(yīng)用的新型商業(yè)模式，特別是

基于海量數(shù)據(jù)的信用體系和風(fēng)險控制；資本高度關(guān)注。指資本將高度關(guān)注大數(shù)據(jù)領(lǐng)域，相關(guān)的融資、并購、首次公開募股（IPO）將會紛紛出現(xiàn)。大數(shù)據(jù)發(fā)展?fàn)顩rsfsf6從2012年開始，很多應(yīng)用領(lǐng)域都在講大數(shù)據(jù)的概念，比如金融大數(shù)據(jù)、安全大數(shù)據(jù)、制造業(yè)大數(shù)據(jù)、物流大數(shù)據(jù)等等，并且正在逐漸落實大數(shù)據(jù)的價值，開始探索大數(shù)據(jù)驅(qū)動的業(yè)務(wù)模式。sfsf72、大數(shù)據(jù)處理架構(gòu)的多樣化(1)大數(shù)據(jù)處理多樣化模式并存融合。意味著

Hadoop/MapReduce框架一統(tǒng)天下的模式將被打破，

實時流計算、分布式內(nèi)存計算、圖計算框架等將與之并存；sfsf8大數(shù)據(jù)存儲與管理。意味著盡管分布式文件系統(tǒng)、數(shù)據(jù)索引與查詢技術(shù)、查詢語言、實時/流式數(shù)據(jù)存儲管理等都不是新問題，但大數(shù)據(jù)體量大、速度快、模態(tài)多等特性帶來的挑戰(zhàn)終將引起大數(shù)據(jù)存儲與管理的質(zhì)變；內(nèi)存計算成為提高處理性能的主要手段。這意味著大數(shù)據(jù)的實時處理需求迫切。同時，內(nèi)存價格將不斷降低，內(nèi)存計算將成為解決實時性大數(shù)據(jù)處理問題的主要手段。sfsf9大數(shù)據(jù)的應(yīng)用需求多種多用，而相關(guān)

技術(shù)還遠(yuǎn)遠(yuǎn)沒有達(dá)到成熟和穩(wěn)定的程度，在

2014年乃至之后的幾年內(nèi)，不太可能存在

可以“一統(tǒng)天下”的大數(shù)據(jù)系統(tǒng)架構(gòu)。我們會持續(xù)看到更多豐富多彩的、創(chuàng)新引領(lǐng)突破的技術(shù)架構(gòu)與應(yīng)用模式。sfsf103、大數(shù)據(jù)安全與隱私大數(shù)據(jù)安全和個人隱私問題凸顯。大數(shù)據(jù)安全。相對于傳統(tǒng)的數(shù)據(jù)模式，大數(shù)據(jù)更容易成為網(wǎng)絡(luò)攻擊的目標(biāo)，大數(shù)據(jù)分析技術(shù)也更容易

被黑客利用。如今的網(wǎng)絡(luò)和數(shù)字化生活使得犯罪分子、網(wǎng)絡(luò)黑客以及并無惡意的大數(shù)據(jù)服務(wù)提供商可輕易獲

得用戶的有關(guān)信息，而且犯罪分子的犯罪手段也變得

更多、更高明且更加不易被追蹤和防范。大數(shù)據(jù)個人數(shù)據(jù)保護(hù)和隱私立法。同時，用戶的隱私越來越多地融入到各種大數(shù)據(jù)中，各種數(shù)據(jù)來源之間的無縫對接以及越來越精準(zhǔn)的數(shù)據(jù)挖掘技術(shù)，使得大數(shù)據(jù)擁有者能夠掌控越來越多的用戶信息。sfsf11在挖掘這些數(shù)據(jù)價值的同時，隱私泄漏存在巨大風(fēng)險。由于系統(tǒng)故障、黑客入侵、內(nèi)部泄密等原因，數(shù)據(jù)泄漏隨時可能發(fā)生，從而造成難以預(yù)估的損失。因此，大數(shù)據(jù)時代，因數(shù)據(jù)而產(chǎn)生的安全保障問題、隱私問題非常嚴(yán)峻。目前尚沒有較好的解決辦法。今后，在安全和隱私方面的投資會增大，而有償?shù)碾[私保護(hù)服務(wù)有可能會被大眾所接受。sfsf124、大數(shù)據(jù)分析與可視化成為熱點實時分析處理。大數(shù)據(jù)將帶來新一輪的技術(shù)革命，對于大數(shù)據(jù)查詢和分析的實用性和實效性，人們能否及時獲得決策信息變得非常重要，決定著大數(shù)據(jù)應(yīng)用的成敗。大數(shù)據(jù)分析的革命性方法。基于大內(nèi)存的計算模式將成為大數(shù)據(jù)實時處理的重要手段。同時，針對大數(shù)據(jù)計算的挑戰(zhàn)，面向大數(shù)據(jù)的數(shù)據(jù)挖掘、機器學(xué)習(xí)和人工智能在大數(shù)據(jù)應(yīng)用驅(qū)動下很可能會產(chǎn)生新的理論突破。sfsf13（2）大數(shù)據(jù)可視化。大數(shù)據(jù)的復(fù)雜性決定了數(shù)據(jù)可視化技術(shù)將成為大數(shù)據(jù)時代的顯學(xué)。對大數(shù)據(jù)進(jìn)行分析后，為了方便用戶理解，需要有效的可視化技術(shù)，其中交互式的展示和超大圖的動態(tài)化展示值得重點關(guān)注。如果一個機構(gòu)要嘗試邁向大數(shù)據(jù)模式，那么一定要有相當(dāng)分量的數(shù)據(jù)可視化投入。sfsf145、大數(shù)據(jù)產(chǎn)業(yè)成為戰(zhàn)略性產(chǎn)業(yè)大數(shù)據(jù)產(chǎn)業(yè)成為國家戰(zhàn)略新興產(chǎn)業(yè)。各個國家都將推動大數(shù)據(jù)的戰(zhàn)略性產(chǎn)業(yè)，將利用大數(shù)據(jù)來提高國家的經(jīng)濟決策和社會服務(wù)能力，保障國家安全；大企業(yè)大數(shù)據(jù)。預(yù)示著大企業(yè)將成為大數(shù)據(jù)技術(shù)研發(fā)與應(yīng)用最為活躍的群體；政府大數(shù)據(jù)。則預(yù)示著一些擁有大數(shù)據(jù)的政府部門將紛紛利用積累的數(shù)據(jù)，采用大數(shù)據(jù)技術(shù)進(jìn)行分析，從而產(chǎn)生突出的社會經(jīng)濟效益。sfsf15從產(chǎn)業(yè)拓展的角度看，大數(shù)據(jù)是繼云計算、物聯(lián)網(wǎng)之后的一個巨大的新產(chǎn)業(yè)領(lǐng)域。而且其所蘊含的機會和挑戰(zhàn)將大大多于云計算和物聯(lián)網(wǎng)。大數(shù)據(jù)產(chǎn)業(yè)（數(shù)據(jù)產(chǎn)業(yè)）具有很強的蜂箱效應(yīng)，除了產(chǎn)業(yè)自身的經(jīng)濟蘊藏量之外，還將促進(jìn)其他產(chǎn)業(yè)的跨越升級。sfsf166、數(shù)據(jù)的商品化和數(shù)據(jù)共享聯(lián)盟化數(shù)據(jù)資源化、私有化、進(jìn)而商品化。數(shù)據(jù)是企業(yè)或行業(yè)形成的重要的資源，具有其特定的價值屬性，因而數(shù)據(jù)私有化和數(shù)據(jù)的獨占問題將是客觀存在的現(xiàn)實。如何在保護(hù)企業(yè)或行業(yè)數(shù)據(jù)權(quán)屬的情況下進(jìn)行商品化交易是未來一個重要的發(fā)展趨勢。數(shù)據(jù)共享聯(lián)盟的產(chǎn)生。數(shù)據(jù)資源的開放共享是大數(shù)據(jù)應(yīng)用的一個目標(biāo)，數(shù)據(jù)共享聯(lián)盟將應(yīng)運而生。隨著大數(shù)據(jù)應(yīng)運生態(tài)環(huán)境逐步建立，數(shù)據(jù)共享聯(lián)盟能夠逐步壯大，成為產(chǎn)業(yè)和學(xué)術(shù)環(huán)環(huán)相扣的支撐環(huán)節(jié)以及產(chǎn)業(yè)發(fā)展的核心環(huán)節(jié)。sfsf177、基于大數(shù)據(jù)的推薦和預(yù)測將逐步流行基于大數(shù)據(jù)的預(yù)測和決策支持。是指通過對海量歷史數(shù)據(jù)的分析，幫助捕捉現(xiàn)在和預(yù)測未來，進(jìn)而通過大數(shù)據(jù)進(jìn)行決策支持；精確個性化推薦系統(tǒng)。是指依靠技術(shù)革新，推薦系統(tǒng)的推薦結(jié)果將更加精確，更加了解用戶，更加個性化，從而成為能夠帶來效益的大數(shù)據(jù)商業(yè)應(yīng)用；基于社交網(wǎng)絡(luò)的廣告營銷模式會初現(xiàn)端倪。在積累了多年的用戶和數(shù)據(jù)基礎(chǔ)后，基于社交網(wǎng)絡(luò)的廣告營銷模式具備了爆發(fā)商業(yè)應(yīng)用的機會。sfsf188、深度學(xué)習(xí)與大數(shù)據(jù)智能成為支撐要挖掘大數(shù)據(jù)背后的大價值，最核心的支撐技術(shù)包括三個方面：深度學(xué)習(xí)成為大數(shù)據(jù)智能分析的核心技術(shù)。在大數(shù)據(jù)時代，依靠高效能計算的支持，深度學(xué)習(xí)有望成為大數(shù)據(jù)智能處理的核心技術(shù)之一；基于海量知識的智能。智能機器會依賴于對捕捉到的數(shù)據(jù)進(jìn)行分析來做判斷和決策；sfsf19（3）利用群體智慧與眾包計算方式將使大數(shù)據(jù)智能成為可行的技術(shù)?？傮w而言，面對大數(shù)據(jù)，基于設(shè)備、人力和知識的分布式計算將會推動深度學(xué)習(xí)、數(shù)據(jù)智能等技術(shù)成為數(shù)據(jù)價值利用的支撐手段。sfsf209、數(shù)據(jù)科學(xué)的興起隨著大數(shù)據(jù)應(yīng)用的發(fā)展，將催生相關(guān)的新學(xué)科，即數(shù)據(jù)科學(xué)興起；新型的大數(shù)據(jù)系統(tǒng)評測基準(zhǔn)；各類學(xué)科的交叉以及傳統(tǒng)學(xué)科對數(shù)據(jù)的廣泛依賴將加速數(shù)據(jù)科學(xué)學(xué)科的興起和成熟。總之，數(shù)據(jù)科學(xué)正在興起并將成為一個支柱學(xué)科。sfsf2110、大數(shù)據(jù)生態(tài)環(huán)境逐步完善大數(shù)據(jù)的良性生態(tài)環(huán)境正在逐步的完善，具體包括：開源成為主流；大數(shù)據(jù)將與云計算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等熱點新興計算相互交換；大數(shù)據(jù)計算。sfsf22最受矚目的應(yīng)用領(lǐng)域當(dāng)前大數(shù)據(jù)應(yīng)用最受關(guān)注的領(lǐng)域，包括互聯(lián)

網(wǎng)與電子商務(wù)、金融、健康醫(yī)療、生物信息與制藥、城鎮(zhèn)化與智慧城市、社會安全和犯罪偵查、網(wǎng)絡(luò)空

間安全和對抗、商情與輿情分析、網(wǎng)絡(luò)通信、制造

業(yè)、工業(yè)大數(shù)據(jù)、企業(yè)管理大數(shù)據(jù)、能源領(lǐng)域大數(shù)

據(jù)、氣候與環(huán)境模擬、經(jīng)濟統(tǒng)計和模擬、教育領(lǐng)域

大數(shù)據(jù)、前沿基礎(chǔ)科學(xué)研究（如高能物理、生物、

天文、海洋、地震等）等。sfsf23最受