《大數(shù)據(jù)技術(shù)對社會發(fā)展的影響研究》5200字（論文）

I大數(shù)據(jù)技術(shù)對社會發(fā)展的影響研究摘要人類社會隨著信息技術(shù)的飛速發(fā)展，已步入數(shù)字信息時代。所有的信息都是根據(jù)自己的不同需要，確定自己不同的利益，但是，所有有用的信息，都是通過對海量數(shù)據(jù)進(jìn)行挖掘和分析而獲得。海量數(shù)據(jù)也是隨時間的推移而不斷生成和流動的、逐步蔓延，構(gòu)成大數(shù)據(jù)。用大數(shù)據(jù)來形容數(shù)據(jù)量十分龐大，但也凸顯了對數(shù)據(jù)處理的快捷性，所以，大數(shù)據(jù)已經(jīng)成了數(shù)據(jù)分析領(lǐng)域最前沿的技術(shù)。大數(shù)據(jù)并不局限于技術(shù)維度，是能力，是思想的時代。以大數(shù)據(jù)，云計算為代表的新一代信息技術(shù)，正改變著社會發(fā)展的面貌。文章首先從大數(shù)據(jù)技術(shù)出現(xiàn)和發(fā)展入手進(jìn)行了闡述，對大數(shù)據(jù)主要特點(diǎn)進(jìn)行歸納和提煉，對大數(shù)據(jù)的技術(shù)體系進(jìn)行了綜合梳理，以及針對不同的數(shù)據(jù)處理場景，總結(jié)出適用于大數(shù)據(jù)技術(shù)手段，并且闡述大數(shù)據(jù)技術(shù)發(fā)展給我國經(jīng)濟(jì)和社會發(fā)展帶來的巨大作用。關(guān)鍵詞：大數(shù)據(jù)技術(shù)；社會發(fā)展；影響目錄TOC\o"1-3"\h\u23439引言 163611大數(shù)據(jù)技術(shù)的產(chǎn)生與發(fā)展 1116411.1大數(shù)據(jù)的內(nèi)涵 1179351.2大數(shù)據(jù)技術(shù)的發(fā)展現(xiàn)狀 113081.2.1大數(shù)據(jù)技術(shù)的概念 1186771.2.2大數(shù)據(jù)技術(shù)發(fā)展現(xiàn)狀 2266522大數(shù)據(jù)的主要特征 2167722.1體量巨大 2276212.2速度快 2305662.3維度眾多 3270442.4具有高度的復(fù)雜性 3303612.5依附屬性強(qiáng)烈 3324733大數(shù)據(jù)的技術(shù)架構(gòu) 326084大數(shù)據(jù)對社會發(fā)展產(chǎn)生的影響 4101324.1大數(shù)據(jù)技術(shù)是社會變革的力量 4199934.2大數(shù)據(jù)技術(shù)經(jīng)濟(jì)變革的力量 4265384.3大數(shù)據(jù)技術(shù)重構(gòu)了互聯(lián)網(wǎng) 561574.4大數(shù)據(jù)影響著社會信息化的進(jìn)程 525172結(jié)語 514619參考文獻(xiàn) 6引言縱觀計算機(jī)技術(shù)發(fā)展史，從1980年左右，隨著個人計算機(jī)的開始流行，人類社會先后出現(xiàn)過三次信息化浪潮，數(shù)字技術(shù)已經(jīng)由軍事領(lǐng)域進(jìn)入到經(jīng)濟(jì)社會的方方面面。存儲設(shè)備的容量，CPU的處理能力、網(wǎng)絡(luò)帶寬和其他基礎(chǔ)設(shè)施的水平迅速迭代升級，觸發(fā)數(shù)據(jù)生成，發(fā)送，儲存、處理方式的持續(xù)躍遷在于數(shù)據(jù)的處理、算力與算法在一起興盛下，以大數(shù)據(jù)技術(shù)作為新興數(shù)字技術(shù)體系的典型代表，促進(jìn)了第三次信息化浪潮在世界范圍內(nèi)蔓延。大數(shù)據(jù)技術(shù)在人類社會發(fā)展中已成為底層驅(qū)動力量，促進(jìn)了生產(chǎn)力的發(fā)展、生產(chǎn)關(guān)系發(fā)生了深刻的變化。1大數(shù)據(jù)技術(shù)的產(chǎn)生與發(fā)展1.1大數(shù)據(jù)的內(nèi)涵大數(shù)據(jù)概念出現(xiàn)之初，人們對于大數(shù)據(jù)的認(rèn)識與了解，主要是從數(shù)據(jù)規(guī)模開始的，但是在信息技術(shù)不斷發(fā)展的今天，對于大數(shù)據(jù)，理解一直在改變。大數(shù)據(jù)概念改變的原因，是因?yàn)閿?shù)據(jù)量的巨大并不是大數(shù)據(jù)的唯一特征，大數(shù)據(jù)、大規(guī)模數(shù)據(jù)這樣的概念只關(guān)注數(shù)據(jù)的大小本身，未能全面地反映數(shù)據(jù)處理的發(fā)展和它的應(yīng)用，直到今天，大數(shù)據(jù)這一概念已擴(kuò)展至各個學(xué)科，各個產(chǎn)業(yè)。大數(shù)據(jù)并不是個準(zhǔn)確概念，一開始，是指待處理數(shù)據(jù)量太大，超過普通計算機(jī)能夠攜帶的最大內(nèi)存量。在這種情況下，工程師必須提高處理資料的手段，由此產(chǎn)生了一些新型處理技術(shù)如：谷歌的MapReduce技術(shù)和Hadoop平臺，這些技術(shù)使人們能夠處理的數(shù)據(jù)量極大地增加了”。所以大數(shù)據(jù)不只是規(guī)模數(shù)據(jù)上的匯集，但它是集數(shù)據(jù)對象、技術(shù)和應(yīng)用三方面結(jié)合的共同體等。1.2大數(shù)據(jù)技術(shù)的發(fā)展現(xiàn)狀1.2.1大數(shù)據(jù)技術(shù)的概念廣義的大數(shù)據(jù)技術(shù)基于Web2.0環(huán)境，基于數(shù)據(jù)挖掘，處理，分析和共享大量數(shù)據(jù)的一種技術(shù)。大數(shù)據(jù)時代的到來使得企業(yè)管理發(fā)生了重大變化，”大數(shù)據(jù)思維“也隨之應(yīng)運(yùn)而生?！痹趪夤雀?、亞馬遜、微軟等公司在大數(shù)據(jù)技術(shù)方面處于領(lǐng)先地位。大數(shù)據(jù)技術(shù)的應(yīng)用領(lǐng)域十分廣泛，包括政府管理、金融理財、商業(yè)運(yùn)營、教育培訓(xùn)、醫(yī)療健康等等。在中國也有不少企業(yè)和個人通過大數(shù)據(jù)分析開發(fā)出基于大數(shù)據(jù)應(yīng)用平臺的產(chǎn)品。大數(shù)據(jù)技術(shù)已經(jīng)進(jìn)入到從概念走向現(xiàn)實(shí)的階段，它將改變?nèi)藗兊墓ぷ鞣绞?、學(xué)習(xí)方式、生活方式和思維模式，從而影響社會經(jīng)濟(jì)發(fā)展的方方面面，并引發(fā)巨大的變革與創(chuàng)新。1.2.2大數(shù)據(jù)技術(shù)發(fā)展現(xiàn)狀提及大數(shù)據(jù)技術(shù)，繞不過去的兩個核心概念就是MapReduce和HadoopoMapReduce是谷歌公司于2004年在OSDI（操作系統(tǒng)設(shè)計與實(shí)現(xiàn)研討會）上發(fā)布的，它是一種編程模型，用來執(zhí)行大規(guī)模數(shù)據(jù)集（大于1TB）的并行操作。該模型具有高效性和可擴(kuò)展性，適用于對計算能力要求較高的領(lǐng)域中，比如金融、電信等行業(yè)以及政府機(jī)構(gòu)等部門。MapReduce最大的優(yōu)點(diǎn)是能夠把一個大數(shù)據(jù)集分解為若干小作業(yè)集，執(zhí)行并行計算處理。谷歌公司因開發(fā)出一系列大數(shù)據(jù)處理技術(shù)而應(yīng)運(yùn)而生，并公認(rèn)是大數(shù)據(jù)技術(shù)（例如：2003年在SOSP（操作系統(tǒng)規(guī)范研討會）上發(fā)布的GFS<GoogleFileSystem），它是一種分布式文件系統(tǒng)，主要用于存儲大量非結(jié)構(gòu)化數(shù)據(jù)：2006年在OSDI上發(fā)布的BigTable，主要應(yīng)用于對大規(guī)模結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分布式存儲數(shù)據(jù)庫管理。如果谷歌打開大數(shù)據(jù)技術(shù)的大門的話，那么Apache軟件基金會則為數(shù)據(jù)處理提供了一個廣闊的平臺—ApacheSoftwareFoundations，它是一個非營利性組織，設(shè)立目的在于支持開源軟件項目。Hadoop可以由單個服務(wù)器延伸至數(shù)千臺服務(wù)器，所有的本地計算與存儲服務(wù)均能在機(jī)器上實(shí)現(xiàn)。通過將多個服務(wù)器之間的連接進(jìn)行整合，形成一個統(tǒng)一的整體來處理大量不同類型的數(shù)據(jù)分布，從而實(shí)現(xiàn)分布式的大規(guī)模數(shù)據(jù)處理。Hadoop由Java語言編寫，它以谷歌公司推出的大數(shù)據(jù)技術(shù)為基礎(chǔ)，自主設(shè)計，它的核心就是以GoogleMapReduce編程模型為基礎(chǔ)的數(shù)據(jù)處理模型HadoopMapReduceoHadoop中的其他框架項目，這些框架項目都和谷歌大數(shù)據(jù)技術(shù)相對應(yīng)，比如：儲存非結(jié)構(gòu)化數(shù)據(jù)分布式文件系統(tǒng)HDFS對應(yīng)谷歌GFS；提供結(jié)構(gòu)化數(shù)據(jù)服務(wù)，分布式數(shù)據(jù)庫HBase對應(yīng)谷歌BigTable。在這些基礎(chǔ)上，結(jié)合用戶需求和應(yīng)用場景開發(fā)出了各種功能，包括數(shù)據(jù)管理，數(shù)據(jù)挖掘等多種業(yè)務(wù)模式。Hadoop實(shí)際上是谷歌大數(shù)據(jù)技術(shù)的開源實(shí)現(xiàn)，可以說，在數(shù)據(jù)技術(shù)方面，Hadoop等同于桌面系統(tǒng)Linux，Android，移動系統(tǒng)，集開源技術(shù)于一身。2大數(shù)據(jù)的主要特征數(shù)據(jù)量龐大，快速，種類多樣、復(fù)雜性高，是大數(shù)據(jù)最重要的自然特征。在大數(shù)據(jù)逐漸成為推動數(shù)字經(jīng)濟(jì)的核心因素的今天，讓它和勞動，資本，科技、土地共同組成了新的經(jīng)濟(jì)范式，關(guān)注并發(fā)揮數(shù)據(jù)要素的價值，已經(jīng)成為社會各方面普遍共識。2.1體量巨大針對目前各個領(lǐng)域數(shù)據(jù)集合進(jìn)行TB,PB中數(shù)據(jù)量級單位無法滿足需要，現(xiàn)在已經(jīng)開始用EB,ZB來測量。2.2速度快泛指處理速度和生成速度。大數(shù)據(jù)通常與人工智能一起、物聯(lián)網(wǎng)與其他技術(shù)的聯(lián)合運(yùn)用，需要實(shí)時響應(yīng)數(shù)據(jù)。大數(shù)據(jù)處理效率，也叫“1秒定律等”，即可得到秒級的分析結(jié)果。2.3維度眾多大數(shù)據(jù)有很多的層面。就拿人來說，有性別，年齡，身高和體重等因素、身份證號碼，學(xué)歷、家庭住址和其他許多性質(zhì)。數(shù)據(jù)多維度、多層次屬性被運(yùn)用于社會生產(chǎn)各領(lǐng)域，可加快流程再造，提高了生產(chǎn)效率，加快供需信息匹配，提升協(xié)同效率，由此產(chǎn)生了更多的價值。2.4具有高度的復(fù)雜性大數(shù)據(jù)具有高度的復(fù)雜性。由于記錄工具的差異以及應(yīng)用場景的差異，在一方面，數(shù)據(jù)結(jié)構(gòu)各不相同，呈現(xiàn)文字，圖像，音頻等、視頻和其他形式；另一方面又出現(xiàn)了內(nèi)容邏輯層面上的貌似凌亂，現(xiàn)實(shí)中有章可循。2.5依附屬性強(qiáng)烈它有別于傳統(tǒng)的有形資源，大數(shù)據(jù)是虛擬的，無形的，不能獨(dú)善其身，常常要靠硬件設(shè)備來儲存，有賴于軟件平臺的閱讀，運(yùn)行。數(shù)據(jù)僅存儲于對應(yīng)的介質(zhì)中，由裝置進(jìn)行展示，數(shù)據(jù)才可以通過更加直觀的形式進(jìn)行感知，測量和傳遞、分析和應(yīng)用、數(shù)據(jù)質(zhì)量、有了價值，才能進(jìn)行評價。數(shù)據(jù)具有虛擬性、無形性的特點(diǎn)決定它的管理離不開數(shù)據(jù)平臺的管理，數(shù)據(jù)的價值，平臺算力的體現(xiàn)、算法模型緊密相關(guān)，迫使現(xiàn)有的資產(chǎn)管理辦法不斷升級和改進(jìn)川。LG的主要生產(chǎn)要素土地是農(nóng)業(yè)時代關(guān)鍵的生產(chǎn)要素；工業(yè)時代是勞動，資本為基礎(chǔ)的、技術(shù)作為一種關(guān)鍵的生產(chǎn)要素；在數(shù)字時代，當(dāng)各國把數(shù)據(jù)作為第五生產(chǎn)要素說，大數(shù)據(jù)會介入市場投人，經(jīng)營、產(chǎn)出與分配等環(huán)節(jié)。3大數(shù)據(jù)的技術(shù)架構(gòu)大數(shù)據(jù)處理技術(shù)可分為兩類：批處理與流處理。一般情況下，數(shù)據(jù)批處理是對T+1的數(shù)據(jù)進(jìn)行，用于支持?jǐn)?shù)據(jù)應(yīng)用，主要是“看”數(shù)據(jù)。批處理很適合于分布式數(shù)據(jù)倉庫歷史數(shù)據(jù)的分析與計算稱，比如，在總數(shù)與平均數(shù)的計算中，對數(shù)據(jù)集進(jìn)行整體處理是非常重要的，而不應(yīng)該把它看成是多個記錄的一個集合。這些運(yùn)算都需要在執(zhí)行計算時，數(shù)據(jù)保持其自身狀態(tài)。數(shù)據(jù)處理耗時和數(shù)據(jù)量成正相關(guān)，所以，批處理不適用于處理時間有特殊要求的情況。數(shù)據(jù)批處理平臺一般與Hadoop,Hive，數(shù)據(jù)倉庫，ETL，維度建模等技術(shù)、數(shù)據(jù)公共層與其他連接。數(shù)據(jù)流式的處理平臺，具有即時處理數(shù)據(jù)的功能，可以達(dá)到秒級，甚至毫秒級的延遲，可以支持實(shí)時化、數(shù)據(jù)分析與展現(xiàn)類應(yīng)用的在線化等等。流處理是指在時間上進(jìn)行并行操作的數(shù)據(jù)處理方式。流處理系統(tǒng)能夠處理近乎無限制的數(shù)據(jù)，但在同一時間內(nèi)，它只能處理一個（真正的流處理）或者非常小的（微批處理）的數(shù)據(jù)，在各種記錄之間僅保持最小數(shù)量。流式技術(shù)是一種高效的數(shù)據(jù)處理方法，能在一個相對短的時間內(nèi)完成大量數(shù)據(jù)的快速計算和存儲，并且能夠保證所有數(shù)據(jù)都被正確地進(jìn)行讀取和使用。流式處理最適用于一些工作負(fù)載類型，有接近實(shí)時處理要求的工作。在對數(shù)據(jù)流式處理進(jìn)行研究時，我們通常會用到一些度量指標(biāo)。例如，對服務(wù)器或者應(yīng)用程序的錯誤日志進(jìn)行解析，及其他以時間為標(biāo)準(zhǔn)的衡量指標(biāo)，等等。隨著網(wǎng)絡(luò)環(huán)境日益復(fù)雜及用戶對服務(wù)要求越來越高，需要一種能夠支持多種應(yīng)用且具有高度靈活性的流式處理平臺來滿足這些特殊情況下的應(yīng)用需求。數(shù)據(jù)流處理平臺的支撐技術(shù)主要包括4個方面：實(shí)時數(shù)據(jù)獲?。ㄈ鏔lume）、信息中間件（如Kafka）、流計算框架（如StormSparkFlink和beam等）以及實(shí)時數(shù)據(jù)存儲（如列族存儲的HBase）。這些技術(shù)構(gòu)成了當(dāng)前流式數(shù)據(jù)處理平臺的核心關(guān)鍵技術(shù)。當(dāng)前主流實(shí)時數(shù)據(jù)平臺，也是以這4個方面的相關(guān)技術(shù)為基礎(chǔ)，構(gòu)建了自己典型的技術(shù)架構(gòu)。4大數(shù)據(jù)對社會發(fā)展產(chǎn)生的影響4.1大數(shù)據(jù)技術(shù)是社會變革的力量在大數(shù)據(jù)時代，各國爭奪控制權(quán)就是爭奪權(quán)力。未來十年，我國大數(shù)據(jù)建設(shè)將圍繞大智慧展開，判斷我們國家有沒有大智慧，其核心準(zhǔn)則就是國民幸福。而國民幸福首先表現(xiàn)在民生上：透過大數(shù)據(jù)來看，我們處理人們之間關(guān)系的方式，是不是比過去更有意義了：第二，生態(tài)：透過大數(shù)據(jù)，看到了我們的社會和自然、在人與自然關(guān)系方面是否做到了前所未有的合理。4.2大數(shù)據(jù)技術(shù)經(jīng)濟(jì)變革的力量大數(shù)據(jù)刺激內(nèi)需急劇上升，導(dǎo)致行業(yè)發(fā)生劇變。生產(chǎn)者有其價值，而消費(fèi)者，才有了價值。有了意義，才能有價值，消費(fèi)者不同意的話，便無法銷售，價值也無法實(shí)現(xiàn)；消費(fèi)者若同意，便賣出了，價值也得到了體現(xiàn)。大數(shù)據(jù)能幫我們在消費(fèi)者身上解析含義，從而有助于生產(chǎn)者獲得更大價值。大數(shù)據(jù)技術(shù)能夠構(gòu)建較高智慧城鄉(xiāng)水平。過去在城市化建設(shè)中，物質(zhì)資源高度密集，能耗高，物耗大，污染嚴(yán)重。大數(shù)據(jù)時代將城鎮(zhèn)建設(shè)帶入了一條通過數(shù)據(jù)流動來進(jìn)行資源配置的新發(fā)展路徑。智慧城鄉(xiāng)注重用數(shù)據(jù)流分配資金流與物流，帶動城鄉(xiāng)一體化的建設(shè)與發(fā)展。大數(shù)據(jù)技術(shù)能夠指導(dǎo)各行業(yè)數(shù)據(jù)業(yè)務(wù)的轉(zhuǎn)型升級。大數(shù)據(jù)的又一變革性影響是把數(shù)據(jù)業(yè)務(wù)轉(zhuǎn)化為各行業(yè)主營業(yè)務(wù)，從而使產(chǎn)業(yè)發(fā)生了業(yè)態(tài)變化。比如電信業(yè)最初主營業(yè)務(wù)就是語音業(yè)務(wù)，數(shù)據(jù)業(yè)務(wù)僅僅是輔助性業(yè)務(wù)。但是在移動網(wǎng)絡(luò)上，數(shù)據(jù)業(yè)務(wù)提升到主營業(yè)務(wù)，而且語音業(yè)務(wù)也變成了副業(yè)。再比如就流通業(yè)而言，以交易為最初主營業(yè)務(wù)，服務(wù)于交易的數(shù)據(jù)分析，屬于副業(yè)。如今，數(shù)據(jù)業(yè)務(wù)又成了流通業(yè)中的一項主要業(yè)務(wù)。又比如在金融業(yè)中，原以經(jīng)營金融業(yè)務(wù)為主，通過傭金掙錢：而且今天的清算結(jié)算也許是自由的，以支付信息衍生信息增值業(yè)務(wù)獲取利潤。4.3大數(shù)據(jù)技術(shù)重構(gòu)了互聯(lián)網(wǎng)云計算與大數(shù)據(jù)帶來了如IT生產(chǎn)力，計算范式等、開發(fā)方式等偏架構(gòu)以及技術(shù)上的改變，它們最重要的價值是使社會得到革新和提升，推動互聯(lián)網(wǎng)的重構(gòu)。4.4大數(shù)據(jù)影響著社會信息化的進(jìn)程信息以數(shù)據(jù)為中心。不管使用的硬件如何，采用何種手段，裝的是什么樣的系統(tǒng)，流通在其中的始終是數(shù)據(jù)。運(yùn)用信息技術(shù)，將有效數(shù)據(jù)進(jìn)行挖掘，做到充分整合與流通，推動產(chǎn)業(yè)結(jié)構(gòu)升級，推動創(chuàng)新驅(qū)動。結(jié)語大數(shù)據(jù)技術(shù)的不斷發(fā)展，給社會社會發(fā)展帶來了巨大沖擊，我們的國家應(yīng)該看到變化趨勢，把握變革先機(jī)，從而爭取發(fā)展機(jī)遇，對大數(shù)據(jù)技術(shù)的把握是必要的。并在大數(shù)據(jù)研發(fā)建設(shè)中采取如下政策和措施：建立完善運(yùn)行機(jī)制，構(gòu)建大數(shù)據(jù)具有動態(tài)性和秩序性、可持續(xù)發(fā)展是一項系統(tǒng)工程，一定要樹立好、完備的運(yùn)行機(jī)制，為推動施工過程各環(huán)節(jié)規(guī)范有序，做到融合，完成更好頂層設(shè)計。規(guī)范一整套符合條件的建設(shè)標(biāo)準(zhǔn)，我們要確立針對不同對象、涵蓋各領(lǐng)域、大數(shù)據(jù)建設(shè)標(biāo)準(zhǔn)持續(xù)，動態(tài)地更新，為了使不同層次，不同類型的信息系統(tǒng)能夠網(wǎng)絡(luò)互聯(lián)、資源共享，信息互通作準(zhǔn)備。簡單地說就是大數(shù)據(jù)時代已經(jīng)來臨，它推動著社會生產(chǎn)力的變革與創(chuàng)新。大數(shù)據(jù)技術(shù)對各類產(chǎn)業(yè)的發(fā)展都產(chǎn)生著沖擊，大數(shù)據(jù)時代所面臨的挑戰(zhàn)，不僅表現(xiàn)為如何運(yùn)用大數(shù)據(jù)技術(shù)對巨量數(shù)據(jù)進(jìn)行加工，并從海量數(shù)據(jù)中獲得寶貴信息，還表現(xiàn)為如何強(qiáng)化大數(shù)據(jù)技術(shù)研究與發(fā)展、占領(lǐng)時代發(fā)展前沿，推動社會全面發(fā)展變革等方面。參考文獻(xiàn)[1]ZhaoY,WuJ.Dache:ADataAwareCachingforBig-DataApplicationsUsingTheMapReduceFramework[C]//2013Proceeding