大數(shù)據(jù)的發(fā)展及應用獲獎科研報告

大數(shù)據(jù)的發(fā)展及應用獲獎科研報告【關鍵詞】大數(shù)據(jù);發(fā)展;應用

引言：

隨著社會信息技術的高速發(fā)展以及網(wǎng)絡、云計算在現(xiàn)代人們的日常生活中應用的普及，大量的非結構化的數(shù)據(jù)就隨之產(chǎn)生了出來。這些非結構化的數(shù)據(jù)就成為了我們了解、認知、改造世界提供了重要的依據(jù)。不管是企業(yè)還是個人在通過計算機、移動設備或者網(wǎng)絡等工具制造出對應的數(shù)據(jù)并且傳輸產(chǎn)生了大量的信息，這些信息中不僅包括了企業(yè)的數(shù)據(jù)，還包括了個人以及其他事物的數(shù)據(jù)，這個信息量還在不斷的繁衍并且增大。大數(shù)據(jù)在潛移默化中就悄悄的融入到我們的生活中來，并且在不停地影響著我們。如何利用、組織這些種類繁雜的數(shù)據(jù)并且要保證在傳遞和使用過程中的安全就成了我們要重視的問題。

一、大數(shù)據(jù)的概念以及定義

對大量結構化數(shù)據(jù)或非結構化數(shù)據(jù)進行分析和處理，從中獲得新的信息價值，其特點有數(shù)據(jù)量巨大，數(shù)據(jù)類型眾多、處理要求快以及價值密度低等明顯的特點，這就需要用到大量的存貯設備和分析計算力。

隨著IOT、SNS、移動網(wǎng)絡以及云計算等技術的不斷應用和更新，在當今這個高速發(fā)展的信息數(shù)據(jù)化的社會中，大量可視化數(shù)據(jù)給我們的現(xiàn)有生活帶來了極大的便利性[1]。不僅在提高我們的工作效率和日常生活的便利的同時，還對著科學發(fā)展模式的變革起到了重要的作用，但是在這些好處的背后，我們也看到了一些大數(shù)據(jù)時代的一些問題，比如數(shù)據(jù)安全、數(shù)據(jù)存儲、數(shù)據(jù)處理等一些還存在一定隱患的部分。在大數(shù)據(jù)在給我們的生活和工作提供便利性，提高生產(chǎn)力帶來更多財富的同時，我們也要去關注它的隱患風險點，更好的去控制它才能讓大數(shù)據(jù)更好的為我們服務。

大數(shù)據(jù)即bigdata一詞是描述以電子的方式傳輸和存儲巨量的信息，也是形容不斷被人類創(chuàng)造的非結構化巨量數(shù)據(jù)，是指不能在可承受的時間范圍內用普通的軟件工具盡心搜集、管理和處理的體量巨大的數(shù)據(jù)集合體。這種技術可以在不同的種類、體量巨大的數(shù)據(jù)中，高效且方便的篩選出有效的高價值數(shù)據(jù)資源。在我們一般的認知里大數(shù)據(jù)是包括了搜集數(shù)據(jù)的設備、系統(tǒng)和數(shù)據(jù)的分析平臺組成的。

二、大數(shù)據(jù)的特點以及應用

大數(shù)據(jù)一般就是指大量非結構和半結構化的數(shù)據(jù)，它一般是指那些遠超過正常的數(shù)據(jù)庫處理系統(tǒng)和管理系統(tǒng)所能夠承載的數(shù)據(jù)[2]。所以不是所有信息技術產(chǎn)生的數(shù)據(jù)都會屬于大數(shù)據(jù)，在Forrester提出的數(shù)據(jù)源分類四大特征中，大數(shù)據(jù)有4個非常明顯的公認特征，即數(shù)據(jù)容量大、數(shù)據(jù)涌入快、數(shù)據(jù)種類多、數(shù)據(jù)價值密度低。

（一）數(shù)據(jù)容量大

大數(shù)據(jù)必然是巨量的，在目前按照維基百科的定義來說，當前的大數(shù)據(jù)的字節(jié)規(guī)模是幾十個太字節(jié)到數(shù)個柏字節(jié)的，這個“大”是和數(shù)據(jù)類型有關的大，在預測中，這個數(shù)據(jù)量的大小，在隨著計算機領域的技術發(fā)展，有可能向艾字節(jié)發(fā)展。就目前的大數(shù)據(jù)規(guī)模，數(shù)據(jù)庫能夠存貯這么大的數(shù)據(jù)，成本的昂貴也是無法想象的。

（二）數(shù)據(jù)涌入快

大數(shù)據(jù)會非常快的或者實時的將數(shù)據(jù)傳輸進來，就需要對大數(shù)據(jù)流來進行及時有效的分析處理，甚至會出現(xiàn)因為數(shù)據(jù)傳輸太快太多，就需要舍棄一部分數(shù)據(jù)。

（三）數(shù)據(jù)種類多

作為結構性、非結構性以及半結構性數(shù)據(jù)三大類組成的大數(shù)據(jù)，在類別的不同上有著不同的處理方法，目前全球的大數(shù)據(jù)里，80%是非結構性和半結構性的數(shù)據(jù)，這兩種是不符合標準關系數(shù)據(jù)庫管理系統(tǒng)的，不是屬于可以直接進行處理的數(shù)據(jù)類型，所以無法使用傳統(tǒng)模式進行處理，只能使用固定格式的數(shù)據(jù)庫工作來進行分析。

（四）數(shù)據(jù)價值密度低

大數(shù)據(jù)中的大多數(shù)數(shù)據(jù)是重復的，如果涌入數(shù)據(jù)過快，忽略其中一部分重復內容是不會影響分析結構的[3]。這些大數(shù)據(jù)在被匯總和分析之前都是一些低價值的數(shù)據(jù)，或者說是價值密度低的數(shù)據(jù)，只有匯總后處理、分析才能讓這些數(shù)據(jù)具有價值。所以，大數(shù)據(jù)的價值就像淘金一樣，需要把雜質過濾掉之后，剩下的才是有價值的信息。雖然大數(shù)據(jù)的容量大，價值的絕對值可能很大，但是和數(shù)據(jù)的總量來性對比的話，相對值是很低的。

在應用方面，大數(shù)據(jù)的使用對企業(yè)來說可以在對大數(shù)據(jù)的挖掘和利用以后，整合系統(tǒng)的大量數(shù)據(jù)進行分析有效的價值，不僅可以提高企業(yè)的競爭力度，改善企業(yè)營銷的策略，對客戶的定位和產(chǎn)品創(chuàng)新的方面也能對比大數(shù)據(jù)的信息進行篩選處理，在工作流程優(yōu)化、人力資源管理等方面的管控也是可以通過系統(tǒng)分析后將每個方面進行細致規(guī)劃進行統(tǒng)籌處理。目前，不僅是計算機和電子產(chǎn)品，在制造、零食、能源方面，更多的企業(yè)會采用大數(shù)據(jù)的分析和應用結果進行著營銷的決策，并且都能獲得更高的利潤。在交通、醫(yī)療等民生的領域，間接的推動了社會信息化服務水平，不僅也是提高了行政部門的辦事效率，也同時保證了人民群眾的生活便利。筆者所在城市的醫(yī)療保險繳納，已經(jīng)從排隊等號人工繳納到現(xiàn)在的刷身份證就可以辦理，也就說明現(xiàn)代政府部門也在朝著大數(shù)據(jù)的便利性上轉變，不僅是方便了民眾的便捷，也讓工作人員的勞作壓力變小。

信息是具備著兩個屬性的，物理屬性和內容屬性，在信息革命60年，一直在邊緣，從未觸及它的核心。在如今的大數(shù)據(jù)應用分析理，讓我們看到和處理的不再是信息的物理屬性，二是信息的內容屬性。使得信息成為了和材料、能源同列的現(xiàn)代人類社會發(fā)展的三大基本資源。

三、大數(shù)據(jù)應用方面的挑戰(zhàn)

大數(shù)據(jù)在提供了便捷性的今天，也在應用方面讓我們看到一部分隱患。這些隱患是包含了提高數(shù)據(jù)計算模型的計算力、保護數(shù)據(jù)的安全隱私和計算機的硬件更新?lián)Q代等。

上文已知，大數(shù)據(jù)的巨量化特性，且目前的存貯成本十分高昂。在隨著社交網(wǎng)絡不斷的升級擴容，里面的數(shù)據(jù)將會變得更多[4]。再加上處理大量低價值數(shù)據(jù)的及時性上需要更高效信息分析處理設備，這就使得在計算機的軟件、硬件方面進行革命性的升級，才能滿足當下大數(shù)據(jù)的整合、處理需求。在網(wǎng)絡病毒泛濫、黑客的無孔不入、以及一些相關利益鏈之間的數(shù)據(jù)買賣就成了我們面臨的一個問題點，我們在生活中的所有信息都會被記錄，并且被倒賣，既有可能對我們日后的生活中帶來一定的風險，這就需要政府制定一系列的政策和法律法規(guī)來去約束、管理不法的個人、機構和團體。從而避免數(shù)據(jù)的濫用和保護公民隱私安全的暴露。

結語：

在大數(shù)據(jù)應用的今天，大數(shù)據(jù)的應用已然滲透了我們的生活并且完美的融入了社會中的各行業(yè)之中。大數(shù)據(jù)的分析和數(shù)據(jù)的處理地位已經(jīng)被廣泛的應用，借助云計算平臺對這些數(shù)據(jù)的分析，在變革的新方面推動了工業(yè)和商業(yè)的創(chuàng)新，并且在生產(chǎn)創(chuàng)造力的提