盤(pán)點(diǎn)：大數(shù)據(jù)的五大誤區(qū)及其破解之道

【計(jì)算機(jī)論文】盤(pán)點(diǎn)：大數(shù)據(jù)的五大誤區(qū)及其破解之道

全球領(lǐng)先的信息技術(shù)研究和咨詢公司Gartner指出，大肆宣傳大數(shù)據(jù)概念，使企業(yè)在選擇適當(dāng)?shù)男袆?dòng)方案時(shí)，受到更多困擾，但對(duì)消除一些仍存在的誤區(qū)卻毫無(wú)幫助。例如，80%的數(shù)據(jù)是非結(jié)構(gòu)化的，這是錯(cuò)誤的；又如高級(jí)分析功能只是更復(fù)雜形式的普通分析，分析公司Gartner指出，這也是不正確的。Gartner公司在已發(fā)布的兩篇報(bào)告《大數(shù)據(jù)對(duì)分析功能影響中的主要誤區(qū)》和《大數(shù)據(jù)對(duì)信息基礎(chǔ)設(shè)施影響中的主要誤區(qū)》中，集中探討大數(shù)據(jù)對(duì)分析功能及信息基礎(chǔ)設(shè)施影響中的相關(guān)誤區(qū)，希望展示大數(shù)據(jù)相關(guān)的更多真實(shí)情況。以下摘取大數(shù)據(jù)概念的五大誤區(qū)。誤區(qū)一：在大數(shù)據(jù)技術(shù)部署中，其他人都領(lǐng)先我們雖然越來(lái)越多的企業(yè)開(kāi)始關(guān)注大數(shù)據(jù)技術(shù)和服務(wù)，Gartner公司測(cè)算結(jié)果顯示，73%的企業(yè)正在投入或策劃大數(shù)據(jù)技術(shù)，但大多數(shù)企業(yè)才剛剛開(kāi)始接受這一技術(shù)。因此，擔(dān)心競(jìng)爭(zhēng)對(duì)手運(yùn)用大數(shù)據(jù)技術(shù)快速發(fā)展實(shí)在是杞人憂天。實(shí)際上，只有13%的受訪企業(yè)真正開(kāi)始部署大數(shù)據(jù)相關(guān)技術(shù)。Gartner公司表示：“企業(yè)面臨的最大挑戰(zhàn)是怎樣通過(guò)大數(shù)據(jù)獲得價(jià)值以及怎樣入手部署大數(shù)據(jù)技術(shù)。大多數(shù)企業(yè)在試點(diǎn)階段就遇到困難，因?yàn)樗麄儾](méi)有在業(yè)務(wù)過(guò)程或?qū)嶋H用例中運(yùn)用該技術(shù)?！盙artner公司的結(jié)論是：你并沒(méi)有落后。為實(shí)際的任務(wù)制定策略，并與IT及業(yè)務(wù)部門(mén)合作。誤區(qū)二：數(shù)據(jù)量很大，而小缺陷無(wú)關(guān)緊要有人認(rèn)為，根據(jù)大數(shù)定律(LawofLargeNumbers)，獨(dú)立的數(shù)據(jù)缺陷無(wú)關(guān)緊要，不會(huì)影響分析結(jié)果。與更小規(guī)模的數(shù)據(jù)集相比，獨(dú)立的數(shù)據(jù)缺陷對(duì)整個(gè)數(shù)據(jù)集的影響的確要小很多，但目前，數(shù)據(jù)量不斷增長(zhǎng)，數(shù)據(jù)缺陷與以往相比也越來(lái)越多。Gartner公司表示：“因此，低質(zhì)量數(shù)據(jù)對(duì)整個(gè)數(shù)據(jù)集的整體影響仍保持不變。此外，企業(yè)在大數(shù)據(jù)環(huán)境下使用的大部分?jǐn)?shù)據(jù)來(lái)自外部數(shù)據(jù)源，其數(shù)據(jù)結(jié)構(gòu)和來(lái)源未知?！薄斑@意味著數(shù)據(jù)質(zhì)量問(wèn)題的風(fēng)險(xiǎn)比以往更高。因此，在大數(shù)據(jù)部署中，數(shù)據(jù)質(zhì)量實(shí)際上更加重要?！盙artner公司的結(jié)論是：設(shè)計(jì)出新的數(shù)據(jù)質(zhì)量管理方式，并選擇數(shù)據(jù)質(zhì)量級(jí)別。嚴(yán)格遵守?cái)?shù)據(jù)質(zhì)量保障的核心原則。誤區(qū)三：大數(shù)據(jù)將取代數(shù)據(jù)整合能力企業(yè)希望通過(guò)讀時(shí)模式(SchemaonRead)處理信息，使用多個(gè)數(shù)據(jù)模型靈活地讀取同一個(gè)數(shù)據(jù)源。這種靈活性將幫助最終用戶決定怎樣按需解釋任意數(shù)據(jù)信息，并實(shí)現(xiàn)個(gè)體用戶數(shù)據(jù)訪問(wèn)的定制化能力。然而，大多數(shù)用戶實(shí)際上使用寫(xiě)時(shí)模式(SchemaonWrite)。寫(xiě)時(shí)模式下用戶可描述數(shù)據(jù)并制定內(nèi)容，而數(shù)據(jù)完整性也能保持一致。誤區(qū)四：將數(shù)據(jù)倉(cāng)庫(kù)用于高級(jí)分析是毫無(wú)意義的有些人認(rèn)為，高級(jí)分析功能可使用新的數(shù)據(jù)類型時(shí)，部署數(shù)據(jù)倉(cāng)庫(kù)則浪費(fèi)時(shí)間。實(shí)際上，大多數(shù)高級(jí)分析項(xiàng)目在分析時(shí)都使用數(shù)據(jù)倉(cāng)庫(kù)。新的數(shù)據(jù)類型還可能需要提煉，使其適于數(shù)據(jù)分析。此外，哪些是相關(guān)數(shù)據(jù)、怎樣聚合數(shù)據(jù)以及必要的數(shù)據(jù)質(zhì)量級(jí)別等都需要企業(yè)做出決策。Gartner公司的結(jié)論是：盡可能使用數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)經(jīng)人工收集檢查的數(shù)據(jù)集，用于高級(jí)分析功能。誤區(qū)五：數(shù)據(jù)湖將取代數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)湖解決方案通常被當(dāng)作企業(yè)級(jí)平臺(tái)銷(xiāo)售，用于分析原生格式下的各種不同的數(shù)據(jù)源。但Gartner公司認(rèn)為，數(shù)據(jù)湖取代數(shù)據(jù)倉(cāng)庫(kù)，或作為分析基礎(chǔ)設(shè)施中的重要組件是錯(cuò)誤的觀點(diǎn)。