大型數(shù)據(jù)處理

大型數(shù)據(jù)處理收集和操縱數(shù)據(jù)項以產(chǎn)生有意義的信息01數(shù)據(jù)處理對大數(shù)據(jù)范式的評價應(yīng)用目錄0302基本信息大型數(shù)據(jù)是指龐大和復(fù)雜的數(shù)據(jù)。大型數(shù)據(jù)處理通常是收集和操縱數(shù)據(jù)項以產(chǎn)生有意義的信息。從這個意義上講，它可以被視為信息處理的一個子集，以任何方式檢測信息的變化（處理）觀察員。數(shù)據(jù)處理數(shù)據(jù)處理數(shù)據(jù)處理可能涉及各種過程，包括：1、驗證-確保提供的數(shù)據(jù)正確且相關(guān)。2、排序-以某種順序和/或不同的集合排列項目。3、摘要-將細(xì)節(jié)數(shù)據(jù)簡化為主要內(nèi)容。4、聚合-組合多個數(shù)據(jù)。5、分析-數(shù)據(jù)的收集，組織，分析，解釋和呈現(xiàn)。6、報告-列出詳細(xì)信息或摘要數(shù)據(jù)或計算信息。7、分類-將數(shù)據(jù)分成各種類別。應(yīng)用政府國際發(fā)展制造業(yè)衛(wèi)生保健教育12345應(yīng)用政府在政府流程中使用和采用大數(shù)據(jù)可以提高成本，生產(chǎn)力和創(chuàng)新效率，但并非沒有缺陷。數(shù)據(jù)分析通常需要政府的多個部門（中央和地方）協(xié)同工作，并創(chuàng)建新的創(chuàng)新流程以實現(xiàn)預(yù)期的結(jié)果。CRVS（民事登記和人口統(tǒng)計）收集從出生到死亡的所有證書狀態(tài)。CRVS是政府的大數(shù)據(jù)來源。國際發(fā)展關(guān)于有效利用信息和通信技術(shù)促進發(fā)展的研究（也稱為ICT4D）表明，大數(shù)據(jù)技術(shù)可以做出重要貢獻，但也對國際發(fā)展提出了獨特的挑戰(zhàn)。大數(shù)據(jù)分析的進步為改善關(guān)鍵發(fā)展領(lǐng)域的決策提供了具有成本效益的機會，如醫(yī)療保健，就業(yè)，經(jīng)濟生產(chǎn)力，犯罪，安全，自然災(zāi)害和資源管理。此外，用戶生成的數(shù)據(jù)為聞所未聞的人提供了新的機會。然而，發(fā)展中地區(qū)長期存在的挑戰(zhàn)，如技術(shù)基礎(chǔ)設(shè)施不足以及經(jīng)濟和人力資源短缺，加劇了對隱私，不完善的方法和互操作性問題等大數(shù)據(jù)的擔(dān)憂。制造業(yè)基于TCS2013全球趨勢研究，供應(yīng)計劃和產(chǎn)品質(zhì)量的改進為制造業(yè)的大數(shù)據(jù)提供了最大的好處。大數(shù)據(jù)為制造業(yè)的透明度提供了基礎(chǔ)設(shè)施，這是解決諸如不一致的組件性能和可用性等不確定性的能力。預(yù)測性制造作為一種適用于接近零停機時間和透明度的方法，需要大量數(shù)據(jù)和先進的預(yù)測工具，以便將數(shù)據(jù)系統(tǒng)化地轉(zhuǎn)化為有用信息。預(yù)測制造的概念框架始于數(shù)據(jù)采集，其中可獲得不同類型的傳感數(shù)據(jù)，例如聲學(xué)，振動，壓力，電流，電壓和控制器數(shù)據(jù)。除歷史數(shù)據(jù)外，大量的感官數(shù)據(jù)構(gòu)成了制造業(yè)的大數(shù)據(jù)。生成的大數(shù)據(jù)可作為預(yù)測工具和預(yù)防策略（如預(yù)測和健康管理（PHM））的輸入。衛(wèi)生保健大數(shù)據(jù)分析通過提供個性化醫(yī)療和規(guī)范分析，臨床風(fēng)險干預(yù)和預(yù)測分析，減少浪費和護理可變性，自動對患者數(shù)據(jù)進行外部和內(nèi)部報告，標(biāo)準(zhǔn)化醫(yī)療術(shù)語和患者登記以及零散點解決方案，幫助改善醫(yī)療保健。一些改進領(lǐng)域比實際實施更有抱負(fù)。醫(yī)療保健系統(tǒng)內(nèi)產(chǎn)生的數(shù)據(jù)水平并非微不足道。隨著mHealth，eHealth和可穿戴技術(shù)的日益普及，數(shù)據(jù)量將繼續(xù)增加。這包括電子健康記錄數(shù)據(jù)，成像數(shù)據(jù)，患者生成的數(shù)據(jù)，傳感器數(shù)據(jù)和其他形式的難以處理的數(shù)據(jù)。更需要這種環(huán)境更加注重數(shù)據(jù)和信息質(zhì)量?！按髷?shù)據(jù)通常意味著'臟數(shù)據(jù)'，數(shù)據(jù)不準(zhǔn)確的比例會隨著數(shù)據(jù)量的增長而增加。”在大數(shù)據(jù)范圍內(nèi)進行人體檢查是不可能的，并且在衛(wèi)生服務(wù)中迫切需要智能工具來實現(xiàn)準(zhǔn)確性和可信度控制以及錯過信息的處理。雖然醫(yī)療保健領(lǐng)域的大量信息都是電子化的，但它適合大數(shù)據(jù)保護傘，因為大多數(shù)信息非結(jié)構(gòu)化且難以使用。教育麥肯錫全球研究院的一項研究發(fā)現(xiàn)，缺乏150萬訓(xùn)練有素的數(shù)據(jù)專業(yè)人員和管理人員，包括田納西大學(xué)和加州大學(xué)伯克利分校在內(nèi)的一些大學(xué)已經(jīng)創(chuàng)建了滿足這一需求的碩士課程。私人訓(xùn)練營也開發(fā)了滿足這種需求的計劃，包括像TheDataIncubator這樣的免費計劃或像大會這樣的付費計劃。在營銷的特定領(lǐng)域，Wedel和Kannan強調(diào)的問題之一是營銷有幾個子域（例如，廣告，促銷，產(chǎn)品開發(fā)，品牌推廣），它們都使用不同類型的數(shù)據(jù)。由于不適合采用一刀切的分析解決方案，商學(xué)院應(yīng)該讓市場營銷經(jīng)理對這些子領(lǐng)域中使用的所有不同技術(shù)有廣泛的了解，以便全面了解并與分析師有效合作。對大數(shù)據(jù)范式的評價對大數(shù)據(jù)范式的評價一個關(guān)鍵問題是，我們對導(dǎo)致大數(shù)據(jù)典型網(wǎng)絡(luò)特征出現(xiàn)的潛在經(jīng)驗微觀過程知之甚少。在他們的批評中，Snijders，Matzat和Reips指出，通常對數(shù)學(xué)屬性做出非常強烈的假設(shè)，這些假設(shè)可能根本不能反映微觀過程中真正發(fā)生的事情。馬克格雷厄姆對克里斯安德森的斷言提出了廣泛的批評，即大數(shù)據(jù)將說明理論的終結(jié)：特別**大數(shù)據(jù)必須始終在其社會，經(jīng)濟和政治環(huán)境中被背景化的觀點。即使公司投入八位數(shù)和九位數(shù)的金額來從供應(yīng)商和客戶的信息流中獲取洞察力，但只有不到40%的員工擁有足夠成熟的流程和技能。根據(jù)“哈佛商業(yè)評論”的一篇文章，為了克服這種洞察力不足，大數(shù)據(jù)無論多么全面或分析得當(dāng)，都必須輔之以“大判斷”。同樣，有人指出，基于大數(shù)據(jù)分析的決策不可避免地被過去的世界所了解。有關(guān)過去經(jīng)驗的大量數(shù)據(jù)，如果未來與過去類似，算法可以預(yù)測未來的發(fā)展。如果未來的系統(tǒng)動態(tài)發(fā)生變化（如果它不是一個固定的過程），那么過去對未來幾乎沒有什么看法。為了在不斷變化的環(huán)境中進行預(yù)測，有必要徹底了解系統(tǒng)動態(tài)，這需要理論。作為對這一批評的回應(yīng)，AlemanyOliver和Vayre建議使用誘導(dǎo)性推理作為研究過程的第一步，以便為消費者的數(shù)字痕跡帶來背景，并使新的理論出現(xiàn)。此外，有人建議將大數(shù)據(jù)方法與計算機模擬相結(jié)合，例如基于代理的模型和復(fù)雜系統(tǒng)。通過基于相互依賴的算法集合的計算機模擬，基于代理的模型越來越好