A12評價數(shù)據(jù)的伴隨性采集大數(shù)據(jù)分析的過程

1、A12評價數(shù)據(jù)的伴隨性采集大數(shù)據(jù)分析的過程1、大數(shù)據(jù)分析的過程大致分為下面6個步驟：（1）業(yè)務理解 最初的階段集中在理解項目目標和從業(yè)務的角度理解需求，同時將業(yè)務知識轉化為數(shù)據(jù)分析問題的定義和實現(xiàn)目標的初步計劃上。 （2）數(shù)據(jù)理解 數(shù)據(jù)理解階段從初始的數(shù)據(jù)收集開始，通過一些活動的處理，目的是熟悉數(shù)據(jù)，識別數(shù)據(jù)的質(zhì)量問題，首次發(fā)現(xiàn)數(shù)據(jù)的內(nèi)部屬性，或是探測引起興趣的子集去形成隱含信息的假設。 （3）數(shù)據(jù)準備 數(shù)據(jù)準備階段包括從未處理數(shù)據(jù)中構造最終數(shù)據(jù)集的所有活動。這些數(shù)據(jù)將是模型工具的輸入值。這個階段的任務有的能執(zhí)行多次，沒有任何規(guī)定的順序。任務包括表、記錄和屬性的選擇，以及為模型工具轉換和清洗數(shù)

2、據(jù)。（4）建模 在這個階段，可以選擇和應用不同的模型技術，模型參數(shù)被調(diào)整到最佳的數(shù)值。有些技術可以解決一類相同的數(shù)據(jù)分析問題；有些技術在數(shù)據(jù)形成上有特殊要求，因此需要經(jīng)常跳回到數(shù)據(jù)準備階段。 （5）評估 在這個階段，已經(jīng)從數(shù)據(jù)分析的角度建立了一個高質(zhì)量顯示的模型。在最后部署模型之前，重要的事情是徹底地評估模型，檢查構造模型的步驟，確保模型可以完成業(yè)務目標。這個階段的關鍵目的是確定是否有重要業(yè)務問題沒有被充分考慮。在這個階段結束后，必須達成一個數(shù)據(jù)分析結果使用的決定。 （6）部署 通常，模型的創(chuàng)建不是項目的結束。模型的作用是從數(shù)據(jù)中找到知識，獲得的知識需要以便于用戶使用的方式重新組織和展現(xiàn)。根據(jù)

3、需求，這個階段可以產(chǎn)生簡單的報告，或是實現(xiàn)一個比較復雜的、可重復的數(shù)據(jù)分析過程。在很多案例中，由客戶而不是數(shù)據(jù)分析人員承擔部署的工作。2.大數(shù)據(jù)分析涉及的技術作為大數(shù)據(jù)的主要應用，大數(shù)據(jù)分析涉及的技術相當廣泛，主要包括如下幾類。1）數(shù)據(jù)采集：大數(shù)據(jù)的采集是指利用多個數(shù)據(jù)庫來接收發(fā)自客戶端（Web、App或者傳感器形式等）的數(shù)據(jù)，并且用戶可以通過這些數(shù)據(jù)庫來進行簡單的查詢和處理工作。例如，電商會使用傳統(tǒng)的關系型數(shù)據(jù)庫MySQL和Oracle等來存儲每一筆事務數(shù)據(jù)，除此之外，Redis和MongoDB這樣的NoSQL數(shù)據(jù)庫也常用于數(shù)據(jù)的采集。阿里云的DataHub是一款數(shù)據(jù)采集產(chǎn)品，可為用戶提供實

4、時數(shù)據(jù)的發(fā)布和訂閱功能，寫入的數(shù)據(jù)可直接進行流式數(shù)據(jù)處理，也可參與后續(xù)的離線作業(yè)計算，并且DataHub同主流插件和客戶端保持高度兼容。在大數(shù)據(jù)的采集過程中，其主要特點和挑戰(zhàn)是并發(fā)數(shù)高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，例如火車票售票網(wǎng)站和淘寶，它們并發(fā)的訪問量在峰值時達到上百萬，所以需要在采集端部署大量數(shù)據(jù)庫才能支撐。并且，如何在這些數(shù)據(jù)庫之間進行負載均衡和分片的確需要深入的思考和設計。ETL工具負責將分布的、異構數(shù)據(jù)源中的數(shù)據(jù)如關系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進行清洗、轉換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎。2）數(shù)據(jù)管理：對大

5、數(shù)據(jù)進行分析的基礎是對大數(shù)據(jù)進行有效的管理，使大數(shù)據(jù)“存得下、查得出”，并且為大數(shù)據(jù)的高效分析提供基本數(shù)據(jù)操作（比如Join和聚集操作等），實現(xiàn)數(shù)據(jù)有效管理的關鍵是數(shù)據(jù)組織。面向大數(shù)據(jù)管理已經(jīng)提出了一系列技術。隨著大數(shù)據(jù)應用越來越廣泛，應用場景的多樣化和數(shù)據(jù)規(guī)模的不斷增加，傳統(tǒng)的關系數(shù)據(jù)庫在很多情況下難以滿足要求，學術界和產(chǎn)業(yè)界開發(fā)出了一系列新型數(shù)據(jù)庫管理系統(tǒng)，例如適用于處理大量數(shù)據(jù)的高訪問負載以及日志系統(tǒng)的鍵值數(shù)據(jù)庫（如Tokyo Cabinet/Tyrant、Redis、Voldemort、Oracle BDB）、適用于分布式大數(shù)據(jù)管理的列存儲數(shù)據(jù)（如Cassandra、HBase、Ria

6、k）、適用于Web應用的文檔型數(shù)據(jù)庫（如CouchDB、MongoDB、SequoiaDB）、適用于社交網(wǎng)絡和知識管理等的圖形數(shù)據(jù)庫（如Neo4J、InfoGrid、Infinite Graph），這些數(shù)據(jù)庫統(tǒng)稱為NoSQL。面對大數(shù)據(jù)的挑戰(zhàn)，學術界和工業(yè)界拓展了傳統(tǒng)的關系數(shù)據(jù)庫，即NewSQL，這是對各種新的可擴展/高性能數(shù)據(jù)庫的簡稱，這類數(shù)據(jù)庫不僅具有NoSQL對海量數(shù)據(jù)的存儲管理能力，還保持了傳統(tǒng)數(shù)據(jù)庫支持ACID和SQL的特性。典型的NewSQL包括VoltDB、ScaleBase、dbShards、Scalearc等。例如，阿里云分析型數(shù)據(jù)庫可實現(xiàn)對數(shù)據(jù)的實時多維分析，百億量級多維查

7、詢只需100毫秒。3）基礎架構：從更底層來看，對大數(shù)據(jù)進行分析還需要高性能的計算架構和存儲系統(tǒng)。例如用于分布式計算的MapReduce計算框架、Spark計算框架，用于大規(guī)模數(shù)據(jù)協(xié)同工作的分布式文件存儲HDFS等。4）數(shù)據(jù)理解與提取：大數(shù)據(jù)的多樣性體現(xiàn)在多個方面。在結構方面，對大數(shù)據(jù)分析很多情況下處理的數(shù)據(jù)并非傳統(tǒng)的結構化數(shù)據(jù)，也包括多模態(tài)的半結構和非結構化數(shù)據(jù)；在語義方面，大數(shù)據(jù)的語義也有著多樣性，同一含義有著多樣的表達，同樣的表達在不同的語境下也有著不同的含義。要對具有多樣性的大數(shù)據(jù)進行有效分析，需要對數(shù)據(jù)進行深入的理解，并從結構多樣、語義多樣的數(shù)據(jù)中提取出可以直接進行分析的數(shù)據(jù)。這方面的

8、技術包括自然語言處理、數(shù)據(jù)抽取等。自然語言處理是研究人與計算機交互的語言問題的一門學科。處理自然語言的關鍵是要讓計算機“理解”自然語言，所以自然語言處理又叫作自然語言理解（Natural Language Understanding，NLU），也稱為計算語言學，它是人工智能（Artificial Intelligence，AI）的核心課題之一。信息抽取 （information extraction）是把非結構化數(shù)據(jù)中包含的信息進行結構化處理，變成統(tǒng)一的組織形式。5）統(tǒng)計分析：統(tǒng)計分析是指運用統(tǒng)計方法及與分析對象有關的知識，從定量與定性的結合上進行的研究活動。它是繼統(tǒng)計設計、統(tǒng)計調(diào)查、統(tǒng)計整理

9、之后的一項十分重要的工作，是在前幾個階段工作的基礎上通過分析達到對研究對象更為深刻的認識。它又是在一定的選題下，針對分析方案的設計、資料的搜集和整理而展開的研究活動。系統(tǒng)、完善的資料是統(tǒng)計分析的必要條件。統(tǒng)計分析技術包括假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、邏輯回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析（最優(yōu)尺度分析）、bootstrap技術等。6）數(shù)據(jù)挖掘：數(shù)據(jù)挖掘指的是從大量數(shù)據(jù)中通過算法搜

10、索隱藏于其中的信息的過程，包括分類（classification）、估計（estimation）、預測（prediction）、相關性分組或關聯(lián)規(guī)則（affinity grouping or association rule）、聚類（clustering）、描述和可視化（cescription and visualization）、復雜數(shù)據(jù)類型挖掘（text、Web、圖形圖像、視頻、音頻等）。與前面統(tǒng)計和分析過程不同的是，數(shù)據(jù)挖掘一般沒有什么預先設定好的主題，主要是在現(xiàn)有數(shù)據(jù)上進行基于各種算法的計算，從而起到預測的效果，實現(xiàn)一些高級別數(shù)據(jù)分析的需求。例如，阿里云的數(shù)加產(chǎn)品擁有一系列機器學習工具

11、，可基于海量數(shù)據(jù)實現(xiàn)對用戶行為、行業(yè)走勢、天氣、交通的預測，產(chǎn)品還集成了阿里巴巴核心算法庫，包括特征工程、大規(guī)模機器學習、深度學習等。7）數(shù)據(jù)可視化：數(shù)據(jù)可視化是關于數(shù)據(jù)視覺表現(xiàn)形式的科學技術研究。對于大數(shù)據(jù)而言，由于其規(guī)模、高速和多樣性，用戶通過直接瀏覽來了解數(shù)據(jù)，因而，將數(shù)據(jù)進行可視化，將其表示成為人能夠直接讀取的形式，顯得非常重要。目前，針對數(shù)據(jù)可視化已經(jīng)提出了許多方法，這些方法根據(jù)其可視化的原理可以劃分為基于幾何的技術、面向像素的技術、基于圖標的技術、基于層次的技術、基于圖像的技術和分布式技術等；根據(jù)數(shù)據(jù)類型可以分為文本可視化、網(wǎng)絡（圖）可視化、時空數(shù)據(jù)可視化、多維數(shù)據(jù)可視化等。3.大

12、數(shù)據(jù)分析技術的難點大數(shù)據(jù)分析不是簡單的數(shù)據(jù)分析的延伸。大數(shù)據(jù)規(guī)模大、更新速度快、來源多樣等性質(zhì)為大數(shù)據(jù)分析帶來了一系列挑戰(zhàn)。1）可擴展性：由于大數(shù)據(jù)的特點之一是“規(guī)模大”，利用大規(guī)模數(shù)據(jù)可以發(fā)現(xiàn)諸多新知識，因而大數(shù)據(jù)分析需要考慮的首要任務之一就是使得分析算法能夠支持大規(guī)模數(shù)據(jù)，在大規(guī)模數(shù)據(jù)上能夠在應用所要求的時間約束內(nèi)得到結果。2）可用性：大數(shù)據(jù)分析的結果應用到實際中的前提是分析結果的可用，這里“可用”有兩個方面的含義：一方面，需要結果具有高質(zhì)量，如結果完整、符合現(xiàn)實的語義約束等；另一方面，需要結果的形式適用于實際的應用。對結果可用性的要求為大數(shù)據(jù)分析算法帶來了挑戰(zhàn)，所謂“垃圾進垃圾出”，高質(zhì)量的分析結果需要高質(zhì)量的數(shù)據(jù)；結果形式的高可用性需要高可用分析模型的設計。3）領域知識的結合：大數(shù)據(jù)分析通常和具體領域密切結合，因而大數(shù)據(jù)分析的過程很自然地需要和領域知識相結合。這為大數(shù)據(jù)分析方法的設計帶來