國內(nèi)主要大數(shù)據(jù)廠商

1、國內(nèi)主要大數(shù)據(jù)廠商概述大數(shù)據(jù)可以概括為4個V,數(shù)據(jù)量大（Volume）、速度快（Velocity）、類型多（Variety）、價值密度低（Veracity） < 大數(shù)據(jù)作為時下最火熱的IT行業(yè)的詞匯，隨之而來的數(shù)據(jù)倉庫、數(shù)據(jù)安全、數(shù)據(jù)分析、數(shù)據(jù)挖掘等等圍繞 大數(shù)據(jù)的商業(yè)價值的利用逐漸成為行業(yè)人士爭相追捧的利潤焦點。隨著大數(shù)據(jù)時代的來臨，大數(shù)據(jù)廠商也 應(yīng)運而生。Hadoop開源分布式計算平臺 hadoop無疑是當(dāng)今最火的大數(shù)據(jù)工具，很多公司采用hadoop作為大數(shù)據(jù)大數(shù)據(jù)處理工具，Hadoop是一個能夠讓用戶輕松架構(gòu)和使用的 分布式計算 平臺。用戶可以輕松地在 Hadoop 上開發(fā)和運行處

2、理海量數(shù)據(jù)的 應(yīng)用程序。它主要有以下幾個優(yōu)點：1. 高可靠性。Hadoop按位存儲和處理數(shù)據(jù)的能力值得人們信賴。2. 高擴展性。Hadoop是在可用的計算機集簇間分配數(shù)據(jù)并完成計算任務(wù)的，這些集簇可以方便地擴 展到數(shù)以千計的節(jié)點中。3. 高效性。Hadoop能夠在節(jié)點之間動態(tài)地移動數(shù)據(jù)，并保證各個節(jié)點的動態(tài)平衡，因此處理速度非 ?？臁?. 高容錯性。Hadoop能夠自動保存數(shù)據(jù)的多個副本，并且能夠自動將失敗的任務(wù)重新分配。 然而hadoop在實時計算上也有自己的缺點：1. 任務(wù)分配Server不會將信息Push到計算Node,而是讓計算 Node通過心跳去Pull任務(wù)。2. 基于框架的通用性，

3、MapReduce弋碼也會在HDFS中傳送，在各計算 Node展開，再通過啟動新 JVM 進程裝載并運行。3. 類似的JVM進程啟停有5、6次之多。4. Reduce Task只能在所有 Map Task完成之后才能啟動。主要大數(shù)據(jù)廠商永洪科技永洪科技基于自有技術(shù)研發(fā)的一款數(shù)據(jù)存儲、數(shù)據(jù)處理的軟件Yonghong Z-Data Mart 是一款專業(yè)的數(shù)據(jù)集市軟件。針對客戶需要處理需求數(shù)據(jù)的量級不同，IT系統(tǒng)架構(gòu)的不同和存儲系統(tǒng)的不同，提供了兩種解決方案供客戶選擇一種本地模式，一種是MPP模式。當(dāng)需要處理的數(shù)據(jù)量級別處于TB級以下，或者采用普通存儲結(jié)構(gòu)，或者單機已經(jīng)足夠滿足性能需求，我們建議用戶

4、選擇我們的本地模式。當(dāng)面對異構(gòu)數(shù) 據(jù)庫存儲系統(tǒng)，需要處理的數(shù)量級別在TB級和PB級以上，或者IT系統(tǒng)和存儲系統(tǒng)采用分布式，或者需要MPP模式才能滿足性能需求，基于分布式架構(gòu)的并行處理模式更適合客戶的需求。Yonghong Data Mart 底層技術(shù)：1. 分布式計算2. 分布式通信3. 內(nèi)存計算4. 列存儲5.庫內(nèi)計算永醐業(yè)雎梁詢Hadoop Map Reduce適合通過批處理方式訪問海量數(shù)據(jù)，但無法滿足海量數(shù)據(jù)的實時處理的需求。實時商業(yè)智能建設(shè)的主要目標(biāo)是支持實時決策，這就對海量數(shù)據(jù)處理的即時、快速、穩(wěn)定提出了更高的要求。Yonghong Z-Suite Map Reduce解決方案更好的

5、實現(xiàn)了這些特點：完全放棄了心跳機制，采用實時信息交換底層，進行實時的Map-Reduce任務(wù)分配與執(zhí)行。這 一信息交換底層能夠保障幾十甚至上百個節(jié)點之間的高效信息交換，使得實時的Map-Reduce任務(wù)分配與執(zhí)行能夠在毫秒級完成任務(wù)分解與派發(fā)工作。Map Reduce任務(wù)服務(wù)于海量數(shù)據(jù)處理，任務(wù)清晰。通過在Map Node中預(yù)先部署 Map的數(shù)據(jù)處理和數(shù)據(jù)分析功能的代碼文件集，在Reduce節(jié)點中預(yù)先部署 Reduce的數(shù)據(jù)處理和數(shù)據(jù)分析功能的代碼文件集，在運行Job之前，每個 Map和Reduce節(jié)點已經(jīng)具備了相應(yīng)的數(shù)據(jù)處理和分析能力。這種方式極大地減少了實時傳輸和部署的時長。直接在各節(jié)點之

6、間傳輸中間結(jié)果和最終結(jié)果(Stream Computing)。由于Map-Reduce采用了具有自主知識產(chǎn)權(quán)的高效率的實時信息交換底層，這一底層保障了大量傳輸 Map的中間結(jié)果、Reduce的中間結(jié)果及最終結(jié)果的實效性。用戶提供的原始數(shù)據(jù)量很大。將原始數(shù)據(jù)預(yù)先部署到云平臺上，即被分布存儲到多個數(shù)據(jù)節(jié)點(Map Node)上。一個大的原始數(shù)據(jù)列表被打散成多個子列表，每個子列表存儲到 一個Map Node。當(dāng)用戶利用商業(yè)智能工具分析大數(shù)據(jù)時，數(shù)據(jù)引擎將等待分析的商業(yè)模型 逐步轉(zhuǎn)換為數(shù)學(xué)模型和數(shù)學(xué)公式，在這里可以轉(zhuǎn)化為統(tǒng)計函數(shù)的計算。將所述所有Map Node上的子列表進行統(tǒng)計計算，得出中間結(jié)果。把中間結(jié)果，即每個Map服務(wù)器上的結(jié)果數(shù)據(jù)