大數(shù)據(jù)分析工具開發(fā)平臺匯總

1、大數(shù)據(jù)分析工具開發(fā)平臺匯總大數(shù)據(jù)工具可以幫助大數(shù)據(jù)工作人員進行日常的大數(shù)據(jù)工作，以下是大數(shù)據(jù) 工作中常用的工具：HivemallHivemall結(jié)合了面向Hive的多種機器學(xué)習(xí)算法。它包括諸多高度擴展性算 法，可用于數(shù)據(jù)分類、遞歸、推薦、k最近鄰、異常檢測和特征哈希。支持的操作系統(tǒng)：與操作系統(tǒng)無關(guān)。MahoutMahout 是 Apache Software Foundation （ASF） 旗下的一個開源項目，提 供一些可擴展的機器學(xué)習(xí)領(lǐng)域經(jīng)典算法的實現(xiàn)，旨在幫助開發(fā)人員更加方便快捷 地創(chuàng)建智能應(yīng)用程序。Mahout包含許多實現(xiàn)，包括聚類、分類、推薦過濾、頻 繁子項挖掘。此外，通過使用Apa

2、che Hadoop庫，Mahout可以有效地擴展到云 中。MapReduceMapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算。 概念Map（映射）和Reduce （歸約），是它們的主要思想，都是從函數(shù)式編 程語言里借來的，還有從矢量編程語言里借來的特性。它極大地方便了編程人員 在不會分布式并行編程的情況下，將自己的程序運行在分布式系統(tǒng)上。OozieOozie是一種Java Web應(yīng)用程序，它運行在Java servlet容器即Tomcat中，并使用數(shù)據(jù)庫來存儲以下內(nèi)容:工作流定義當(dāng)前運行的工作流實例，包括實例的狀態(tài)和變量PigPig是一種數(shù)據(jù)流語言和運行環(huán)境，用于檢

3、索非常大的數(shù)據(jù)集。為大型數(shù)據(jù) 集的處理提供了一個更高層次的抽象。Pig包括兩部分：一是用于描述數(shù)據(jù)流的 語言，稱為Pig Latin；二是用于運行Pig Latin程序的執(zhí)行環(huán)境。SqoopSqoop(發(fā)音：skup)是一款開源的工具，主要用于在Hadoop(Hive)與傳統(tǒng)的 數(shù)據(jù)庫(mysql、postgresql.)間進行數(shù)據(jù)的傳遞，可以將一個關(guān)系型數(shù)據(jù)庫(例 如：MySQL ,Oracle ,Postgres等)中的數(shù)據(jù)導(dǎo)進到Hadoop的HDFS中，也可 以將HDFS的數(shù)據(jù)導(dǎo)進到關(guān)系型數(shù)據(jù)庫中。SparkSpark是一種與Hadoop相似的開源集群計算環(huán)境，但是兩者之間還存在一 些不同之處，這些有用的不同之處使Spark在某些工作負(fù)載方面表現(xiàn)得更加優(yōu) 越，換句話說，Spark啟用了內(nèi)存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它 還可以優(yōu)化迭代工作負(fù)載。TezTez建立在Apache Hadoop YARN的基礎(chǔ)上，這是“一種應(yīng)用程序框架，允 許為任務(wù)構(gòu)建一種復(fù)雜的有向無環(huán)圖，以便處理數(shù)據(jù)?！彼孒ive和Pig可以 簡化復(fù)雜的任務(wù)，而這些任務(wù)原本需要多個步驟才能完成。ZookeeperZooKeeper是一個分布式的，開放源碼的分布式應(yīng)用程序協(xié)調(diào)服務(wù)，是 HYPERLINK 老男孩IT教育，只培養(yǎng)技術(shù)精英Google的Chubby 一個開源的實現(xiàn)，是Hadoop和H