大數(shù)據(jù)技術(shù)簡介

1、技術(shù)創(chuàng)新，變革未來大數(shù)據(jù)技術(shù)簡介內(nèi)容Hadoop的起源與發(fā)展Hadoop是什么 主流大數(shù)據(jù)技術(shù)Hadoop應(yīng)用現(xiàn)狀Hadoop偽分布式環(huán)境搭建Hadoop的起源與發(fā)展Hadoop的思想之源Google面對的數(shù)據(jù)存儲和計算難題大量的網(wǎng)頁怎么存儲搜索算法GoogleGFSMapReduceBigTableHadoop的起源與發(fā)展Doug CuttingHadoop是什么Hadoop是一個開源框架，可編寫和運(yùn)行分布式 應(yīng)用處理大規(guī)模數(shù)據(jù)Hadoop框架的核心是HDFS、MapReduce、YarnHDFS 是分布式文件系統(tǒng)，提供海量數(shù)據(jù)的存儲MapReduce 是分布式數(shù)據(jù)處理模型，提供數(shù)據(jù) 計算Y

2、arn是資源管理和調(diào)度工具主流大數(shù)據(jù)技術(shù)主流大數(shù)據(jù)技術(shù)Hadoop已經(jīng)成長為一個龐大的生態(tài)體系只要和海量數(shù)據(jù)相關(guān)的領(lǐng)域，有 Hadoop 身影MapReduce是把一個大數(shù)據(jù)集上的任務(wù)分解，并 在并行的多個節(jié)點(diǎn)中處理Hive在Hadoop中扮演數(shù)據(jù)倉庫的角色，Hive使 用類SQL語法進(jìn)行數(shù)據(jù)操作HBase是面向列的數(shù)據(jù)庫，運(yùn)行在HDFS之上， HBase以BigTable為藍(lán)本，可以快速在數(shù)十億行數(shù) 據(jù)中隨機(jī)存取數(shù)據(jù)主流大數(shù)據(jù)技術(shù)Storm是流式計算Spark是內(nèi)存計算、流式計算、圖計算Sqoop是從關(guān)系數(shù)據(jù)庫導(dǎo)入數(shù)據(jù)到Hadoop，并可 直接導(dǎo)入到HDFS或HiveFlume是將流數(shù)據(jù)或日

3、志數(shù)據(jù)導(dǎo)入HDFSZooKeeper協(xié)調(diào)集群成員Oozie提供管理工作流程和依賴的功能，將多個MapReduce作業(yè)連接到一起，定制彼此間依賴Ambari可對Hadoop集群提供監(jiān)控、部署、配置、升級和管理等核心功能大數(shù)據(jù)技術(shù)特點(diǎn)針對大規(guī)模數(shù)據(jù)處理的需求一直存在，受限于系統(tǒng) 的處理能力和費(fèi)用，一直沒有得到大規(guī)模使用健壯：在一般商用硬件上運(yùn)行，必須考慮硬件會 頻繁失效，可以從容地處理大多數(shù)故障。可擴(kuò)展：通過增加集群節(jié)點(diǎn)，可以線性地擴(kuò)展以 處理更大的數(shù)據(jù)集。簡單方便：允許用戶快速編寫高效的并行代碼。大數(shù)據(jù)技術(shù)能做什么大數(shù)據(jù)技術(shù)的簡單方便、可擴(kuò)展性和健壯性讓其在 大數(shù)據(jù)處理方面占盡優(yōu)勢，其主要應(yīng)用場

4、景有：搜索引擎，為大規(guī)模的網(wǎng)頁快速建立索引。大數(shù)據(jù)存儲，利用分布式存儲能力，建立數(shù)據(jù)備 份、數(shù)據(jù)倉庫等。大數(shù)據(jù)處理，利用分布式處理能力，例如數(shù)據(jù)挖掘、數(shù)據(jù)分析等。Hadoop的應(yīng)用現(xiàn)狀Hadoop的應(yīng)用現(xiàn)狀Yahoo：用戶行為分析、支持廣告系統(tǒng)、支持Web搜索、反垃圾郵件系統(tǒng)、個性化推薦Facebook：存儲內(nèi)部日志與多維數(shù)據(jù)，并以此 做分析和機(jī)器學(xué)習(xí)百度：日志分析平臺、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘與分 析、推薦系統(tǒng)阿里巴巴：廣告系統(tǒng)、推薦引擎、搜索排行、歷史訂單Hadoop偽分布式環(huán)境搭建（1）Hadoop發(fā)行版選擇： ApacheCDH HDPHadoop版本選擇： 0.2X1.X2.X（2.7.3

5、）我們的選擇：CDH Hadoop 2.6.0Hadoop偽分布式環(huán)境搭建（2）Hadoop安裝模式：單機(jī)模式：占用資源最少的模式完全運(yùn)行在本地不使用Hadoop文件系統(tǒng)不加載任何守護(hù)進(jìn)程偽分布模式：“單節(jié)點(diǎn)集群”模式所有的守護(hù)進(jìn)程都運(yùn)行在同一臺機(jī)子上代碼調(diào)試可以查看HDFS的輸入/輸出，以及各守護(hù)進(jìn)程全分布模式：真正的分布式集群配置，用于生產(chǎn)環(huán)境Hadoop偽分布式環(huán)境搭建（3）Linux環(huán)境，我們使用的是centos6.5關(guān)閉防火墻，因為它會妨礙hadoop集群間相互通信sudo chkconfig iptables offsudo service iptables stopjdk安裝配置ssh免密碼登錄安裝Hadoop格式化NameNo