《經(jīng)濟法基礎》課件大數(shù)據(jù)技術導論(張寺寧)習題答案

項目一大數(shù)據(jù)的特性有哪些？答：Volume（數(shù)據(jù)量大）、Variety（數(shù)據(jù)類型繁多）、Velocity（處理速度快）、Value（價值密度低）、Online（在線）。大數(shù)據(jù)時代產(chǎn)生的原因有哪些？答：外部原因：（1)存儲設備容量不斷增加。（2)CPU處理能力大幅提升。（3)網(wǎng)絡帶寬不斷增加。根本原因：數(shù)據(jù)產(chǎn)生方式的巨大變化是大數(shù)據(jù)時代產(chǎn)生的本質(zhì)原因。一般情況下，大數(shù)據(jù)處理流程分為哪幾個階段？答：大數(shù)據(jù)處理流程分為五步，分別是數(shù)據(jù)采集、數(shù)據(jù)預處理、數(shù)據(jù)存儲和數(shù)據(jù)計算、數(shù)據(jù)分析、數(shù)據(jù)可視化。谷歌公司在大數(shù)據(jù)的發(fā)展中起了重要作用，谷歌“三架馬車”指的是什么？答：在2003年，谷歌公司發(fā)表了谷歌分布式文件系統(tǒng)（GoogleFileSystem，GFS）的論文。在2004年，谷歌又發(fā)表了谷歌大數(shù)據(jù)分布式計算框架MapReduce的論文。在2006年，谷歌又發(fā)表了大表BigTable的論文。這三篇論文是大數(shù)據(jù)技術發(fā)展史上重要的里程碑，史稱谷歌大數(shù)據(jù)的“三架馬車”。請結合自己的專業(yè)談談如何利用大數(shù)據(jù)技術解決具體問題。答：略項目二敘述大數(shù)據(jù)處理和傳統(tǒng)數(shù)據(jù)處理有什么不同？答：傳統(tǒng)數(shù)據(jù)處理平臺在大數(shù)據(jù)時代將面臨嚴重挑戰(zhàn)。主要在以下幾個方面：（1）由于傳統(tǒng)數(shù)據(jù)處理平臺多部署于單機環(huán)境下，用于處理結構化數(shù)據(jù)。計算數(shù)據(jù)量也較小，數(shù)據(jù)存儲大多采用關系型數(shù)據(jù)庫。數(shù)據(jù)計算效率依賴單機的性能，數(shù)據(jù)處理速度方面存在瓶頸，對于大數(shù)據(jù)量的處理無法達到實時性要求。（2）傳統(tǒng)的數(shù)據(jù)處理方法以計算為中心，所有數(shù)據(jù)必須匯總傳輸?shù)揭慌_機器進行計算，計算完畢后再返回，增加了數(shù)據(jù)傳輸時間。隨著數(shù)據(jù)量的增加，處理速度會越來越慢。（3）傳統(tǒng)數(shù)據(jù)處理平臺數(shù)據(jù)來源單一，多用于處理結構化數(shù)據(jù)，對于非結構化數(shù)據(jù)和半結構化數(shù)據(jù)無能為力。大數(shù)據(jù)處理平臺具有以下特點。（1）分布式數(shù)據(jù)計算（2）動態(tài)擴展性（3）容錯性強（4）I/O傳輸速度快Hadoop的設計思想是什么？答：Hadoop的設計思想如下。（1）能夠大幅度降低高性能計算成本用戶可以通過家庭或者工作中普通的PC機組成大數(shù)據(jù)服務集群，集群節(jié)點數(shù)量根據(jù)機器性能可以達到數(shù)千個。不必花費高昂的代價去購買集群服務器用于環(huán)境搭建。使高性能計算實現(xiàn)成本降低，適用面更廣泛。（2）具有良好的穩(wěn)定性和可靠性爭對集群中單個或多個服務器節(jié)點失效問題，Hadoop具有自動維護數(shù)據(jù)的多份復本，同時在任務失敗后能夠重新部署計算任務的機制，從而保障了服務器集群的穩(wěn)定性和可靠性。（3）能夠大幅度提高數(shù)據(jù)計算和存儲效率Hadoop采用并行數(shù)據(jù)處理機制，把海量數(shù)據(jù)分割成多個小型的數(shù)據(jù)塊，并通過數(shù)據(jù)分發(fā)機制，把數(shù)據(jù)分發(fā)給集群上面的其他節(jié)點進行處理，減少了系統(tǒng)對于海量數(shù)據(jù)存儲和處理的時間。（4）以數(shù)據(jù)為中心秉承機柜內(nèi)數(shù)據(jù)傳輸速度大于機柜間傳輸速度的思想（即移動計算比移動數(shù)據(jù)更高效），對于海量數(shù)據(jù)采用“一次寫，多次讀”的方式，使文件不會被頻繁寫入和修改，保證了集群各個節(jié)點的數(shù)據(jù)處理的高效性。大數(shù)據(jù)有幾種計算模式？代表技術分別是什么？答：計算模式應用場景實時性代表技術批處理計算模式大規(guī)模數(shù)據(jù)的離線批量處理不高MapReduce、Spark、Flink等流計算模式流數(shù)據(jù)的在線實時計算高Storm、Flink、Spark-Streaming、S4等圖計算大規(guī)模圖結構數(shù)據(jù)的處理不高Pregel、Giraph、GraphX等交互查詢分析模式大規(guī)模數(shù)據(jù)的交互查詢分析較高Hive、Impala等敘述大數(shù)據(jù)處理平臺5種主流架構和各自的特點？答：（1）傳統(tǒng)大數(shù)據(jù)架構傳統(tǒng)大數(shù)據(jù)架構主要為了解決傳統(tǒng)BI的問題，傳統(tǒng)BI經(jīng)過長期的發(fā)展已經(jīng)形成了一套成熟和穩(wěn)定的系統(tǒng)，但是隨著大數(shù)據(jù)時代的到來，傳統(tǒng)BI系統(tǒng)遇到諸多挑戰(zhàn)。由于傳統(tǒng)BI系統(tǒng)處理數(shù)據(jù)量較少，且多為結構化數(shù)據(jù)的處理。在大數(shù)據(jù)時代面對大規(guī)模的結構化數(shù)據(jù)和文件、圖片、視頻等非結構化數(shù)據(jù)的沖擊，傳統(tǒng)BI遇到性能瓶頸問題。因此，我們必須對傳統(tǒng)BI系統(tǒng)進行升級改造，引入大數(shù)據(jù)處理技術搭建架構，稱之為傳統(tǒng)大數(shù)據(jù)架構。傳統(tǒng)大數(shù)據(jù)架構與傳統(tǒng)BI相比，在數(shù)據(jù)分析的業(yè)務上沒有發(fā)生任何變化，僅僅是為了增加系統(tǒng)的結構化和非結構化數(shù)據(jù)的處理能力，提升了系統(tǒng)性能。由于傳統(tǒng)BI業(yè)務數(shù)據(jù)多為離線批處理，對實時性要求不高。所以傳統(tǒng)大數(shù)據(jù)架構也以批處理為主，不具備實時性，一般采用MapReduce、Spark等技術進行批處理。這種架構主要應用在以BI為主的業(yè)務需求上，不過僅用于數(shù)據(jù)處理性能遇到瓶頸問題時的系統(tǒng)改造上。（2）流式架構隨著大數(shù)據(jù)時代的發(fā)展和傳感器的廣泛應用，出現(xiàn)了越來越多的實時處理數(shù)據(jù)需求，比如實時監(jiān)控預警，實時路徑規(guī)劃，實時在線報表等。傳統(tǒng)大數(shù)據(jù)架構為批量數(shù)據(jù)處理，無法滿足實時性的需求。這時就需要搭建能夠?qū)?shù)據(jù)進行實時處理，時延小的系統(tǒng)架構，這就是流式架構。流式架構，顧名思義就是整個架構只具備對數(shù)據(jù)的實時流計算功能，而不具備對數(shù)據(jù)的批量處理功能。在流式架構中，數(shù)據(jù)全程以流的形式處理，沒有ETL過程。經(jīng)過流處理加工后的數(shù)據(jù)，被直接推送顯示出來。流式架構僅以窗口的形式進行存儲，本身不支持歷史數(shù)據(jù)的重演和統(tǒng)計分析，不過我們可以根據(jù)實際需求，在數(shù)據(jù)直接實時推送顯示出來時，把符合我們預設條件的，有價值的數(shù)據(jù)存入數(shù)據(jù)庫中，以便后續(xù)數(shù)據(jù)分析和應用。流式架構數(shù)據(jù)處理一般采用的流計算框架比如SparkStreaming、Storm、Flink等。流式架構多用于實時預警，實時監(jiān)控等對數(shù)據(jù)處理實時性要求比較高，同時又不需要支持歷史數(shù)據(jù)統(tǒng)計分析和重演的系統(tǒng)。（3）Lambda架構Lambda架構是現(xiàn)今企業(yè)用的最多的主流大數(shù)據(jù)架構。很多企業(yè)大數(shù)據(jù)架構基本都是Lambda架構或者其變種。Lambda架構主要運用于同時需要實時流處理和離線批量處理的場景。為了保證數(shù)據(jù)的實時處理和批量處理二者并存，Lambda架構的數(shù)據(jù)通道分為兩條：實時流和離線。實時流依照流式架構處理，進行實時在線流計算，以增量計算為主。而離線則主要為數(shù)據(jù)批量處理，以全量計算為主保障數(shù)據(jù)一致性。（4）Kappa架構Lambda架構運用非常廣泛，也能解決大多數(shù)業(yè)務場景的實時和批量處理需求。但是Lambda架構也有其自身不足。Lambda查詢結果來自于批處理層和快速計算層。而批處理層多用MapReduce、Spark等批處理技術，而快速計算層多用Flink、SparkStreaming和Storm等流計算技術。系統(tǒng)開發(fā)時就需要開發(fā)兩種完全不同的代碼，這非常不方便。因此，在Lambda架構的基礎上又提出了Kappa架構。Kappa架構的變革就是，在批處理層不再使用批處理技術，而也使用快速處理層的流計算技術。這樣一來，批處理層和快速處理層都是使用了相同的流處理邏輯，實現(xiàn)框架統(tǒng)一化，從而簡化了系統(tǒng)開發(fā)工作。（5）Unifield架構在傳統(tǒng)Lambda架構下，理論上快速處理層的輸出結果與批處理層的輸出結果在業(yè)務意義上是完全相同，如果我們分別用兩張數(shù)據(jù)庫的表來存儲批處理層和快速處理層的計算結果，那么這兩張數(shù)據(jù)庫表的表結構應該是相同的。只是數(shù)據(jù)記錄不一樣。但在實際應用中我們需要根據(jù)自己的需求對快速處理層做出改動。Unifield架構就是以Lambda架構為基礎，對其進行進一步改造，在快速處理層新增了機器學習模型。Hadoop生態(tài)系統(tǒng)組件有哪些，各自的作用是什么？（1）底層底層結構包括HDFS，MapReduce和Zookeeper。其中，HDFS是Hadoop分布式文件存儲系統(tǒng)。MapReduce是Hadoop的分布式并行運算框架。Zookeeper是一種基于HDFS和HBase的開源的分布式協(xié)調(diào)服務組件，由Facebook貢獻給Apache基金會。Zookeeper對Hadoop集群提供分布式鎖服務，用于解決多個進程同步控制問題，防止“臟數(shù)據(jù)”，保證分布式任務執(zhí)行的一致性。（2）數(shù)據(jù)收集處理轉(zhuǎn)換層數(shù)據(jù)收集處理轉(zhuǎn)換層結構包括HBase、Hive、Pig、Mahout、Sqoop和Flume。HBase（分布式列存數(shù)據(jù)庫）是一個針對結構化數(shù)據(jù)的可伸縮、高可靠、高性能、分布式和面向列的動態(tài)模式數(shù)據(jù)庫。和傳統(tǒng)關系數(shù)據(jù)庫不同，HBase采用了BigTable的數(shù)據(jù)模型，即增強的稀疏排序映射表（Key/Value）。在HBase中，數(shù)據(jù)的鍵由行關鍵字、列關鍵字和時間戳構成。HBase提供了對大規(guī)模數(shù)據(jù)的隨機、實時讀寫訪問，同時，HBase中保存的數(shù)據(jù)可以使用MapReduce來處理。Hive是一種基于平面文件而構建的分布式數(shù)據(jù)倉庫，主要用于數(shù)據(jù)展示，Hive提供了基于SQL的數(shù)據(jù)庫查詢語言，簡化了MapReduce編程難度。利用Hive，用戶只需寫SQL語句，而不需要編寫復雜的MapReduce程序就能運行MapReduce任務。Pig是一種基于大數(shù)據(jù)集的批量數(shù)據(jù)處理平臺，用于提供數(shù)據(jù)流處理的語言和運行環(huán)境，Pig提供一種專用的語言PigLatin。Pig主要用于數(shù)據(jù)準備階段，提供數(shù)據(jù)加載、合并、過濾排序等數(shù)據(jù)操作功能。Sqoop是一個數(shù)據(jù)接口，主要用來對HDFS和傳統(tǒng)關系數(shù)據(jù)庫中的數(shù)據(jù)進行數(shù)據(jù)傳輸。在數(shù)據(jù)傳輸過程中，也可以利用Sqoop來做數(shù)據(jù)清洗。Flume是一種分布式海量日志采集和傳輸?shù)南到y(tǒng)。用于對日志數(shù)據(jù)的收集和簡單的處理。它將數(shù)據(jù)從產(chǎn)生、傳輸、處理并最終寫入目標的路徑的過程抽象為一條數(shù)據(jù)流，在數(shù)據(jù)流中，數(shù)據(jù)源是數(shù)據(jù)發(fā)送方，F(xiàn)lume支持收集各種不同協(xié)議數(shù)據(jù)源數(shù)據(jù)。收集完數(shù)據(jù)后，F(xiàn)lume數(shù)據(jù)流能夠?qū)θ罩緮?shù)據(jù)進行簡單處理，例如過濾、格式轉(zhuǎn)換等。隨后，F(xiàn)lume數(shù)據(jù)流能夠?qū)⑻幚砗玫臄?shù)據(jù)寫往各種數(shù)據(jù)庫?？偟膩碚f，F(xiàn)lume是一個可擴展、適合復雜環(huán)境的海量日志收集工具。（3）數(shù)據(jù)挖掘?qū)訑?shù)據(jù)挖掘?qū)又饕抢脭?shù)據(jù)挖掘組件Mahout執(zhí)行數(shù)據(jù)挖掘任務。Mahout是Apache旗下的一個開源算法庫，主要用來做數(shù)據(jù)挖掘和機器學習，Mahout中包含許多已實現(xiàn)的算法，例如分類、回歸、聚類、協(xié)同過濾等。傳統(tǒng)的Mahout是提供的是Java的API，用戶應用會編譯成MapReduce的工作任務，運行在MapReduce的框架上，計算效率低?，F(xiàn)在，Spark的出現(xiàn)基本替代了MapReduce，Mahout也已經(jīng)停止接受新的MapReduce算法了，轉(zhuǎn)向支持Spark。（4）監(jiān)控和運維層監(jiān)控和運維層主要是利用監(jiān)控和運維組件對整個集群資源調(diào)度和任務運行進行監(jiān)控。在MRv1中一般使用Ambari來對集群進行監(jiān)控。Ambari是一款Hadoop集群監(jiān)控工具，提供對Hadoop集群進行部署，配置，升級和監(jiān)控的服務。HadoopMRv2版本生態(tài)系統(tǒng)在MRv1的基礎上引入了Yarn框架進行集群的資源管理調(diào)度。因為MapReduce本質(zhì)上是一個大數(shù)據(jù)批處理平臺。隨著社會的發(fā)展，批處理框架也越來越多，例如Spark、Flink等。同時，數(shù)據(jù)在線實時處理需求大幅增加。而MRv1不擅長處理實時數(shù)據(jù)，同時還有一些機器學習類的任務也不太適合用MRv1執(zhí)行。所以，Strom、Flink和SparkStreaming等實時計算框架應運而生，敘述實時計算和批量計算的定義和區(qū)別。答：批量計算指大規(guī)模數(shù)據(jù)的離線批量計算，計算數(shù)據(jù)量大，實時性要求不高，時延一般為小時級。實時計算指數(shù)據(jù)的在線實時計算，數(shù)據(jù)計算量較大，但是實時要求非常高，時延一般為秒級或毫秒級。畫出Hadoop2.x生態(tài)系統(tǒng)架構圖項目三Hadoop開發(fā)環(huán)境單機、偽分布式、完全分布式的差別是什么？答：單機模式下Hadoop運行只有一個Java進程，單機模式Hadoop只能讀取系統(tǒng)目錄下的本地文件。偽分布式配置Hadoop進程運行包含多個Java進程，節(jié)點既作為NameNode，也作為DataNode，偽分布式配置Hadoop可以讀取本地文件也可以讀取HDFS文件。完全分布式配置Hadoop進程運行包含多個Java進程，NameNode和DataNode節(jié)點由不同的機器擔任，完全分布式配置Hadoop可以讀取本地文件也可以讀取HDFS文件。Hadoop偽分布式環(huán)境為什么要設置免密碼登錄？答：Hadoop集群運行時，NameNode要遠程啟動DataNode守護進程，NameNode和DataNode之間需要遠程SSH通信。所以我們需要安裝SSH。但是Hadoop沒有區(qū)分完全分布式和偽分布式，對于偽分布式Hadoop仍然會采用與集群相同的處理方式，按次序啟動DataNode進程，只不過在偽分布式中NameNode和DataNode都為localhost，所以對于偽分布式，也必須要安裝SSH。Hadoop偽分布式core-site.xml需要配置哪些屬性，每個屬性的作用是什么？答：<configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop//hadoop-2.7.1/tmp</value><description>設置hadoop默認配置目錄</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value><description>設置hdfs集群訪問路徑</description></property></configuration>hadoop.tmp.dir用于設置hadoop默認配置目錄，fs.defaultFS用于設置hdfs集群訪問路徑。Hadoop偽分布式hdfs-site.xml需要配置哪些屬性，每個屬性的作用是什么？答：<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>.dir</name><value>file:/usr/local/hadoop/hadoop-2.7.1/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/hadoop-2.7.1/tmp/dfs/data</value></property></configuration>dfs.replication用于設置文件備份副本數(shù)，.dir是保存FsImage鏡像的目錄，作用是存放hadoop的名稱節(jié)點namenode里的metadata；dfs.datanode.data.dir是存放HDFS文件系統(tǒng)數(shù)據(jù)文件的目錄，作用是存放hadoop的數(shù)據(jù)節(jié)點datanode里的多個數(shù)據(jù)塊。使用HDFS命令進行如下操作：在HDFS上創(chuàng)建一個文件夾test，本地上傳一個文件到test目錄下，瀏覽該文件的內(nèi)容。答：可以參考如下格式hdfsdfs-mkdir/testhdfsdfs-put./test.txt/testhdfsdfs-cat/test/test.txt項目四1.常用的大數(shù)據(jù)采集工具有哪些？答：Flume和Kafka，scribe等。數(shù)據(jù)預處理的作用是什么，有哪幾種數(shù)據(jù)預處理的方法？答：從數(shù)據(jù)源采集的原始數(shù)據(jù)一般都是“臟”的，所謂“臟”就是數(shù)據(jù)不正常，會影響后續(xù)數(shù)據(jù)存儲和處理過程，甚至數(shù)據(jù)分析的準確性。常見的“臟”數(shù)據(jù)有數(shù)據(jù)缺失、數(shù)據(jù)值異常、數(shù)據(jù)格式不合要求等，這時候就需要我們對原始數(shù)據(jù)進行數(shù)據(jù)預處理操作，保證數(shù)據(jù)采集的數(shù)據(jù)質(zhì)量，以便后續(xù)步驟的順利進行。一般數(shù)據(jù)預處理主要分為以下幾個方面數(shù)據(jù)清洗，數(shù)據(jù)轉(zhuǎn)換，數(shù)據(jù)集成，數(shù)據(jù)規(guī)約。什么是爬蟲，爬蟲的作用是什么？答：網(wǎng)絡爬蟲是一個模擬人類請求網(wǎng)站行為的程序或腳本。網(wǎng)絡爬蟲可以自動請求網(wǎng)頁并使用一定的規(guī)則把我們所需要的有價并值的數(shù)據(jù)抓取下來。網(wǎng)頁的基本結構包含哪些？答：網(wǎng)頁一般由三部分組成，分別是HTML（超文本標記語言）、CSS（層疊樣式表）和JavaScript（活動腳本語言）。其中，HTML是整個網(wǎng)頁的框架。整個網(wǎng)頁由一些成對出現(xiàn)的HTML標簽組成。一個網(wǎng)頁一般分為有head和body兩部分，body內(nèi)部可以包含一些HTML標簽，HTML標簽里填充具體的網(wǎng)頁內(nèi)容，同時HTML標簽可以具有屬性，比如href屬性用于設置該標簽被點擊時進行超鏈接跳轉(zhuǎn)。CSS主要負責定義網(wǎng)頁的外觀樣式，比如長，寬，顏色等等。爬蟲程序如何進行數(shù)據(jù)爬??？答：爬蟲爬取網(wǎng)頁數(shù)據(jù)的基本過程類似于我們?yōu)g覽網(wǎng)頁的過程。主要分為兩個步驟。（1）Http-Request在Http-Request階段，爬蟲程序?qū)π枰廊?shù)據(jù)的網(wǎng)頁服務器發(fā)送Http請求，并等待網(wǎng)頁服務器的Http響應。（2）Http-Response在Http-Response階段，網(wǎng)頁服務器接收到請求后，驗證請求的合法性，然后將爬蟲程序請求的網(wǎng)頁數(shù)據(jù)封裝好，發(fā)送Http響應。爬蟲程序接收網(wǎng)頁服務器響應，經(jīng)過程序代碼的解析處理，獲取需要爬取的網(wǎng)頁內(nèi)容。項目五大數(shù)據(jù)計算框架的類別有哪些？常見的大數(shù)據(jù)計算框架有哪些？畫出HDFS架構圖。什么叫NoSQL數(shù)據(jù)庫，NoSQL數(shù)據(jù)庫的作用是什么？答：非關系（NoSQL）數(shù)據(jù)庫是一種易擴展、大數(shù)據(jù)量、高性能和靈活數(shù)據(jù)模型的數(shù)據(jù)庫。NoSQL數(shù)據(jù)庫主要用于存儲非結構化數(shù)據(jù)和半結構化數(shù)據(jù)。HBase數(shù)據(jù)庫前身是什么？答：谷歌bigtable。HBase數(shù)據(jù)庫是哪種NoSQL數(shù)據(jù)庫？HBase如何標識每條數(shù)據(jù)？答：HBase是基于Hadoop的面向列的NoSQL數(shù)據(jù)庫。HBase的數(shù)據(jù)存儲在數(shù)據(jù)單元中，每個數(shù)據(jù)單元通過行鍵、列簇、列限定符和時間戳共同組成的索引來標識的。敘述HBase數(shù)據(jù)庫如何進行數(shù)據(jù)存儲。答：假設有一張表，HBase會根據(jù)行鍵的值對該表中的行進行分區(qū)，每個行區(qū)間構成一個分區(qū)（Region），分區(qū)內(nèi)包含了位于這個行區(qū)間內(nèi)的所有數(shù)據(jù)。默認一張表的初始分區(qū)數(shù)為2個，隨著表中數(shù)據(jù)不斷增加，Region不斷增大，當增大到超過閾值的時候，一個Region就會分為兩個Region。表中的行越來越多，Region就越來越多。這么多Region需要一個“管家”來管理，這個管家就是RegionServer。RegionServer的管理原則為每個RegionServer負責管理一個或多個Region。不同的Region可以分布在不同的RegionServer上，但一個Region不會拆分到多個RegionServer上。Region并不是數(shù)據(jù)存儲的最小單元。Region往下還可以細分，每個Region又由一個或者多個Store組成，每個Store保存一個列族的數(shù)據(jù)。每個Store又由一個MemS