已閱讀5頁，還剩6頁未讀， 繼續(xù)免費閱讀
版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領
文檔簡介
文件數據源DStreams輸入文件數據源DStreams輸入概述/01DStreams輸入概述SparkStreaming原生支持一些不同的數據源。一些“核心”數據源已經被打包到SparkStreaming的Maven工件中，而其他的一些則可以通過spark-streaming-kafka等附加工件獲取。每個接收器都以Spark執(zhí)行器程序中一個長期運行的任務的形式運行，因此會占據分配給應用的CPU核心。此外，我們還需要有可用的CPU核心來處理數據。這意味著如果要運行多個接收器，就必須至少有和接收器數目相同的核心數，還要加上用來完成計算所需要的核心數。例如，如果我們想要在流計算應用中運行10個接收器，那么至少需要為應用分配11個CPU核心。DStreams輸入概述/02文件數據源文件數據流：能夠讀取所有HDFSAPI兼容的文件系統文件，通過fileStream方法進行讀取。創(chuàng)建方式：文本文件：文件數據源filewordcount:讀取HDFS上的/data目錄：文件數據源文件數據源文件數據源SparkStreaming將會監(jiān)控dataDirectory目錄并不斷處理移動進來的文件，目前不支持嵌套目錄。文件需要有相同的數據格式。
文件進入dataDirectory的方式需要通過移動或者重命名來實現。一旦文件移動進目錄，則不能再修改，即便修改了也不會讀取新數據。
如果文件比較簡單，則可以使用streamingContext.textFileStream(dataDirectory)方法來讀取文件。
文件流不需要接收器，不需要單獨分配CPU
溫馨提示
- 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 鄉(xiāng)村豪宅出租合同范本
- 代保管合同范本
- 華盛茶葉合同范本
- 農業(yè)投資內部合同范本
- 倉庫貨源轉讓合同范本
- 專利租賃合同范本
- 信用評級合同范本
- 農具批發(fā)采購合同范本
- 儀表制氮機采購合同范本
- 創(chuàng)建公司合同范本
- 密目網覆蓋施工方案
- 個體工商戶公司章程模板
- 放射科護士講課
- 學前兒童角色游戲的組織與指導（學前兒童游戲課件）
- 2024年湖南有色金屬職業(yè)技術學院單招職業(yè)技能測試題庫標準卷及解析
- 新藥研發(fā)的過程
- 浙教版一年級下冊勞動全冊教學課件
- 2024年臺州市宏泰供電服務有限公司招聘筆試參考題庫附帶答案詳解
- 廚房安全知識課件
- 部編版語文四年級下冊第四單元整體教學設計教案
- 水務集團每年試題及答案
評論
0/150
提交評論