全文預覽已結束
下載本文檔
版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領
文檔簡介
SparkSQL簡介從shark說起Shark即HiveonSparkShark的設計導致了兩個問題：（1）執(zhí)行計劃優(yōu)化完全依賴于Hive，不方便添加新的優(yōu)化策略；
（2）因為Spark是線程級并行，而MapReduce是進程級并行，因此，Spark在兼容Hive的實現上存在線程安全問題，導致Shark不得不使用另外一套獨立維護的打了補丁的Hive源碼分支。SparkSQL架構ScalaSparkSQL(DataFrame)PythonJavaHiveQLSQL
92HDFSHiveCassandraJSON為什么推出Spark首先，可以提供DataFrameAPI，可以對內部和外部各種數據源執(zhí)行各種關系操作其次，可以支持大量的數據源和數據分析算法SparkSQL可以融合：傳統(tǒng)關系數據庫的結構化數據管理能力和機器學習算法的數據處理能力SparkSQL架構PersonNameAgeHeightPersonPersonPersonPersonPersonRDD[Person]StringStringStringStringStringStringIntIntIntIntIntIntDoubleDoubleDouble
溫馨提示
- 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025至2031年中國銅腔定音鼓行業(yè)投資前景及策略咨詢研究報告
- 2025年度戶外廣告牌設計制作合同范本
- 2025年度智能家居進戶門系統(tǒng)集成合同模板
- 2025年度拱橋施工合同：橋梁施工安全防護用品供應協議
- 2025年度新能源電池研發(fā)與生產合同范本
- 2025年度專業(yè)庫房租賃及倉儲物流一體化服務合同
- 2025年度新型環(huán)保漿砌擋土墻施工合同
- 2025年度企業(yè)合規(guī)管理體系認證服務合同
- 2025年度工傷賠償理賠流程優(yōu)化合同
- 2025年度智能穿戴設備技術研發(fā)與制造技術服務合同
- 2025年廣州中醫(yī)藥大學順德醫(yī)院(佛山市順德區(qū)中醫(yī)院)招考聘用高頻重點提升（共500題）附帶答案詳解
- 2025年華僑港澳臺學生聯招考試英語試卷試題（含答案詳解）
- 2025-2030年中國美容院行業(yè)營銷創(chuàng)新戰(zhàn)略制定與實施研究報告
- 2024-2025學年北京石景山區(qū)九年級初三（上）期末語文試卷（含答案）
- 第一章 整式的乘除 單元測試（含答案） 2024-2025學年北師大版數學七年級下冊
- 2024人教版英語七年級下冊《Unit 3 Keep Fit How do we keep fit》大單元整體教學設計2022課標
- 藥品流通監(jiān)管培訓
- JD37-009-2024 山東省存量更新片區(qū)城市設計編制技術導則
- 中國高血壓防治指南(2024年修訂版)
- 北京市海淀區(qū)重點中學2025屆高考數學押題試卷含解析
- 2024EPC施工總包合同范本
評論
0/150
提交評論