分布式實時處理系統(tǒng)（原理、架構(gòu)與實現(xiàn)）

分布式實時處理系統(tǒng)原理、架構(gòu)與實現(xiàn)注：原文檔電子版（非掃描），需要的請下載本文檔后留言謝謝。目錄\h第1章分布式計算概述\h1.1分布式概念\h1.2分布式計算及其原理\h1.3分布式系統(tǒng)特性\h1.3.1容錯性\h1.3.2高可擴展性\h1.3.3開放性\h1.3.4并發(fā)處理能力\h1.3.5透明性\h1.4通用分布式計算系統(tǒng)\h1.4.1ApacheHadoop\h1.4.2ApacheSpark\h1.4.3ApacheStorm\h1.5分布式存儲系統(tǒng)\h1.5.1分布式存儲概念\h1.5.2分布式存儲系統(tǒng)特點\h1.5.3分布式存儲系統(tǒng)分類\h1.5.4常見分布式存儲系統(tǒng)\h1.6本章小結(jié)\h第2章分布式系統(tǒng)通信基礎(chǔ)\h2.1時代的浪潮\h2.1.1集中式通信網(wǎng)\h2.1.2去中心化\h2.2可靠的數(shù)據(jù)鏈路\h2.2.1數(shù)據(jù)分組\h2.2.2幀同步\h2.2.3差錯控制\h2.2.4鏈路管理\h2.2.5問題與解決方案\h2.3分層架構(gòu)\h2.4網(wǎng)絡(luò)層\h2.4.1尋找路徑\h2.4.2網(wǎng)絡(luò)分層\h2.4.3TCP/IP概述\h2.4.4IP協(xié)議\h2.5傳輸層\h2.5.1數(shù)據(jù)自動分包\h2.5.2端到端的傳輸\h2.5.3數(shù)據(jù)的可靠傳輸\h2.6應(yīng)用層\h2.6.1ping\h2.6.2telnet\h2.6.3OSPF\h2.6.4DNS\h2.6.5HTTP協(xié)議\h2.7基于消息協(xié)議的公告牌\h2.7.1需求描述\h2.7.2制定協(xié)議\h2.8分布式通信舉例——MapReduce\h2.9本章小結(jié)\h第3章通信系統(tǒng)高層抽象\h3.1RPC介紹\h3.2RESTful\h3.2.1資源和表現(xiàn)層\h3.2.2狀態(tài)轉(zhuǎn)移\h3.2.3RESTful總結(jié)\h3.3消息隊列\(zhòng)h3.4序列化\h3.5使用Thrift實現(xiàn)公告牌服務(wù)\h3.5.1ApacheThrift介紹\h3.5.2安裝ApacheThrift\h3.5.3編寫Thrift文件\h3.5.4實現(xiàn)服務(wù)器\h3.5.5實現(xiàn)客戶端\h3.6本章小結(jié)\h第4章走進C++高性能編程\h4.1基于C++的留言板系統(tǒng)\h4.1.1基于Socket的通信\h4.1.2C++中的內(nèi)存與資源管理\h4.2來自服務(wù)器的天書\h4.2.1編碼\h4.2.2C++98的編碼缺陷\h4.2.3C++11編碼支持\h4.3繁忙的服務(wù)器\h4.3.1分身乏術(shù)\h4.3.2fork——分身術(shù)\h4.3.3進程間通信\h4.3.4輕量級分身——線程\h4.3.5C++11線程\h4.3.6競爭問題與解決方案\h4.3.7多線程優(yōu)化\h4.3.8異步I/O\h4.4消失不見的內(nèi)存\h4.4.1內(nèi)存分配與內(nèi)存碎片\h4.4.2tcmalloc\h4.4.3內(nèi)存池\h4.5本章小結(jié)\h第5章分布式實時處理系統(tǒng)\h5.1Hadoop與MapReduce\h5.1.1HDFS\h5.1.2MapReduce模型\h5.2Storm實時處理系統(tǒng)\h5.2.1歷史\h5.2.2計算模型\h5.2.3總體架構(gòu)\h5.2.4Storm元數(shù)據(jù)\h5.2.5Storm與Hadoop比較\h5.3有保證的消息處理\h5.3.1完全處理與元組樹\h5.3.2元組的唯一標識\h5.3.3確認和失敗\h5.3.4高效實現(xiàn)\h5.4本章小結(jié)\h第6章實時處理系統(tǒng)編程接口設(shè)計\h6.1總體架構(gòu)設(shè)計\h6.1.1Hurricane與Storm比較\h6.1.2總體架構(gòu)\h6.1.3任務(wù)接口\h6.2消息源接口設(shè)計\h6.3消息處理器接口設(shè)計\h6.4數(shù)據(jù)收集器設(shè)計\h6.5元組接口設(shè)計\h6.6序列化接口設(shè)計\h6.7本章小結(jié)\h第7章服務(wù)組件設(shè)計與實現(xiàn)\h7.1Executor設(shè)計與實現(xiàn)\h7.1.1事件驅(qū)動的消息隊列\(zhòng)h7.1.2動態(tài)裝載技術(shù)\h7.1.3Executor實現(xiàn)\h7.2Task設(shè)計與實現(xiàn)\h7.3本章小結(jié)\h第8章管理服務(wù)設(shè)計與實現(xiàn)\h8.1President功能與設(shè)計\h8.2President實現(xiàn)\h8.2.1簡單的網(wǎng)絡(luò)通信實現(xiàn)\h8.2.2Topology裝載實現(xiàn)\h8.2.3Manager管理調(diào)度實現(xiàn)\h8.2.4序列化實現(xiàn)\h8.3本章小結(jié)\h第9章實時處理系統(tǒng)編程接口實現(xiàn)\h9.1消息源接口實現(xiàn)\h9.1.1消息源執(zhí)行器\h9.1.2WordCount實現(xiàn)實例\h9.2消息處理單元接口實現(xiàn)\h9.2.1消息處理單元執(zhí)行器\h9.2.2事件處理\h9.2.3WordCount實現(xiàn)實例\h9.3數(shù)據(jù)收集器實現(xiàn)\h9.3.1分發(fā)策略\h9.3.2傳輸層實現(xiàn)\h9.4本章小結(jié)\h第10章可靠消息處理\h10.1基本概念\h10.1.1完全處理\h10.1.2失敗與重發(fā)\h10.2接口設(shè)計\h10.3具體實現(xiàn)\h10.3.1簡單實現(xiàn)\h10.3.2高效實現(xiàn)\h10.4本章小結(jié)\h第11章通信系統(tǒng)設(shè)計與實現(xiàn)\h11.1I/O多路復用方案解析\h11.1.1基本網(wǎng)絡(luò)編程接口\h11.1.2非阻塞的服務(wù)器程序\h11.1.3使用select（）接口的基于事件驅(qū)動的服務(wù)器模型\h11.1.4使用epoll實現(xiàn)異步事件通知模型\h11.2基礎(chǔ)工具\h11.2.1線程工具\h11.2.2日志工具\h11.3傳輸層實現(xiàn)\h11.3.1Reactor模式\h11.3.2定義抽象TP傳輸層\h11.3.3實現(xiàn)基于epoll的TP傳輸層\h11.3.4實現(xiàn)基于IOCP的TP傳輸層\h11.4應(yīng)用層HTTP實現(xiàn)\h11.4.1HttpContext\h11.4.2HttpRequest\h11.4.3HttpResponse\h11.4.4HttpConnection\h11.4.5HttpServer\h11.4.6總結(jié)\h11.5跨平臺分割編譯\h11.5.1Makefile\h11.5.2Kake\h11.6與實時處理系統(tǒng)集成\h11.6.1修改NetListener\h11.6.2修改NetConnector\h11.7本章小結(jié)\h第12章事務(wù)性Topology實現(xiàn)\h12.1Exact-once語義解決方案\h12.2設(shè)計細節(jié)\h12.2.1構(gòu)造事務(wù)性Topology\h12.2.2消息處理單元\h12.3事務(wù)性TopologyAPI\h12.3.1消息處理單元\h12.3.2事務(wù)性消息源\h12.4本章小結(jié)\h第13章多語言接口\h13.1C語言通用接口\h13.1.1元組接口\h13.1.2消息源接口\h13.1.3消息處理單元接口\h13.1.4計算拓撲接口\h13.2Python接口\h13.2.1ctypes\h13.2.2元組接口\h13.2.3消息源接口\h13.2.4消息處理單元接口\h13.2.5計算拓撲接口\h13.2.6應(yīng)用示例\h13.3JavaScript接口\h13.3.1V8引擎\h13.3.2Node.js\h13.3.3V8的互操作接口\h13.3.4任務(wù)接口\h13.3.5消息源接口\h13.3.6消息處理單元接口\h13.3.7計算拓撲接口\h13.3.8應(yīng)用示例\h13.4Java接口\h13.4.1任務(wù)接口\h13.4.2消息源接口\h13.4.3消息處理單元接口\h13.4.4計算拓撲接口\h13.4.5本地代碼\h13.4.6應(yīng)用示例\h13.5Swift接口\h13.5.1應(yīng)用范圍\h13.5.2任務(wù)接口\h13.5.3消息源接口\h13.5.4消息處理單元接口\h13.5.5計算拓撲接口\h13.6本章小結(jié)\h第14章Squared設(shè)計與實現(xiàn)——實現(xiàn)高級抽象元語\h14.1StormTrident介紹\h14.1.1Squared示例\h14.1.2DRPC示例\h14.2Squared實現(xiàn)\h14.2.1SquaredTopology和Spout\h14.2.2SquaredBolt\h14.2.3Stream\h14.2.4狀態(tài)存儲\h14.2.5DRPC實現(xiàn)\h14.2.6操作與處理節(jié)點\h14.2.7流操作\h14.3本章小結(jié)\h第15章實戰(zhàn)：日志流處理\h15.1日志流處理設(shè)計方案\h15.2實現(xiàn)Topology\h15.2.1編寫消息源\h15.2.2編寫索引消息處理單元\h15.2.3編寫統(tǒng)計消息處理單元\h15.3本章小結(jié)\h第16章實戰(zhàn)：頻繁組合查找\h16.1背景介紹\h16.1.1數(shù)據(jù)挖掘概念\h16.1.2關(guān)聯(lián)規(guī)則和頻繁項集\h16.1.3啤酒與尿布\h16.2頻繁二項集挖掘方法\h16.2.1頻繁二項集\h16.2.2算法設(shè)計思路\h16.2.3Hurricane實現(xiàn)思路\h16.3編寫Spout\h16.4編寫B(tài)olt\h16.4.1SplitBolt\h16.4.2PairCountBolt\h16.4.3PairTotalCountBolt\h16.4.4ConfidenceComputeBolt\h16.4.5SupportComputeBolt\h16.4.6FilterBolt\h16.5編寫Topology\h16.6本章小結(jié)\h第17章實戰(zhàn)：在AWS和阿里云上部署Hurricane實時處理系統(tǒng)\h17.1AWS部署\h17.1.1搭建虛擬私有云\h17.1.2