大型網站技術架構方案總結及解析

1、 2013年9月l 大型網站架構的目標與挑戰(zhàn)大型網站架構的目標與挑戰(zhàn)l 網站架構各網站架構各子系統(tǒng)子系統(tǒng)介紹介紹l 網站網站監(jiān)控系統(tǒng)監(jiān)控系統(tǒng)l 討論討論及總結及總結定義： IDtN （I dont know, 沒有統(tǒng)一標準。）PV1M網站內容 “動態(tài)” 每個目標背后面臨著技術、設計、維護等諸多方面的挑戰(zhàn)。 而目標本身的期望值也會根據實際情況進行調整，這也意味著網站架構建設是個不網站架構建設是個不斷調整的過程斷調整的過程 負載均衡 數據備份 異地容災 。 高速緩存 并行計算 異地鏡像 。 開發(fā)框架 多層設計 業(yè)務分割 。l 大型網站架構的目標與挑戰(zhàn)大型網站架構的目標與挑戰(zhàn)l 網站架構各子系統(tǒng)網站

2、架構各子系統(tǒng)介紹介紹l 網站監(jiān)控系統(tǒng)網站監(jiān)控系統(tǒng)l 討論及總結討論及總結lWeb前 端系統(tǒng)l負 載均衡系統(tǒng)l數 據庫集群系統(tǒng)l緩 存系統(tǒng)l分 布式存儲系統(tǒng)l分 布式服務器管理系統(tǒng)l代 碼分發(fā)系統(tǒng)lWebWeb動、靜分離動、靜分離 CDN、GADl瀏覽器緩存瀏覽器緩存: : Header參數HTTP1.1協(xié)議+GET、-POSTContent-Encoding、 gzip+Cookie、- Sessions, AJAXPLUGINPLUGINHTML5HTML5 能夠讓瀏覽器緩存的數據一定要緩存；瀏覽器能夠處理的運算，決不放在服務器端來處理。lWeb前端系統(tǒng)l負載均衡系統(tǒng)l數據庫集群系統(tǒng)l緩存系

3、統(tǒng)l分布式存儲系統(tǒng)l分布式服務器管理系統(tǒng)l代碼分發(fā)系統(tǒng)大型網站解決高負荷訪問和大量并發(fā)請求采用的終極解決辦法Http serverHttp serverReverse ProxyMail Mail serverserverLB server: 50,000 connectionBug free7*24Easy to upgradelWeb前端系統(tǒng)l負載均衡系統(tǒng)l數據庫集群系統(tǒng)l緩存系統(tǒng)l分布式存儲系統(tǒng)l分布式服務器管理系統(tǒng)l代碼分發(fā)系統(tǒng)整個網站體系的高可靠性保證l數據庫服務器和應用服務器分離l讀寫分離讀寫分離l主從同步、備份機制主從同步、備份機制l讀、寫數據庫集群l從數據庫負載均衡: BigI

4、PlWeb前端系統(tǒng)l負載均衡系統(tǒng)l數據庫集群系統(tǒng)l緩存系統(tǒng)l分布式存儲系統(tǒng)l分布式服務器管理系統(tǒng)l代碼分發(fā)系統(tǒng)緩存分為文件緩存、內存緩存、數據庫緩存。在大型Web應用中使用最多且效率最高的是內存緩存l數據庫緩存數據庫緩存Query CacheData BufferApp server cachel前端頁面緩存前端頁面緩存采用具備緩存功能的http反向代理服務器作前端頁面緩存器，VarnishSquidNcacheAiCache(商業(yè))【硬件F5】lWeb前端系統(tǒng)l負載均衡系統(tǒng)l數據庫集群系統(tǒng)l緩存系統(tǒng)l分布式存儲系統(tǒng)l分布式服務器管理系統(tǒng)l代碼分發(fā)系統(tǒng)l 存儲量很大：相冊、視頻l 負載均衡cl

5、uster中的每個節(jié)點操作的數據從邏輯上看只能是一個整體，不是各自獨立的數據資源l開源的輕量級分布式文件系統(tǒng)l文件存儲、文件同步、文件訪問l動態(tài)添加，方便擴充lWeb前端系統(tǒng)l負載均衡系統(tǒng)l數據庫集群系統(tǒng)l緩存系統(tǒng)l分布式存儲系統(tǒng)l分布式服務器管理系統(tǒng)l代碼分發(fā)系統(tǒng)目標：l集中式的、分組的、批量的、自動化的對服務器進行管理，能夠批量化的執(zhí)行計劃任務l 高效的實現大規(guī)模的服務器集群管理執(zhí)行基于策略的配置管理 l完成后期安裝任務，例如配置網絡界面信息； l編輯系統(tǒng)配置文件以及其它文件；l管理系統(tǒng)服務器進程；l檢驗、更正文件許可及所有權；l刪除無用文件、壓縮被選文件、在網絡中分發(fā)文件； l自動掛載N

6、FS文件系統(tǒng)； l檢查重要文件和文件系統(tǒng)是否存在及其完整性。 l執(zhí)行命令及腳本。 l應用安全相關的補丁以及相似系統(tǒng)的修正。 。 。lWeb前端系統(tǒng)l負載均衡系統(tǒng)l數據庫集群系統(tǒng)l緩存系統(tǒng)l分布式存儲系統(tǒng)l分布式服務器管理系統(tǒng)l代碼分發(fā)系統(tǒng)l開發(fā)環(huán)境內測環(huán)境公測環(huán)境生產環(huán)境l源代碼管理和版本控制SVN:l管理方便，邏輯明確，符合一般人思維習慣；l易于管理，集中式服務器更能保證安全性；l代碼一致性非常高，更新速度快；l適合開發(fā)人數不多的項目開發(fā)；l學習成本低，快速上手Rsync (remote sync)l可以鏡像保存整個目錄樹和文件系統(tǒng)；l可以很容易做到保持原來文件的權限、時間、軟硬鏈接等等；l無須特殊權限即可安裝;l快速、安全、支持匿名傳輸，以方便進行網站鏡象。l 大型網站架構的目標與挑戰(zhàn)大型網站架構的目標與挑戰(zhàn)l 網站架構各子系統(tǒng)網站架構各子系統(tǒng)介紹介紹l 網站監(jiān)控系統(tǒng)網站監(jiān)控系統(tǒng)l 討論及總結討論及總結Nagios (實時)Munin (趨勢)Drraw (匯聚)l 大型網站架構的目標與挑戰(zhàn)大型網站架構的目標與挑戰(zhàn)l 網站架構各子系統(tǒng)網站架構各子系統(tǒng)介紹介紹l 網站監(jiān)控系統(tǒng)網站監(jiān)控系統(tǒng)l 討論及總結討論及總結l大型大型網站架構是怎么樣子的？網站架構是怎么樣子的？ l存在存在萬能的架構嗎？架構本