最全面的門戶網站架構設計方案.doc

1、最全面的門戶網站架構設計方案公開內部公開機密絕密，9/1明間，同時俄羅斯超過 10月 發(fā)表的 GoogleFileSystem（GFS）論文。特性1）硬件要求低2）高容錯性3）易可擴展4）配置簡單5） 超大文件HDFS采用master/slave架構。一個HDFS集群是由一個 Namenode和一定數目的 Datanodes 組成。公開內部公開機密絕密，9/16版權所有，侵權必究 Allrightsreserved 第 18 頁共 39 頁 Page18,Total390 NFS 與 GFS 比較首先從它們的功能上進行分析。NFS即網絡文件系統(tǒng)，是由 SUN公司開發(fā)的。它是FreeBSD支持的

2、文件系統(tǒng)中的一種，允許一個系統(tǒng)在網 絡上與它人共享目錄和文件。通過使用NFS,用戶和程序訪問遠端系統(tǒng)上的文件就像訪問 本地文件一樣。而GFS是Google為了滿足本公司迅速增長的數據處理要求 而開發(fā)的文件系統(tǒng)。GFS是一個可擴展的分布式文件系統(tǒng)，用于大型的、分布式 的、對大量數據進行訪問的應用。它是針對Google的計算機集群進行設計的，專門是為Google 頁面搜索的存儲進行了優(yōu)化。所以從功能上看，它們兩者是完全不同的概念。其次從結構上比較，NFS至少包括兩個主要部分：一臺服務 器，以及至少一臺客戶機。被共享的目錄和文件存放在服務器上，客戶機遠程地訪問保 存在服務器上的數據。GFS則由一臺M

3、aster（通常有幾臺備份）和若干臺TrunkServer 構成。GFS中文件備份成固定大小的Trunk分別存儲在不同的TrunkServer上，每個Trunk有多份（比如3）拷貝，也存儲在不同 的 TrunkServer 上。Master負責維護 GFS中的Metadata,即文件名及其 Trunk信 息。客戶端先從Master上得到文件的Metadata,根據要讀取的數 據在文件中的位置與相應的 TrunkServer通信，獲取文件數據。再從跨平臺性上，NFS的基本原則是 容許不同的客戶端及服 務端通過一組 RPCs分享相同的文件系統(tǒng)”，它是獨立于操作系 統(tǒng)的，容許不同的操作系統(tǒng)共同地進行

4、文件的共享。而GFS則沒有這一特點，文件只能被集群系統(tǒng)中的PC所訪問，而且這些PC的操作系統(tǒng)一般是Linux。最后從規(guī)模上比較，HDFS只應用在大批量的數據共享上。目前Google擁有超過200個的GFS集群，其中有些集群的 PC數量超過5000臺。集群的數據存儲規(guī)模可以達到 5個PB,并且集群中的數據讀寫吞吐量可達到每秒40G而NFS 一般沒有這么巨大的規(guī)模。2 .文件的多服務器自動同步使用Linux2.6內核的inotify監(jiān)控Linux文件系統(tǒng)事件。利用開源的lsync監(jiān)聽某一目錄，如果目錄內文件發(fā)生增、刪、 改，利用Rsync協(xié)議自動同步到多臺服務器。3 .圖片服務器分離特別是如果程序

5、與圖片都放在同一個 APAHCE的服務器下，每一個圖片的請求都有可能導致一個 HTTPD進程的調用。使用獨立的圖片服務器不但可以避免以上這個情況，更可以 對不同的使用性質的圖片設置不同的過期時間，以便同一個用戶在不同頁面訪問相同圖片時不會再次從服務器（基于是緩存服務器）取數據，不但快速，而且還省了帶寬。還有就是，對于緩存的時間上，亦可以做獨立公開內部公開 機密絕密，9/1皈權所有，侵權必究 Allrightsreserved第19頁，共 39 頁 Page19,Total39的調節(jié)。2.3.6網絡問題解決方案你不可能要求所有的使用人員，者B和 你的服務器在一個運營商的網絡內，而不同網絡之間訪問

6、速度會很慢，我們可以采用鏡像網站和引入CDN來解決這一問題。智智能能DNS解解析析電電信信機機房房服服務務器器 1服 服務務器器n動態(tài)內容（社區(qū)、投票、調查、搜索、點評、視頻） 靜態(tài)內容（靜態(tài)網頁、圖片）多多線線機機房房服服務務器器1服服務務器器n服服務務器器1服服務務器器n網網通通機機房房其其他他用用戶戶網網通通用用戶戶用戶CDN電電信信用用戶戶1.智能DNS解析我們可以在不同的網絡運營商部署web服務器，通過linux上的rsync工具自動同步到不同網絡接入商的 web服務器上，以作為主站的鏡像。然后通過配置智能 DNS解析來引導不同網絡的訪問用戶到 對應的網絡運營商的 web服務器。2.

7、CDN如果有足夠的投資，也可以采用 CDN（內容分發(fā)網）， 把靜態(tài)內容（靜態(tài)頁面和圖片）進行 CDN緩存，以減輕服務器 壓力。CDN的全稱是的全稱是 ContentDeliveryNetwork ,即內容分 發(fā)網絡。它采取了分布式網絡，即內容分發(fā)網絡。它采取了分布式網絡緩存結構（即國際上流行的緩存結構（即 國際上流行的 webcache技術），其目的是通過在現(xiàn)有的技術）， 其目的是通過在現(xiàn)有的Internet中增中增加一層新的網絡架構， 將網站的內容發(fā)布到最接近用戶的網絡加一層新的網絡架構，將網站的內容發(fā)布到最接近用戶的網絡邊緣邊緣；使用戶可，使用戶可公開內部公開機密絕密，9/16版權所有，侵

8、權必究 Allrightsreserved 第 20 頁，共 39 頁 Page20,Total39以就近取得所需 的內容，解決以就近取得所需的內容，解決 Internet網絡擁擠的 狀況，提高用戶訪問網站的響網絡擁擠的狀況，提高用戶訪問網站的響應速度。從技術上全面解決由于網絡帶寬小、用戶訪問量大、網點分 布不均等原應速度。從技術上全面解決由于網絡帶寬小、用戶訪問量大、網點分 布不均等原因所造成的用戶訪問網站響應速度慢的問題。因所造成的用戶訪問網站響應速度慢的問題。（也就是一個服務器的內容，平均也就是一個服務器的內容， 平均分部到多個服務器上， 服務器智能識別，讓用戶獲取離用戶 最近的服務器，

9、提高分部到多個服務器上，服務器智能識別，讓 用戶獲取離用戶最近的服務器，提高速度。速度。目前，國內訪問量較高的大型網站如新浪、網易等，均使用 目前，國內訪問量較高的大型網站如新浪、網易等，均使用CDN網絡加速技網絡加速技術， 雖然網站的訪問巨大，但無論在什么 地方訪問都會感覺速度很快。而一般術，雖然網站的訪問巨大，但無論在什么地方訪問都 會感覺速度很快。而一般的網站如果服務器在網通，電信用戶訪問很慢，如果 服務器在電信，網通用戶的網站如果服務器在網通，電信用戶訪問很慢，如果服務器在電信，網通用戶訪問又很慢。訪問又很慢。2.3.7WEB應用開發(fā)架構設計思路 1.基于MVC的三層應用開發(fā)架構應用開

10、發(fā)實現(xiàn) MVC三層架構進行 web應用開發(fā)，采用 ibatis作為持久層框架，c3p0作為數據庫連接池。iBATIS是一個可以設計和實現(xiàn)更好的Java應用程序持久化層的框架。iBATIS把對象和存儲過程或者使用XML描述符的SQL語句進行了關聯(lián)。簡單是iBATIS最大的優(yōu)勢ibatis-使用ibatis的十個理由1.至少能操作10種以上的數據庫2.可配置的caching（包括從屬）3. 支持 DataSource localtransactionmanagemen和 globaltransaction4. 簡單的XML配置文檔5.支持Map,Collection,List和簡單類型包 裝（如 Integer,Strin