千兆以太網(wǎng)及小型機集群系統(tǒng)證券營業(yè)部的成功應用

1、千兆以太網(wǎng)及小型機集群系統(tǒng)證券營業(yè)部的成功應用顧紅用戶需求與問題任何一個做為營業(yè)部領導的企業(yè)家，非常清楚經(jīng)營是需要投資的，但投資必須要獲得增值的效益。那么哪些是可以使投資獲益的呢？其中一項就是做為營業(yè)部核心的計算機系統(tǒng)。這個計算機系統(tǒng)要求第一：可靠不能停機，第二：性能高、速度快。如果系統(tǒng)發(fā)生停機，將給營業(yè)部造成巨大的損失。如果系統(tǒng)性能低、速度慢，各項交易業(yè)務就不能正常運行，影響委托交易量。重慶國投北京證券營業(yè)部做為一家異地券商，規(guī)模較大。網(wǎng)絡信息點1200個，交易時，網(wǎng)上在線用戶數(shù)750個。問題一：但隨著證券市場的發(fā)展，營業(yè)部的發(fā)展，幾年前的計算機系統(tǒng)已經(jīng)開始阻礙其正常的交易業(yè)務，主要體現(xiàn)在：

2、行情“火爆”時，交易量大時，兩市交易量超過500億時，交易系統(tǒng)有發(fā)生“堵單”現(xiàn)象，為了減輕股民委托“堵單”的發(fā)生，營業(yè)部不得不限制交易期間股民的交割、查詢等交易基本服務，從而影響了營業(yè)部的服務質量和形象。問題二：上網(wǎng)慢，“錢龍”分析系統(tǒng)在使用過程中發(fā)生“黑屏”現(xiàn)象。這些都直接影響了營業(yè)部交易量的增長。諾威解決方案經(jīng)過系統(tǒng)分析，“問題一”被確定是由于交易服務器硬件處理能力達到了極限而發(fā)生的，原交易服務器是Compaq ProLiant 5000 Server，內存512MB，CPU是雙Intel Pentium Pro 200MHz，系統(tǒng)軟件是NT4.0 + SQL Server 6.5?！皢栴}

3、二”被確定是由于網(wǎng)絡設備和網(wǎng)絡結構以及行情服務器硬件承載能力不夠而產生的，原來的網(wǎng)絡設備是由3Com Switch 3000為核心，Switch 1000為二級交換機和幾十臺3Com Hub組成的三級網(wǎng)絡結構。原行情服務器是Compaq ProLiant 5000 Server，內存512MB，CPU是雙Intel Pentium Pro 200MHz，磁盤I/O是40Mb/s吞吐量的Smart-2DH Array Controller，配置為RAID5的三塊7200rpm硬盤，系統(tǒng)軟件是NetWare4.11 1000Users + Novell Pack 5。解決“問題一”的方案，經(jīng)過論證

4、，最合理的就是采取價格便宜、性能高超的Alpha小型機集群解決方案。解決“問題二”的方案，經(jīng)過論證，最合理的就是采取性能高，功能全面的Cisco千兆網(wǎng)絡解決方案，以及采用Compaq ProLiant 7000/450Xeon做為行情服務器的方案。為什么選用Cisco的千兆網(wǎng)絡產品做為解決方案，首先是技術定位，那么肯定是選擇千兆以太網(wǎng)技術，Gigabit Ethernet的優(yōu)勢表現(xiàn)在： 1. 低價位的高帶寬，與現(xiàn)有的Ethernet,Fast Ethernet平滑相連；2. 利用現(xiàn)有的Ethernet知識就可以管理、監(jiān)視和維護Gigabit Ethernet； 3. Gigabit Ether

5、net是組建核心骨干網(wǎng)的技術； 4. 基于RSVP和IEEE802.1Q/p標準實現(xiàn)CoS,從而提供不同的服務等級。我們認為選擇千兆以太網(wǎng)技術是營業(yè)部網(wǎng)絡發(fā)展的唯一選擇，第一就是解決行情“火爆”和交易量大時，出現(xiàn)的網(wǎng)絡“瓶頸”問題，第二就是保護營業(yè)部的投資，為營業(yè)部的發(fā)展提供充分保障，有足夠的帶寬為股民在網(wǎng)上提供多種增值服務，如“網(wǎng)吧”、多媒體信息服務、即時視頻新聞服務等。目前，較大規(guī)模營業(yè)部的計算機網(wǎng)絡的骨干連接全部都是100Mbps，骨干連接是指服務器與中心交換機之間的連接，和中心交換機與第二級交換機之間的連接。Cisco公司的千兆網(wǎng)絡產品功能非常全面，解決了重慶國投北京營業(yè)部在網(wǎng)絡方面需

6、要的可靠性，線路冗余和平衡負載，故障迅速恢復連接，以及MAC地址在交換機上的端口限制，解決網(wǎng)絡接入的安全性問題。我們只用到其中3個功能就解決了重慶國投北京營業(yè)部網(wǎng)絡方面的問題： 1. Cisco的GEC（Gigabit EtherChannel）技術，實現(xiàn)核心網(wǎng)絡連接的線路冗余和平衡負載； 2. 在spanning tree標準中用到Cisco的Uplink Fast功能實現(xiàn)線路的迅速恢復連接，恢復過程只有1秒鐘的延時，達到只丟一個ping包的優(yōu)異性能； 3. 在交換機上采用Cisco的MAC地址限制功能實現(xiàn)網(wǎng)絡用戶接入的安全保障，不良動機的股民不能連入網(wǎng)內。 交易主機采用兩臺Compaq D

7、igital Server 5305，內存512MB，64位Alpha 533MHz芯片，4MB Cache。Compaq Digital RA3000磁盤陣列柜做RAID5，存放交易數(shù)據(jù)庫。這個RA3000磁盤陣列柜采用的是204W雙路電源，雙磁盤控制器，不存在單點故障。系統(tǒng)安裝Windows NT 4.0，集群軟件采用Digital Cluster Software，當硬性關掉主機，輔機帶庫接管時間整個過程不超過2分鐘。行情服務器上安裝2塊Intel 8490千兆網(wǎng)卡，2條尾纖分別連接2臺Cisco 4003上的6口千兆模塊上，采用Intel網(wǎng)卡的AFT技術，實現(xiàn)兩塊網(wǎng)卡互為備份和數(shù)據(jù)傳輸

8、的平衡負載。承擔交易業(yè)務的Digital Server 5305 Cluster小型機通過2條100M雙絞線同時連接到Cisco 4003上的48口模塊上。核心交換機是Cisco Catalyst 4003，用兩臺Catalyst 4003千兆交換機，替換原有的3Com 3000交換機，同時兩臺Catalyst 4003交換機通過2條尾纖采用Cisco GEC Gigabit EtherChannel連接起來，實現(xiàn)4G的帶寬聚合主干連接，并實現(xiàn)線路冗余的可靠性備份。原有的3Com交換機連接到機房的雙絞線，全部連接到一臺Cisco 2948G上。Cisco 2948G上的2個千兆口分別連接到Ci

9、sco 4003上的6口千兆模塊上，采用Spanning tree中的Cisco UplinkFast技術，實現(xiàn)線路的迅速恢復，工作站用戶感覺不到，保障了二級線路連接的可靠性。其余的30多臺3Com Hub的連接被分為兩個部分，其中半數(shù)連接是直接連接到Cisco 4003上的48口10/100TX模板上，分享Cisco 4003上的24Gbps的高性能交換帶寬。目前有于Hub沒有更換，所以每一條連接只是單路10Mbps的上行連接，未來更換為Cisco的交換機后，可以實現(xiàn)雙路100Mbps的上行連接，并且采用Spanning tree中的Cisco UplinkFast技術，保障二級線路連接的可

10、靠性。另外半數(shù)連接也是直接連接到另外一臺Cisco 4003上的48口10/100TX模板上，分享24Gbps的高性能交換帶寬。這樣這個網(wǎng)絡的1000臺工作站將在核心交換機的48Gbps的交換帶寬上全線速交換，并通過千兆網(wǎng)卡的連接與服務器通信。技術描述此次網(wǎng)絡改造中涉及的技術如下：1. Adapter Fault Tolerance（AFT網(wǎng)卡容錯技術）和Adaptive Load Balancing（ALB網(wǎng)卡平衡負載技術）：在行情服務器中安裝兩塊Intel Pro/1000網(wǎng)卡，在NetWare Autoexec.ncf中啟動AFT技術，實現(xiàn)當一塊網(wǎng)卡或網(wǎng)絡鏈路發(fā)生故障，另外一塊網(wǎng)卡立刻接

11、管，工作站沒有影響，不用重新啟動。 2. Cluster集群技術：集群是由兩臺或更多臺計算機系統(tǒng)互連組成，功能上是作為一個單一系統(tǒng)，從而提高整個系統(tǒng)的可靠性能和負荷均衡性能。性能提供方面，自從70年代中期，在提供大量應用和數(shù)據(jù)正常工作方面，集群計算機就一直遠遠超過單一計算機。可靠性方面：如果一部服務器失效，集群的第二部服務器將立即接替其工作負荷，在重慶國投當硬性關掉主機，輔機帶著1.4GB的數(shù)據(jù)庫，其接管時間整個過程不超過2分鐘。 3. Cisco GEC（Gigabit EtherChannel）帶寬聚合技術：GEC在兩臺交換機間提供4條鏈路的連接最大8Gbps（4Gbps full dup

12、lex）的并行帶寬，將多條Gigabit Ethernet Interface組成一條邏輯通路（Channel）。主要功能包括成倍增加帶寬和為線路冗余提供可靠性。在重慶國投我們在兩臺Catalyst 4003交換機之間提供了2條鏈路的連接最大4Gbps（2Gbps full duplex）的并行帶寬。 4. 在spanning tree標準中用到Cisco的Uplink Fast技術：實現(xiàn)在環(huán)型線路連接中，當一條發(fā)生故障，迅速恢復網(wǎng)絡的連通性，恢復過程只有1秒鐘的延時。如果沒有Uplink Fast技術那么spanning tree的恢復過程需要40秒鐘的延時。 5. 采用Cisco的MAC地址限制技術：在Cisco交換機的