千兆以太網(wǎng)及小型機(jī)集群系統(tǒng)證券營(yíng)業(yè)部的成功應(yīng)用

1、千兆以太網(wǎng)及小型機(jī)集群系統(tǒng)證券營(yíng)業(yè)部的成功應(yīng)用顧紅用戶需求與問題任何一個(gè)做為營(yíng)業(yè)部領(lǐng)導(dǎo)的企業(yè)家，非常清楚經(jīng)營(yíng)是需要投資的，但投資必須要獲得增值的效益。那么哪些是可以使投資獲益的呢？其中一項(xiàng)就是做為營(yíng)業(yè)部核心的計(jì)算機(jī)系統(tǒng)。這個(gè)計(jì)算機(jī)系統(tǒng)要求第一：可靠不能停機(jī)，第二：性能高、速度快。如果系統(tǒng)發(fā)生停機(jī)，將給營(yíng)業(yè)部造成巨大的損失。如果系統(tǒng)性能低、速度慢，各項(xiàng)交易業(yè)務(wù)就不能正常運(yùn)行，影響委托交易量。重慶國(guó)投北京證券營(yíng)業(yè)部做為一家異地券商，規(guī)模較大。網(wǎng)絡(luò)信息點(diǎn)1200個(gè)，交易時(shí)，網(wǎng)上在線用戶數(shù)750個(gè)。問題一：但隨著證券市場(chǎng)的發(fā)展，營(yíng)業(yè)部的發(fā)展，幾年前的計(jì)算機(jī)系統(tǒng)已經(jīng)開始阻礙其正常的交易業(yè)務(wù)，主要體現(xiàn)在：

2、行情“火爆”時(shí)，交易量大時(shí)，兩市交易量超過(guò)500億時(shí)，交易系統(tǒng)有發(fā)生“堵單”現(xiàn)象，為了減輕股民委托“堵單”的發(fā)生，營(yíng)業(yè)部不得不限制交易期間股民的交割、查詢等交易基本服務(wù)，從而影響了營(yíng)業(yè)部的服務(wù)質(zhì)量和形象。問題二：上網(wǎng)慢，“錢龍”分析系統(tǒng)在使用過(guò)程中發(fā)生“黑屏”現(xiàn)象。這些都直接影響了營(yíng)業(yè)部交易量的增長(zhǎng)。諾威解決方案經(jīng)過(guò)系統(tǒng)分析，“問題一”被確定是由于交易服務(wù)器硬件處理能力達(dá)到了極限而發(fā)生的，原交易服務(wù)器是Compaq ProLiant 5000 Server，內(nèi)存512MB，CPU是雙Intel Pentium Pro 200MHz，系統(tǒng)軟件是NT4.0 + SQL Server 6.5?！皢栴}

3、二”被確定是由于網(wǎng)絡(luò)設(shè)備和網(wǎng)絡(luò)結(jié)構(gòu)以及行情服務(wù)器硬件承載能力不夠而產(chǎn)生的，原來(lái)的網(wǎng)絡(luò)設(shè)備是由3Com Switch 3000為核心，Switch 1000為二級(jí)交換機(jī)和幾十臺(tái)3Com Hub組成的三級(jí)網(wǎng)絡(luò)結(jié)構(gòu)。原行情服務(wù)器是Compaq ProLiant 5000 Server，內(nèi)存512MB，CPU是雙Intel Pentium Pro 200MHz，磁盤I/O是40Mb/s吞吐量的Smart-2DH Array Controller，配置為RAID5的三塊7200rpm硬盤，系統(tǒng)軟件是NetWare4.11 1000Users + Novell Pack 5。解決“問題一”的方案，經(jīng)過(guò)論證

4、，最合理的就是采取價(jià)格便宜、性能高超的Alpha小型機(jī)集群解決方案。解決“問題二”的方案，經(jīng)過(guò)論證，最合理的就是采取性能高，功能全面的Cisco千兆網(wǎng)絡(luò)解決方案，以及采用Compaq ProLiant 7000/450Xeon做為行情服務(wù)器的方案。為什么選用Cisco的千兆網(wǎng)絡(luò)產(chǎn)品做為解決方案，首先是技術(shù)定位，那么肯定是選擇千兆以太網(wǎng)技術(shù)，Gigabit Ethernet的優(yōu)勢(shì)表現(xiàn)在： 1. 低價(jià)位的高帶寬，與現(xiàn)有的Ethernet,Fast Ethernet平滑相連；2. 利用現(xiàn)有的Ethernet知識(shí)就可以管理、監(jiān)視和維護(hù)Gigabit Ethernet； 3. Gigabit Ether

5、net是組建核心骨干網(wǎng)的技術(shù)； 4. 基于RSVP和IEEE802.1Q/p標(biāo)準(zhǔn)實(shí)現(xiàn)CoS,從而提供不同的服務(wù)等級(jí)。我們認(rèn)為選擇千兆以太網(wǎng)技術(shù)是營(yíng)業(yè)部網(wǎng)絡(luò)發(fā)展的唯一選擇，第一就是解決行情“火爆”和交易量大時(shí)，出現(xiàn)的網(wǎng)絡(luò)“瓶頸”問題，第二就是保護(hù)營(yíng)業(yè)部的投資，為營(yíng)業(yè)部的發(fā)展提供充分保障，有足夠的帶寬為股民在網(wǎng)上提供多種增值服務(wù)，如“網(wǎng)吧”、多媒體信息服務(wù)、即時(shí)視頻新聞服務(wù)等。目前，較大規(guī)模營(yíng)業(yè)部的計(jì)算機(jī)網(wǎng)絡(luò)的骨干連接全部都是100Mbps，骨干連接是指服務(wù)器與中心交換機(jī)之間的連接，和中心交換機(jī)與第二級(jí)交換機(jī)之間的連接。Cisco公司的千兆網(wǎng)絡(luò)產(chǎn)品功能非常全面，解決了重慶國(guó)投北京營(yíng)業(yè)部在網(wǎng)絡(luò)方面需

6、要的可靠性，線路冗余和平衡負(fù)載，故障迅速恢復(fù)連接，以及MAC地址在交換機(jī)上的端口限制，解決網(wǎng)絡(luò)接入的安全性問題。我們只用到其中3個(gè)功能就解決了重慶國(guó)投北京營(yíng)業(yè)部網(wǎng)絡(luò)方面的問題： 1. Cisco的GEC（Gigabit EtherChannel）技術(shù)，實(shí)現(xiàn)核心網(wǎng)絡(luò)連接的線路冗余和平衡負(fù)載； 2. 在spanning tree標(biāo)準(zhǔn)中用到Cisco的Uplink Fast功能實(shí)現(xiàn)線路的迅速恢復(fù)連接，恢復(fù)過(guò)程只有1秒鐘的延時(shí)，達(dá)到只丟一個(gè)ping包的優(yōu)異性能； 3. 在交換機(jī)上采用Cisco的MAC地址限制功能實(shí)現(xiàn)網(wǎng)絡(luò)用戶接入的安全保障，不良動(dòng)機(jī)的股民不能連入網(wǎng)內(nèi)。 交易主機(jī)采用兩臺(tái)Compaq D

7、igital Server 5305，內(nèi)存512MB，64位Alpha 533MHz芯片，4MB Cache。Compaq Digital RA3000磁盤陣列柜做RAID5，存放交易數(shù)據(jù)庫(kù)。這個(gè)RA3000磁盤陣列柜采用的是204W雙路電源，雙磁盤控制器，不存在單點(diǎn)故障。系統(tǒng)安裝Windows NT 4.0，集群軟件采用Digital Cluster Software，當(dāng)硬性關(guān)掉主機(jī)，輔機(jī)帶庫(kù)接管時(shí)間整個(gè)過(guò)程不超過(guò)2分鐘。行情服務(wù)器上安裝2塊Intel 8490千兆網(wǎng)卡，2條尾纖分別連接2臺(tái)Cisco 4003上的6口千兆模塊上，采用Intel網(wǎng)卡的AFT技術(shù)，實(shí)現(xiàn)兩塊網(wǎng)卡互為備份和數(shù)據(jù)傳輸

8、的平衡負(fù)載。承擔(dān)交易業(yè)務(wù)的Digital Server 5305 Cluster小型機(jī)通過(guò)2條100M雙絞線同時(shí)連接到Cisco 4003上的48口模塊上。核心交換機(jī)是Cisco Catalyst 4003，用兩臺(tái)Catalyst 4003千兆交換機(jī)，替換原有的3Com 3000交換機(jī)，同時(shí)兩臺(tái)Catalyst 4003交換機(jī)通過(guò)2條尾纖采用Cisco GEC Gigabit EtherChannel連接起來(lái)，實(shí)現(xiàn)4G的帶寬聚合主干連接，并實(shí)現(xiàn)線路冗余的可靠性備份。原有的3Com交換機(jī)連接到機(jī)房的雙絞線，全部連接到一臺(tái)Cisco 2948G上。Cisco 2948G上的2個(gè)千兆口分別連接到Ci

9、sco 4003上的6口千兆模塊上，采用Spanning tree中的Cisco UplinkFast技術(shù)，實(shí)現(xiàn)線路的迅速恢復(fù)，工作站用戶感覺不到，保障了二級(jí)線路連接的可靠性。其余的30多臺(tái)3Com Hub的連接被分為兩個(gè)部分，其中半數(shù)連接是直接連接到Cisco 4003上的48口10/100TX模板上，分享Cisco 4003上的24Gbps的高性能交換帶寬。目前有于Hub沒有更換，所以每一條連接只是單路10Mbps的上行連接，未來(lái)更換為Cisco的交換機(jī)后，可以實(shí)現(xiàn)雙路100Mbps的上行連接，并且采用Spanning tree中的Cisco UplinkFast技術(shù)，保障二級(jí)線路連接的可

10、靠性。另外半數(shù)連接也是直接連接到另外一臺(tái)Cisco 4003上的48口10/100TX模板上，分享24Gbps的高性能交換帶寬。這樣這個(gè)網(wǎng)絡(luò)的1000臺(tái)工作站將在核心交換機(jī)的48Gbps的交換帶寬上全線速交換，并通過(guò)千兆網(wǎng)卡的連接與服務(wù)器通信。技術(shù)描述此次網(wǎng)絡(luò)改造中涉及的技術(shù)如下：1. Adapter Fault Tolerance（AFT網(wǎng)卡容錯(cuò)技術(shù)）和Adaptive Load Balancing（ALB網(wǎng)卡平衡負(fù)載技術(shù)）：在行情服務(wù)器中安裝兩塊Intel Pro/1000網(wǎng)卡，在NetWare Autoexec.ncf中啟動(dòng)AFT技術(shù)，實(shí)現(xiàn)當(dāng)一塊網(wǎng)卡或網(wǎng)絡(luò)鏈路發(fā)生故障，另外一塊網(wǎng)卡立刻接

11、管，工作站沒有影響，不用重新啟動(dòng)。 2. Cluster集群技術(shù)：集群是由兩臺(tái)或更多臺(tái)計(jì)算機(jī)系統(tǒng)互連組成，功能上是作為一個(gè)單一系統(tǒng)，從而提高整個(gè)系統(tǒng)的可靠性能和負(fù)荷均衡性能。性能提供方面，自從70年代中期，在提供大量應(yīng)用和數(shù)據(jù)正常工作方面，集群計(jì)算機(jī)就一直遠(yuǎn)遠(yuǎn)超過(guò)單一計(jì)算機(jī)。可靠性方面：如果一部服務(wù)器失效，集群的第二部服務(wù)器將立即接替其工作負(fù)荷，在重慶國(guó)投當(dāng)硬性關(guān)掉主機(jī)，輔機(jī)帶著1.4GB的數(shù)據(jù)庫(kù)，其接管時(shí)間整個(gè)過(guò)程不超過(guò)2分鐘。 3. Cisco GEC（Gigabit EtherChannel）帶寬聚合技術(shù)：GEC在兩臺(tái)交換機(jī)間提供4條鏈路的連接最大8Gbps（4Gbps full dup

12、lex）的并行帶寬，將多條Gigabit Ethernet Interface組成一條邏輯通路（Channel）。主要功能包括成倍增加帶寬和為線路冗余提供可靠性。在重慶國(guó)投我們?cè)趦膳_(tái)Catalyst 4003交換機(jī)之間提供了2條鏈路的連接最大4Gbps（2Gbps full duplex）的并行帶寬。 4. 在spanning tree標(biāo)準(zhǔn)中用到Cisco的Uplink Fast技術(shù)：實(shí)現(xiàn)在環(huán)型線路連接中，當(dāng)一條發(fā)生故障，迅速恢復(fù)網(wǎng)絡(luò)的連通性，恢復(fù)過(guò)程只有1秒鐘的延時(shí)。如果沒有Uplink Fast技術(shù)那么spanning tree的恢復(fù)過(guò)程需要40秒鐘的延時(shí)。 5. 采用Cisco的MAC地址限制技術(shù)：在Cisco交換機(jī)的端口上設(shè)置無(wú)盤工作站