城軌線(xiàn)網(wǎng)數(shù)據(jù)中心關(guān)鍵技術(shù)及指揮平臺(tái)架構(gòu)研究12、強(qiáng)唐忠誠(chéng)

城軌線(xiàn)網(wǎng)數(shù)據(jù)標(biāo)準(zhǔn)背景概述城軌線(xiàn)網(wǎng)數(shù)據(jù)中心城軌線(xiàn)網(wǎng)指揮平臺(tái)架構(gòu)設(shè)計(jì)背景概述研究背景課題背景城軌線(xiàn)路規(guī)模的擴(kuò)大、各類(lèi)數(shù)據(jù)急劇增長(zhǎng)、網(wǎng)絡(luò)化運(yùn)營(yíng)已成現(xiàn)實(shí)數(shù)據(jù)標(biāo)準(zhǔn)化工作只做到部門(mén)級(jí)，在整個(gè)企業(yè)內(nèi)沒(méi)有形成數(shù)據(jù)的標(biāo)準(zhǔn)，同時(shí)缺乏標(biāo)準(zhǔn)的管理辦法各個(gè)系統(tǒng)的數(shù)據(jù)存取方式存在異構(gòu)現(xiàn)象，即各系統(tǒng)采用不同的數(shù)據(jù)庫(kù)系統(tǒng)進(jìn)行數(shù)據(jù)運(yùn)營(yíng)生產(chǎn)數(shù)據(jù)沒(méi)有，不利于數(shù)據(jù)的的數(shù)據(jù)存取標(biāo)準(zhǔn)，使得這些信息無(wú)法得到綜合利用，無(wú)法為企業(yè)的決策者提供全面的參考數(shù)據(jù)各系統(tǒng)的數(shù)據(jù)

于操作型數(shù)據(jù)庫(kù)，這些數(shù)據(jù)的組織面向事務(wù)處理任務(wù)，且各個(gè)業(yè)務(wù)系統(tǒng)之間各自分離，導(dǎo)致難以實(shí)現(xiàn)數(shù)據(jù)的綜合挖掘以及智能輔助決策支持背景概述研究背景城軌線(xiàn)路規(guī)模的擴(kuò)大、各類(lèi)數(shù)據(jù)急劇增長(zhǎng)、網(wǎng)絡(luò)化運(yùn)營(yíng)已成現(xiàn)實(shí)及指揮平臺(tái)架構(gòu)研究迫在眉睫城軌線(xiàn)網(wǎng)數(shù)據(jù)中心線(xiàn)網(wǎng)數(shù)據(jù)標(biāo)準(zhǔn)線(xiàn)網(wǎng)非結(jié)構(gòu)數(shù)據(jù)

技術(shù)線(xiàn)網(wǎng)結(jié)構(gòu)化數(shù)據(jù)接入技術(shù)線(xiàn)網(wǎng)非結(jié)構(gòu)化數(shù)據(jù)接入技術(shù)線(xiàn)網(wǎng)數(shù)據(jù)庫(kù)查詢(xún)優(yōu)化技術(shù)線(xiàn)網(wǎng)非結(jié)構(gòu)化全文檢索技術(shù)線(xiàn)網(wǎng)數(shù)據(jù)倉(cāng)庫(kù)線(xiàn)網(wǎng)數(shù)據(jù)挖掘技術(shù)線(xiàn)網(wǎng)指揮平臺(tái)架構(gòu)設(shè)計(jì)保證線(xiàn)網(wǎng)數(shù)據(jù)的可靠性、可用性、高性能和可擴(kuò)展性城軌線(xiàn)網(wǎng)數(shù)據(jù)標(biāo)準(zhǔn)線(xiàn)網(wǎng)數(shù)據(jù)標(biāo)準(zhǔn)研究背景各線(xiàn)路自主建設(shè)，線(xiàn)性管理，形成“信息孤島”線(xiàn)路之間存在數(shù)據(jù)異構(gòu)，難以實(shí)現(xiàn)數(shù)據(jù)的交換與共享難以實(shí)現(xiàn)所有線(xiàn)路的協(xié)調(diào)調(diào)度、綜合管理難以實(shí)現(xiàn)城軌數(shù)據(jù)更

次利用，不利于構(gòu)建統(tǒng)計(jì)分析、決策支持等平臺(tái)城軌線(xiàn)網(wǎng)數(shù)據(jù)標(biāo)準(zhǔn)線(xiàn)網(wǎng)數(shù)據(jù)標(biāo)準(zhǔn)城軌線(xiàn)網(wǎng)數(shù)據(jù)標(biāo)準(zhǔn)構(gòu)建方案業(yè)務(wù)層標(biāo)準(zhǔn)化數(shù)據(jù)元層標(biāo)準(zhǔn)化技術(shù)層標(biāo)準(zhǔn)化城軌線(xiàn)網(wǎng)數(shù)據(jù)標(biāo)準(zhǔn)線(xiàn)網(wǎng)數(shù)據(jù)標(biāo)準(zhǔn)標(biāo)準(zhǔn)構(gòu)建流程線(xiàn)網(wǎng)數(shù)據(jù)標(biāo)準(zhǔn)業(yè)務(wù)層標(biāo)準(zhǔn)化

城軌分析線(xiàn)網(wǎng)業(yè)務(wù)，確定功能需求

線(xiàn)網(wǎng)分析既有線(xiàn)路的數(shù)據(jù)點(diǎn)表等資料

，依據(jù)每條線(xiàn)路數(shù)據(jù)格式特點(diǎn)，

數(shù)建立城軌線(xiàn)路的數(shù)據(jù)元標(biāo)準(zhǔn)

據(jù)標(biāo)數(shù)據(jù)元層標(biāo)準(zhǔn)化

準(zhǔn)建立城軌線(xiàn)網(wǎng)的數(shù)據(jù)元的表示規(guī)則，規(guī)范城軌線(xiàn)網(wǎng)的數(shù)據(jù)元的屬性對(duì)于抽象出來(lái)的每一種對(duì)象類(lèi)，分別從編碼、英文名稱(chēng)、屬性三方面進(jìn)行描述對(duì)于每一種屬性分別從英文名稱(chēng)、數(shù)據(jù)類(lèi)型、數(shù)據(jù)長(zhǎng)度、取值范圍、說(shuō)

警值以及

等級(jí)等方面進(jìn)行描述城軌線(xiàn)網(wǎng)數(shù)據(jù)標(biāo)準(zhǔn)線(xiàn)網(wǎng)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)元層標(biāo)準(zhǔn)示例（ACS專(zhuān)業(yè)）城軌線(xiàn)網(wǎng)數(shù)據(jù)標(biāo)準(zhǔn)線(xiàn)網(wǎng)數(shù)據(jù)標(biāo)準(zhǔn)技術(shù)層標(biāo)準(zhǔn)化制定城軌線(xiàn)網(wǎng)數(shù)據(jù)庫(kù)

名規(guī)范，命名數(shù)據(jù)庫(kù)建設(shè)過(guò)程中各設(shè)計(jì)階段的數(shù)據(jù)對(duì)象根據(jù)線(xiàn)網(wǎng)需求以及線(xiàn)網(wǎng)數(shù)據(jù)元標(biāo)準(zhǔn)，對(duì)線(xiàn)網(wǎng)數(shù)據(jù)中心數(shù)據(jù)庫(kù)進(jìn)行概念設(shè)計(jì)、邏輯設(shè)計(jì)，規(guī)范數(shù)據(jù)庫(kù)設(shè)計(jì)城軌線(xiàn)網(wǎng)數(shù)據(jù)線(xiàn)網(wǎng)數(shù)據(jù)標(biāo)準(zhǔn)命名規(guī)范數(shù)據(jù)對(duì)象名稱(chēng)采用

26個(gè)大寫(xiě)英文字母和數(shù)字0-9，加上“_”組成數(shù)據(jù)對(duì)象名稱(chēng)不能使用其他字符，不能以數(shù)字或下劃線(xiàn)開(kāi)頭標(biāo)數(shù)據(jù)庫(kù)對(duì)象的名稱(chēng)由前綴和實(shí)體名稱(chēng)組成，長(zhǎng)度不超過(guò)

30個(gè)字符，準(zhǔn)前綴描述對(duì)象的類(lèi)型，實(shí)體名稱(chēng)包含數(shù)據(jù)庫(kù)標(biāo)識(shí)等描述實(shí)體內(nèi)容的信息，對(duì)象名稱(chēng)各組成部分使用“_”分隔城軌線(xiàn)網(wǎng)數(shù)據(jù)標(biāo)準(zhǔn)線(xiàn)網(wǎng)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)對(duì)象命名數(shù)據(jù)對(duì)象類(lèi)型命名格式數(shù)據(jù)表TB_數(shù)據(jù)庫(kù)標(biāo)識(shí)_表標(biāo)識(shí)數(shù)據(jù)字段表標(biāo)識(shí)_字段標(biāo)識(shí)主鍵約束PK_主鍵表標(biāo)識(shí)_主鍵字段標(biāo)識(shí)外鍵約束FK_外鍵表標(biāo)識(shí)_主鍵表標(biāo)識(shí)_主鍵字段標(biāo)識(shí)check約束CK_約束表標(biāo)識(shí)_約束字段標(biāo)識(shí)索引IN_索引表標(biāo)識(shí)_索引字段標(biāo)識(shí)視圖VI_視圖標(biāo)識(shí)觸發(fā)器TR_觸發(fā)器標(biāo)識(shí)函數(shù)FN_函數(shù)標(biāo)識(shí)過(guò)程SP_

過(guò)程標(biāo)識(shí)城軌線(xiàn)網(wǎng)數(shù)據(jù)標(biāo)準(zhǔn)線(xiàn)網(wǎng)數(shù)據(jù)標(biāo)準(zhǔn)概念設(shè)計(jì)（E-R圖）城軌線(xiàn)網(wǎng)數(shù)據(jù)標(biāo)準(zhǔn)線(xiàn)網(wǎng)數(shù)據(jù)標(biāo)準(zhǔn)邏輯設(shè)計(jì)（數(shù)據(jù)庫(kù)表）數(shù)據(jù)表中文名稱(chēng)數(shù)據(jù)表英文名稱(chēng)數(shù)據(jù)表簡(jiǎn)介設(shè)備類(lèi)型TB_COCC_DEVICETYPE記錄城軌線(xiàn)網(wǎng)的設(shè)備種類(lèi)信息子系統(tǒng)TB_COCC_SUBSYSTEM記錄城軌線(xiàn)網(wǎng)的子系統(tǒng)信息車(chē)站TB_COCC_STATION記錄城軌線(xiàn)網(wǎng)的車(chē)站信息線(xiàn)路TB_COCC_LINE記錄城軌線(xiàn)網(wǎng)的線(xiàn)路信息設(shè)備TB_COCC_DEVICE記錄城軌線(xiàn)網(wǎng)中的所有設(shè)備信息設(shè)備屬性種類(lèi)TB_COCC_DEVICEPROPERTY記錄城軌線(xiàn)網(wǎng)中的設(shè)備屬性種類(lèi)信息設(shè)備屬性取值TB_COCC_DEVICEPROPERTYVALUE記錄城軌線(xiàn)網(wǎng)中的所有設(shè)備屬性的取值信息設(shè)備屬性取值類(lèi)型TB_COCC_DEVICEPROPERTYTYPE記錄城軌線(xiàn)網(wǎng)中設(shè)備屬性取值城軌線(xiàn)網(wǎng)數(shù)據(jù)標(biāo)準(zhǔn)線(xiàn)網(wǎng)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)表示例（設(shè)備類(lèi)型表）通過(guò)對(duì)城軌數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行研究，可以 數(shù)據(jù)規(guī)范、實(shí)現(xiàn)線(xiàn)路之間數(shù)據(jù)城軌數(shù)據(jù)提供的交換與共享、指導(dǎo)新線(xiàn)路的建設(shè)及為外部數(shù)據(jù)系統(tǒng)參考研究成果文檔-線(xiàn)網(wǎng)指揮

標(biāo)準(zhǔn)專(zhuān)利-一種城軌線(xiàn)網(wǎng)數(shù)據(jù)標(biāo)準(zhǔn)的建立方法TB

COCC

DEVICETYPE：設(shè)備類(lèi)型字段名字段解釋數(shù)據(jù)類(lèi)型DEVICETYPE

PK主鍵，唯一標(biāo)識(shí)一種設(shè)備類(lèi)型numberDT_SUBSYSTEM_FK外鍵，

自表TB_COCC_SUBSYSTEMnumberDT

NAME設(shè)備類(lèi)型名稱(chēng)Varchar2(200)DT

DESCRIPTION設(shè)備類(lèi)型描述textDT

CREATEDBY記錄的創(chuàng)建者，用于審計(jì)Varchar2(200)DT_DATECREATED記錄的創(chuàng)建時(shí)間，用于審計(jì)date(8)DT

MODIFIEDBY記錄的最后修改者，用于審計(jì)Varchar2(200)DT

DATEMODIFIED記錄的最后修改日期，用于審計(jì)date(8)城軌線(xiàn)網(wǎng)數(shù)據(jù)中心大文件的需求而設(shè)計(jì)的，不適非結(jié)構(gòu)化數(shù)據(jù)

技術(shù)城軌線(xiàn)網(wǎng)小文件數(shù)據(jù)量急劇增長(zhǎng)傳統(tǒng)的分布式文件系統(tǒng)往往面向用于海量小文件的海量小文件

效率低下的原因：元數(shù)據(jù)管理低效I/O

流程復(fù)雜數(shù)據(jù)布局單一城軌線(xiàn)網(wǎng)數(shù)據(jù)中心非結(jié)構(gòu)化數(shù)據(jù)

技術(shù)面向城軌線(xiàn)網(wǎng)海量小文件的

方法：將具有相關(guān)性的小文件合并成大文件進(jìn)行聚合寫(xiě)操作結(jié)合FastDFS返回的大文件索引、小文件的起始偏移量和文件長(zhǎng)度建立全局索引，利用Redis

小文件名和全局索引的鍵值對(duì)采用數(shù)據(jù)預(yù)取機(jī)制，預(yù)取創(chuàng)建時(shí)間相鄰的數(shù)據(jù)城軌線(xiàn)網(wǎng)數(shù)據(jù)中心非結(jié)構(gòu)化數(shù)據(jù)

技術(shù)城軌線(xiàn)網(wǎng)數(shù)據(jù)中心非結(jié)構(gòu)化數(shù)據(jù)

技術(shù)小文件寫(xiě)流程：客戶(hù)端將同一線(xiàn)路同一地鐵系統(tǒng)同一天產(chǎn)生的小文件合并成大文件，并記錄小文件在大文件的起始偏移量和文件長(zhǎng)度客戶(hù)端向

服務(wù)器詢(xún)問(wèn)可用的服務(wù)器向客戶(hù)端返回一臺(tái)可用的服務(wù)器服務(wù)器的IP地址和端客戶(hù)端直接與

服務(wù)器建立連接，并向其寫(xiě)入大文件，寫(xiě)入完成后，服務(wù)器向客戶(hù)端返回新生成的大文件索引客戶(hù)端結(jié)合FastDFS返回的大文件索引、小文件的起始偏移量和文件長(zhǎng)度建立全局索引，利用Redis

小文件名和全局索引的鍵值對(duì)城軌線(xiàn)網(wǎng)數(shù)據(jù)中心非結(jié)構(gòu)化數(shù)據(jù)

技術(shù)小文件讀流程：客戶(hù)端根據(jù)小文件名在Redis數(shù)據(jù)庫(kù)中獲取小文件名對(duì)應(yīng)的全局索引客戶(hù)端從全局索引獲取對(duì)應(yīng)大文件的索引，向

服務(wù)器詢(xún)問(wèn)可以下載大文件的

服務(wù)器，參數(shù)為全局索引服務(wù)器向客戶(hù)端返回一臺(tái)可用的客戶(hù)端直接與該

服務(wù)器建立連接，服務(wù)器的IP地址和端大文件客戶(hù)端根據(jù)全局索引中的文件起始偏移量和文件長(zhǎng)度從大文件中獲取小文件城軌線(xiàn)網(wǎng)數(shù)據(jù)中心非結(jié)構(gòu)化數(shù)據(jù)

技術(shù)分別向FastDFS系統(tǒng)和FastDFS-Redis系統(tǒng)文件大小為50KB、100KB、200KB、500KB和1MB的報(bào)表各10000個(gè)，其吞吐量對(duì)比圖如下圖所示，相較于FastDFS系統(tǒng)，F(xiàn)astDFS-Redis系統(tǒng)提高了4.47%的寫(xiě)吞吐量。02468101250K100K200K500K1MFastDFSFastDFS-Redis城軌線(xiàn)網(wǎng)數(shù)據(jù)中心非結(jié)構(gòu)化數(shù)據(jù)

技術(shù)為模仿不同的

行為，分別對(duì)各類(lèi)型的報(bào)表文件發(fā)出1000組隨機(jī)讀請(qǐng)求，其中每組包含10個(gè)順序讀請(qǐng)求，F(xiàn)astDFS系統(tǒng)和FastDFS-Redis系統(tǒng)的吞吐量對(duì)比圖如下圖所示，相較于FastDFS系統(tǒng)，F(xiàn)astDFS-Redis系統(tǒng)提高了15.49%的讀吞吐量。43210587691050K100K200K500K1MFastDFSFastDFS-Redis城軌線(xiàn)網(wǎng)數(shù)據(jù)中心結(jié)構(gòu)化數(shù)據(jù)接入技術(shù)線(xiàn)路數(shù)據(jù)背景目前線(xiàn)路數(shù)據(jù)獨(dú)自

，而線(xiàn)網(wǎng)需要減輕COCC服務(wù)器的負(fù)擔(dān)線(xiàn)網(wǎng)數(shù)據(jù)接入系統(tǒng)的三個(gè)主體部分中心OCC（Central

Operation

Control

Center，COCC）線(xiàn)路運(yùn)營(yíng)控制中心（Operation

Control

Center，OCC）接入系統(tǒng)ISCS、PSD和SIG等OCC子系統(tǒng)ISCSOCC接入服務(wù)器響應(yīng)響應(yīng)SIGPSD輪詢(xún)

響應(yīng)輪詢(xún)

響應(yīng)OCCCOCC城軌線(xiàn)網(wǎng)數(shù)據(jù)中心結(jié)構(gòu)化數(shù)據(jù)接入技術(shù)系統(tǒng)架構(gòu)接入系統(tǒng)通過(guò)一個(gè)中間的接入服務(wù)器開(kāi)辟多線(xiàn)程與兩端的COCC和ISCS進(jìn)行通信ISCS服務(wù)器的任務(wù)：在ISCS服務(wù)器創(chuàng)建進(jìn)程，與ISCS主進(jìn)程交互，獲取ISCS從各系統(tǒng)獲得的實(shí)時(shí)數(shù)據(jù)。接入服務(wù)器的任務(wù)：ISCS上接入數(shù)據(jù)進(jìn)程與接入服務(wù)器進(jìn)程的數(shù)據(jù)傳輸。COCC服務(wù)器的任務(wù)：接入服務(wù)器進(jìn)程與COCC進(jìn)程的數(shù)據(jù)傳輸。服務(wù)器A-ISCSIISSCC共享SS內(nèi)存接模入擬數(shù)進(jìn)據(jù)程進(jìn)程服務(wù)器B-接入服務(wù)器Modbus接入服務(wù)器進(jìn)程服務(wù)器C-COCCCOCC主進(jìn)程Modbus城軌線(xiàn)網(wǎng)數(shù)據(jù)中心結(jié)構(gòu)化數(shù)據(jù)接入技術(shù)接入服務(wù)器進(jìn)程通過(guò)四個(gè)線(xiàn)程、兩個(gè)隊(duì)列與ISCS的接入數(shù)據(jù)進(jìn)程及COCC的模擬進(jìn)程進(jìn)行交互。結(jié)構(gòu)化數(shù)據(jù)接入技術(shù)頭部數(shù)據(jù)點(diǎn)數(shù)據(jù)點(diǎn)數(shù)據(jù)點(diǎn)結(jié)束符1字節(jié)1字節(jié)1字節(jié)1

字節(jié)1字節(jié)線(xiàn)路ID專(zhuān)業(yè)ID記錄長(zhǎng)度車(chē)站ID&

數(shù)據(jù)地址&數(shù)據(jù)類(lèi)型&值記錄長(zhǎng)度車(chē)站ID&數(shù)據(jù)地址&數(shù)據(jù)類(lèi)型&值……0城軌線(xiàn)網(wǎng)數(shù)據(jù)中心人機(jī)界面設(shè)計(jì)

，主要分為數(shù)據(jù)點(diǎn)顯示區(qū)域和狀態(tài)欄兩部分：數(shù)據(jù)點(diǎn)顯示區(qū)域顯示數(shù)據(jù)點(diǎn)的接收時(shí)間、專(zhuān)業(yè)、線(xiàn)路、車(chē)站、地址、數(shù)據(jù)類(lèi)型和值等信息；狀態(tài)欄用于顯示

運(yùn)行狀態(tài)。城軌線(xiàn)網(wǎng)數(shù)據(jù)中心非結(jié)構(gòu)化數(shù)據(jù)接入技術(shù)線(xiàn)網(wǎng)非數(shù)據(jù)接入系統(tǒng)涉及三個(gè)主體部分：線(xiàn)網(wǎng)分布式文件

系統(tǒng)FastDFS線(xiàn)網(wǎng)接入服務(wù)器線(xiàn)路控制中心的接入客戶(hù)端FastDFS接入服務(wù)器接入客戶(hù)端……上傳響應(yīng)請(qǐng)求接入客戶(hù)端城軌線(xiàn)網(wǎng)數(shù)據(jù)中心非結(jié)構(gòu)化數(shù)據(jù)接入技術(shù)接入服務(wù)器模塊：接入服務(wù)器與接入客戶(hù)端的通信模塊系統(tǒng)的通信模塊接入服務(wù)器與線(xiàn)網(wǎng)分布式文件定期刪除文件模塊系統(tǒng)冗余模塊城軌線(xiàn)網(wǎng)數(shù)據(jù)中心非結(jié)構(gòu)化數(shù)據(jù)接入技術(shù)接入客戶(hù)端接入服務(wù)器文件元數(shù)據(jù)主線(xiàn)程發(fā)送消息線(xiàn)程文件數(shù)據(jù)發(fā)送報(bào)文輸入封裝成請(qǐng)求報(bào)文封裝成數(shù)據(jù)報(bào)文接收消息線(xiàn)程寫(xiě)文件數(shù)據(jù)打開(kāi)文件文件元數(shù)據(jù)文件數(shù)據(jù)主線(xiàn)程事件分發(fā)事件分發(fā)上傳響應(yīng)上傳請(qǐng)求上傳數(shù)據(jù)接入服務(wù)器與接入客戶(hù)端的通信流程如下圖所示：城軌線(xiàn)網(wǎng)數(shù)據(jù)中心非結(jié)構(gòu)化數(shù)據(jù)接入技術(shù)主接入服務(wù)器備接入服務(wù)器心跳心跳自動(dòng)切換成主接入服務(wù)器serverclient無(wú)接收心跳包異常有定時(shí)發(fā)送心跳包接入服務(wù)器的系統(tǒng)冗余運(yùn)行流程如下圖所示：城軌線(xiàn)網(wǎng)數(shù)據(jù)中心非結(jié)構(gòu)化數(shù)據(jù)接入技術(shù)主接入服務(wù)器故障時(shí)接入客戶(hù)端向備接入服務(wù)器建立連接流程如下圖所示：建立連接發(fā)出請(qǐng)求發(fā)出請(qǐng)求發(fā)出請(qǐng)求接入客戶(hù)端主接入服務(wù)器建立連接發(fā)起請(qǐng)求備接入服務(wù)器響應(yīng)上傳數(shù)據(jù)城軌線(xiàn)網(wǎng)數(shù)據(jù)中心數(shù)據(jù)庫(kù)查詢(xún)優(yōu)化技術(shù)背景及現(xiàn)狀線(xiàn)網(wǎng)規(guī)模持續(xù)擴(kuò)大，運(yùn)營(yíng)數(shù)據(jù)量不斷增長(zhǎng)，線(xiàn)網(wǎng)級(jí)數(shù)據(jù)庫(kù)

查詢(xún)響應(yīng)時(shí)間過(guò)長(zhǎng)、占用系統(tǒng)資源過(guò)多等問(wèn)題例如：ISCSPSCADA操作記錄報(bào)表關(guān)鍵字：

BINED，9377萬(wàn)

，6min在城軌領(lǐng)域數(shù)據(jù)庫(kù)的建設(shè)中，查詢(xún)優(yōu)化技術(shù)未受到足夠重視沒(méi)有針對(duì)查詢(xún)特點(diǎn)作優(yōu)化，系統(tǒng)級(jí)優(yōu)化（操作系統(tǒng)參數(shù)調(diào)整、過(guò)程）效果有限技術(shù)的運(yùn)用帶有盲目性，如

索引技術(shù)城軌線(xiàn)網(wǎng)數(shù)據(jù)中心數(shù)據(jù)庫(kù)查詢(xún)優(yōu)化技術(shù)數(shù)據(jù)特點(diǎn)歷史數(shù)據(jù)保存時(shí)間長(zhǎng)隨著時(shí)間的遷移，歷史數(shù)據(jù)不斷累積，查詢(xún)優(yōu)化策略應(yīng)具有一定的可擴(kuò)展性，使得查詢(xún)響應(yīng)時(shí)間不會(huì)隨著時(shí)間遷移而發(fā)生顯著變化數(shù)據(jù)具有層次性數(shù)據(jù)匯聚：車(chē)站->線(xiàn)路->線(xiàn)網(wǎng)，可以按所屬線(xiàn)路、車(chē)站等進(jìn)行歸類(lèi)劃分城軌線(xiàn)網(wǎng)數(shù)據(jù)中心數(shù)據(jù)庫(kù)查詢(xún)優(yōu)化技術(shù)查詢(xún)特點(diǎn)瀏覽查詢(xún)查詢(xún)語(yǔ)句簡(jiǎn)單、僅含SPJ操作、條件查詢(xún)，如各線(xiàn)路車(chē)站ISCSPSCADA操作記錄報(bào)表簡(jiǎn)單統(tǒng)計(jì)查詢(xún)查詢(xún)語(yǔ)句相對(duì)簡(jiǎn)單、涉及字段數(shù)少，查詢(xún)的執(zhí)行有一定的周期性,查詢(xún)語(yǔ)句包COUNT操作，如各線(xiàn)路車(chē)站

數(shù)量分布報(bào)表復(fù)雜統(tǒng)計(jì)查詢(xún)查詢(xún)語(yǔ)句復(fù)雜，查詢(xún)的執(zhí)行有一定的周期性，可能包含多個(gè)涉及表連接的子查詢(xún)，如各線(xiàn)路供電報(bào)表城軌線(xiàn)網(wǎng)數(shù)據(jù)中心數(shù)據(jù)庫(kù)查詢(xún)優(yōu)化技術(shù)優(yōu)化策略分而治之表分區(qū)以空間換時(shí)間索引物化視圖城軌線(xiàn)網(wǎng)數(shù)據(jù)中心數(shù)據(jù)庫(kù)查詢(xún)優(yōu)化技術(shù)實(shí)現(xiàn)方案瀏覽查詢(xún)分區(qū)：按月份分區(qū)，并按線(xiàn)路建立子分區(qū)索引：按查詢(xún)條件建立分區(qū)局部索引，利用索引快速定位目標(biāo)記錄PARTITION

BY

RANGE(createdatetime) /*時(shí)間字段*/INTERVAL(NUMTOYMINTERVAL(1,'MONTH'))/*按月份分區(qū)*/SUBPARTITION

BY

LIST(line_key)

/*按線(xiàn)路建立子分區(qū)*/SUBPARTITION

TEMPLATE(/*1號(hào)線(xiàn)子分區(qū)*//*2號(hào)線(xiàn)子分區(qū)*/SUBPARTITION

line_1

VALUES(1

),SUBPARTITION

line_2

VALUES(

2

),……)(

PARTITION

p_201401

VALUES

LESS

THAN

(

TO_DATE(

'2014-02-01','yyyy-mm-dd'

)

)

)按月份和線(xiàn)路分區(qū)城軌線(xiàn)網(wǎng)數(shù)據(jù)中心數(shù)據(jù)庫(kù)查詢(xún)優(yōu)化技術(shù)簡(jiǎn)單統(tǒng)計(jì)查詢(xún)分區(qū)：按月份和線(xiàn)路分區(qū)（同上）索引：對(duì)主表中查詢(xún)涉及的所有字段建立分區(qū)索引，直接使用索引完成查詢(xún)/*雖然已經(jīng)按線(xiàn)路分區(qū)，但是局部索引里還是要包含line_key字段，否則查詢(xún)不會(huì)走索引*/CREATE

INDEX

idx_alarm_tllON

alarm(transactivetime,line_key,location_key)LOCAL車(chē)站

數(shù)量分布報(bào)表索引建立城軌線(xiàn)網(wǎng)數(shù)據(jù)中心數(shù)據(jù)庫(kù)查詢(xún)優(yōu)化技術(shù)復(fù)雜統(tǒng)計(jì)查詢(xún)分區(qū)：按月份和線(xiàn)路分區(qū)（同上）物化視圖：計(jì)算并

子查詢(xún)中的表連接結(jié)果，并在閑時(shí)定時(shí)刷新，利用物化視圖結(jié)果實(shí)現(xiàn)查詢(xún)，減少了連接操作CREATE

MATERIALIZED

VIEW

mv_power_dayREFRESH

FAST

/*快速增量刷新*/START

WITH

TRUNC(sysdate)+23.5/24

/*每天23:30刷新*/NEXT

TRUNC(sysdate)+47.5/24……ASSELECT r.entity_key

entity_key,r.line_key,

TRUNC(lg.createtime)

day,lg.value

total_value,r.rowid

r_rowid,lg.rowid

lg_rowidFROM r

,lgWHERE

r.entity_key

=lg.entity_keyAND r.line_key

=

lg.line_keyAND EXTRACT(

HOUR

FROM

CAST(lg.createtime

AS

TIMESTAMP

)

)

=

23供電報(bào)表-計(jì)算日累計(jì)耗電量物化視圖建立城軌線(xiàn)網(wǎng)數(shù)據(jù)中心數(shù)據(jù)庫(kù)查詢(xún)優(yōu)化技術(shù)優(yōu)化效果序號(hào)查詢(xún)類(lèi)型實(shí)例涉及表最大表記優(yōu)化前優(yōu)化后加

速個(gè)數(shù)錄數(shù)（秒）（秒）比1瀏覽查詢(xún)各線(xiàn)路車(chē)站ISCSPSCADA

操作記錄報(bào)表493771203360/3604.8/14.7575/24.42簡(jiǎn)單統(tǒng)計(jì)各線(xiàn)路車(chē)站

數(shù)33310678361.2528.8查詢(xún)量分布月報(bào)表3復(fù)雜統(tǒng)計(jì)各線(xiàn)路供電日?qǐng)?bào)表3907170526.6250.65640.6查詢(xún)優(yōu)化前后查詢(xún)時(shí)間比較實(shí)驗(yàn)結(jié)果表明，使用本

優(yōu)化策略進(jìn)行優(yōu)化設(shè)計(jì)后，三類(lèi)查詢(xún)的響應(yīng)時(shí)間均大幅減少，因此，本研究對(duì)線(xiàn)網(wǎng)數(shù)據(jù)庫(kù)的優(yōu)化設(shè)計(jì)有一定的參考意義和應(yīng)用價(jià)值。研究成果-面向城軌線(xiàn)網(wǎng)的海量數(shù)據(jù)查詢(xún)優(yōu)化策略研究城軌線(xiàn)網(wǎng)數(shù)據(jù)中心非結(jié)構(gòu)化數(shù)據(jù)檢索技術(shù)背景隨著城軌線(xiàn)網(wǎng)規(guī)模的擴(kuò)大，日常運(yùn)營(yíng)產(chǎn)生的文檔等非結(jié)構(gòu)化數(shù)據(jù)也急劇增長(zhǎng)不是問(wèn)題，但只有搜索，才能從數(shù)據(jù)中找到有用的信息城軌線(xiàn)網(wǎng)數(shù)據(jù)中心非結(jié)構(gòu)化數(shù)據(jù)檢索技術(shù)全文檢索現(xiàn)狀城軌線(xiàn)網(wǎng)數(shù)據(jù)中心非結(jié)構(gòu)化數(shù)據(jù)檢索技術(shù)傳統(tǒng)數(shù)據(jù)庫(kù)優(yōu)點(diǎn)產(chǎn)品數(shù)據(jù)眾多，可選擇余地很大。具有大量相關(guān)的開(kāi)發(fā)

，易于開(kāi)發(fā)具有豐富的相關(guān)資料但…盡管可以達(dá)到功能上要求，關(guān)系數(shù)據(jù)庫(kù)并不是為全文搜索準(zhǔn)備的。由于關(guān)系數(shù)據(jù)庫(kù)必須保證完備性，而這是以降低檢索效率為代價(jià)的，數(shù)據(jù)量大時(shí)，少量的并發(fā)就需要消耗完系統(tǒng)的資源。并且可擴(kuò)性差。城軌線(xiàn)網(wǎng)數(shù)據(jù)中心非結(jié)構(gòu)化數(shù)據(jù)檢索技術(shù)以Sphinx為代表的全文搜索引擎為全文搜索目的設(shè)計(jì)的倒排索引格式多種方式的接口高性能，支持分布式搜索多數(shù)據(jù)源支持城軌線(xiàn)網(wǎng)數(shù)據(jù)中心非結(jié)構(gòu)化數(shù)據(jù)檢索技術(shù)全文檢索系統(tǒng)結(jié)構(gòu)圖web模塊將用戶(hù)的查詢(xún)請(qǐng)求轉(zhuǎn)發(fā)給檢索模塊，檢索模塊在已經(jīng)建立好的索引上進(jìn)行查詢(xún)，并將相應(yīng)的查詢(xún)結(jié)果通過(guò)接口返回給web。城軌線(xiàn)網(wǎng)數(shù)據(jù)中心非結(jié)構(gòu)化數(shù)據(jù)檢索技術(shù)索引工作流程首先分析源數(shù)據(jù)的格式，若是txt等純文本文檔，則直接讀入，如果是pdf等有特殊格式的文檔，則調(diào)用相應(yīng)的函數(shù)進(jìn)行解析，再讀入。然后為每個(gè)文檔分配一個(gè)ID，把讀入內(nèi)存的文檔進(jìn)行中文分詞，按照事先設(shè)置好的格式將文件ID、詞匯、以及文件屬性保存至倒排文件中。城軌線(xiàn)網(wǎng)數(shù)據(jù)中心非結(jié)構(gòu)化數(shù)據(jù)檢索技術(shù)檢索于系統(tǒng)中的非結(jié)構(gòu)化數(shù)據(jù)，通過(guò)頁(yè)面通過(guò)關(guān)鍵字來(lái)檢索顯示或研究成果-基于城軌線(xiàn)網(wǎng)的全文檢索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)著作權(quán)-城軌線(xiàn)網(wǎng)非結(jié)構(gòu)化數(shù)據(jù)全文檢索系統(tǒng)城軌線(xiàn)網(wǎng)數(shù)據(jù)中心線(xiàn)網(wǎng)數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品調(diào)研Teradata系列產(chǎn)品Teradata數(shù)據(jù)倉(cāng)庫(kù)主要運(yùn)行在NCR

WorldMark

SMP硬件的Unix操作系統(tǒng)平臺(tái)上，通過(guò)Teradata與NCR硬件平

量并行處理服務(wù)器結(jié)合，以及采用特有BYNET協(xié)議和查詢(xún)優(yōu)化等技術(shù)來(lái)保證效率，并且

teradata除了提供較為強(qiáng)大的數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)之外，也有針對(duì)不 業(yè)的數(shù)據(jù)模型，在金融、電線(xiàn)等眾多行業(yè)有著部署數(shù)據(jù)倉(cāng)庫(kù)的最佳實(shí)踐。小型數(shù)據(jù)集市極大容量數(shù)據(jù)倉(cāng)庫(kù)企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)極高性能主機(jī)企業(yè)級(jí)動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)目標(biāo)定位應(yīng)用數(shù)據(jù)集市應(yīng)用開(kāi)發(fā)環(huán)境巨量數(shù)據(jù)的存儲(chǔ)與分析企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)性能實(shí)時(shí)分析平臺(tái)企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)EDW動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)ADW可擴(kuò)展能力（節(jié)點(diǎn)數(shù)量1節(jié)點(diǎn)1024節(jié)點(diǎn)45節(jié)點(diǎn)24節(jié)點(diǎn)4096節(jié)點(diǎn)可擴(kuò)展能力(驅(qū)動(dòng)數(shù)據(jù)量)7TB50PB275TB24TB86PB適用于部門(mén)級(jí)、地市級(jí)分析平臺(tái)，入門(mén)級(jí)數(shù)據(jù)倉(cāng)庫(kù)分析型備份環(huán)境，超長(zhǎng)歷史周期數(shù)據(jù)分析性商務(wù)智能，決策支持，快速掃描操作型商務(wù)智能，較少數(shù)據(jù)量，超高性能動(dòng)態(tài)混合負(fù)載管理，實(shí)時(shí)數(shù)據(jù)更新，同時(shí)滿(mǎn)足戰(zhàn)術(shù)性和性相應(yīng)時(shí)間要求城軌線(xiàn)網(wǎng)數(shù)據(jù)中心線(xiàn)網(wǎng)數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品調(diào)研Teradata系統(tǒng)整體結(jié)構(gòu)圖物理上Teradata系統(tǒng)主要包括三個(gè)組成部分：處理節(jié)點(diǎn)（Node）、用介質(zhì)（通常是于節(jié)點(diǎn)間通信的

高速互聯(lián)網(wǎng)絡(luò)（BYNET）和數(shù)據(jù)磁盤(pán)陣列）。各個(gè)節(jié)點(diǎn)都是SMP結(jié)構(gòu)的單機(jī)。研究成果文檔-數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品調(diào)研文檔城軌線(xiàn)網(wǎng)數(shù)據(jù)中心數(shù)據(jù)挖掘技術(shù)-客流客流

情況進(jìn)程不斷加快，城軌線(xiàn)路持續(xù)增加，客流劇增擁擠、平峰浪費(fèi)的運(yùn)營(yíng)問(wèn)題十分突出線(xiàn)網(wǎng)包含多條線(xiàn)路，站點(diǎn)間關(guān)系復(fù)雜已有的短期客流

方法大部分基于單一車(chē)站的客流，忽略網(wǎng)絡(luò)化運(yùn)營(yíng)情況下線(xiàn)網(wǎng)車(chē)站的相互影響作用300025002000150010005000第八周周日0:8第八周周日8:25第八周周日16:42第九周周一0:59第九周周一9:16第九周周一17:33第九周周二1:50第九周周二10:7第九周周二18:24第九周周三2:41第九周周三10:58第九周周三19:15第九周周四3:32第九周周四11:49第九周周四20:6第九周周五4:23第九周周五12:40第九周周五20:57第九周周六5:14第九周周六13:31第九周周六21:48第九周周日6:5第九周周日14:22第九周周日22:39第十周周一6:56第十周周一15:13第十周周一23:30第十周周二7:47第十周周二16:4第十周周三0:21第十周周三8:38第十周周三16:54第十周周四1:11客流量/人次三元里站15分鐘入站客流三元里站15分鐘出站客流時(shí)間段（時(shí)間粒度：15分鐘）三元里客流示意圖城軌線(xiàn)網(wǎng)數(shù)據(jù)中心數(shù)據(jù)挖掘技術(shù)-客流時(shí)間及空間相關(guān)性分析城軌車(chē)站客流的時(shí)間及空間相關(guān)程度并從中尋找對(duì)

車(chē)站的客流量影響較大的車(chē)站歷史數(shù)據(jù)及其它相關(guān)車(chē)站的時(shí)空數(shù)據(jù)，而Elman神經(jīng)網(wǎng)絡(luò)結(jié)合客流時(shí)序變化的特點(diǎn)，適用于時(shí)序變化的

問(wèn)題。開(kāi)始Elman網(wǎng)絡(luò)輸入并進(jìn)行訓(xùn)練生成

模型輸出

結(jié)果確定

時(shí)段結(jié)束計(jì)算誤差確定

模型輸入向量階段構(gòu)建訓(xùn)練向量客流數(shù)據(jù)的處理空間相關(guān)性分析時(shí)間相關(guān)性分析相關(guān)性分析階段

訓(xùn)練階段城軌線(xiàn)網(wǎng)數(shù)據(jù)中心數(shù)據(jù)挖掘技術(shù)-客流時(shí)間相關(guān)性空間相關(guān)性0500100015002000250003000客流量/人次（當(dāng)前時(shí)間段）1000

2000客流量/人次（上周同一時(shí)間段）0500100015002000250030000客流量/人次（當(dāng)前時(shí)間段）1000

2000

3000客流量/人次（前一時(shí)間段）050010001500200030002500050015002000中大站客流量/人次1000三元里客流量/人次城軌線(xiàn)網(wǎng)數(shù)據(jù)中心數(shù)據(jù)挖掘技術(shù)-客流站間相關(guān)性0.50.40.30.60.70.80.91中大站會(huì)江站

公園前

鳳凰新村南洲站

南浦站

嘉禾站

寶崗大道客村站

市二宮

廣州南

新港東站昌崗曉崗站江南西站江夏站

江泰路站沙園站

洛溪站海珠廣場(chǎng)站火車(chē)站琶洲站

白云公園白云文化廣場(chǎng)石壁站磨碟沙

紀(jì)念堂站蕭崗站赤崗越秀公園站飛翔鷺江站黃邊相關(guān)度車(chē)站城軌線(xiàn)網(wǎng)數(shù)據(jù)中心數(shù)據(jù)挖掘技術(shù)-客流三元里客流量相關(guān)關(guān)系出站客流量相關(guān)性前二時(shí)間段0.9300前一時(shí)間段0.9757上周前一時(shí)間段0.9679上周同一時(shí)間段0.9773上周后一時(shí)間段0.9547三元里客流量相關(guān)關(guān)系出站客流量相關(guān)性前二時(shí)間段0.9300前一時(shí)間段0.9757上周前一時(shí)間段0.9679上周同一時(shí)間段0.9773上周后一時(shí)間段0.9547越秀公園前二時(shí)間段0.9577中大前二時(shí)間段0.9396火車(chē)站前一時(shí)間段0.9153時(shí)間相關(guān)性時(shí)空相關(guān)性城軌線(xiàn)網(wǎng)數(shù)據(jù)中心數(shù)據(jù)挖掘技術(shù)-客流時(shí)間相關(guān)性時(shí)空相關(guān)性實(shí)驗(yàn)結(jié)果MSE均方誤差僅考慮時(shí)間相關(guān)性的Elman神經(jīng)網(wǎng)絡(luò) 結(jié)果1.3746*104考慮時(shí)空相關(guān)性的Elman神經(jīng)網(wǎng)絡(luò) 結(jié)果1.0963*104采用時(shí)空相關(guān)性的Elman神經(jīng)網(wǎng)絡(luò)進(jìn)行車(chē)站出站短時(shí)客流時(shí)，

結(jié)果更為準(zhǔn)確，輸出能反映車(chē)站客流的全日運(yùn)營(yíng)時(shí)段的特性；客流量的均方誤差相對(duì)于僅考慮時(shí)間相關(guān)性的方法降低了21%。城軌線(xiàn)網(wǎng)數(shù)據(jù)中心數(shù)據(jù)挖掘技術(shù)-客流采用本文對(duì)應(yīng)日期的客流量。例如，根據(jù)給定的第九周周三的三元里、中大、越秀公園、廣州火車(chē)站客流，得到第十周周三的三元里的出站客流如上圖所示。研究成果-城軌線(xiàn)網(wǎng)客流時(shí)空相關(guān)性研究一天客流

結(jié)果方法，分析車(chē)站間的相關(guān)關(guān)系，可 下一周城軌線(xiàn)網(wǎng)指揮平臺(tái)架構(gòu)設(shè)計(jì)城軌線(xiàn)網(wǎng)指揮平臺(tái)架構(gòu)設(shè)計(jì)整體架構(gòu)（包括各系統(tǒng)的功能、架構(gòu)和設(shè)備選型）：包括接入系統(tǒng)、數(shù)據(jù)處理平臺(tái)、CCTV系統(tǒng)、大屏幕系統(tǒng)、線(xiàn)網(wǎng)行車(chē)管理系統(tǒng)、線(xiàn)網(wǎng)電能調(diào)度管理系統(tǒng)、線(xiàn)網(wǎng)機(jī)電設(shè)備綜合調(diào)度管理系統(tǒng)、線(xiàn)網(wǎng)客流引

導(dǎo)與信息發(fā)布平臺(tái)、GIS系統(tǒng)、OA系統(tǒng)、KVM切換器、

調(diào)度系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)、全文檢索系統(tǒng)、異地容災(zāi)中心、培訓(xùn)系統(tǒng)、測(cè)試系

統(tǒng)、參觀演示室、應(yīng)急指揮室、

系統(tǒng)、消