EAST數(shù)據(jù)系統(tǒng)中的應(yīng)用

1、P2P在在 EAST數(shù)據(jù)系統(tǒng)中的應(yīng)用數(shù)據(jù)系統(tǒng)中的應(yīng)用報(bào)告人：趙偉豐報(bào)告人：趙偉豐導(dǎo)導(dǎo) 師：舒炎泰師：舒炎泰6/29/20062提綱提綱選題背景選題背景研究內(nèi)容研究內(nèi)容已完成工作已完成工作將來的工作將來的工作工作時(shí)間安排工作時(shí)間安排3提綱提綱選題背景選題背景EAST簡介簡介P2P簡介簡介P2P在高性能數(shù)據(jù)處理中的應(yīng)用在高性能數(shù)據(jù)處理中的應(yīng)用研究內(nèi)容研究內(nèi)容已完成工作已完成工作將來的工作將來的工作工作時(shí)間安排工作時(shí)間安排4EASTExperimental Advanced Superconducting Tokamak5EAST數(shù)據(jù)系統(tǒng)數(shù)據(jù)系統(tǒng)On-LineOff-Line基于基于C/S模式模式在

2、線系統(tǒng)在線系統(tǒng)qCAMAC、VXI和和PCI采集子系統(tǒng)采集子系統(tǒng)組成組成 主要負(fù)責(zé)實(shí)時(shí)采主要負(fù)責(zé)實(shí)時(shí)采集實(shí)驗(yàn)數(shù)據(jù)，并集實(shí)驗(yàn)數(shù)據(jù)，并將數(shù)據(jù)傳輸?shù)綌?shù)將數(shù)據(jù)傳輸?shù)綌?shù)據(jù)服務(wù)器據(jù)服務(wù)器離線系統(tǒng)離線系統(tǒng)有多臺(tái)數(shù)據(jù)服務(wù)有多臺(tái)數(shù)據(jù)服務(wù)器和用戶組成器和用戶組成主要負(fù)責(zé)實(shí)驗(yàn)數(shù)主要負(fù)責(zé)實(shí)驗(yàn)數(shù)據(jù)的存儲(chǔ)、顯示據(jù)的存儲(chǔ)、顯示和處理和處理6P2P(Peer-to-Peer)一種點(diǎn)對(duì)點(diǎn)網(wǎng)絡(luò)計(jì)算模式一種點(diǎn)對(duì)點(diǎn)網(wǎng)絡(luò)計(jì)算模式所有機(jī)器都是一個(gè)節(jié)點(diǎn)（所有機(jī)器都是一個(gè)節(jié)點(diǎn)（Peer）所有節(jié)點(diǎn)地位是對(duì)等的，既充當(dāng)服務(wù)器，為其他所有節(jié)點(diǎn)地位是對(duì)等的，既充當(dāng)服務(wù)器，為其他結(jié)點(diǎn)提供服務(wù)，同時(shí)也享用其他結(jié)點(diǎn)提供的服務(wù)。結(jié)點(diǎn)提供服務(wù)，同時(shí)也享用其他

3、結(jié)點(diǎn)提供的服務(wù)。節(jié)點(diǎn)之間直接共享和交互資源，不需要任何服務(wù)節(jié)點(diǎn)之間直接共享和交互資源，不需要任何服務(wù)器或者中間介質(zhì)的轉(zhuǎn)發(fā)。器或者中間介質(zhì)的轉(zhuǎn)發(fā)。特點(diǎn)：非中心化、可擴(kuò)展性、健壯性、高性特點(diǎn)：非中心化、可擴(kuò)展性、健壯性、高性/價(jià)比、價(jià)比、隱私保護(hù)、負(fù)載均衡隱私保護(hù)、負(fù)載均衡7P2P分類分類集中式拓?fù)浣Y(jié)構(gòu)集中式拓?fù)浣Y(jié)構(gòu) Napster分布式拓?fù)浣Y(jié)構(gòu)分布式拓?fù)浣Y(jié)構(gòu) Unstructured GnutellaStructured CAN, Chord, Pastry混合式拓?fù)浣Y(jié)構(gòu)混合式拓?fù)浣Y(jié)構(gòu) KaZzA8集中式集中式 P2PABIndex Server9分布式 P2PAB分布式非結(jié)構(gòu)化拓?fù)浞植际椒墙Y(jié)構(gòu)

4、化拓?fù)鋛采用隨機(jī)洪泛和轉(zhuǎn)發(fā)采用隨機(jī)洪泛和轉(zhuǎn)發(fā)qTTL控制消息傳輸控制消息傳輸q健壯性好，擴(kuò)展性差健壯性好，擴(kuò)展性差 資源的發(fā)現(xiàn)效率低。資源的發(fā)現(xiàn)效率低。分布式結(jié)構(gòu)化拓?fù)浞植际浇Y(jié)構(gòu)化拓?fù)鋛分布式散列表分布式散列表q較好的擴(kuò)展性、魯棒較好的擴(kuò)展性、魯棒性、自組織能力?？梢孕浴⒆越M織能力。可以提供精確的發(fā)現(xiàn)。提供精確的發(fā)現(xiàn)。qDHT維護(hù)機(jī)制復(fù)雜，維護(hù)機(jī)制復(fù)雜，僅支持精確關(guān)鍵詞匹配僅支持精確關(guān)鍵詞匹配查詢，無法支持內(nèi)容查詢，無法支持內(nèi)容/語義等復(fù)雜查詢語義等復(fù)雜查詢10混合式混合式 P2PAB114種結(jié)構(gòu)的性能比較種結(jié)構(gòu)的性能比較12P2P的研究熱點(diǎn)的研究熱點(diǎn)對(duì)于對(duì)于P2P系統(tǒng)的研究熱點(diǎn)主要在分布式系

5、統(tǒng)的研究熱點(diǎn)主要在分布式P2P的搜索機(jī)制和可擴(kuò)展性方面。的搜索機(jī)制和可擴(kuò)展性方面。對(duì)于集中式和混合式對(duì)于集中式和混合式P2P系統(tǒng)，已在大量系統(tǒng)，已在大量領(lǐng)域進(jìn)行了廣泛的應(yīng)用，但缺乏系統(tǒng)的、領(lǐng)域進(jìn)行了廣泛的應(yīng)用，但缺乏系統(tǒng)的、定量的研究。定量的研究。13P2P技術(shù)在技術(shù)在SLAC中的應(yīng)用中的應(yīng)用BaBar Copy Program (bbcp)Supports 3rd party copy operations using an agentInstantiate a source node and a target nodeRelay parameters to the source and t

6、argetSourceTargetConnectSend DataAgent14提綱提綱選題背景選題背景研究內(nèi)容研究內(nèi)容設(shè)計(jì)基于設(shè)計(jì)基于P2P的的EAST數(shù)據(jù)系統(tǒng)的體系結(jié)構(gòu)數(shù)據(jù)系統(tǒng)的體系結(jié)構(gòu)基于基于Napster的的EASTNap程序?qū)崿F(xiàn)程序?qū)崿F(xiàn)基于基于P2P的的EAST數(shù)據(jù)系統(tǒng)的性能評(píng)價(jià)數(shù)據(jù)系統(tǒng)的性能評(píng)價(jià)完全分布式完全分布式P2P在在EASTNap數(shù)據(jù)系統(tǒng)中的應(yīng)用研究數(shù)據(jù)系統(tǒng)中的應(yīng)用研究已完成工作已完成工作將來的工作將來的工作工作時(shí)間安排工作時(shí)間安排15基于基于P2P的的EAST數(shù)據(jù)系統(tǒng)的體系結(jié)數(shù)據(jù)系統(tǒng)的體系結(jié)構(gòu)構(gòu) 設(shè)計(jì)依據(jù)：設(shè)計(jì)依據(jù)：現(xiàn)有現(xiàn)有C/S方式下方式下EAST數(shù)據(jù)系統(tǒng)的特點(diǎn)數(shù)據(jù)系統(tǒng)

7、的特點(diǎn)未來未來EAST實(shí)驗(yàn)的設(shè)計(jì)要求實(shí)驗(yàn)的設(shè)計(jì)要求P2P技術(shù)的特點(diǎn)技術(shù)的特點(diǎn)16基于基于Napster的的EASTNap程序?qū)崿F(xiàn)程序?qū)崿F(xiàn) 主要實(shí)現(xiàn)以下程序：主要實(shí)現(xiàn)以下程序：基于基于Napster實(shí)現(xiàn)實(shí)現(xiàn)EASTNap服務(wù)器索引程序服務(wù)器索引程序q定義定義EASTNap協(xié)議協(xié)議q建立索引建立索引Hash表表q實(shí)現(xiàn)雙參數(shù)（實(shí)現(xiàn)雙參數(shù)（Shot、Signal）查詢查詢q解決內(nèi)網(wǎng)訪問問題解決內(nèi)網(wǎng)訪問問題根據(jù)根據(jù)EASTNap協(xié)議實(shí)現(xiàn)采集機(jī)端程序協(xié)議實(shí)現(xiàn)采集機(jī)端程序根據(jù)根據(jù)EASTNap協(xié)議實(shí)現(xiàn)用戶端程序協(xié)議實(shí)現(xiàn)用戶端程序17基于基于P2P的的EAST數(shù)據(jù)系統(tǒng)性能評(píng)價(jià)數(shù)據(jù)系統(tǒng)性能評(píng)價(jià)通過分析和測(cè)量獲得

8、一些基本參數(shù)通過分析和測(cè)量獲得一些基本參數(shù)通過建模和仿真等方法對(duì)基于通過建模和仿真等方法對(duì)基于C/S和和P2P兩兩種方式的種方式的Server的性能進(jìn)行分析的性能進(jìn)行分析建立建立testbed對(duì)整個(gè)系統(tǒng)進(jìn)行測(cè)試對(duì)整個(gè)系統(tǒng)進(jìn)行測(cè)試18分布式分布式P2P在在EASTNap數(shù)據(jù)系統(tǒng)中的應(yīng)用研究數(shù)據(jù)系統(tǒng)中的應(yīng)用研究集中式集中式P2P由于索引服務(wù)器的存在，使整由于索引服務(wù)器的存在，使整個(gè)系統(tǒng)的健壯性大大降低。個(gè)系統(tǒng)的健壯性大大降低。完全分布式完全分布式P2P則很好的解決了此問題則很好的解決了此問題19提綱提綱選題背景選題背景研究內(nèi)容研究內(nèi)容已完成工作已完成工作體系結(jié)構(gòu)的設(shè)計(jì)體系結(jié)構(gòu)的設(shè)計(jì)基于基于C/S和

9、和P2P兩種方式的系統(tǒng)性能分析兩種方式的系統(tǒng)性能分析EASTNap程序的初步實(shí)現(xiàn)及現(xiàn)場測(cè)試程序的初步實(shí)現(xiàn)及現(xiàn)場測(cè)試將來的工作將來的工作工作時(shí)間安排工作時(shí)間安排20基于基于P2P的的EAST數(shù)據(jù)系統(tǒng)的體系結(jié)構(gòu)數(shù)據(jù)系統(tǒng)的體系結(jié)構(gòu)On_LineOff_Line21C/S和和P2P兩種方式系統(tǒng)性能的分析兩種方式系統(tǒng)性能的分析Data Collection(s)Data available on Servers/ Pees(s)Workstation Complete Processing (s)Final Completion (s)3 CAMAC 7.9 2 VXI 35.2 5 PCI 0 C/S

10、 with 1 servers 157.3127.8 285.1C/S with 2 servers87.363.9151.2C/S with 4 servers58.233.591.7P2P with 10 DAS 35.2 33.5 68.7 22C/S和和P2P兩種方式系統(tǒng)性能的分析兩種方式系統(tǒng)性能的分析C/S Model-M/M/1P2P Model-M/D/11/0.211/0.00461T)(22TC/S Model Result0.11101000.251.252.253.254.254.75Workload(ch/s)Delay (s)P2P Model Result0.001

11、0.010.11101000.2550100150200217.5Workload(ch/s)Delay (s)23EASTNap程序?qū)崿F(xiàn)及測(cè)試結(jié)果程序?qū)崿F(xiàn)及測(cè)試結(jié)果C/S方式下：方式下：文件上傳文件上傳DataSrv的時(shí)的時(shí)間間與文件大小的關(guān)系與文件大小的關(guān)系 P2P方式下：方式下：文件上傳文件上傳IndexSrv的時(shí)間的時(shí)間與文件大小的關(guān)系與文件大小的關(guān)系 24EASTNap程序?qū)崿F(xiàn)及測(cè)試結(jié)果程序?qū)崿F(xiàn)及測(cè)試結(jié)果0100020003000400050006000C/SP2PC/SP2PC/SP2PC/SP2PTime(ms)CompressTransmitC/S和和P2P兩種方式下，采集兩種

12、方式下，采集1s、10s、50s、100s 的文件有效時(shí)間的比較的文件有效時(shí)間的比較25提綱提綱選題背景選題背景研究內(nèi)容研究內(nèi)容已完成工作已完成工作將來的工作將來的工作 對(duì)系統(tǒng)性能、參數(shù)等進(jìn)一步分析與仿真對(duì)系統(tǒng)性能、參數(shù)等進(jìn)一步分析與仿真 建立建立testbed，對(duì)系統(tǒng)進(jìn)行測(cè)試對(duì)系統(tǒng)進(jìn)行測(cè)試 完全分布式完全分布式P2P在在EASTNap數(shù)據(jù)系統(tǒng)中的應(yīng)用研究數(shù)據(jù)系統(tǒng)中的應(yīng)用研究工作時(shí)間安排工作時(shí)間安排26提綱提綱選題背景選題背景研究內(nèi)容研究內(nèi)容已完成工作已完成工作將來的工作將來的工作工作時(shí)間安排工作時(shí)間安排27工作時(shí)間安排2005.10-2006.1閱讀相關(guān)文獻(xiàn)，熟悉閱讀相關(guān)文獻(xiàn)，熟悉EAST數(shù)據(jù)系統(tǒng)和數(shù)據(jù)系統(tǒng)和P2P網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)；網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)；構(gòu)建基于構(gòu)建基于P2P的的EAST數(shù)據(jù)傳輸系統(tǒng)的體系結(jié)構(gòu)數(shù)據(jù)傳輸系統(tǒng)的體系結(jié)構(gòu)2006.2-2006.4分析分析EAST數(shù)據(jù)系統(tǒng)的基本參數(shù)，數(shù)據(jù)系統(tǒng)的基本參數(shù)，利用實(shí)驗(yàn)室設(shè)備和利用實(shí)驗(yàn)室設(shè)備和OpenNap軟件建立初步測(cè)量軟件建立初步測(cè)量P2P參數(shù)的環(huán)境，完成參數(shù)的環(huán)境，完成P2P方式下一些基本參數(shù)的測(cè)量方式下一些基本參數(shù)的測(cè)量2006.5-2006.7分析分析OpenNap源代碼，按照源代碼，按照EAST數(shù)