海量結(jié)構(gòu)化數(shù)據(jù)分析平臺(tái)解決方案

曙光海量結(jié)構(gòu)化數(shù)據(jù)分析平臺(tái)解決方案曙光信息產(chǎn)業(yè)(北京)有限公司2012-05導(dǎo)言在數(shù)據(jù)爆炸的今天，從海量結(jié)構(gòu)化數(shù)據(jù)中提取并挖掘出有用的信息逐漸成為眾多行業(yè)的新的應(yīng)用熱點(diǎn)。而海量數(shù)據(jù)的分析中呈現(xiàn)出的高并發(fā)加載數(shù)據(jù)，海量存儲(chǔ)，低并發(fā)查詢(xún)，但每次查詢(xún)的規(guī)模都非常高的特點(diǎn)。使得如何將數(shù)據(jù)庫(kù)操作有效并行化成為海量數(shù)據(jù)分析首要需要解決的問(wèn)題。雖然目前流行的Hadoop的map-reduce并行計(jì)算框架在很多互聯(lián)網(wǎng)企業(yè)中得到了廣泛的應(yīng)用，但卻由于其不支持SQL語(yǔ)句，使得難以與現(xiàn)有的基于SQL的關(guān)系型數(shù)據(jù)庫(kù)的應(yīng)用場(chǎng)景進(jìn)行結(jié)合。曙光在海量數(shù)據(jù)分析和挖掘領(lǐng)域積累了多年的經(jīng)驗(yàn)，和計(jì)算所智能中心合作研發(fā)出專(zhuān)門(mén)針對(duì)海量關(guān)系型數(shù)據(jù)庫(kù)應(yīng)用特點(diǎn)的關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)DRAC，為海量數(shù)據(jù)分析系統(tǒng)提供高性能，高可擴(kuò)展性的并行數(shù)據(jù)庫(kù)系統(tǒng)，并且已成功部署在多個(gè)國(guó)家大型項(xiàng)目中。其底層采用無(wú)共享（shared-nothing）的oracle數(shù)據(jù)庫(kù)節(jié)點(diǎn)作為數(shù)據(jù)節(jié)點(diǎn)，具有較好的擴(kuò)展性和系統(tǒng)可靠性。DRAC軟件將用戶(hù)的操作透明地轉(zhuǎn)化成對(duì)底層數(shù)據(jù)庫(kù)的操作，而對(duì)用戶(hù)呈現(xiàn)為單一的數(shù)據(jù)庫(kù)系統(tǒng)。DRAC系統(tǒng)可根據(jù)數(shù)據(jù)的訪(fǎng)問(wèn)頻度和重要性實(shí)施多級(jí)存儲(chǔ)的方案，以降低整個(gè)系統(tǒng)的成本，提高系統(tǒng)的性?xún)r(jià)比。技術(shù)特點(diǎn)曙光集群并行數(shù)據(jù)庫(kù)DRAC(Dawnings Real Application Cluster)是一種無(wú)共享（shared- nothing）結(jié)構(gòu)的并行數(shù)據(jù)庫(kù)管理系統(tǒng)。DRAC原是專(zhuān)為分析網(wǎng)絡(luò)監(jiān)控?cái)?shù)據(jù)設(shè)計(jì)的并行數(shù)據(jù)庫(kù)系統(tǒng)，現(xiàn)已部署在國(guó)家某大型項(xiàng)目、某市大型項(xiàng)目等多個(gè)系統(tǒng)中。它具有如下技術(shù)特點(diǎn)： DRAC采取目前主流的集群設(shè)計(jì)方法，具有性?xún)r(jià)比高、擴(kuò)展性好等諸多優(yōu)點(diǎn)。 它直接將任意查詢(xún)分解成操作于分區(qū)數(shù)據(jù)的子查詢(xún)和匯總中間結(jié)果的后處理查詢(xún)，用成熟的DBMS來(lái)實(shí)現(xiàn)兩種查詢(xún)的執(zhí)行，從而避免了一般的分布式查詢(xún)處理器為了通用而引入的復(fù)雜性。配合針對(duì)特定應(yīng)用的分區(qū)策略，DRAC的方法能保證查詢(xún)執(zhí)行的效率。 大任務(wù)全并行處理。DRAC采用單機(jī)數(shù)據(jù)庫(kù)作為基本數(shù)據(jù)處理單元，將數(shù)據(jù)并行地寫(xiě)入這些單元數(shù)據(jù)庫(kù)，查詢(xún)時(shí)并行地從各個(gè)數(shù)據(jù)庫(kù)中讀取和處理這些數(shù)據(jù)。這種完全并行的處理極大地提高了系統(tǒng)存儲(chǔ)數(shù)據(jù)的能力并縮短單個(gè)查詢(xún)的完成時(shí)間。DDL操作也在各數(shù)據(jù)庫(kù)節(jié)點(diǎn)上并行地執(zhí)行。 DRAC對(duì)外提供單一系統(tǒng)映像，用戶(hù)使用類(lèi)似ODBC或JDBC的接口提交SQL語(yǔ)句。這些操作被服務(wù)節(jié)點(diǎn)自動(dòng)地并行執(zhí)行。 DRAC采取了功能分離的設(shè)計(jì)思路，像加載、查詢(xún)等功能均可按需要配置，滿(mǎn)足在線(xiàn)擴(kuò)展的高可用要求。 和Oracle RAC等并行數(shù)據(jù)庫(kù)不同，DRAC不需要光纖交換機(jī)和較高端的盤(pán)陣，硬件成本低。配合靈活部署和簡(jiǎn)易管理的工具，DRAC在大規(guī)模部署時(shí)有較高的性能價(jià)格比。系統(tǒng)架構(gòu)下圖給出了一種典型的DRAC配置。系統(tǒng)中的節(jié)點(diǎn)分為兩大類(lèi)：存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)庫(kù)節(jié)點(diǎn)和提供并行數(shù)據(jù)管理功能的服務(wù)節(jié)點(diǎn)。后者包括：加載服務(wù)、查詢(xún)服務(wù)、數(shù)據(jù)復(fù)制和數(shù)據(jù)定義服務(wù)。所有類(lèi)型的節(jié)點(diǎn)個(gè)數(shù)均可根據(jù)容量和性能的需要而靈活配置。數(shù)據(jù)庫(kù)節(jié)點(diǎn)是帶獨(dú)立存儲(chǔ)系統(tǒng)（本地硬盤(pán)或磁盤(pán)陣列）的商品化服務(wù)器。節(jié)點(diǎn)上安裝單機(jī)版的Oracle數(shù)據(jù)庫(kù)管理系統(tǒng)。按照數(shù)據(jù)劃分策略，每個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)保存全部的復(fù)制數(shù)據(jù)和分片數(shù)據(jù)表的一部分。每個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)上數(shù)據(jù)均可使用Oracle的索引、分區(qū)等特性。數(shù)據(jù)庫(kù)的功能被分成加載、查詢(xún)、數(shù)據(jù)復(fù)制、數(shù)據(jù)定義等服務(wù)，每種服務(wù)部署在單獨(dú)的物理節(jié)點(diǎn)上。任一服務(wù)節(jié)點(diǎn)均建立到所有的數(shù)據(jù)庫(kù)連接。加載節(jié)點(diǎn)啟動(dòng)若干個(gè)加載線(xiàn)程，線(xiàn)程將一批數(shù)據(jù)寫(xiě)入某一數(shù)據(jù)庫(kù)節(jié)點(diǎn)。由于海量數(shù)據(jù)分布存儲(chǔ)在各數(shù)據(jù)庫(kù)節(jié)點(diǎn)上，查詢(xún)服務(wù)首先并行地在處理各數(shù)據(jù)庫(kù)節(jié)點(diǎn)上的局部數(shù)據(jù)得到中間結(jié)果，然后將中間結(jié)果匯總成最終結(jié)果。復(fù)制數(shù)據(jù)是指將一個(gè)表的數(shù)據(jù)同時(shí)存儲(chǔ)一組數(shù)據(jù)庫(kù)節(jié)點(diǎn)上，以此避免兩個(gè)表的連接操作。數(shù)據(jù)復(fù)制服務(wù)專(zhuān)用于處理這部分?jǐn)?shù)據(jù)的操作。它通過(guò)分布式事務(wù)在有關(guān)節(jié)點(diǎn)上同時(shí)執(zhí)行事務(wù)操作，保證復(fù)制前后數(shù)據(jù)都是一致的。 數(shù)據(jù)定義服務(wù)用于維護(hù)系統(tǒng)的元數(shù)據(jù)，它并行地執(zhí)行表結(jié)構(gòu)、表空間和其它數(shù)據(jù)庫(kù)模式改變等元數(shù)據(jù)操作。采用這種服務(wù)分離的設(shè)計(jì)，用戶(hù)可以靈活地配置各種服務(wù)的個(gè)數(shù)，以達(dá)到整個(gè)體統(tǒng)資源的最佳利用。DRAC集群數(shù)據(jù)庫(kù)系統(tǒng)結(jié)構(gòu)無(wú)共享架構(gòu)DRAC采取Shared-Nothing的架構(gòu)，即所有存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)庫(kù)節(jié)點(diǎn)除互聯(lián)網(wǎng)絡(luò)外，不共享任何資源。除此之外，并行數(shù)據(jù)庫(kù)還有Shared-Memory和Shared-Disk兩種架構(gòu)。學(xué)術(shù)界普遍認(rèn)為，Shared-Nothing架構(gòu)有很強(qiáng)的擴(kuò)展性。另外，DRAC不需要存儲(chǔ)網(wǎng)絡(luò)設(shè)施，也不依賴(lài)于昂貴的高端盤(pán)陣。這樣可以很好降低用戶(hù)的硬件成本，在大規(guī)模部署時(shí)有很高的性?xún)r(jià)比。Shared-Memory結(jié)構(gòu)是多個(gè)處理器通過(guò)內(nèi)存總線(xiàn)與多個(gè)共享內(nèi)存相連接，再通過(guò)I/O總線(xiàn)共享多個(gè)存儲(chǔ)設(shè)備。Shared-Memory 結(jié)構(gòu)是典型的向上擴(kuò)展類(lèi)型，即在單節(jié)點(diǎn)上加入更多的處理器、內(nèi)存、磁盤(pán)和網(wǎng)卡。多家廠(chǎng)商的產(chǎn)品已經(jīng)證明，在常規(guī)商務(wù)負(fù)載環(huán)境下，SMP 服務(wù)器能夠提供 10 倍于單處理器系統(tǒng)的向上擴(kuò)展能力。然而，隨著 CPU 個(gè)數(shù)增多，共享的內(nèi)存帶寬成為瓶頸，同時(shí)多處理器競(jìng)爭(zhēng)降低了系統(tǒng)總線(xiàn)的利用率，因此難以擴(kuò)展到大規(guī)模。Shared-Disk結(jié)構(gòu)中每個(gè)節(jié)點(diǎn)有自己的內(nèi)存，共享磁盤(pán)。每個(gè)節(jié)點(diǎn)都可以讀取和修改所有數(shù)據(jù)。通過(guò)分布式的并發(fā)控制機(jī)制來(lái)保證數(shù)據(jù)一致性。隨著節(jié)點(diǎn)數(shù)增多，并發(fā)開(kāi)銷(xiāo)增大，因此商用 Shared-Disk構(gòu)建的實(shí)用數(shù)據(jù)庫(kù)系統(tǒng)一般只有 6-8個(gè)節(jié)點(diǎn)。Shared-Nothing 結(jié)構(gòu)屬于多處理單元多數(shù)據(jù)單元結(jié)構(gòu)。Shared-Nothing 環(huán)境下，每個(gè)處理器有自己的內(nèi)存和磁盤(pán)存儲(chǔ)設(shè)備，所有處理器通過(guò)節(jié)點(diǎn)間互連網(wǎng)絡(luò)進(jìn)行連接，對(duì)于節(jié)點(diǎn)間通信少、返回結(jié)果集少的應(yīng)用（如 數(shù)據(jù)倉(cāng)庫(kù)或DSS），具有良好的擴(kuò)展性。可達(dá)數(shù)千個(gè)節(jié)點(diǎn)。在DRAC中，單元數(shù)據(jù)庫(kù)除了采用單機(jī)Oracle之外，還可以采用Shared-Disk的并行數(shù)據(jù)庫(kù)，如Oracle RAC。這是一種融合了Shared-Disk和Shared-Nothing結(jié)構(gòu)的系統(tǒng)，可以擴(kuò)展到更大的規(guī)模。Shared-Nothing架構(gòu)下，數(shù)據(jù)庫(kù)節(jié)點(diǎn)如果失效將導(dǎo)致數(shù)據(jù)不可訪(fǎng)問(wèn)。DRAC提供了雙寫(xiě)的策略，對(duì)于要求高的數(shù)據(jù)存儲(chǔ)在兩個(gè)節(jié)點(diǎn)上。只要有一個(gè)節(jié)點(diǎn)存在，數(shù)據(jù)仍然及時(shí)可用。關(guān)鍵技術(shù)DRAC是一套完整的并行數(shù)據(jù)庫(kù)系統(tǒng)，除上述特征外，下面再給出并行加載、并行查詢(xún)和數(shù)據(jù)雙寫(xiě)等關(guān)鍵技術(shù)。l 并行加載提高系統(tǒng)加載能力的關(guān)鍵是提高單機(jī)加載能力和充分利用系統(tǒng)資源。DRAC的并行加載技術(shù)包括如下層面上的設(shè)計(jì)。1）單線(xiàn)程直接路徑加載。加載線(xiàn)程使用預(yù)處理過(guò)程將被寫(xiě)數(shù)據(jù)的格式告知數(shù)據(jù)庫(kù)，然后接受客戶(hù)端的一大批記錄，以直接路徑加載的方式一次性將數(shù)據(jù)寫(xiě)入數(shù)據(jù)庫(kù)。這是Oracle提供的最快的在線(xiàn)數(shù)據(jù)加載方法。2）單機(jī)多線(xiàn)程同時(shí)加載。每個(gè)加載節(jié)點(diǎn)都維護(hù)一個(gè)線(xiàn)程，當(dāng)有請(qǐng)求到達(dá)時(shí)，即分配一個(gè)線(xiàn)程向某一個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)加載。這樣能充分利用加載節(jié)點(diǎn)的帶寬和計(jì)算資源，提高其利用率。3）多數(shù)據(jù)庫(kù)并行加載。每個(gè)加載節(jié)點(diǎn)的多個(gè)線(xiàn)程可以同時(shí)向多個(gè)數(shù)據(jù)庫(kù)并行加載。當(dāng)加載節(jié)點(diǎn)較多的時(shí)候，可以充分利用數(shù)據(jù)庫(kù)的加載能力，使系統(tǒng)的加載性能達(dá)到最大。上述三種設(shè)計(jì)的考慮使DRAC能提供很高的加載速度和近似線(xiàn)性的加載擴(kuò)展比。數(shù)據(jù)均衡是Shared-Nothing架構(gòu)的并行數(shù)據(jù)庫(kù)要解決的一個(gè)重要問(wèn)題。解決數(shù)據(jù)均衡的關(guān)鍵是避免某個(gè)節(jié)點(diǎn)上的數(shù)據(jù)過(guò)多。出現(xiàn)這種情況，將導(dǎo)致該節(jié)點(diǎn)上的查詢(xún)?nèi)蝿?wù)完成地最晚，因?yàn)椴⑿腥蝿?wù)的完成時(shí)間取決于最慢的操作，所以會(huì)導(dǎo)致查詢(xún)擴(kuò)展性嚴(yán)重下降。DRAC每次都選擇當(dāng)前加載量最小的節(jié)點(diǎn)進(jìn)行加載，保持當(dāng)前的數(shù)據(jù)均衡。如果某個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)失效后重新啟動(dòng)，導(dǎo)致一段時(shí)間內(nèi)加載量過(guò)小，后續(xù)就會(huì)出現(xiàn)短期內(nèi)加載過(guò)多的情況。針對(duì)面向流數(shù)據(jù)應(yīng)用，DRAC采取周期性計(jì)數(shù)的方法。當(dāng)超出一個(gè)周期后，計(jì)數(shù)歸零。在上述情況發(fā)生時(shí)，上個(gè)周期數(shù)據(jù)量少不會(huì)影響到一個(gè)周期的數(shù)據(jù)平衡。l 并行查詢(xún)流數(shù)據(jù)管理中，具有流特征的數(shù)據(jù)表因?yàn)殡S時(shí)間而增長(zhǎng)，往往變得很大。海量的數(shù)據(jù)表分布存儲(chǔ)在不同的數(shù)據(jù)節(jié)點(diǎn)上，這是DRAC的并行查詢(xún)的基礎(chǔ)。如圖所示，查詢(xún)服務(wù)器上也部署一個(gè)數(shù)據(jù)庫(kù)，用于保存中間結(jié)果。查詢(xún)服務(wù)將來(lái)自客戶(hù)端的SQL分解成數(shù)據(jù)庫(kù)節(jié)點(diǎn)上本地?cái)?shù)據(jù)子查詢(xún)和綜合子查詢(xún)的后處理查詢(xún)。子查詢(xún)?cè)诟鱾€(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)處理原始數(shù)據(jù)，各節(jié)點(diǎn)的中間結(jié)果匯總到查詢(xún)節(jié)點(diǎn)后執(zhí)行后處理查詢(xún)，即可得到用戶(hù)最終的結(jié)果?；诜植急砗蛷?fù)制表的并行查詢(xún)處理當(dāng)中間結(jié)果集較小時(shí)，該方法有很好的擴(kuò)展性。兩個(gè)分布表之間的關(guān)聯(lián)操作采用節(jié)點(diǎn)間數(shù)據(jù)重分布來(lái)實(shí)現(xiàn)。為了實(shí)現(xiàn)查詢(xún)的魯棒性，查詢(xún)服務(wù)實(shí)現(xiàn)了客戶(hù)端超時(shí)和服務(wù)器資源回收機(jī)制。確保在客戶(hù)端異常后，不對(duì)系統(tǒng)產(chǎn)生影響。另外客戶(hù)端可以主動(dòng)取消查詢(xún)。l 數(shù)據(jù)雙寫(xiě)對(duì)于要求數(shù)據(jù)可靠性和可用性要求很高的用戶(hù)，DRAC提供數(shù)據(jù)雙寫(xiě)功能。如圖所示，每個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)上創(chuàng)建兩個(gè)數(shù)據(jù)庫(kù)，如d1和d2是同一物理機(jī)上的兩個(gè)數(shù)據(jù)庫(kù)。節(jié)點(diǎn)之間的數(shù)據(jù)庫(kù)做完全鏡象，數(shù)據(jù)在寫(xiě)入的時(shí)間同時(shí)保存在鏡象的兩個(gè)數(shù)據(jù)庫(kù)中。圖中給出了交錯(cuò)的鏡象關(guān)系，除任一數(shù)據(jù)庫(kù)節(jié)點(diǎn)失效后數(shù)據(jù)仍可用外，上面或下面所有數(shù)據(jù)庫(kù)節(jié)點(diǎn)損壞，系統(tǒng)中的數(shù)據(jù)仍然可用。DRAC的數(shù)據(jù)雙寫(xiě)高可用DRAC采用多種方式提高系統(tǒng)的可用性，完全可以提供7*24小時(shí)無(wú)間斷運(yùn)行。按離用戶(hù)的遠(yuǎn)近，DRAC的高可用性包括如下層面。高可用的負(fù)載均衡機(jī)制。DRAC標(biāo)準(zhǔn)情況下配置兩個(gè)負(fù)載均衡器，當(dāng)其中一個(gè)不可用時(shí)，客戶(hù)端接口庫(kù)自動(dòng)使用另一個(gè)，因此負(fù)載均衡器是高可用的。高可用的服務(wù)。DRAC每種服務(wù)（加載、查詢(xún)、復(fù)制引擎）都可以配置在多個(gè)物理服務(wù)器上，只要還有一個(gè)可用，這種服務(wù)就是可用的。高可用數(shù)據(jù)庫(kù)。DRAC系統(tǒng)配置多個(gè)互相獨(dú)立的數(shù)據(jù)庫(kù)節(jié)點(diǎn)。當(dāng)某個(gè)數(shù)據(jù)庫(kù)出現(xiàn)故障時(shí)，這種故障分臨時(shí)性故障、節(jié)點(diǎn)宕機(jī)和數(shù)據(jù)損壞三種情況。如果是臨時(shí)性的故障或節(jié)點(diǎn)宕機(jī)，正在進(jìn)行的查詢(xún)不能獲得這部分?jǐn)?shù)據(jù)的結(jié)果，但其余節(jié)點(diǎn)上的計(jì)算結(jié)果會(huì)返回給用戶(hù)并提示“結(jié)果集不完整”。當(dāng)節(jié)點(diǎn)宕機(jī)時(shí)，這種狀態(tài)要持續(xù)到機(jī)器重新啟動(dòng)為止。啟動(dòng)雙寫(xiě)機(jī)制后，即使數(shù)據(jù)庫(kù)失效，數(shù)據(jù)也不會(huì)丟失，并且隨時(shí)可用。擴(kuò)展性DRAC管理的系統(tǒng)中，只要增加數(shù)據(jù)庫(kù)節(jié)點(diǎn)，系統(tǒng)的容量可隨即增加。與此同時(shí)，所有數(shù)據(jù)庫(kù)的處理能力近似為整個(gè)系統(tǒng)的處理能力，也隨之?dāng)U展。當(dāng)系統(tǒng)規(guī)模擴(kuò)大時(shí)，系統(tǒng)的性能表現(xiàn)，即擴(kuò)展性是并行系統(tǒng)的重要特征。達(dá)到所有數(shù)據(jù)庫(kù)的寫(xiě)速度之前，DRAC數(shù)據(jù)加載的性能和加載節(jié)點(diǎn)的個(gè)數(shù)呈近線(xiàn)懷的增長(zhǎng)。大部分的查詢(xún)則隨數(shù)據(jù)庫(kù)節(jié)點(diǎn)個(gè)數(shù)的增加，也呈近線(xiàn)性的結(jié)果。根據(jù)應(yīng)用的實(shí)際需求，用于加載和查詢(xún)等任務(wù)的服務(wù)器可以方便地增加和刪除，但系統(tǒng)總的處理能力主要受數(shù)據(jù)庫(kù)節(jié)點(diǎn)能力的限制。所有節(jié)點(diǎn)均可在不中斷業(yè)務(wù)的情況下進(jìn)行。軟件也可以實(shí)現(xiàn)在線(xiàn)升級(jí)。DRAC在生產(chǎn)系統(tǒng)的部署中超過(guò)18個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)，處理的數(shù)據(jù)量超過(guò)400TB。統(tǒng)備份恢復(fù)DRAC高可用性的介紹中已經(jīng)從4個(gè)層面上介紹了在部分設(shè)備出現(xiàn)故障的時(shí)候系統(tǒng)如何保證對(duì)外服務(wù)的連續(xù)可用性。在未發(fā)生數(shù)據(jù)丟失的情況下只需替換故障設(shè)備，重新加入系統(tǒng)，即可恢復(fù)故障。為了防范出現(xiàn)數(shù)據(jù)丟失的嚴(yán)重故障，DRAC提供備份工具dmbk，它分別從各數(shù)據(jù)庫(kù)節(jié)點(diǎn)導(dǎo)出需要的數(shù)據(jù)，經(jīng)過(guò)壓縮后存儲(chǔ)在備份介質(zhì)上。當(dāng)需要時(shí)，它從備份介質(zhì)上讀出數(shù)據(jù)，解壓縮后導(dǎo)入原數(shù)據(jù)庫(kù)。簡(jiǎn)易管理DRAC的各種服務(wù)及數(shù)據(jù)庫(kù)節(jié)點(diǎn)均是“邏輯節(jié)點(diǎn)”，它們可以部署在任何的物理節(jié)點(diǎn)上，因此針對(duì)特定的系統(tǒng)結(jié)構(gòu)，只需指明“邏輯節(jié)點(diǎn)”和“物理節(jié)點(diǎn)”的映射關(guān)系，即可用工具簡(jiǎn)易完成包括底層數(shù)據(jù)庫(kù)在內(nèi)的整個(gè)的系統(tǒng)部署。它可以部署在包括單個(gè)節(jié)點(diǎn)在內(nèi)的任意數(shù)量機(jī)器