布式資料儲存及管理的開源管理軟件iRODS調(diào)研分析

1、調(diào) 研CASSDC 韓 芳2016/11/04布式資料儲存與管理的開源管理軟件目錄產(chǎn)品簡介主要功能體系架構(gòu)特色部分案例產(chǎn)品簡介iRODS是什么？Integrated Rule-Oriented Data System一種分布式資料儲存與管理的開源管理軟件，提供分散式資料管理所需的功能，例如維持資料完整、授權(quán)限制、資料存取、后設資料以及資料儲存的策略和布署等。集成以規(guī)則為導向的數(shù)據(jù)管理系統(tǒng)，一個社區(qū)驅(qū)動、開放源、數(shù)據(jù)網(wǎng)格軟件解決方案。重要理念是在廣域分布式環(huán)境中對大容量數(shù)據(jù)進行有效的管理和傳輸。產(chǎn)品簡介iRODS用于什么？從根本上說，iRODS可幫助研究人員、檔案管理人員和組織管理（組織、共享、

2、保護和維護）計算機上的文件。集合的范圍可以從0到數(shù)十億的文件大小或更多總計浩如煙海的數(shù)據(jù)。iRODS運作機制結(jié)合資料網(wǎng)格（Data Grid）、數(shù)位化儲存、長期典藏等技術與觀念；更支援數(shù)位資料保存、共同研究資料的分享及自動化的工作管理。除這些泛型功能之外，iRODS通過用戶定義微服務，提供高度可配置和易于擴展的用例，范圍非常廣泛而不必修改核心代碼。iRODS能管理多少文件？iRODS可能管理幾十到幾億個文件。功能4大主要功能數(shù)據(jù)虛擬化Data obj, DB obj, Workflow訪問接口標準微服務Data Grid數(shù)據(jù)網(wǎng)格Map from actions requested by the

3、 access method to a standard set of Micro-services.映射標準微服務與標準操作Map the operations to protocol supported by the operating system.標準操作(POSIX,ODBC)數(shù)據(jù)虛擬化iRODS區(qū)域是運行iRODS服務器軟件的計算機網(wǎng)絡。 Zone用于托管在連接的存儲設備上的數(shù)據(jù)，以及存儲在元數(shù)據(jù)目錄中的元數(shù)據(jù)。在每個區(qū)域中，一個服務器扮演目錄服務器的角色并連接到保存目錄的關系數(shù)據(jù)庫。 區(qū)域中的其他服務器目錄服務的消費者。所有iRODS服務器接受來自iRODS客戶端的連接。所有iR

4、ODS服務器可以托管存儲資源，其中包含由區(qū)域提供的文件。所有iRODS服務器都可以執(zhí)行iRODS規(guī)則實施工作流自動化。添加服務器可以通過在單個位置或分布事提供冗余來提高區(qū)域的性能，安全性和恢復能力。iRODS提供存儲在物理存儲位置的文件的邏輯表示。 我們將此邏輯視圖稱虛擬文件系統(tǒng)；其提供的功能，即數(shù)據(jù)虛擬化。數(shù)據(jù)虛擬化可組合資源iRODS可組合資源允許數(shù)據(jù)分配政策通過協(xié)調(diào)資源和存儲資源的決策樹來定義。協(xié)調(diào)資源，決策樹的分支節(jié)點，主動作出決策哪個葉節(jié)點或存儲資源，將接收或服務每個數(shù)據(jù)對象。有許多不同類型的協(xié)調(diào)資源，每個都有一個定義的邏輯，確定如何分發(fā)或訪問數(shù)據(jù)對象。協(xié)調(diào)資源類型的示例包括：隨機隨

5、機地將文件分發(fā)到其存儲資源復制將副本分發(fā)到其每個存儲資源延遲基于為每個存儲資源定義的算法所確定的投票分發(fā)文件數(shù)據(jù)發(fā)現(xiàn)數(shù)據(jù)目錄包含有關區(qū)域數(shù)據(jù)對象，集合，用戶，存儲資源以及有關區(qū)域本身的信息。有關數(shù)據(jù)的信息（稱為元數(shù)據(jù)）對于數(shù)據(jù)發(fā)現(xiàn)非常有用，可在大型數(shù)據(jù)集中查找相關數(shù)據(jù)。 數(shù)據(jù)對象元數(shù)據(jù)除了傳統(tǒng)的系統(tǒng)元數(shù)據(jù)之外，還包括豐富的用戶定義的元數(shù)據(jù)，例如文件名，文件大小和創(chuàng)建日期。這種豐富的元數(shù)據(jù)允許數(shù)據(jù)由作者姓名，關鍵字，案例ID和內(nèi)容類型等特征來標識。豐富的元數(shù)據(jù)可以包括您選擇應用于數(shù)據(jù)的任何描述符。豐富的元數(shù)據(jù)也可以應用于集合，用戶，資源和其他iRODS區(qū)域。區(qū)域的整個iRODS目錄包含在關系數(shù)據(jù)

6、庫中。目前，該數(shù)據(jù)庫必須托管在PostgreSQL，MySQL或Oracle數(shù)據(jù)庫管理系統(tǒng)。工作流自動化一旦數(shù)據(jù)在目錄中存儲和可用，它通常需要遷移，保護或以其他方式處理。每個iRODS服務器運行一個事件觸發(fā)后臺進程的規(guī)則引擎。規(guī)則引擎使用iRODS規(guī)則編程，規(guī)則指定在iRODS啟動特定系統(tǒng)活動時應觸發(fā)哪些操作。iRODS事件觸發(fā)器稱為策略強制點（PEP）。示例，當刪除用戶時，將數(shù)據(jù)對象的所有權(quán)轉(zhuǎn)移到項目管理器的規(guī)則;觸發(fā)器或PEP是用戶的刪除。類似地，每當將文件上傳到iRODS資源時，可以編寫規(guī)則來提取元數(shù)據(jù)或預處理數(shù)據(jù)。鏈接規(guī)則和PEP允許您創(chuàng)建強大的，自定義的工作流，節(jié)省時間并防止人為錯誤

7、。復雜的多步科學過程可以通過保持持續(xù)狀態(tài)的詳細記錄和其他實驗室信息，得到嚴格管理和自動化，并且只在必要時發(fā)出警告人。組織數(shù)據(jù)管理策略可以使用iRODS規(guī)則以自動化、可審計的方式獲取。安全協(xié)作當數(shù)據(jù)在合適的人手中時，數(shù)據(jù)是最有用的。公共研究界公認需要發(fā)布伴隨書面文章的數(shù)據(jù)集。即使在數(shù)據(jù)可能無法發(fā)布的領域，通常有必要在多個工作組之間共享數(shù)據(jù)集。隨著數(shù)據(jù)集增長超過幾千兆字節(jié)，數(shù)據(jù)變得難以在不同位置間移動。iRODS通過三種技術提供安全協(xié)作：Tickets, Permissions和Federation。iRODS Tickets提供對數(shù)據(jù)對象和集合的受控公共訪問。iRODS Permissions類

8、似于UNIX文件系統(tǒng)權(quán)限。iRODS Federation將數(shù)據(jù)共享和發(fā)布擴展到單個區(qū)域之外。Federation解決了集中式共享系統(tǒng)固有的可擴展性，易腐性和傳輸速率的問題。管理責任分散到各個區(qū)域，每個區(qū)域可以向世界上任何iRODS區(qū)域中的數(shù)據(jù)提供其自己的視圖（即，接口）。計算管理Why? 當數(shù)據(jù)大小過大和計算簡單時，可能更容易將計算移動到數(shù)據(jù)端通過本地處理減少延遲可能至關重要How?規(guī)則：Action | 條件| MS1，.，MSn | RMS1，.，RMSn微服務：+250定義良好的功能服務器調(diào)用的用于強制執(zhí)行策略的規(guī)則客戶端調(diào)用以在服務器上運行工作流的規(guī)則計算管理策略 可操作規(guī)則保留，處

9、置，分發(fā)，安排真實性，出處，描述完整性，復制，同步刪除，垃圾桶，版本生成歸檔，分期，高速緩存驗證，授權(quán)，編輯訪問，審批，IRB，審計跟蹤，報告生成評估標準，驗證派生數(shù)據(jù)產(chǎn)品生成，格式解析獨立數(shù)據(jù)網(wǎng)格聯(lián)合iRODS數(shù)據(jù)生命周期DataCollectionPrivateLocalPolicyDataGridSharedDistributionPolicyDigitalLibraryPublishedDescriptionPolicyDataProcessingPipelineAnalyzedServicePolicyReferenceCollectionPreservedRepresentatio

10、nPolicyFederationSustainedRe-purposingPolicy15用戶搜索、訪問、獲取、添加數(shù)據(jù)及元數(shù)據(jù)利用瀏覽器或iRODS GUI 或客戶端命令行來訪問分布式數(shù)據(jù)iRODS Data ServersDisk, Tape, etc.iRODS 元數(shù)據(jù)目錄Track informationiRODS 規(guī)則引擎Track PoliciesLogical namespace: “虛擬集合”系統(tǒng)架構(gòu)體系架構(gòu)iRODS可區(qū)分為前端(使用者端)及后端(服務器端)兩個部分，使用者端可透過不同的介面，存取及管理分散式資料。服務器端可依照不同需求，制定不同的策略，自動提供管理、認證、

11、授權(quán)、備份等服務。iRODS運作機制結(jié)合資料網(wǎng)格（Data Grid）、數(shù)位化儲存、長期典藏等技術與觀念；此外，更支援數(shù)位資料保存、共同研究資料的分享及自動化的工作管理。體系架構(gòu)在規(guī)則庫、后設資料庫、配置文件以及各種類型的微服務是iRODS系統(tǒng)的最底層，通過實施一致性校驗模組，分別對頂層的服務管理、規(guī)則修正器、配置修正器模組以及后設資料修改器模板提供服務而在客戶端，規(guī)則引擎作為連接 客戶端與管理端的一個橋梁，是客戶端的規(guī)則調(diào)研器、微服務模組和客戶端當前狀態(tài)描述的連結(jié)點。規(guī)則調(diào)研器一方面要接受來自客戶端的資源調(diào)度請求，另一方面又需要將通過規(guī)則引擎處理后的結(jié)果返回給客戶端。規(guī)則庫iRODS規(guī)則庫-

12、兩類：系統(tǒng)層級規(guī)則和使用者層級規(guī)則系統(tǒng)層級規(guī)則：服務器內(nèi)部運行時所執(zhí)行的系統(tǒng)中的各種管理策略。這類規(guī)則包括各種資料管理 策略，例如強制執(zhí)行的可靠性、完整性，存取限制，資料存放、資料描述、復制、分布狀態(tài)，處理過程以及資料的擷取和部署等；此外，它還包括服務的自動化，如服務的管理、鑒定、授權(quán)、審核和使用統(tǒng)計等。使用者層級規(guī)則：客戶端透過irule指令或者rcExecMyRule API調(diào)用規(guī)則引擎來執(zhí)行各種管理策略。使用者層級的規(guī)則屬于工作流類型的規(guī)則，它允許使用者請求iRODS服務器執(zhí)行操作序列(即微服務)。此外，它還為使用者提供一些有用的服務，由于這些操作是在資料存放的服務器上完成的，因此執(zhí)行上

13、非常有效。規(guī)則庫iRODS的規(guī)則引擎規(guī)則引擎布署在iRODS服務器上，當事件發(fā)生或使用者端發(fā)出請求時，判斷是否有符合的規(guī)則條件，以便執(zhí)行資料的管理策略。工作流引擎自動化：關于數(shù)據(jù)訪問，共享，保存的政策.實施用戶或管理員應用的規(guī)則以強制實施定義的策略管理員規(guī)則通過執(zhí)行微服務實現(xiàn)微服務是實現(xiàn)某些功能的小程序規(guī)則庫流程特色iRODS實現(xiàn)數(shù)據(jù)虛擬化，實現(xiàn)了統(tǒng)一的命名空間下訪問分布式存儲資產(chǎn)，從而解決只能在單一廠商存儲解決方案的問題。iRODS使用元數(shù)據(jù)目錄進行數(shù)據(jù)發(fā)現(xiàn)，該目錄描述iRODS區(qū)域中的每個文件，每個目錄和每個存儲資源。iRODS自動化數(shù)據(jù)工作流，使用規(guī)則引擎，允許任何操作由區(qū)域中任何服務器或客戶端上的任何觸發(fā)器啟動。iRODS支持安全協(xié)作，因此用戶只需登錄到其主區(qū)域即可訪問遠程區(qū)域上托管的數(shù)據(jù)。對比科學數(shù)據(jù)管理云平臺VDBCloud產(chǎn)品/項目 名稱數(shù)據(jù)管理模式定制元數(shù)據(jù)可視化工作流客戶端API服務方式iRODS 文件模式，dataset支持各種數(shù)據(jù)文件類型；虛擬化管理?？蓴U展，通過元數(shù)據(jù)目錄進行數(shù)據(jù)發(fā)現(xiàn)偏底層數(shù)據(jù)管理。規(guī)則引擎特色多種API，客戶端服務開源管理使用VDBCloud數(shù)據(jù)庫管理；文件管理。