BIM設計資源管理的數(shù)據(jù)庫實踐

第三屆工程建設計算機應用創(chuàng)新論壇論文集 上?！?011BIM設計資源管理的數(shù)據(jù)庫實踐作者姓名：翟韋作者單位：上海觀念信息技術有限公司【摘要】本文探討如何對建筑信息模型（BuildingInformationModeling，BIM）設計資源數(shù)據(jù)進行分類、搜集、管理，在數(shù)據(jù)庫設計和實現(xiàn)的過程中如何進行性能優(yōu)化，從而能使BIM設計資源得到有效的利用，為BIM技術的推廣應用提供支持?！娟P鍵詞】BIM、設計資源0引言隨著建筑設計行業(yè)的信息技術應用由傳統(tǒng)的二維CAD設計向三維建筑信息模型設計演進，即由圖形化（Drawing）到建筑信息模型化（BuildingInformationModeling，BIM）的本質變換，有必要考慮在企業(yè)內部或社會上建立基于BIM的設計資源數(shù)據(jù)管理系統(tǒng)，為標準BIM構件等可重用的核心BIM設計資源數(shù)據(jù)提供一個采集、存儲、管理、應用、共享的軟件平臺。本文嘗試從數(shù)據(jù)庫技術的角度對BIM設計資源的數(shù)據(jù)特征、管理要求進行初步的分析，并在MicrosoftSQLServer2008數(shù)據(jù)庫管理系統(tǒng)的特性基礎上探討B(tài)IM設計資源數(shù)據(jù)庫的設計方法和相關的性能優(yōu)化技術。1BIM設計資源數(shù)據(jù)的分類和采集模式數(shù)據(jù)分類模型基本概念要對BIM設計資源數(shù)據(jù)進行有效的管理和利用，首先要對其數(shù)據(jù)類型有充分的理解和認識，建立起數(shù)據(jù)分類模型。在通常的企業(yè)數(shù)據(jù)中，包括以下六大數(shù)據(jù)類型：元數(shù)據(jù)（metadata）元數(shù)據(jù)可以理解為數(shù)據(jù)的數(shù)據(jù)，平時我們設計表時，大部分屬性字段就是元數(shù)據(jù)。比如，性別，國籍，出生省份等。這個是最接近自然意義的的數(shù)據(jù)。引用數(shù)據(jù)（ReferenceData）引用數(shù)據(jù)是元數(shù)據(jù)的可能取值范圍，我們設計表時所說的數(shù)據(jù)字典往往就是引用數(shù)據(jù)。比如，性別只能是男和女，男和女就是引用數(shù)據(jù)。國家的引用數(shù)據(jù)就是世界上這100多個國家和地區(qū)；主數(shù)據(jù)（MasterData）主數(shù)據(jù)是在我們數(shù)據(jù)庫設計中最重要的一些實體，是由元數(shù)據(jù)和引用數(shù)據(jù)實例的集合。主數(shù)據(jù)可以定義為“用于為核心業(yè)務實體創(chuàng)建和維護全企業(yè)‘記錄系統(tǒng)’，以記錄業(yè)務交易并評定這些實體的業(yè)績所需的信息?！逼綍r我們常碰到的客戶信息，產(chǎn)品信息都屬于主數(shù)據(jù)。主數(shù)據(jù)是企業(yè)應用系統(tǒng)中最基本的業(yè)務單元，比如一個產(chǎn)品系統(tǒng)，它處理的基本數(shù)據(jù)就是生產(chǎn)數(shù)據(jù)，HR系統(tǒng)處理的基本數(shù)據(jù)是雇員，CRM系統(tǒng)處理的基本數(shù)據(jù)是客戶。另外，各個行業(yè)對于主數(shù)據(jù)的管理的需求和期望會有很大不同，因此行業(yè)經(jīng)驗對于主數(shù)據(jù)管理很重要。企業(yè)結構化數(shù)據(jù)（EnterpriseStructureData）企業(yè)結構化數(shù)據(jù)是企業(yè)業(yè)務中所需的數(shù)據(jù)實體，可能是多個主數(shù)據(jù)的集合。不同行業(yè)的結構化數(shù)據(jù)會有很大不同交易活動數(shù)據(jù)（TransactionActivityData）交易活動數(shù)據(jù)是主數(shù)據(jù)之間活動產(chǎn)生的數(shù)據(jù)。比如客戶購買產(chǎn)品的交易記錄就是交易活動數(shù)據(jù)，工廠生產(chǎn)產(chǎn)品，生產(chǎn)記錄也是交易活動數(shù)據(jù)交易審計數(shù)據(jù)（TransactionAuditData）我們對數(shù)據(jù)的所有活動都通過交易審計數(shù)據(jù)進行記錄。比如我們對客戶信息修改的操作，對交易的增加和刪除操作，這些活動在很多關鍵系統(tǒng)（比如銀行）都需要記錄，以合符相應法規(guī)的要求。下圖中數(shù)據(jù)模型中的藍色越深代表語義相關性越強和數(shù)據(jù)質量越重要，而黃色越深代表數(shù)據(jù)的數(shù)據(jù)數(shù)量越多、更新的頻率越快、實時抓取的數(shù)據(jù)越快、數(shù)據(jù)的生命越短。下圖可以看到，元數(shù)據(jù)的數(shù)據(jù)語義性最強，幾乎不更新，數(shù)據(jù)量最少，生命周期最長。圖SEQ圖\*ARABIC1在BIM設計資源數(shù)據(jù)管理中，通常需要把BIM構件作為主數(shù)據(jù)來管理，例如Revit族庫中的文件對象；把描述構件特征的各類屬性、參數(shù)作為元數(shù)據(jù)和引用數(shù)據(jù)來管理；把對構件的引用和訪問記錄作為交易活動數(shù)據(jù)來管理；把構件庫的維護和更新記錄作為交易審計數(shù)據(jù)來管理。一個具有實用性的BIM設計資源管理系統(tǒng)，需要有效地整合與管理以上不同類型的數(shù)據(jù)，對數(shù)據(jù)的存儲方式、數(shù)據(jù)庫表的設計、系統(tǒng)的軟硬件架構都提出了較高的要求。BIM設計資源的采集模式對于勘察設計企業(yè)來說，BIM設計資源數(shù)據(jù)可以來自企業(yè)內或企業(yè)外，數(shù)據(jù)采集主要采用以下方式：企業(yè)內人工采集：企業(yè)內的技術部門主動采集、整理、錄入企業(yè)內自動采集：通過與建筑協(xié)同設計系統(tǒng)或項目管理系統(tǒng)的集成自動獲取設計成果數(shù)據(jù)。企業(yè)外人工采集：由建材設備廠商等關聯(lián)單位主動錄入數(shù)據(jù)企業(yè)外自動采集：與外部關聯(lián)單位的信息系統(tǒng)集成，自動獲取數(shù)據(jù)。通過以上四種采集方式獲取的數(shù)據(jù)，經(jīng)過整理、提煉、整合后可以被應用到設計過程中，并形成新的設計資源和知識數(shù)據(jù)，從而使數(shù)據(jù)形成有效的循環(huán)，實現(xiàn)設計資源和知識數(shù)據(jù)整個生命周期的管理。為了實現(xiàn)以上四種采集方式，BIM設計資源管理系統(tǒng)需要提供相應的錄入維護工具，并且提供完整的應用開發(fā)接口（API），以便第三方應用程序可以利用API與系統(tǒng)實現(xiàn)互操作。2BIM設計資源數(shù)據(jù)特征和性能優(yōu)化數(shù)據(jù)特征從上面的分析可以看出，BIM設計資源數(shù)據(jù)的主要特點如下：以非結構化數(shù)據(jù)為主，需要海量存儲空間BIM設計資源主數(shù)據(jù)以非結構化數(shù)據(jù)（文檔對象）為主要組成部分，這些數(shù)據(jù)將占據(jù)龐大的物理存儲空間，這對數(shù)據(jù)庫管理系統(tǒng)處理非結構化數(shù)據(jù)的存取性能、可靠性、并發(fā)響應等技術指標提出了很高的要求。樹狀結構，結構化數(shù)據(jù)關系復雜BIM設計資源對象（主數(shù)據(jù)）以樹狀結構管理，由于每個對象都有相關的權限信息和屬性（元數(shù)據(jù)），屬性有不同的數(shù)據(jù)類型和參考值（引用數(shù)據(jù)），權限和屬性在對象樹上又有父子節(jié)點的繼承關系，這就造成了結構化數(shù)據(jù)的關系復雜，記錄數(shù)量龐大。例如：對象樹中有100萬個對象平均每個對象有10個自定義屬性系統(tǒng)用戶1000人，平均每個對象上有100個人的權限記錄對象屬性表的記錄數(shù)將達到100萬X10=1000萬條由于存在多值的屬性（多選、枚舉），屬性值表中的記錄數(shù)〉1000萬條權限表的記錄數(shù)更達到100萬X100=1億條在一個表中具有那么多的記錄，不僅有存儲空間的壓力，數(shù)據(jù)庫表的索引、查詢效率等問題都需要加以解決。數(shù)據(jù)庫管理系統(tǒng)的選型針對以上數(shù)據(jù)特征，需要選擇合適的數(shù)據(jù)庫管理系統(tǒng)作為系統(tǒng)的底層數(shù)據(jù)庫平臺，入選的數(shù)據(jù)庫管理系統(tǒng)應該具有以下特征：主流的企業(yè)級關系型數(shù)據(jù)庫管理系統(tǒng)對數(shù)據(jù)倉庫應用優(yōu)化能夠處理海量的非結構化數(shù)據(jù)有豐富的性能優(yōu)化特性和相關工具有不同的版本級別，適合小規(guī)模到大規(guī)模的布署經(jīng)過對市場上主流關系型數(shù)據(jù)庫管理系統(tǒng)的對比分析，我們嘗試以MicrosoftSQLServer2008用于BIM設計資源的底層數(shù)據(jù)庫平臺，主要理由在于：SQLServer2008的一系列新特性非常適合處理BIM設計資源的數(shù)據(jù)類型，包括：支持分區(qū)表并行處理等技術，優(yōu)化了數(shù)據(jù)倉庫存儲、查詢性能FILESTREAM（文件流）特性增強了非結構數(shù)據(jù)的支持HierachyID特性支持樹結構的表達和操作用戶界面友好，易于管理開發(fā)接口成熟，編程效率高對主流的Windows網(wǎng)絡環(huán)境有良好的支持從免費的Express版本到DataCenter版本，適合不同的布署規(guī)模利用分區(qū)表并行處理優(yōu)化查詢性能較前期同類產(chǎn)品相比，SQLServer2008提供功能更為強大的關系數(shù)據(jù)倉庫，我們可以充分利用這些新技術來構建性能良好的數(shù)據(jù)倉庫，以便對數(shù)十億行的數(shù)據(jù)進行查詢，獲取最佳查詢性能。SQLServer2008支持以下特性：分區(qū)表并行處理星型聯(lián)接查詢優(yōu)化ROW和PAGE壓縮分區(qū)對齊的索引視圖為加快大型數(shù)據(jù)倉庫的查詢處理速度，數(shù)據(jù)庫管理員可以對大型表進行分區(qū)（例如BIM設計資源管理系統(tǒng)中的對象權限表、對象屬性表），將數(shù)據(jù)放到不同的文件組內，從而減少了處理某一數(shù)據(jù)范圍內的行時所必須搜索的數(shù)據(jù)量，并且當文件組被部署到多個物理磁盤上時，可利用底層磁盤系統(tǒng)的并發(fā)性能。同時可以分配多核CPU的處理核心分別對不同的分區(qū)進行并行運算，從而最大限度地利用硬件效能。利用數(shù)據(jù)壓縮優(yōu)化存儲BIM設計資源管理系統(tǒng)涉及大容量的結構化和非結構化數(shù)據(jù)，要管理如此大的數(shù)據(jù)并為數(shù)據(jù)倉庫查詢提供可接受的性能，難度可想而知。這些查詢通常都非常復雜（涉及多個聯(lián)接和累計），并要訪問大量數(shù)據(jù)。工作負載中的許多查詢還都受I/O限制。可以利用SQLServer2008的本機數(shù)據(jù)壓縮來解決這一問題。SQLServer2008基于可變長度存儲格式vardecimal構建，將整數(shù)、字符和浮點數(shù)據(jù)類型存儲成可變長度格式，提供以下兩類壓縮：ROW壓縮和PAGE壓縮。數(shù)據(jù)類型的語義仍保持不變。因此既能從數(shù)據(jù)壓縮受益，又無需對應用程序做任何更改。我們可以靈活地選擇要壓縮的表、索引和分區(qū)，在空間節(jié)省和CPU影響之間取得平衡。測試結果表明，通過這種方式可將數(shù)據(jù)庫的大小縮小50–65%，并且受I/O限制的查詢的性能得到了顯著改善。對CPU性能的影響取決于查詢的復雜程度。在SQLServer中，僅當訪問索引或表時才會發(fā)生解壓縮開銷。如果掃描運算符的相對CPU開銷低于查詢的整體CPU開銷，對CPU利用率的影響少于20-30%。利用FILESTREAM處理非結構化數(shù)據(jù)（BIM構件對象）由于BIM設計資源管理系統(tǒng)的數(shù)據(jù)特征，應用程序會同時使用到結構化數(shù)據(jù)（對象權限、對象屬性等元數(shù)據(jù)）和非結構化數(shù)據(jù)（BIM構件對象本身），這就需要在一個事務中創(chuàng)建、更新、刪除和讀取這些完全不同的數(shù)據(jù)類型。當結構化數(shù)據(jù)駐留在關系數(shù)據(jù)庫中而非結構化數(shù)據(jù)卻存儲在文件系統(tǒng)中時，無法簡單地在同一個事務中處理，會造成嚴重的數(shù)據(jù)完整性問題。SQLServer2008新的FILESTREAM（文件流）特性可以將非結構化數(shù)據(jù)存儲在文件系統(tǒng)中，但仍然保持事務的完整性。我們可以在服務器的文件系統(tǒng)上存儲BIM構件對象文件，但可以在數(shù)據(jù)庫SQL語言系統(tǒng)內管理和訪問，這個特性讓SQLServer不僅可以維護好數(shù)據(jù)庫內記錄的完整性，也能夠維護好數(shù)據(jù)庫記錄和外部文件之間的完整性。FILESTREAM使SQLServer2008數(shù)據(jù)庫引擎和NTFS文件系統(tǒng)成為了一個整體。Transact-SQL語句可以插入、更新、查詢、搜索和備份FILESTREAM數(shù)據(jù)。FILESTREAM使用NT系統(tǒng)緩存來緩存文件數(shù)據(jù)。這有助于減少FILESTREAM數(shù)據(jù)可能對數(shù)據(jù)庫引擎性能產(chǎn)生的任何影響。利用HierachyID處理BIM設計資源對象樹結構對于信息系統(tǒng)而言，管理具有層次結構的數(shù)據(jù)是常見的問題。我們可以找到很多案例，例如，典型的Employee表。Employee層次問題比較簡單，我們必須存儲雇員列表以及他們的上級領導。我們用下面的模式來表示：圖SEQ圖\*ARABIC2如果我們使用多層次文件夾的結構來管理BIM設計資源對象，由此形成的樹結構建模也是如此，需要在一個表中存儲設計資源對象及其父對象的ID。即使這個設計是簡單的，但查詢它并不是件容易的事情，例如：找出某個對象的所有子對象找出某個對象的所有上級對象找出某一級別的所有對象這些操作通常需要通過比較復雜的SQL語句來實現(xiàn)。為了提供一個對層次結構真正的支持，SQLServer2008引入了一個新的數(shù)據(jù)類型：HierarchyID，該類型支持比較，從而可以顯著簡化層級結構的查詢操作，例如：找出分支要返回層次結構里的一個完整分支，查詢很簡單：Select*Fromdbo.OrganizationWhere@BossNode.IsDescendant(EmployeeId)注：一個節(jié)點包含在它自身的后代里，所以@BossNode是它自己的后代。找出某人的上級要找出所有的上級，正好要顛倒上面的查詢：Select*Fromdbo.OrganizationWhereEmployeeId.IsDescendant(@BossNode)找出給定級別的所有雇員不再需要一列去存儲計算后的級別：Select*Fromdbo.OrganizationWhereEmployeeId.GetLevel()=33結束語BIM技術的推廣依賴于對BIM設計資源的搜集、存儲、管理和利用。而海量