在SAPERP系統(tǒng)數(shù)據(jù)歸檔中采用索引數(shù)據(jù)庫的應(yīng)用研究

1、    在saperp系統(tǒng)數(shù)據(jù)歸檔中采用索引數(shù)據(jù)庫的應(yīng)用研究    陳超摘要：sap erp系統(tǒng)是大型制造業(yè)廣泛采用的企業(yè)資源計(jì)劃管理軟件。隨著企業(yè)發(fā)展，不斷增長的數(shù)據(jù)量給系統(tǒng)上線后的運(yùn)行維護(hù)帶來了重重問題。對系統(tǒng)進(jìn)行數(shù)據(jù)歸檔能減少在線數(shù)據(jù)量，達(dá)到提升運(yùn)行效率并降低數(shù)據(jù)管理成本的目的。通過首鋼京唐公司數(shù)據(jù)歸檔的實(shí)例說明，本文所提出的采用索引數(shù)據(jù)庫的數(shù)據(jù)歸檔方法，與標(biāo)準(zhǔn)數(shù)據(jù)歸檔相比，對數(shù)據(jù)空間的釋放量有了明顯提升。關(guān)鍵詞：sap erp系統(tǒng) 數(shù)據(jù)歸檔：tp319 ：a ：1007-9416（2016）07-0088-02abstract：sap erp s

2、ystem is widely used in large-scale manufacturing as enterprise resource planning management software. with the development of enterprises， the growing data has caused many problems for the system operation and maintenance. data archiving of the system can reduce the amount of online data， in order

3、to improve operation efficiency and reduce the cost of data management. through the examples of shougang jingtang data archiving， the release amount of spatial data has improved significantly compared to the index database data archiving method using with standard data archiving.key words：sap； erp s

4、ystem； data archivingerp（企業(yè)資源計(jì)劃系統(tǒng)），是指在信息技術(shù)基礎(chǔ)上，以系統(tǒng)化的管理思想，為企業(yè)決策層及員工提供決策運(yùn)行手段的管理平臺。企業(yè)資源計(jì)劃也是實(shí)施企業(yè)流程再造的重要工具之一，是大型制造業(yè)普遍使用的公司資源管理系統(tǒng)。世界500強(qiáng)企業(yè)中有80%的企業(yè)都在用erp軟件作為其決策的工具和管理日常工作流程。sap公司的erp軟件，以其功能強(qiáng)大、開放性強(qiáng)、設(shè)計(jì)思路與流程嚴(yán)謹(jǐn)牢居著全球erp軟件之首。企業(yè)成功實(shí)施了sap erp系統(tǒng)，僅是"萬里長征"走完了第一步。系統(tǒng)進(jìn)入穩(wěn)定運(yùn)行階段，企業(yè)對sap系統(tǒng)的依賴隨著時(shí)間的推移而不斷加強(qiáng)；企業(yè)內(nèi)部、外部環(huán)境不斷發(fā)

5、生變更，并且隨著連接的外圍系統(tǒng)增加、系統(tǒng)邊界范圍的擴(kuò)展，系統(tǒng)的復(fù)雜度和數(shù)據(jù)量也在不斷的提升。由于數(shù)據(jù)庫越來越大，對于管理和使用都是一個(gè)大的問題，如何讓erp系統(tǒng)在上線后保證運(yùn)行效率和運(yùn)行穩(wěn)定性，是日常運(yùn)行維護(hù)工作的重點(diǎn)。數(shù)據(jù)歸檔的目的就是為了盡可能減少系統(tǒng)在線數(shù)據(jù)，降低系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)量，控制數(shù)據(jù)增長，從而提高系統(tǒng)性能，減少后續(xù)備份設(shè)備和存儲設(shè)備投資，是解決上述問題的一種可靠、成熟的技術(shù)手段。1 sap erp系統(tǒng)數(shù)據(jù)歸檔概述1.1 sap erp系統(tǒng)數(shù)據(jù)歸檔的定義及目的sap erp的數(shù)據(jù)管理策略包括：數(shù)據(jù)避免，數(shù)據(jù)匯總，數(shù)據(jù)刪除和數(shù)據(jù)歸檔。其中，數(shù)據(jù)避免和數(shù)據(jù)匯總基于數(shù)據(jù)分析，對無效數(shù)據(jù)相關(guān)

6、配置進(jìn)行取消修改，達(dá)到避免無效數(shù)據(jù)產(chǎn)生的目的；數(shù)據(jù)刪除主要針對部分系統(tǒng)數(shù)據(jù)表和自定義數(shù)據(jù)表建立生命周期管理策略，定期執(zhí)行清理；數(shù)據(jù)歸檔則主要應(yīng)用于業(yè)務(wù)數(shù)據(jù)和主數(shù)據(jù)歸檔及其查詢。數(shù)據(jù)庫是結(jié)構(gòu)化的數(shù)據(jù)集合，“數(shù)據(jù)歸檔的核心是標(biāo)識數(shù)據(jù)庫中非活動數(shù)據(jù)，然后將非活動數(shù)據(jù)從中央數(shù)據(jù)庫中分離出來存儲，至更廉價(jià)的存儲設(shè)備1”。sap erp系統(tǒng)的數(shù)據(jù)歸檔，就是通過數(shù)據(jù)分析定義數(shù)據(jù)庫中的非活動數(shù)據(jù)，按照制定的歸檔策略將非活動數(shù)據(jù)從數(shù)據(jù)庫中轉(zhuǎn)移到歸檔文件中，然后將非活動數(shù)據(jù)從在線數(shù)據(jù)中刪除。在erp系統(tǒng)數(shù)據(jù)歸檔時(shí)，由于是真實(shí)遵循生成原件的方式而產(chǎn)生的電子文件，所以可視為原件的忠實(shí)復(fù)件，與原件具有相同的效力2。數(shù)據(jù)

7、歸檔的目的，主要有三個(gè)方面：一是降低erp系統(tǒng)數(shù)據(jù)庫在線數(shù)據(jù)，最大程度的提高系統(tǒng)性能。通過減少在線數(shù)據(jù)提高系統(tǒng)的功能程序和報(bào)表程序的響應(yīng)速度，縮短系統(tǒng)同步及備份時(shí)間，縮短系統(tǒng)升級等操作的停機(jī)時(shí)間。二是減少數(shù)據(jù)的管理成本。通過歸檔降低系統(tǒng)數(shù)據(jù)的整體增長速度，減少后續(xù)備份設(shè)備和存儲設(shè)備投資，減少數(shù)據(jù)的運(yùn)行和維護(hù)管理成本。三是建立erp系統(tǒng)長期的歸檔策略。保證系統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)空間長期達(dá)到相對穩(wěn)定狀態(tài)，提升系統(tǒng)的穩(wěn)定性。1.2 sap erp系統(tǒng)數(shù)據(jù)歸檔的步驟及方法（1） 進(jìn)行數(shù)據(jù)分析，明確歸檔范圍。通過分析數(shù)據(jù)庫表大小和增長速率，結(jié)合業(yè)務(wù)、法律法規(guī)和審計(jì)方面的需求，明確歸檔范圍及歸檔對象。（2） 制

8、定數(shù)據(jù)歸檔策略。通過對歸檔對象進(jìn)行業(yè)務(wù)分析和技術(shù)分析，明確歸檔對象間的業(yè)務(wù)依存關(guān)系、歸檔范圍、歸檔方式及數(shù)據(jù)保留期限等，制定數(shù)據(jù)歸檔的策略。（3） 進(jìn)行系統(tǒng)測試。進(jìn)行歸檔范圍相關(guān)程序的系統(tǒng)測試，并解決標(biāo)準(zhǔn)程序和自開發(fā)程序在查詢歸檔數(shù)據(jù)時(shí)出現(xiàn)的性能問題。（4） 執(zhí)行歸檔操作及數(shù)據(jù)庫重組。完成配置等請求的系統(tǒng)傳輸，并按照aop執(zhí)行生產(chǎn)系統(tǒng)的數(shù)據(jù)歸檔操作，進(jìn)行數(shù)據(jù)庫重組充分釋放空間。2 在數(shù)據(jù)歸檔中采用索引服務(wù)器的新方法傳統(tǒng)方案中的索引是全部存放在sap數(shù)據(jù)庫的，以自建表實(shí)現(xiàn)，這在很大程上占用了數(shù)據(jù)庫的空間，并且后期隨著更多信息結(jié)構(gòu)的創(chuàng)建，其數(shù)據(jù)量也會迅速增加。下圖1為標(biāo)準(zhǔn)歸檔功能中索引的架構(gòu)。索引

9、服務(wù)器的架構(gòu)是通過dbco在sap系統(tǒng)進(jìn)行配置從而與外部oralce數(shù)據(jù)庫集成的一種方式，處理索引數(shù)據(jù)時(shí)更加靈活，更加可靠。對于已歸檔的數(shù)據(jù)來說，數(shù)據(jù)訪問的瓶頸主要在于讀取數(shù)據(jù)文件，尤其是大數(shù)據(jù)量的時(shí)候，循環(huán)讀取歸檔文件，其性能極為低下，甚至程序運(yùn)行時(shí)可能出現(xiàn)內(nèi)存不足或運(yùn)行超時(shí)的錯(cuò)誤。因此，索引服務(wù)器可以解決這個(gè)問題。架構(gòu)如圖2。從長遠(yuǎn)影響來看，當(dāng)數(shù)據(jù)訪問時(shí)（尤其是自開發(fā)報(bào)表），為了加快查詢速度，會考慮增加字段，即添加索引。這在后期的維護(hù)中又為erp系統(tǒng)數(shù)據(jù)庫的空間劇增埋下長期隱患，也違背了減少數(shù)據(jù)量的初衷，更影響了歸檔的實(shí)際效果。當(dāng)比較常用或訪問頻率相對較高的字段信息放到索引服務(wù)器數(shù)據(jù)庫后，

10、會明顯提升歷史數(shù)據(jù)的訪問效率，使得讀取歸檔文件的頻率降低，在程序開發(fā)時(shí)可以優(yōu)先考慮訪問索引服務(wù)器。同樣，讀取已歸檔數(shù)據(jù)的需求解決后，標(biāo)準(zhǔn)的信息結(jié)構(gòu)索引表也就無需填充太多的數(shù)據(jù)，其所占用sap的硬盤空間也大幅的減少。3 實(shí)例研究首鋼京唐公司sap erp系統(tǒng)上線運(yùn)行幾年后，隨著公司產(chǎn)線陸續(xù)投產(chǎn)，系統(tǒng)業(yè)務(wù)也變得復(fù)雜和多樣化。erp系統(tǒng)中采購、質(zhì)量、設(shè)備、生產(chǎn)、銷售和財(cái)務(wù)數(shù)據(jù)也在不斷增加并且數(shù)據(jù)的增長速度在不斷加快，大量過時(shí)的及冗余的歷史數(shù)據(jù)嚴(yán)重影響著erp系統(tǒng)的性能。一般公司在erp系統(tǒng)上線3-5年后，數(shù)據(jù)的增長方向已經(jīng)明確，就開始進(jìn)行歸檔處理。截至歸檔項(xiàng)目啟動前，京唐公司的erp系統(tǒng)數(shù)據(jù)庫占用量

11、已經(jīng)達(dá)到約3t。根據(jù)以往項(xiàng)目經(jīng)驗(yàn)和財(cái)務(wù)憑證的審計(jì)要求，保留最近2年的系統(tǒng)數(shù)據(jù)。根據(jù)影響程度和范圍，圍繞數(shù)據(jù)量大和增長速度快的表數(shù)據(jù)，結(jié)合使用頻繁，數(shù)據(jù)庫響應(yīng)時(shí)間慢的功能評估，確定了財(cái)務(wù)、生產(chǎn)、設(shè)備、銷售模塊相關(guān)的25個(gè)歸檔對象。首鋼京唐公司的sap erp數(shù)據(jù)歸檔采用了索引服務(wù)器的新方法，通過實(shí)例證明，該方法不僅大幅提升了數(shù)據(jù)庫空間的釋放量，提升了系統(tǒng)性能，而且保證了數(shù)據(jù)的讀取效率。應(yīng)用了索引服務(wù)器，使得大量的信息結(jié)構(gòu)索引轉(zhuǎn)移到sap系統(tǒng)之外的數(shù)據(jù)庫成為可能，極大地節(jié)省了sap系統(tǒng)的數(shù)據(jù)庫空間。通過對歸檔對象所對應(yīng)數(shù)據(jù)表的分析，可歸檔的數(shù)據(jù)量約為1.3t，按照標(biāo)準(zhǔn)歸檔方法的經(jīng)驗(yàn)壓縮比，可釋放的

12、空間約為900g。采用了索引服務(wù)器的新方法后，數(shù)據(jù)庫釋放空間1.07t。相比標(biāo)準(zhǔn)歸檔方法，多釋放了近200g的空間。對比楊波在文章3中所提到的應(yīng)用標(biāo)準(zhǔn)歸檔方法數(shù)據(jù)庫容量減少30%的案例，數(shù)據(jù)庫空間的釋放量有了明顯的提升。數(shù)據(jù)歸檔后，對在線數(shù)據(jù)查詢性能無影響，部分事務(wù)代碼的查詢性能有了明顯提升。如mb5b對過賬日期的庫存查詢，響應(yīng)速度提升近一倍；月結(jié)過程中運(yùn)行物料分類賬的單層處理原來需要2.5個(gè)小時(shí)以上，歸檔后運(yùn)行時(shí)間減少為1個(gè)多小時(shí)，響應(yīng)速度比原來提高近一倍。在歸檔數(shù)據(jù)讀取效率方面，根據(jù)標(biāo)準(zhǔn)邏輯，取歸檔數(shù)據(jù)會先從sap的信息結(jié)構(gòu)索引表中讀取條件數(shù)據(jù)和文檔id以及偏移量，然后根據(jù)文檔id和偏移量去讀取對應(yīng)的數(shù)據(jù)文件，再經(jīng)過數(shù)據(jù)篩選處理，得到所需的數(shù)據(jù)。而直接從索引服務(wù)器取數(shù)，主要整理好查詢條件，再通過封裝的功能便可直接取出數(shù)據(jù)，可以稱之為一步到位。經(jīng)過測試，從歸檔索引服務(wù)器取數(shù)的時(shí)間與從數(shù)據(jù)庫取數(shù)速度相當(dāng)，比讀取數(shù)據(jù)文件的速度要快得多。4 結(jié)語sap erp系統(tǒng)的數(shù)據(jù)歸檔通過對非活動數(shù)據(jù)進(jìn)行歸檔，降低了系統(tǒng)的在線數(shù)據(jù)，達(dá)到了提升系統(tǒng)性能，減少數(shù)據(jù)管理成本和建立長期歸檔策略的目的。通過實(shí)踐表明，本文所提出的采用索引數(shù)據(jù)庫的方法，不僅大幅增加了數(shù)據(jù)歸檔后數(shù)據(jù)庫空間的釋放量，而且提升了系統(tǒng)性