電力營(yíng)銷管理系統(tǒng)數(shù)據(jù)遷移研究

1、電力營(yíng)銷管理系統(tǒng)數(shù)據(jù)遷移研究摘要：針對(duì)電力營(yíng)銷管理系統(tǒng)的數(shù)據(jù)遷移與清理進(jìn)行了詳細(xì)分析，包括系統(tǒng)適用范圍、數(shù)據(jù)遷移方法、數(shù)據(jù)驗(yàn)證條件、數(shù)據(jù)驗(yàn)證策略等，使系統(tǒng)上線后的數(shù)據(jù)質(zhì)量滿足系統(tǒng)應(yīng)用要求。關(guān)鍵詞：電力營(yíng)銷系統(tǒng)；數(shù)據(jù)清理；數(shù)據(jù)遷移；數(shù)據(jù)驗(yàn)證1術(shù)語(yǔ)定義1.1數(shù)據(jù)清理數(shù)據(jù)清理是指包括數(shù)據(jù)收集以及數(shù)據(jù)核查、檢驗(yàn)、整改、遷移到營(yíng)銷管理系統(tǒng)，并完成業(yè)務(wù)驗(yàn)證的工作過(guò)程。1.2當(dāng)前數(shù)據(jù)當(dāng)前數(shù)據(jù)是指系統(tǒng)正常運(yùn)行的必要檔案、參數(shù)代碼以及確定優(yōu)先導(dǎo)入的近幾個(gè)月電量電費(fèi)數(shù)據(jù)，包括與營(yíng)銷相關(guān)的主數(shù)據(jù)，如客戶信息、計(jì)量點(diǎn)信息、客戶供用電合同協(xié)議、計(jì)量表箱、供應(yīng)商、物資合同、站/線/變等資產(chǎn)信息，具有支持業(yè)務(wù)運(yùn)轉(zhuǎn)、數(shù)據(jù)更新

2、快、使用頻度高等特點(diǎn)。數(shù)據(jù)遷移的成功與否直接影響系統(tǒng)能否正常使用。當(dāng)前數(shù)據(jù)主要存放在營(yíng)銷管理系統(tǒng)的生產(chǎn)庫(kù)中。1.3歷史數(shù)據(jù)歷史數(shù)據(jù)是指非當(dāng)前業(yè)務(wù)需要使用的數(shù)據(jù)，按先近后遠(yuǎn)的次序?qū)耄瑑?yōu)先導(dǎo)入存在于原有營(yíng)銷管理系統(tǒng)的生產(chǎn)數(shù)據(jù)庫(kù)中的近幾個(gè)月電量電費(fèi)數(shù)據(jù)，具有數(shù)據(jù)穩(wěn)定、使用頻度低等特點(diǎn)。在系統(tǒng)切換上線初期，對(duì)系統(tǒng)正常運(yùn)行的影響很小。歷史數(shù)據(jù)主要存放在營(yíng)銷管理系統(tǒng)的管理庫(kù)中。1.4源數(shù)據(jù)源數(shù)據(jù)是指原有營(yíng)銷管理系統(tǒng)生產(chǎn)數(shù)據(jù)庫(kù)導(dǎo)入到營(yíng)銷管理系統(tǒng)的數(shù)據(jù)庫(kù)源數(shù)據(jù)用戶。1.5目標(biāo)數(shù)據(jù)目標(biāo)數(shù)據(jù)是指營(yíng)銷管理系統(tǒng)的數(shù)據(jù)庫(kù)（包括生產(chǎn)數(shù)據(jù)庫(kù)、管理數(shù)據(jù)庫(kù)等）中的數(shù)據(jù)。2數(shù)據(jù)遷移和清理研究2.1適用范圍營(yíng)銷管理系統(tǒng)數(shù)據(jù)工作包

3、含了數(shù)據(jù)質(zhì)量持續(xù)提升，數(shù)據(jù)收集、核查、檢驗(yàn)、整改以及遷移，參數(shù)代碼的數(shù)據(jù)梳理和轉(zhuǎn)化，專項(xiàng)數(shù)據(jù)清理，系統(tǒng)數(shù)據(jù)和協(xié)同數(shù)據(jù)初始化五大方面。建議遷移的數(shù)據(jù)范圍如表1所示。2.2數(shù)據(jù)遷移方法2.2.1數(shù)據(jù)質(zhì)量提升數(shù)據(jù)質(zhì)量提升工作需要結(jié)合系統(tǒng)上線工作準(zhǔn)備合理安排，確保上線后數(shù)據(jù)準(zhǔn)確、完整。在系統(tǒng)中固化數(shù)據(jù)校驗(yàn)規(guī)則，建立中間庫(kù)。系統(tǒng)各環(huán)節(jié)數(shù)據(jù)校驗(yàn)，分類管理重要、一般字段的動(dòng)態(tài)更新數(shù)據(jù)校驗(yàn)規(guī)則。按月開展?fàn)I銷數(shù)據(jù)質(zhì)量自查，定期輸出數(shù)據(jù)質(zhì)量報(bào)告。每月對(duì)各分子營(yíng)銷數(shù)據(jù)自核查結(jié)果和整改提升工作進(jìn)行考評(píng)。2.2.2庫(kù)表數(shù)據(jù)清理梳理遷移的庫(kù)表、營(yíng)銷系統(tǒng)功能與庫(kù)表UC關(guān)系，確定需要清理的數(shù)據(jù)項(xiàng)目，采用“原系統(tǒng)中間表新系統(tǒng)”

4、的遷移方法，每一次遷移到中間表都需要進(jìn)行數(shù)據(jù)的質(zhì)量檢查，達(dá)標(biāo)后才允許遷入新系統(tǒng)，并經(jīng)過(guò)業(yè)務(wù)驗(yàn)證。（1）確定需要遷移的數(shù)據(jù)范圍，制定數(shù)據(jù)模型差異分析及處理建議，代碼編碼映射關(guān)系確認(rèn)以及需手工收集的數(shù)據(jù)及模板。（2）各單位按要求收集、整理完善數(shù)據(jù)，并提交生產(chǎn)數(shù)據(jù)庫(kù)導(dǎo)出文件和手工收集的文件。（3）把收集的文件（包括源營(yíng)銷管理系統(tǒng)數(shù)據(jù)文件）導(dǎo)入、轉(zhuǎn)化、遷移到中間庫(kù)。（4）建立信息分類和編碼規(guī)范、原系統(tǒng)參數(shù)的映射關(guān)系，根據(jù)一體化營(yíng)銷管理系統(tǒng)模型，按照營(yíng)銷數(shù)據(jù)質(zhì)量管理要求以及協(xié)同數(shù)據(jù)質(zhì)量管理要求，對(duì)中間表數(shù)據(jù)進(jìn)行核查，做到可量化、可追溯。（5）通過(guò)數(shù)據(jù)質(zhì)量驗(yàn)證、主外鍵驗(yàn)證、數(shù)據(jù)遷移的關(guān)鍵驗(yàn)證后，中間表中的

5、“當(dāng)前數(shù)據(jù)”遷移到新營(yíng)銷系統(tǒng)的生產(chǎn)數(shù)據(jù)庫(kù)（生產(chǎn)庫(kù)、管理庫(kù)）。抽查比例如表2所示。（6）對(duì)全部用戶的試算費(fèi)進(jìn)行驗(yàn)證，在原系統(tǒng)已經(jīng)計(jì)算完成的用戶電量電費(fèi)基礎(chǔ)上，在新系統(tǒng)重新計(jì)算后，比對(duì)電量電費(fèi)是否一致。將原系統(tǒng)的抄表檔案、電量電費(fèi)檔案等導(dǎo)入到新系統(tǒng)中，在新系統(tǒng)中計(jì)算電量電費(fèi)，計(jì)算完畢后，把新系統(tǒng)計(jì)算的電費(fèi)與從原系統(tǒng)提取的電費(fèi)進(jìn)行對(duì)比，形成新原系統(tǒng)電費(fèi)差異清單，逐條分析清單中差異的具體原因。（7）比對(duì)新原系統(tǒng)數(shù)據(jù)模型差異，分析差異類型、產(chǎn)生差異的原因、影響等，給出處理建議，并完善數(shù)據(jù)模型差異分析及處理建議，確認(rèn)代碼編碼映射關(guān)系。2.2.3參數(shù)代碼的數(shù)據(jù)梳理和轉(zhuǎn)化根據(jù)信息分類和編碼規(guī)范，建立新舊系統(tǒng)代

6、碼編碼的映射關(guān)系，并對(duì)代碼映射關(guān)系進(jìn)行確認(rèn)，確認(rèn)內(nèi)容包括能夠建立映射關(guān)系和不能建立映射關(guān)系的代碼編碼。2.2.4專項(xiàng)數(shù)據(jù)清理（1）工作單數(shù)據(jù)遷移工作內(nèi)容如下：1）對(duì)傳遞中的工作單進(jìn)行清理，盡可能歸檔。2）把五大類（業(yè)擴(kuò)、計(jì)量、稽查、停電、客服）工作單查詢數(shù)據(jù)進(jìn)行遷移，完成后在系統(tǒng)做查詢功能和數(shù)據(jù)驗(yàn)證。3）轉(zhuǎn)化遷移業(yè)擴(kuò)、計(jì)量、用檢傳遞中工作單數(shù)據(jù)，完成后由業(yè)務(wù)小組檢查驗(yàn)證數(shù)據(jù)和測(cè)試辦理。（2）歷史數(shù)據(jù)遷移。歷史數(shù)據(jù)可以根據(jù)服務(wù)器運(yùn)行壓力安排合適的執(zhí)行時(shí)間。1）把源數(shù)據(jù)庫(kù)的歷史數(shù)據(jù)轉(zhuǎn)化遷移到中間表。2）把中間表中的歷史數(shù)據(jù)做主外鍵驗(yàn)證和問(wèn)題整改后，遷移到營(yíng)銷的管理數(shù)據(jù)庫(kù)。3）數(shù)據(jù)遷移后，對(duì)數(shù)據(jù)進(jìn)行

7、自動(dòng)校驗(yàn)，對(duì)問(wèn)題數(shù)據(jù)進(jìn)行整改。4）對(duì)歷史數(shù)據(jù)進(jìn)行抽查驗(yàn)證。2.2.5系統(tǒng)數(shù)據(jù)和協(xié)同數(shù)據(jù)初始化（1）組織機(jī)構(gòu)數(shù)據(jù)初始化。對(duì)編碼不符合規(guī)范的按信息分類和編碼重新編碼，由業(yè)務(wù)部門確認(rèn)后于雙軌前導(dǎo)入新系統(tǒng)。雙軌、單軌運(yùn)行期間不再處理。組織機(jī)構(gòu)需以人力資源管理為準(zhǔn)，并和4A平臺(tái)保持一致。（2）人員帳號(hào)、系統(tǒng)角色（崗位）、角色對(duì)應(yīng)菜單、業(yè)務(wù)流程設(shè)置。本項(xiàng)內(nèi)容由業(yè)務(wù)部門梳理，以4A平臺(tái)數(shù)據(jù)以人力資源管理系統(tǒng)確認(rèn)后的數(shù)據(jù)為準(zhǔn)進(jìn)行初始化，營(yíng)銷系統(tǒng)從4A平臺(tái)獲取組織機(jī)構(gòu)數(shù)據(jù)、人員賬號(hào)等數(shù)據(jù)，系統(tǒng)角色、崗位等權(quán)限數(shù)據(jù)按照4A平臺(tái)模板整理后導(dǎo)入至4A平臺(tái)于雙軌前進(jìn)行初始化。雙軌運(yùn)行期間，在新系統(tǒng)中可對(duì)上述內(nèi)容進(jìn)行調(diào)整

8、，單軌運(yùn)行沿用雙軌的設(shè)置。（3）綜合技術(shù)平臺(tái)數(shù)據(jù)初始化。1）數(shù)據(jù)資源管理平臺(tái)主數(shù)據(jù)初始化，從數(shù)據(jù)資源管理平臺(tái)核對(duì)并獲取供應(yīng)商信息、物資合同信息、資產(chǎn)信息、饋線信息、交流線段信息、變電站信息、變壓器信息、斷路器信息、低壓用戶電源點(diǎn)信息等；并推送客戶信息、計(jì)量點(diǎn)信息、客戶供用電合同協(xié)議、表計(jì)資產(chǎn)信息、計(jì)量表箱信息。2）GIS平臺(tái)數(shù)據(jù)數(shù)據(jù)初始化同步包括站、線、變、戶等GIS_ID、電網(wǎng)拓?fù)湫畔?。?）協(xié)同應(yīng)用系統(tǒng)數(shù)據(jù)初始化。做好和資產(chǎn)管理、財(cái)務(wù)管理、調(diào)度管理等應(yīng)用系統(tǒng)的協(xié)同數(shù)據(jù)初始化，如計(jì)量采購(gòu)需求、停電計(jì)劃、購(gòu)電檔案、電價(jià)信息、電廠調(diào)度管轄范圍信息等。由業(yè)務(wù)小組梳理，和協(xié)同應(yīng)用系統(tǒng)達(dá)成一致，并根據(jù)

9、協(xié)同數(shù)據(jù)模型及數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，通過(guò)數(shù)據(jù)質(zhì)量核查，數(shù)據(jù)遷移小組于雙軌前、單軌前分別導(dǎo)入新系統(tǒng)。2.3數(shù)據(jù)驗(yàn)證條件所有需遷移的庫(kù)表數(shù)據(jù)正確轉(zhuǎn)入一體化營(yíng)銷管理系統(tǒng)，數(shù)據(jù)質(zhì)量達(dá)到營(yíng)銷數(shù)據(jù)質(zhì)量提升要求，并且通過(guò)數(shù)據(jù)驗(yàn)證、業(yè)務(wù)流程運(yùn)轉(zhuǎn)、協(xié)同業(yè)務(wù)場(chǎng)景的驗(yàn)證，包括檔案數(shù)據(jù)（如重要客戶檔案、站/線/變基礎(chǔ)信息等）、欠費(fèi)數(shù)據(jù)、核銷壞賬、預(yù)收費(fèi)用，周期性試算費(fèi)驗(yàn)證數(shù)據(jù)準(zhǔn)確，業(yè)務(wù)專家對(duì)遷移數(shù)據(jù)的業(yè)務(wù)驗(yàn)證等。2.3.1數(shù)據(jù)遷移方法數(shù)據(jù)遷移采用“原系統(tǒng)中間庫(kù)新系統(tǒng)”的遷移方法，即將數(shù)據(jù)由原系統(tǒng)數(shù)據(jù)遷移到中間庫(kù)，然后由中間庫(kù)遷移到新系統(tǒng)中，如圖1所示。（1）明確新原系統(tǒng)交接界面，統(tǒng)一管理，分工明晰，確保遷移工作安全、有序開展

10、；（2）省地聯(lián)動(dòng)，確保對(duì)日常業(yè)務(wù)無(wú)影響，遷移過(guò)程、內(nèi)容有據(jù)可查；（3）數(shù)據(jù)精細(xì)化處理，按業(yè)務(wù)和數(shù)據(jù)特性，分別制定遷移策略，提高數(shù)據(jù)精細(xì)化處理程度。遷移流程如圖2所示。流程說(shuō)明如表3所示。遷移環(huán)境要求：（1）備份文件及時(shí)送至分子數(shù)據(jù)庫(kù)，保障網(wǎng)絡(luò)暢通可用；（2）備份文件可及時(shí)導(dǎo)入分子數(shù)據(jù)庫(kù)服務(wù)器；（3）分子數(shù)據(jù)庫(kù)服務(wù)器有足夠的空間；（4）數(shù)據(jù)遷移小組在數(shù)據(jù)遷移期間，具有相應(yīng)的數(shù)據(jù)庫(kù)權(quán)限，包括創(chuàng)建、刪除、訪問(wèn)（用戶、表、視圖、序列、函數(shù)、過(guò)程、索引等）等數(shù)據(jù)庫(kù)權(quán)限。2.3.2數(shù)據(jù)遷移原則各地市單位原系統(tǒng)建設(shè)情況復(fù)雜、特殊業(yè)務(wù)多、新原系統(tǒng)差異大，對(duì)數(shù)據(jù)遷移工作提出很高的要求。整個(gè)遷移過(guò)程需遵循如下原則

11、：（1）準(zhǔn)確。通過(guò)嚴(yán)格充分核對(duì)及校驗(yàn)保證新原系統(tǒng)數(shù)據(jù)的一致性。通過(guò)數(shù)據(jù)普查、自查等手段，保證應(yīng)用數(shù)據(jù)的完整性、業(yè)務(wù)數(shù)據(jù)的準(zhǔn)確性。（2）有序。依據(jù)營(yíng)銷管理系統(tǒng)應(yīng)用的邏輯關(guān)系與重要程度，規(guī)劃數(shù)據(jù)遷移內(nèi)容的先后順序，對(duì)遷移數(shù)據(jù)進(jìn)行分類，基礎(chǔ)數(shù)據(jù)類和檔案類數(shù)據(jù)優(yōu)先，維護(hù)量大的數(shù)據(jù)優(yōu)先，不變更、使用率低的歷史數(shù)據(jù)空閑時(shí)遷移。（3）高效。利用前期數(shù)據(jù)調(diào)研，獲取數(shù)據(jù)庫(kù)類型、數(shù)據(jù)分布情況以及數(shù)據(jù)量情況，針對(duì)不同的數(shù)據(jù)對(duì)象，通過(guò)嚴(yán)格測(cè)試，選擇執(zhí)行效率高、安全性高的數(shù)據(jù)處理方法，保證數(shù)據(jù)遷移過(guò)程所占用資源少、時(shí)間短，最大限度減少遷移過(guò)程的人工參與程度。2.3.3數(shù)據(jù)遷移策略（1）根據(jù)數(shù)據(jù)屬性、特性對(duì)周期類、臺(tái)賬類

12、、參數(shù)類等數(shù)據(jù)分類處理；（2）采用分期分批遷移方式，歷史數(shù)據(jù)提前遷移；（3）制定數(shù)據(jù)遷移預(yù)案，明確各類場(chǎng)景下數(shù)據(jù)處理方式方法；（4）全過(guò)程監(jiān)控校驗(yàn)，確保新系統(tǒng)數(shù)據(jù)完整、準(zhǔn)確；（5）對(duì)預(yù)遷移過(guò)程性能進(jìn)行評(píng)估，改進(jìn)遷移過(guò)程，優(yōu)化遷移工具，將遷移工作造成的業(yè)務(wù)影響度降到最低。2.4數(shù)據(jù)驗(yàn)證制定數(shù)據(jù)驗(yàn)證規(guī)則，開發(fā)數(shù)據(jù)校驗(yàn)工具，驗(yàn)證數(shù)據(jù)遷出工具、遷入工具的安全性和可靠性，保證遷移數(shù)據(jù)的完整性、業(yè)務(wù)邏輯的準(zhǔn)確性和遷移前后數(shù)據(jù)的一致性。（1）省地聯(lián)動(dòng)，使用系統(tǒng)工具進(jìn)行全業(yè)務(wù)數(shù)據(jù)驗(yàn)證，地市局進(jìn)行人工抽樣核查；（2）動(dòng)態(tài)數(shù)據(jù)，如工作單、欠費(fèi)、預(yù)收結(jié)余等數(shù)據(jù)進(jìn)行專項(xiàng)驗(yàn)證；（3）驗(yàn)證新原系統(tǒng)文檔附件匹配的準(zhǔn)確性；（4）重要客戶檔案數(shù)據(jù)逐條確認(rèn)；（5）在預(yù)遷移過(guò)程中，周期性試算費(fèi)驗(yàn)證數(shù)據(jù)準(zhǔn)確性；（