江蘇公司第三代支撐系統(tǒng)CRM云化實(shí)踐經(jīng)驗(yàn).docx

江蘇公司第三代支撐系統(tǒng)CRM云化實(shí)踐經(jīng)驗(yàn)構(gòu)建組件庫(kù)，采用灰度割接策略，保障系統(tǒng)平滑過(guò)渡1. 項(xiàng)目背景4G時(shí)代，加速中國(guó)移動(dòng)由語(yǔ)音業(yè)務(wù)向數(shù)據(jù)業(yè)務(wù)全面轉(zhuǎn)型，圍繞互聯(lián)網(wǎng)化業(yè)務(wù)模式的需求日益旺盛，在此大背景下，江蘇公司面臨全新的業(yè)務(wù)及技術(shù)挑戰(zhàn)。為應(yīng)對(duì)移動(dòng)互聯(lián)網(wǎng)蓬勃發(fā)展、4G時(shí)代流量經(jīng)營(yíng)、云計(jì)算和大數(shù)據(jù)的轉(zhuǎn)型挑戰(zhàn)，江蘇公司第三代業(yè)務(wù)支撐系統(tǒng)圍繞系統(tǒng)X86云化改造、多中心解耦、軟件組件庫(kù)建設(shè)、技術(shù)架構(gòu)全面升級(jí)，提升系統(tǒng)并發(fā)處理能力與快速響應(yīng)市場(chǎng)能力，實(shí)現(xiàn)系統(tǒng)低成本高效率運(yùn)行，保障江蘇移動(dòng)在4G時(shí)代的業(yè)務(wù)、技術(shù)先進(jìn)性與市場(chǎng)競(jìng)爭(zhēng)力，支撐4G時(shí)代的業(yè)務(wù)創(chuàng)新與轉(zhuǎn)型、強(qiáng)化線(xiàn)上線(xiàn)下渠道融合能力、強(qiáng)化互聯(lián)網(wǎng)商業(yè)模式和互聯(lián)網(wǎng)營(yíng)銷(xiāo)模式的支撐能力，提升客戶(hù)體驗(yàn)與業(yè)務(wù)運(yùn)營(yíng)能力。江蘇公司作為集團(tuán)公司首批試點(diǎn)省，于2014年初啟動(dòng)第三代業(yè)務(wù)支撐系統(tǒng)項(xiàng)目的規(guī)劃、建設(shè)工作。根據(jù)公司總體要求，項(xiàng)目采取“技術(shù)和業(yè)務(wù)雙驅(qū)動(dòng)、架構(gòu)云化、多中心解耦、平滑過(guò)渡”的建設(shè)原則，逐步實(shí)現(xiàn)CRM系統(tǒng)向互聯(lián)網(wǎng)云化架構(gòu)演進(jìn)。2. 現(xiàn)狀分析江蘇公司雖然在2014年上半年前已完成CRM系統(tǒng)WEB層100%X86云化改造，但是應(yīng)用層和數(shù)據(jù)庫(kù)仍然以小型機(jī)為主要基礎(chǔ)設(shè)施，擴(kuò)容成本高，建設(shè)周期長(zhǎng)，水平擴(kuò)展困難?，F(xiàn)有的傳統(tǒng)架構(gòu)制約了公司互聯(lián)網(wǎng)轉(zhuǎn)型業(yè)務(wù)的發(fā)展，以江蘇公司世界杯期間搶紅包為例，瞬時(shí)業(yè)務(wù)并發(fā)量增長(zhǎng)2000%，導(dǎo)致接口堵塞，業(yè)務(wù)訂購(gòu)失敗。另外，我省雖然CRM和BOSS系統(tǒng)完全解耦，但是CRM系統(tǒng)內(nèi)部各模塊之間的耦合性仍然很高，無(wú)法支持按照模塊輕量改造發(fā)布上線(xiàn)。我省的架構(gòu)，采用點(diǎn)對(duì)點(diǎn)集成為主，服務(wù)共享不足，接口復(fù)用性不足，支撐效率較低。為此，我省積極參與集團(tuán)公司第三代CRM云化試點(diǎn)項(xiàng)目，進(jìn)行系統(tǒng)X86云化架構(gòu)改造，建立一套松耦合、高并發(fā)、低成本，快速響應(yīng)市場(chǎng)需求的輕量化支撐系統(tǒng)。在CRM系統(tǒng)云化改造和割接過(guò)程中，項(xiàng)目團(tuán)隊(duì)遇到諸多困難和挑戰(zhàn)。江蘇公司CRM系統(tǒng)經(jīng)過(guò)多年的建設(shè)和沉淀，系統(tǒng)非常龐大、復(fù)雜，業(yè)務(wù)規(guī)則、服務(wù)缺乏統(tǒng)一管理，服務(wù)和接口缺乏生命周期的管理機(jī)制，系統(tǒng)中存在大量冗余服務(wù)和接口，給系統(tǒng)平滑割接提出了新的挑戰(zhàn)。我省在第三代CRM項(xiàng)目試點(diǎn)過(guò)程中除了滿(mǎn)足集團(tuán)公司規(guī)范和試點(diǎn)要求外，重點(diǎn)圍繞我省系統(tǒng)支撐面臨的困難，制定針對(duì)性的建設(shè)和割接方案。2.1、面臨的困難一：軟件組件服務(wù)缺乏統(tǒng)一管理，復(fù)用性不足，導(dǎo)致系統(tǒng)無(wú)序增長(zhǎng)，梳理改造復(fù)雜原CRM系統(tǒng)中有成千上萬(wàn)個(gè)服務(wù)、方法、接口、進(jìn)程等軟件組件，這些軟件組件之間的關(guān)聯(lián)關(guān)系更是錯(cuò)綜復(fù)雜，合理有效地繼承割接到第三代云化架構(gòu)存在諸多問(wèn)題。問(wèn)題1：“核心能力”缺乏有效的掌控手段。軟件組件都是業(yè)務(wù)支撐系統(tǒng)核心能力，沒(méi)有顯性化的統(tǒng)一管理系統(tǒng)，開(kāi)發(fā)商和移動(dòng)方人員無(wú)法了解支撐系統(tǒng)的軟件組件全局視圖。在云化架構(gòu)改造割接過(guò)程中，容易出現(xiàn)軟件組件改造遺漏或錯(cuò)誤。問(wèn)題2：軟件組件復(fù)用性不足。開(kāi)發(fā)商在進(jìn)行需求設(shè)計(jì)和開(kāi)發(fā)過(guò)程中，明明已有現(xiàn)成的軟件組件，或者只需要對(duì)原有軟件組件稍作修改（例如：增加參數(shù)）就可以復(fù)用，但是往往為了規(guī)避風(fēng)險(xiǎn)或由于不熟悉系統(tǒng)的軟件組件，不能確定原有的軟件組件使用的場(chǎng)景，無(wú)法評(píng)估修改原有軟件組件會(huì)帶來(lái)什么風(fēng)險(xiǎn)，因此，為了保險(xiǎn)起見(jiàn)，又新開(kāi)發(fā)一個(gè)類(lèi)似軟件組件。長(zhǎng)此以往，導(dǎo)致支撐系統(tǒng)越來(lái)越龐大，越來(lái)越復(fù)雜，經(jīng)初步統(tǒng)計(jì)，原有CRM系統(tǒng)中僅后臺(tái)服務(wù)就有10824個(gè)。如果把原系統(tǒng)中冗余的軟件組件繼承到第三代CRM系統(tǒng)中，會(huì)造成云化架構(gòu)系統(tǒng)負(fù)荷增加，項(xiàng)目建設(shè)周期增長(zhǎng)，增加后續(xù)云化系統(tǒng)的維護(hù)難度，同時(shí)增加開(kāi)發(fā)成本。 問(wèn)題3：當(dāng)系統(tǒng)出現(xiàn)故障時(shí)，維護(hù)人員即使定位出是某個(gè)軟件組件問(wèn)題，但是如何進(jìn)行修復(fù)，需要召集局方和開(kāi)發(fā)商負(fù)責(zé)維護(hù)、開(kāi)發(fā)、設(shè)計(jì)等多名人員進(jìn)行修復(fù)方案和風(fēng)險(xiǎn)的評(píng)估，花費(fèi)大量人力和時(shí)間。2.2、面臨的困難二：第三代CRM系統(tǒng)云化架構(gòu)和模型與原系統(tǒng)發(fā)生根本性變更，而公司要求系統(tǒng)平滑過(guò)渡，給項(xiàng)目割接帶來(lái)重大挑戰(zhàn)挑戰(zhàn)1：江蘇公司的CRM系統(tǒng)是由華為公司建設(shè)，雖然第三代CRM系統(tǒng)的開(kāi)發(fā)商仍然是華為公司，但是開(kāi)發(fā)團(tuán)隊(duì)不同，原有的系統(tǒng)是由華為山東團(tuán)隊(duì)建設(shè)，第三代CRM系統(tǒng)是由華為南研團(tuán)隊(duì)建設(shè)。第三代系統(tǒng)采用全新的開(kāi)發(fā)框架、J2EE云化架構(gòu)，數(shù)據(jù)模型也重新構(gòu)建，本次項(xiàng)目基本上將CRM系統(tǒng)推翻重做。而公司要求本次項(xiàng)目系統(tǒng)割接保持平滑過(guò)渡，存在較大難度。挑戰(zhàn)2：第三代CRM系統(tǒng)引入了服務(wù)總線(xiàn)（ ESB）、流程引擎（ BPM ）、規(guī)則引擎（ BRM）、分布式服務(wù)框架（DSF）、分布式數(shù)據(jù)訪問(wèn)服務(wù)（DDS）、搜素引擎（VSerch）等多項(xiàng)關(guān)鍵開(kāi)源技術(shù)，這些新技術(shù)的性能、效果如何，與第三代整體架構(gòu)是否能夠完好地匹配，都要驗(yàn)證。挑戰(zhàn)3：現(xiàn)有產(chǎn)品達(dá)到16000多個(gè)，業(yè)務(wù)規(guī)則和系統(tǒng)處理邏輯都非常復(fù)雜，很多業(yè)務(wù)規(guī)則、業(yè)務(wù)之間的依賴(lài)和沖突關(guān)系是在程序代碼中實(shí)現(xiàn)，梳理起來(lái)很困難，難免出現(xiàn)個(gè)別梳理遺漏情況。3. 解決思路和方案3.1、構(gòu)建軟件組件庫(kù)，實(shí)現(xiàn)組件服務(wù)顯性化管理 江蘇公司利用第三代CRM項(xiàng)目建設(shè)的契機(jī)，通過(guò)功能原子化，形成通用功能組件庫(kù)，建設(shè)一套軟件組件管理系統(tǒng)，將業(yè)務(wù)支撐系統(tǒng)使用的組件、服務(wù)、方法、進(jìn)程等按類(lèi)別、應(yīng)用場(chǎng)景等統(tǒng)一納入系統(tǒng)管理，實(shí)現(xiàn)了圖形化全景展示。并結(jié)合日常開(kāi)發(fā)管理辦法，制定一套標(biāo)準(zhǔn)化的管理規(guī)范，實(shí)現(xiàn)軟件組件的顯性化管理、核心能力的回收、問(wèn)題快速定位和風(fēng)險(xiǎn)評(píng)估，提高軟件組件的復(fù)用度。CRM系統(tǒng)內(nèi)部，軟件組件可復(fù)用，降低CRM系統(tǒng)的開(kāi)發(fā)工作量；對(duì)于CRM外部系統(tǒng)，通過(guò)軟件組件服務(wù)的標(biāo)準(zhǔn)化封裝，提供對(duì)外圍的服務(wù)能力，同時(shí)可支持對(duì)外部系統(tǒng)的軟件組件的統(tǒng)一維護(hù)，實(shí)現(xiàn)公司級(jí)的軟件組件統(tǒng)一管理。一期系統(tǒng)已梳理維護(hù)組件72個(gè)、服務(wù)726個(gè)、操作3022個(gè)，并相應(yīng)梳理維護(hù)了它們之間的關(guān)聯(lián)關(guān)系，為系統(tǒng)的后續(xù)優(yōu)化和維護(hù)打下了基礎(chǔ)。3.1.1、構(gòu)建軟件組件管理平臺(tái)，提升軟件組件的可維護(hù)性，實(shí)現(xiàn)軟件組件標(biāo)準(zhǔn)化管理。每個(gè)組件提供相應(yīng)的屬性信息管理和維護(hù)功能，包含：組件的名稱(chēng)、入?yún)?、出參、開(kāi)放渠道、組件類(lèi)型、能力應(yīng)用說(shuō)明、場(chǎng)景實(shí)例等。開(kāi)發(fā)、設(shè)計(jì)、需求分析和維護(hù)人員可以根據(jù)組件名稱(chēng)查詢(xún)組件的詳細(xì)信息，可以通過(guò)組件查詢(xún)歸屬模塊信息。 3.1.2、建立組件、服務(wù)、操作等之間的依賴(lài)關(guān)系，實(shí)現(xiàn)軟件組件圖形化展示。實(shí)現(xiàn)根據(jù)一個(gè)組件、服務(wù)或操作，圖形化、地圖化全景展示其涉及的影響信息，讓設(shè)計(jì)、開(kāi)發(fā)人員能夠全面評(píng)估組件的影響范圍和改造風(fēng)險(xiǎn)，提升開(kāi)發(fā)效率和開(kāi)發(fā)質(zhì)量；維護(hù)人員能夠快速定位服務(wù)故障，快速制定解決方案。在“依賴(lài)關(guān)系查詢(xún)”界面，點(diǎn)擊組件、服務(wù)或者操作名稱(chēng)，可以進(jìn)入“依賴(lài)關(guān)系查詢(xún)XX明細(xì)日志頁(yè)面”，顯示詳細(xì)的明細(xì)日志。也可以查詢(xún)到此組件、服務(wù)或者操作的上下游關(guān)聯(lián)關(guān)系。這樣，在日常需求開(kāi)發(fā)或者故障修復(fù)時(shí)，我們就可以根據(jù)該組件、服務(wù)或者操作的使用場(chǎng)景、關(guān)聯(lián)關(guān)系，評(píng)估、判斷該組件、服務(wù)或者操作是否可以復(fù)用和修改，修改的影響范圍和風(fēng)險(xiǎn)也可以快速完成評(píng)估。3.1.3、建立一套軟件組件管理規(guī)范，提升組件復(fù)用度。每次新需求的設(shè)計(jì)都由評(píng)審委員會(huì)對(duì)使用的軟件組件進(jìn)行評(píng)審，避免重復(fù)開(kāi)發(fā)相同的組件，實(shí)現(xiàn)組件和系統(tǒng)的解耦，提升開(kāi)發(fā)效率，降低成本。經(jīng)梳理和整合，系統(tǒng)后臺(tái)服務(wù)由老系統(tǒng)的10824個(gè)簡(jiǎn)化為3748個(gè)。 3.2、 引入灰度發(fā)布策略，實(shí)現(xiàn)系統(tǒng)分地市、分業(yè)務(wù)、分用戶(hù)平穩(wěn)割接上線(xiàn)3.2.1、 進(jìn)行產(chǎn)商品的全面梳理和精簡(jiǎn)，完成調(diào)用量較低的接口整合下線(xiàn) 江蘇公司NGCRM系統(tǒng)經(jīng)過(guò)5年多的運(yùn)行，新增了大量的產(chǎn)品和接口，但是由于缺乏生命周期管理，產(chǎn)品和接口只增不減，導(dǎo)致系統(tǒng)中遺留很多無(wú)效、冗余的產(chǎn)品和接口。為了對(duì)第三代CRM系統(tǒng)瘦身，我省不能把原系統(tǒng)中所有的產(chǎn)品和接口全盤(pán)繼承到新系統(tǒng)中，因此，在系統(tǒng)改造割接前，先對(duì)系統(tǒng)中的產(chǎn)品和接口進(jìn)行全面梳理和精簡(jiǎn)。（1） 進(jìn)行產(chǎn)商品的梳理和精簡(jiǎn)產(chǎn)商品化涉及到組織、流程、業(yè)務(wù)模式的變革與優(yōu)化，組織保障是基礎(chǔ)，模板化是工具和手段。公司安排市場(chǎng)部牽頭，集團(tuán)客戶(hù)部、數(shù)據(jù)部、數(shù)據(jù)業(yè)務(wù)運(yùn)營(yíng)中心、互聯(lián)網(wǎng)中心、地市公司等多個(gè)業(yè)務(wù)部門(mén)參與，組成業(yè)務(wù)產(chǎn)商品梳理小組，開(kāi)展專(zhuān)題工作。梳理了全省超過(guò)16532個(gè)產(chǎn)品精簡(jiǎn)到8212個(gè)，8320個(gè)無(wú)訂購(gòu)量的產(chǎn)品在3個(gè)月內(nèi)分批下線(xiàn)，業(yè)務(wù)小組負(fù)責(zé)對(duì)這些業(yè)務(wù)功能進(jìn)行整合，對(duì)訂購(gòu)量少、效能差的業(yè)務(wù)功能進(jìn)行精簡(jiǎn)，對(duì)8320個(gè)3個(gè)月內(nèi)無(wú)訂購(gòu)量的產(chǎn)品分在分批下線(xiàn)，最終精簡(jiǎn)到8212個(gè)。同時(shí)對(duì)全省300個(gè)營(yíng)銷(xiāo)活動(dòng)配置精簡(jiǎn)為15個(gè)營(yíng)銷(xiāo)模板。（2） 接口整合下線(xiàn)項(xiàng)目接口小組牽頭，聯(lián)合業(yè)務(wù)部門(mén)、電子渠道對(duì)現(xiàn)網(wǎng)系統(tǒng)的接口進(jìn)行全面梳理。共計(jì)梳理219個(gè)平臺(tái)，其中一級(jí)BOSS 56個(gè)，省內(nèi)平臺(tái)即增值業(yè)務(wù)平臺(tái)33個(gè)，外圍平臺(tái)131個(gè)。梳理落地發(fā)接口共8095個(gè)，有調(diào)用量3222個(gè)，最近半年調(diào)用量為0的4873個(gè)。優(yōu)先安排調(diào)用量為0的接口前后4個(gè)月分批下線(xiàn)，同時(shí)對(duì)涉及現(xiàn)網(wǎng)適配改造的1125個(gè)接口進(jìn)行整合改造。3.2.2、 版本灰度發(fā)布，降低系統(tǒng)上線(xiàn)風(fēng)險(xiǎn)為實(shí)現(xiàn)關(guān)鍵業(yè)務(wù)或?qū)ｎ}先小規(guī)模試用，再批量上線(xiàn)，使用zookeeper、nginx構(gòu)建灰度管理平臺(tái)，部署灰度發(fā)布環(huán)境，多維度實(shí)現(xiàn)灰度發(fā)布能力（用戶(hù)維度、地域維度、營(yíng)業(yè)員維度）。同時(shí)，在管理上成立公司級(jí)的項(xiàng)目保障團(tuán)隊(duì)，優(yōu)化割接上線(xiàn)流程，降低割接上線(xiàn)風(fēng)險(xiǎn)。3.2.2.1、總體割接思路（1） 高并發(fā)熱點(diǎn)業(yè)務(wù)、安全加固、數(shù)據(jù)分發(fā)中心、共享內(nèi)存、分布式緩存、讀寫(xiě)分離等不涉及應(yīng)用架構(gòu)的專(zhuān)題直接在原系統(tǒng)上改造支撐，實(shí)施周期短。（2） 涉及應(yīng)用架構(gòu)在新架構(gòu)中支撐，風(fēng)險(xiǎn)較大，利用系統(tǒng)的灰度發(fā)布能力，采用分業(yè)務(wù)/分用戶(hù)/分渠道/分地市上線(xiàn)策略。 分業(yè)務(wù)：查詢(xún)繳費(fèi)業(yè)務(wù)-少量簡(jiǎn)單業(yè)務(wù)-前臺(tái)業(yè)務(wù)-后臺(tái)管理 分用戶(hù)：友好用戶(hù)-2-3萬(wàn)個(gè)人用戶(hù)-地市全量用戶(hù) 分渠道：實(shí)體渠道-電渠 分地市：小地市（鎮(zhèn)江）試點(diǎn)-大地市逐步推廣3.2.2.2、 在技術(shù)方面，引入灰度發(fā)布策略（1） 灰度發(fā)布方案 支持按用戶(hù)灰度發(fā)布灰度發(fā)布規(guī)則配置使用灰度版本的用戶(hù)白名單，可以是散號(hào)，也可以是號(hào)段。例如：灰度用戶(hù)號(hào)13800000009。電子渠道：那么屬于灰度用戶(hù)范圍的用戶(hù)路由到灰度環(huán)境。其他用戶(hù)路由到非灰度用戶(hù)。電子渠道一般是最終用戶(hù)發(fā)來(lái)的消息，所以建議按用戶(hù)灰度在電子渠道上使用。支持按地域灰度灰度地域，指用戶(hù)的歸屬地如：南京、蘇州為灰度區(qū)域電子渠道：未輸入號(hào)碼之前訪問(wèn)的是非灰度版本，輸入號(hào)碼之后，根據(jù)該用戶(hù)號(hào)碼查詢(xún)其歸屬地信息，如果屬于南京或者蘇州，則發(fā)送到灰度環(huán)境，如果不屬于南京與蘇州，則發(fā)送到非灰度環(huán)境。此處的地域信息與現(xiàn)網(wǎng)數(shù)據(jù)庫(kù)保存的用戶(hù)歸屬地一致，比如查詢(xún)用戶(hù)歸屬地查到的是市級(jí)名稱(chēng)，則灰度發(fā)布規(guī)則配置地域信息也要配置成市級(jí)名稱(chēng)。支持按操作員灰度發(fā)布按操作員灰度id：0001，0002營(yíng)業(yè)廳：營(yíng)業(yè)員0001or0002登錄后路由到灰度環(huán)境，其他營(yíng)業(yè)員登錄后則路由到非灰度環(huán)境。營(yíng)業(yè)員0001or0002辦理的所有用戶(hù)均路由到灰度環(huán)境，其他營(yíng)業(yè)員辦理的用戶(hù)則路由到非灰度環(huán)境。營(yíng)業(yè)廳系統(tǒng)一般營(yíng)業(yè)廳操作員登錄的時(shí)候就需要知道是灰度環(huán)境還是非灰度環(huán)境，建議使用操作員灰度方式在營(yíng)業(yè)廳場(chǎng)景使用。配置灰度發(fā)布規(guī)則到zookeeper配置中心，該規(guī)則可后臺(tái)配置。nginx實(shí)時(shí)監(jiān)控zookeeper節(jié)點(diǎn)并緩存灰度發(fā)布規(guī)則，解析外部請(qǐng)求發(fā)過(guò)來(lái)的消息，并轉(zhuǎn)發(fā)到灰度版本webserver或者穩(wěn)定版本的web server 。MQ、DSF、eBus等相關(guān)組件遵循優(yōu)先分發(fā)原則，即邏輯Set里的服務(wù)調(diào)用和消息訂閱都優(yōu)先分發(fā)給邏輯Set里面的節(jié)點(diǎn)，形成邏輯上的Set切割?；诮K移動(dòng)本次的項(xiàng)目范圍未包含前端nginx，主要從第三代CRM統(tǒng)一接口框架eBus中完成灰度請(qǐng)求識(shí)別及灰度標(biāo)識(shí)的傳遞。在系統(tǒng)割接過(guò)程中，電子渠道通過(guò)能力開(kāi)放平臺(tái)接入nginx，nginx實(shí)時(shí)監(jiān)控zookeeper節(jié)點(diǎn)并緩存灰度發(fā)布規(guī)則，根據(jù)發(fā)布規(guī)則判斷是否調(diào)用灰度版本。營(yíng)業(yè)前臺(tái)已割接業(yè)務(wù)同樣通過(guò)nginx灰度發(fā)布規(guī)則，判斷是否調(diào)用灰度版本。未割接業(yè)務(wù)不走灰度版本。（2） 灰度發(fā)布總體流程n 創(chuàng)建灰度發(fā)布規(guī)則灰度發(fā)布規(guī)則即哪些用戶(hù)是灰度用戶(hù)，灰度發(fā)布規(guī)則創(chuàng)建時(shí)包括規(guī)則編號(hào)、關(guān)鍵字、規(guī)則名稱(chēng)、規(guī)則對(duì)應(yīng)的值。如下圖所示，點(diǎn)擊創(chuàng)建按鈕即可開(kāi)始創(chuàng)建規(guī)則，并給出該規(guī)則所對(duì)應(yīng)的值。如：whitelis13800000009n 創(chuàng)建灰度發(fā)布任務(wù)灰度發(fā)布任務(wù)代表了本次灰度升級(jí)，本次灰度發(fā)布任務(wù)包含哪些規(guī)則，一個(gè)灰度發(fā)布任務(wù)可以有多個(gè)灰度發(fā)布規(guī)則，灰度過(guò)程中，規(guī)則可根據(jù)具體情況進(jìn)行修改。n 灰度環(huán)境部署對(duì)灰度任務(wù)中選中的灰度節(jié)點(diǎn)進(jìn)行升級(jí)。n 業(yè)務(wù)流程驗(yàn)證灰度發(fā)布過(guò)程中以及所有節(jié)點(diǎn)都灰度升級(jí)后均需要驗(yàn)證相關(guān)業(yè)務(wù)是否正常處理。3.2.2.3、 在管理方面，省市聯(lián)動(dòng)，優(yōu)化割接上線(xiàn)流程由于第三代CRM系統(tǒng)采用全新的技術(shù)架構(gòu)、引入多個(gè)新的技術(shù)組件，同時(shí)數(shù)據(jù)模型也發(fā)生了變更，為了保證系統(tǒng)平滑過(guò)渡，我省在制定割接方案時(shí)，由公司領(lǐng)導(dǎo)掛帥，協(xié)調(diào)業(yè)務(wù)部門(mén)和地市公司充分參與，進(jìn)行UAT測(cè)試、并行測(cè)試用例的制定和評(píng)審，并組織驗(yàn)收測(cè)試，并對(duì)上線(xiàn)流程進(jìn)行了優(yōu)化。（1） 項(xiàng)目組織保障：公司領(lǐng)導(dǎo)掛帥，成立跨部門(mén)、跨地市兩級(jí)項(xiàng)目組 u 成立公司副總經(jīng)理掛帥的重大聯(lián)合項(xiàng)目組（包括信息技術(shù)中心、規(guī)劃部、市場(chǎng)部、品管部、采購(gòu)部、工程部、客服中心、集客部、數(shù)據(jù)部、財(cái)務(wù)部、各地市公司等部門(mén)），保障各部門(mén)的人力投入，共同推進(jìn)第三代業(yè)務(wù)支撐系統(tǒng)建設(shè)。 u 第三代業(yè)務(wù)支撐系統(tǒng)的建設(shè)不僅僅是技術(shù)平臺(tái)的升級(jí)，同時(shí)涉及業(yè)務(wù)流程與產(chǎn)品的梳理、優(yōu)化、業(yè)務(wù)測(cè)試與驗(yàn)證，因此業(yè)務(wù)部門(mén)的充分參與是保障項(xiàng)目成功的重要基礎(chǔ)。u 項(xiàng)目團(tuán)隊(duì)建立多級(jí)溝通和預(yù)警機(jī)制，包括項(xiàng)目級(jí)別的會(huì)議制度、各執(zhí)行組的會(huì)議制度，并明確了不同類(lèi)別的項(xiàng)目匯報(bào)形式。同時(shí)制定了項(xiàng)目組織普通預(yù)警、中度預(yù)警和緊急預(yù)警的三級(jí)預(yù)警機(jī)制，明確了風(fēng)險(xiǎn)預(yù)警通報(bào)標(biāo)準(zhǔn)、問(wèn)題上升的流程，以及預(yù)警問(wèn)題溝通會(huì)制度。（2） 測(cè)試環(huán)節(jié)引入U(xiǎn)AT測(cè)試和并行測(cè)試為提高測(cè)試可靠性，江蘇公司采用預(yù)備上線(xiàn)的應(yīng)用部署主機(jī)和容災(zāi)數(shù)據(jù)庫(kù)構(gòu)建并行環(huán)境，針對(duì)前臺(tái)受理業(yè)務(wù)，參與并行測(cè)試的營(yíng)業(yè)廳通過(guò)撈取前一日生產(chǎn)業(yè)務(wù)受理流水，進(jìn)行業(yè)務(wù)回歸并與生產(chǎn)庫(kù)比較并行測(cè)試結(jié)果；針對(duì)電子渠道采用測(cè)試號(hào)碼驗(yàn)證，通過(guò)灰度管理平臺(tái)的白名單路由機(jī)制在并行環(huán)境完成測(cè)試號(hào)碼業(yè)務(wù)受理。組織市場(chǎng)部、集團(tuán)客戶(hù)部、客戶(hù)服務(wù)中心等業(yè)務(wù)部門(mén)和地市公司營(yíng)業(yè)員進(jìn)行UAT客戶(hù)驗(yàn)收測(cè)試，所有UAT測(cè)試用例都由業(yè)務(wù)部門(mén)和營(yíng)業(yè)員編寫(xiě)或評(píng)審。（3） 割接流程優(yōu)化，降低割接風(fēng)險(xiǎn)以往的CRM系統(tǒng)項(xiàng)目割接上線(xiàn)，一般采用開(kāi)發(fā)版本研發(fā)測(cè)試后，版本發(fā)布到江蘇移動(dòng)現(xiàn)場(chǎng)測(cè)試環(huán)境測(cè)試，測(cè)試通過(guò)后，版本發(fā)布到生產(chǎn)環(huán)境面向某個(gè)地市或者全省開(kāi)放，同時(shí)進(jìn)行數(shù)據(jù)割接。這樣存在較大的風(fēng)險(xiǎn)，沒(méi)有經(jīng)過(guò)生產(chǎn)環(huán)境的實(shí)際體驗(yàn)和驗(yàn)證，系統(tǒng)割接上線(xiàn)后存在問(wèn)題的概率較大；一旦上線(xiàn)后發(fā)現(xiàn)系統(tǒng)BUG或者割接數(shù)據(jù)存在問(wèn)題，影響面較廣。本次項(xiàng)目割接對(duì)原有的流程進(jìn)行了優(yōu)化：（1） 在原有的流程基礎(chǔ)上，增加了并行環(huán)境灰度測(cè)試階段，版本發(fā)布到并行環(huán)境，由開(kāi)發(fā)商、第三方測(cè)試人員針對(duì)測(cè)試號(hào)碼進(jìn)行測(cè)試驗(yàn)證。（2） 增加生產(chǎn)環(huán)境灰度體驗(yàn)階段，在并行環(huán)境測(cè)試通過(guò)率達(dá)標(biāo)后，版本發(fā)布到生產(chǎn)環(huán)境，割接部分真實(shí)的友好客戶(hù)到生產(chǎn)系統(tǒng)，利用灰度策略，面向部分工號(hào)開(kāi)放權(quán)限，由開(kāi)發(fā)商、第三方測(cè)試團(tuán)隊(duì)、地市公司營(yíng)業(yè)員共同進(jìn)行驗(yàn)證測(cè)試。（3） 生產(chǎn)環(huán)境灰度體驗(yàn)通過(guò)后，再進(jìn)行全量用戶(hù)數(shù)據(jù)的割接，面向某個(gè)地市或全省營(yíng)業(yè)員開(kāi)放權(quán)限。4. 實(shí)施效果4.1、 軟件組件庫(kù)建設(shè)后，問(wèn)題定位、方案、風(fēng)險(xiǎn)評(píng)估效率大幅提升（1） 江蘇移動(dòng)業(yè)務(wù)支撐技術(shù)人員可以實(shí)時(shí)掌握業(yè)務(wù)支撐系統(tǒng)的核心技術(shù)信息，部門(mén)的需求、設(shè)計(jì)、開(kāi)發(fā)、維護(hù)人員提升掌控CRM支撐系統(tǒng)核心能力水平，局方自有人員獨(dú)立定位故障、評(píng)估風(fēng)險(xiǎn)的問(wèn)題占比由10%提升到50%。（2） CRM業(yè)務(wù)支撐新需求的軟件組件復(fù)用率由20%提升到33%。（3） 開(kāi)發(fā)工作量評(píng)審有依據(jù)，總體工作量局方評(píng)審有效核減率由9%提升到11%。（4） 問(wèn)題定位時(shí)間由原來(lái)的平均30分鐘以上提升到10分鐘以?xún)?nèi)，風(fēng)險(xiǎn)評(píng)估平均時(shí)間由原來(lái)的6小時(shí)，提升到目前30分鐘。4.2、 引入灰度發(fā)布技術(shù)后，實(shí)現(xiàn)系統(tǒng)平滑過(guò)渡（1） 系統(tǒng)割接平穩(wěn)，未引起地市波動(dòng)，大面積故障率為0。分業(yè)務(wù)功能上線(xiàn)，大系統(tǒng)小做，降低項(xiàng)目改造和割接規(guī)模，降低項(xiàng)目改造和割接風(fēng)險(xiǎn)。目前已完成高并發(fā)熱點(diǎn)業(yè)務(wù)、安全加固、數(shù)據(jù)分發(fā)中心、共享內(nèi)存、分布式緩存、讀寫(xiě)分離等6個(gè)不涉及應(yīng)用架構(gòu)的專(zhuān)題割接上線(xiàn)；完成查詢(xún)繳費(fèi)云化全省割接上線(xiàn)，完成CRM交易中心、新系統(tǒng)框架3個(gè)版本在鎮(zhèn)江割接上線(xiàn)，上線(xiàn)過(guò)程和上線(xiàn)后，共計(jì)收到灰度用戶(hù)反饋的問(wèn)題單142個(gè)，發(fā)生1次系統(tǒng)性能的嚴(yán)重問(wèn)題。由于采用灰度發(fā)布策略，及時(shí)進(jìn)行了修復(fù)，未引起批量投訴和系統(tǒng)預(yù)警。專(zhuān)題灰度用戶(hù)反饋問(wèn)題單數(shù)量嚴(yán)重問(wèn)題高并發(fā)熱點(diǎn)業(yè)務(wù)3無(wú)安全加固12無(wú)數(shù)據(jù)分發(fā)中心8無(wú)共享內(nèi)存0無(wú)分布式緩存28發(fā)現(xiàn)1個(gè)嚴(yán)重性能問(wèn)題，系統(tǒng)上線(xiàn)后，系統(tǒng)性能不僅未提升，反而大幅下降，經(jīng)核查主要是Conherence參數(shù)設(shè)置錯(cuò)誤，經(jīng)調(diào)優(yōu)后恢復(fù)正常。讀寫(xiě)分離0級(jí)2無(wú)查詢(xún)繳費(fèi)云化24無(wú)交易中心第一版本8無(wú)交易中心第二版本26無(wú)交易中心第三版本31無(wú)總計(jì)1421（2） 共計(jì)10個(gè)專(zhuān)題上線(xiàn)，未暫停前臺(tái)一次。相比較5年前鎮(zhèn)江NGBOSS割接，營(yíng)業(yè)前臺(tái)暫停2天業(yè)務(wù)，本次割接上線(xiàn)基本未給公司造成任何波動(dòng)。4.3、 產(chǎn)品、接口梳理和精簡(jiǎn)，提升業(yè)務(wù)發(fā)布效率（1） 全省超過(guò)16532個(gè)產(chǎn)品精簡(jiǎn)到8212個(gè)，8320個(gè)無(wú)訂購(gòu)量的產(chǎn)品分在3個(gè)月內(nèi)分批下線(xiàn)。（2） 落地發(fā)接口由8095個(gè)精簡(jiǎn)到3222個(gè)，完成4873個(gè)0調(diào)用量的接口下線(xiàn)。5. 后續(xù)思考5.1、 拓展軟件組件服務(wù)管理系統(tǒng)功能，提升系統(tǒng)透明管理能力在現(xiàn)有軟件組件服務(wù)管