光譜水質(zhì)智能監(jiān)測應(yīng)用白皮書+-v10

光譜水質(zhì)智能監(jiān)測應(yīng)用白皮書(2023)水質(zhì)在線監(jiān)測的水質(zhì)在線監(jiān)測的新時代背景1.1水質(zhì)是國家水網(wǎng)安全的關(guān)鍵11.2水質(zhì)監(jiān)測行業(yè)面臨諸多挑戰(zhàn)21.3光譜在水質(zhì)監(jiān)測領(lǐng)域的應(yīng)用31.4光譜智能監(jiān)測確保國家水網(wǎng)光譜水質(zhì)智能監(jiān)測解決方案3.1光譜水質(zhì)智能監(jiān)測方案架構(gòu)93.2光譜水質(zhì)智能監(jiān)測關(guān)鍵技術(shù)11未來展望5未來展望16光譜水質(zhì)在線監(jiān)測光譜水質(zhì)在線監(jiān)測的應(yīng)用現(xiàn)狀2.3建立光譜水質(zhì)基礎(chǔ)平臺，夯實行業(yè)4光譜水質(zhì)智能監(jiān)測應(yīng)用實踐44.1深圳龍崗河光譜水質(zhì)智能監(jiān)測4.1深圳龍崗河光譜水質(zhì)智能監(jiān)測144.2洞庭湖光譜水質(zhì)智能監(jiān)測15編制說明6編制說明18水質(zhì)在線監(jiān)測的新時代背景2023年5月25日，中共中央、國務(wù)院報，全國地表水監(jiān)測有3629個國控斷面，斷面占比90.2%;開展水質(zhì)監(jiān)測的重要湖泊(水庫)有210個，I-Ⅲ類水質(zhì)湖泊(水庫)占比73.8%。水質(zhì)國控體系建設(shè)已相對第3頁間、變速等維度存在較多“盲區(qū)”,無法及(二)水質(zhì)監(jiān)測數(shù)據(jù)價值未充分釋放基境等行業(yè)主管部門各自獨立建設(shè)了大量水水質(zhì)監(jiān)測數(shù)據(jù)共建共享的協(xié)作機(jī)制不夠成熟，未能實現(xiàn)水利水務(wù)、生態(tài)環(huán)境等行業(yè)主管部門監(jiān)測數(shù)據(jù)的高質(zhì)量共享，難以準(zhǔn)確核(三)水質(zhì)監(jiān)測技術(shù)手段較為單一水質(zhì)監(jiān)測技術(shù)手段相對單一。由于受到監(jiān)測紫外、可見光、紅外、雷達(dá)、激光等多種傳光是一種電磁波，通常的光波包括紫外光、可見光和紅外光，波長范圍在200nm~50μm,它躍遷、分子的外層電子躍遷、分子振動/轉(zhuǎn)動會吸收或發(fā)射特定頻率的光，通過測量其光譜、強(qiáng)射頻區(qū)微波高核磁低長光圖1-3光波譜區(qū)及能量躍遷相關(guān)圖在1665年，牛頓利用一塊三棱鏡把白線夫瑯禾費(fèi)線。1859年，克?；舴蚝捅旧庾V分析法被廣泛應(yīng)用于各種物質(zhì)分合物，檢測精度可以到ppm(10-6)、ppb (10-9),甚至ppt(10-12)級別。(四)非接觸、非侵入式監(jiān)測，微損/第二章光譜水質(zhì)在線監(jiān)測的應(yīng)用現(xiàn)狀當(dāng)前水質(zhì)檢測標(biāo)準(zhǔn)以化學(xué)法和電極法為主，但是隨著新技術(shù)的蓬勃發(fā)展，光譜水質(zhì)標(biāo)準(zhǔn)正在逐步引入。2007年，《水污染源在線監(jiān)測系統(tǒng)驗收技術(shù)規(guī)范(試行)》(HJT354-2007)的行業(yè)標(biāo)準(zhǔn)發(fā)布，代表在線水質(zhì)監(jiān)測系統(tǒng)的起步。該標(biāo)準(zhǔn)首次定義在線水質(zhì)監(jiān)測，但是僅定義了6項指標(biāo)，包括pH、氯、氨氮、磷等；大部分指標(biāo)采用傳統(tǒng)檢測方法，且一種傳感器僅監(jiān)測一個指標(biāo)。2013業(yè)標(biāo)準(zhǔn)發(fā)布，水質(zhì)在線監(jiān)測指標(biāo)擴(kuò)展到19項，且首次引入光譜法。2019年11月，中國水利企業(yè)協(xié)會發(fā)布團(tuán)體標(biāo)準(zhǔn)《光譜法水質(zhì)在線在線水質(zhì)監(jiān)測正式進(jìn)入光譜時代，無序算法模型。光譜水質(zhì)采集設(shè)備、數(shù)據(jù)、算法模型對于水利水務(wù)行業(yè)主管部門、生態(tài)環(huán)境行業(yè)主管部門、權(quán)威計量部門、其他系統(tǒng)廠商而言，都以“黑盒”的形式存在，導(dǎo)致出現(xiàn)如下問題：(1)水質(zhì)光譜數(shù)據(jù)集的準(zhǔn)確性(3)設(shè)備、數(shù)據(jù)、算法模型的問題難以定界；(4)“煙囪式”的水質(zhì)光譜樣本數(shù)據(jù)樣的“黑土地”成為了當(dāng)務(wù)之急。(1)建立權(quán)計費(fèi)，促進(jìn)算法模型的高水平發(fā)展；(3)光第三章光譜水質(zhì)智能監(jiān)測解決方案 (1)光譜硬件廠商聚焦光源組件、光路、光譜探測器等核心部件的精益制造；(2)光譜水質(zhì)硬件集成商聚焦高質(zhì)量、高可靠、廣泛適用的光譜數(shù)據(jù)采集和終端設(shè)備的制造；(3)算法廠商專注第10頁現(xiàn)大批量水質(zhì)光譜數(shù)據(jù)集的高效管理、光譜算法模型的快速迭代更新；(2)實現(xiàn)水質(zhì)光譜數(shù)據(jù)集、光譜算法平臺光譜算法平臺光譜算法平臺功能模塊光譜樣本庫光譜知識庫光譜算法庫管理光譜模型鏡像庫光譜數(shù)據(jù)/算法/模型資產(chǎn)典型污染物熒光指紋流域光譜分析模型湖庫光譜分析模型數(shù)據(jù)后處理光譜采集/分析終端白機(jī)器學(xué)習(xí)深度學(xué)習(xí)特征提取熒光譜數(shù)據(jù)預(yù)處理高光譜三層：(1)光譜采集及分析終端層；(2)光下的水質(zhì)光譜樣本庫；印染廢水、造紙廢水、電子廢水、金屬制造廢水等典型污染物的熒光指紋庫等。在算法方面，充分利用Pytorch、MindSpore等深度學(xué)習(xí)框架以模型構(gòu)建方面，基于水質(zhì)光譜樣本庫、終端側(cè)以硬件能力建設(shè)為主，支密度，針對低成本的紫外-可見光譜設(shè)(一)高標(biāo)準(zhǔn)的光譜采集設(shè)備光譜采集設(shè)備需要滿足如下要求：(1)光源發(fā)光穩(wěn)定可靠，具備可重復(fù)性、一致性；(2)光路實現(xiàn)光線的精準(zhǔn)控制和定向；(3)光譜探測器具備較高的分辨率和信噪比，能夠捕捉高質(zhì)量的光源光路比色皿出水光譜探測器(二)高質(zhì)量的光譜樣本數(shù)據(jù)集1Yi.tn2Y2.tnm圖3-2-2紫外可見光譜數(shù)據(jù)樣本格式激波長的數(shù)量，矩陣中的值為水中物質(zhì)成分在某個激發(fā)波長下對應(yīng)某個發(fā)射波長的發(fā)光強(qiáng)度。如果是帶標(biāo)簽的樣本數(shù)據(jù)，通常還有對應(yīng)的COD、TP、TN、葉綠素等水中物質(zhì)成分的濃度。假定有p個樣本，則熒光譜樣本數(shù)據(jù)格式如下。激熒光譜發(fā)射強(qiáng)度發(fā)波長圖3-2-3熒光譜數(shù)據(jù)樣本格式樣本批次P樣本批次P熒光譜發(fā)射強(qiáng)度2熒光譜發(fā)射強(qiáng)度Xm,1Xm,2Xm,n激發(fā)波長發(fā)射波長激發(fā)波長物質(zhì)濃度參考值物質(zhì)濃度參考值1圖3-2-4p個熒光譜樣本(三)智能化的計算模型傳統(tǒng)的光譜與水中物質(zhì)成分濃度的計算模型主要是機(jī)器學(xué)習(xí)模型、機(jī)器學(xué)習(xí)模型的組合，例如支持向量回歸SVR、偏最小二乘PLS、最小二乘支持向量機(jī)LSSVM等，或者基于上述算法的組合衍生出的AP-LSSVM等。深度學(xué)習(xí)及大模型技術(shù)的發(fā)展給水質(zhì)光譜回歸模型的構(gòu)建帶來了新的啟發(fā)，主要有如下方面：(1)多模態(tài)技術(shù)。每個水質(zhì)樣本的紫外-可見光吸收譜數(shù)據(jù)是一個n維的向量，n是連續(xù)的發(fā)射波長的數(shù)量；熒光譜數(shù)據(jù)是一個m*n維的矩陣，m是連續(xù)的激發(fā)波長的數(shù)量，n是發(fā)射波長的數(shù)量。如何融合兩種不同模態(tài)的光譜數(shù)據(jù)得到更優(yōu)的回歸效果是一個重要的研究方向；(2)自適應(yīng)模型尋優(yōu)技術(shù)。水質(zhì)光譜回歸模型包含傳統(tǒng)機(jī)器學(xué)習(xí)回歸、BP神經(jīng)網(wǎng)絡(luò)框架、CNN框架或者其他大模型的相關(guān)回歸框架。如何基于樣本數(shù)據(jù)選擇最優(yōu)模型，充分利用各個模型框架的優(yōu)勢也是一個重要的研究方向；(3)基于小樣本的增量學(xué)習(xí)技術(shù)。在已經(jīng)構(gòu)建的統(tǒng)一光譜回歸模型的基礎(chǔ)上，基于當(dāng)前水網(wǎng)管理對象的小樣本水質(zhì)光譜數(shù)據(jù)實現(xiàn)模型的快速校正；(4)自監(jiān)督學(xué)習(xí)光譜智能監(jiān)測龍崗河流域位于深圳市東北部，發(fā)源于梧桐山北麓，以降雨水源補(bǔ)給為主，河流含沙量較陂路37號東北60米處設(shè)置了龍崗河水站，對龍崗河的水質(zhì)進(jìn)行在線監(jiān)測。時在線監(jiān)測的COD通過率為96%,平均相對誤差為13.52%,平均相對偏差為3.42%;TN通過率為96%,平均相對誤差為7.70%,平均相對偏差為2.18%;TP通過率為92%,平均相對誤差為13.41%,平均相對偏差為4.96%。4.2洞庭湖光譜水質(zhì)智能監(jiān)測洞庭湖水域遼闊，面積超過四千平方公里，是長江中游洪水重要調(diào)蓄場所和重要濕地，被譽(yù)為“長江之腎”。2018年4月25日，習(xí)近平總書記在洞庭湖考察時殷切囑托“守護(hù)好一江碧水源涵養(yǎng)不足等問題。湖南省委、省政府高度重視洞庭湖生態(tài)疏浚工程。2022年3月湖南省政工作專班，并多次專題研究調(diào)度。2023年6月28日，洞庭湖生態(tài)修復(fù)試點工程在黑泥洲正式啟洞庭湖黑泥洲生態(tài)修復(fù)試點工程依托西高東低地形開展同坡降整體式降洲，結(jié)合生態(tài)環(huán)境提升、洲邊河道航道防護(hù)措施，形成3處生態(tài)湖及整片生態(tài)淺洲，修復(fù)面積14.29平方公里。由于第五章未來展望水質(zhì)在線監(jiān)測事關(guān)國家水網(wǎng)長制久安。準(zhǔn)確、及時、全面地獲取國家水網(wǎng)水質(zhì)現(xiàn)狀及發(fā)展趨勢，對水資源管理、飲用水安全和河湖生態(tài)環(huán)境治理等都具有重要意義。隨著水利水務(wù)、生態(tài)環(huán)境業(yè)務(wù)需求的多樣化和應(yīng)用場景的復(fù)雜化，傳統(tǒng)的監(jiān)測分析方法普遍存在手段單一、分析定向的局限性，無法滿足國家水網(wǎng)建設(shè)和水質(zhì)監(jiān)測業(yè)務(wù)的發(fā)展需求。光譜水質(zhì)智能監(jiān)測技術(shù)作為水質(zhì)監(jiān)測的重要支撐，當(dāng)前尚處于發(fā)展的初級階段，但是光譜水質(zhì)智能監(jiān)測技術(shù)因其具備高精度、低成本、實時在線、大數(shù)據(jù)、智能化等特點，在國家水網(wǎng)數(shù)字化轉(zhuǎn)型的大背景下會出現(xiàn)爆發(fā)性發(fā)展。未來，光譜水質(zhì)智能監(jiān)測技術(shù)會轉(zhuǎn)向多源多模態(tài)光譜大數(shù)據(jù)的集成和分析。通過融合不同的監(jiān)測手段生成廣泛的樣本數(shù)據(jù)庫，結(jié)合人工智能和大數(shù)據(jù)分析技術(shù)構(gòu)建水質(zhì)光譜智能分析大模型，從而為國家水網(wǎng)建設(shè)提供低成本、高質(zhì)量的水質(zhì)在線監(jiān)測分析能力。(一)建立“五基”協(xié)同的立體監(jiān)測體系“五基”協(xié)同立體監(jiān)測體系綜合運(yùn)用天基衛(wèi)星、空基遙感、航空無人機(jī)、移動巡護(hù)監(jiān)測車和地面觀測設(shè)備等五種監(jiān)測手段，集成紫外、可見光、紅外、雷達(dá)、激光等多種(二)建立實時監(jiān)測