03前門天街區(qū)域數(shù)字視頻三維全景智能管控平臺項目-系統(tǒng)需求書

1、前門天街區(qū)域三維全景智能管控數(shù)字系 統(tǒng) 需 求書天睿空間科技富盛2013-5目錄1引言11.1編寫目的1背景1相關(guān)文檔1術(shù)語定義11.21.31.42系統(tǒng)詳細(xì)需求分析22.1需求分析2建設(shè)目標(biāo)2系統(tǒng)性能指標(biāo)3功能設(shè)計3系統(tǒng)功能說明3系統(tǒng)調(diào)用流程42.22.32.43系統(tǒng)總體設(shè)計53.1系統(tǒng)方案53.2系統(tǒng)功能模塊設(shè)計63.2.1全景融合63.2.2關(guān)聯(lián)拾取8輪巡監(jiān)看103.2.33.2.4歷史回放14三維場景漫游16色彩預(yù)處理18融合預(yù)處理20信息發(fā)布233.2.53.2.63.2.73.2.83.3系統(tǒng)部署架構(gòu)27運行環(huán)境283.4.1 硬件環(huán)境283.43.4.2環(huán)境284系統(tǒng)接口設(shè)計29

2、4.1外部接口29系統(tǒng)外部接口29系統(tǒng)界面接口304.24.31 引言1.1 編寫目的詳細(xì)設(shè)計說明書是對前門天街區(qū)域數(shù)字三維全景智能管控的功能的細(xì)化和完善，在該說明書里，將詳細(xì)說明系統(tǒng)各個層次中每個模塊的設(shè)計方案，為系統(tǒng)的開發(fā)提供依據(jù)。1.2 背景前門天街區(qū)域數(shù)字三維全景智能管控詳細(xì)設(shè)計說明書。1.3 相關(guān)文檔（1）前門天街區(qū)域數(shù)字三維全景智能管控標(biāo)書（2）航天愛威 SDK，安訊士 SDK，大華 SDK，海康 SDK，H3CSDK（3）網(wǎng)絡(luò)接收及顯示 demo1.4 術(shù)語定義（1）全景融合（2）關(guān)聯(lián)拾?。?）輪巡監(jiān)看（4）歷史回放（5）本地回放（6）回放2 系統(tǒng)詳細(xì)需求分析2.1 需求分析目前

3、應(yīng)用主要采用分屏顯示、人工切換等點對點監(jiān)看的方式，導(dǎo)致相互孤立、無法關(guān)聯(lián)，不能全面直觀的展示特定區(qū)域的整體場景，無法實現(xiàn)區(qū)域整體安全態(tài)勢的顯示和快速評估，影響指揮決策的準(zhǔn)確性和及時性。具體需求如下：（1）前門天街區(qū)域的融合顯示。將前門天街區(qū)域已有的靜態(tài)或指定預(yù)置位的機融合顯示在三維模型中，提供特定視角的三維大場景畫面。（2）按路徑巡更。將處于不同地理位置的頭加入到預(yù)設(shè)巡更路徑中，系統(tǒng)根據(jù)此預(yù)設(shè)巡更路徑自動漫游，實時顯示漫游路徑上的。（3）歷史的整體倒放融合顯示。通過轉(zhuǎn)發(fā)請求倒放歷史，將倒放形式的歷史融合顯示在三維場景中（由轉(zhuǎn)發(fā)服務(wù)器提供歷史的倒放轉(zhuǎn)發(fā)功能）。（4）關(guān)聯(lián)拾取。在整體時，通過在高點

4、中框選區(qū)域，系統(tǒng)自動調(diào)出與該區(qū)域關(guān)聯(lián)的低點。2.2 建設(shè)目標(biāo)通過本項目建設(shè)，將部署在不同地理位置的多路實時，與區(qū)域的三維模型進行實時三維拼接融合，生成區(qū)域的大視野三維全景動態(tài)場景。用戶通過鍵盤、鼠標(biāo)以及搖桿等可進行三維漫游控制，并通過分級瀏覽，輕松實現(xiàn)不同高度和角度監(jiān)看區(qū)域整體態(tài)勢。在對進行整體安全態(tài)勢顯示基礎(chǔ)上，系統(tǒng)具備路徑自動巡更、智能調(diào)取等關(guān)聯(lián)應(yīng)用功能以及煙火檢測、人群密度監(jiān)測等智能分析功能，實現(xiàn)融合區(qū)域集接入、三維全景融合、關(guān)聯(lián)應(yīng)用分析等于一體的綜合管理。2.3 系統(tǒng)性能指標(biāo)（1）全空間空時融合系統(tǒng)，實現(xiàn)三維模型、其它信息以及地理信息的融合與展示。與模型融合在視覺上無明顯偏差；（2）支

5、持融合區(qū)域的高點頭的全景融合展示；（3）支持同時并發(fā)至少 2 個客戶端。2.4 功能設(shè)計2.4.1 系統(tǒng)功能說明（1）全景融合顯示功能在規(guī)定的“融合區(qū)域”內(nèi)，利用架設(shè)在天街兩旁的高點頭，進行三維融合拼接，得到“融合區(qū)域”的三維全景畫面。（2）區(qū)域自動巡控功能將需要的頭添加到巡控路徑上，作為巡控的資源。當(dāng)巡控到某一區(qū)域的時候，畫面會自動顯示這個區(qū)域的相關(guān)內(nèi)容，從而實現(xiàn)自動巡控功能。（3） 歷史關(guān)聯(lián)倒放通過轉(zhuǎn)發(fā)請求倒放歷史，將倒放形式的歷史融合顯示在三維場景中。（由轉(zhuǎn)發(fā)服務(wù)器提供歷史的倒放轉(zhuǎn)發(fā)功能）（4）關(guān)聯(lián)拾取在整體時，通過在拼接中框選區(qū)域，系統(tǒng)自動調(diào)出與該區(qū)域關(guān)聯(lián)的數(shù)據(jù)。2.4.2系統(tǒng)調(diào)用流程

6、系統(tǒng)調(diào)用流程：（1）安裝 osg，配置 opencv 環(huán)境變量。（2）運行 NetworkCheck.exe，輸入本地 IP 及服務(wù)器 IP，點擊網(wǎng)絡(luò)激活網(wǎng)絡(luò)，C 盤中自動生成文件夾 HSMonitor，然后將 ccnu 文件夾目錄手動填進該文件夾中的 win32runtime8.ini 中。（3）菜單完成相應(yīng)功能圖 2-1 系統(tǒng)功能調(diào)用圖說明：系統(tǒng)共有四大功能，分別為：融合、關(guān)聯(lián)拾取、輪巡監(jiān)看、歷史回放。用戶進入界面，首先點擊融合選項，進入融合，然后可以任意調(diào)用各個功能，點擊退出融合，退出系統(tǒng)。3 系統(tǒng)總體設(shè)計3.1 系統(tǒng)方案圖 3-1 總體方案說明：“前門天街區(qū)域數(shù)字三維全景智能管控”采用

7、分層架構(gòu)設(shè)計，由接入、三維融合與管控、信息發(fā)布三大子系統(tǒng)組成。視頻接入子系統(tǒng)完成跨接入功能，通過、格式轉(zhuǎn)換、暫存、二次編碼控制、云臺控務(wù)及圖像傳輸，可以接入不同廠家和型號的標(biāo)清數(shù)字；三維融合與管控子系統(tǒng)實現(xiàn)與三維模型的配準(zhǔn)，將離散信息全景拼接于三維場景中，并通過渲染、信息融合、色彩矯正以及三維漫游控制等，實現(xiàn)全景三維融合顯示；基于全景對于頭的關(guān)聯(lián)，進一步開展關(guān)聯(lián)分析與應(yīng)用，包括關(guān)聯(lián)倒放、路徑巡更、明煙明火檢測以及人群密度分析；信息發(fā)布子系統(tǒng)將全景融合分析處理后的各種資源，通過權(quán)限管理和設(shè)備適配推送給不同用戶，并可推送到大屏、PC 等多種終端，實現(xiàn)多用戶多方式分級瀏覽。3.2 系統(tǒng)功能模塊設(shè)計3

8、.2.1全景融合3.2.1.1模塊描述功能a)全景融合區(qū)域市東城區(qū)前門商業(yè)步行街，北起前門商業(yè)步行街北口（正陽門箭樓南約 80m），前門商業(yè)步行街南口（珠市口大街北側(cè)）。b)利用本區(qū)域內(nèi)的高點，實現(xiàn)該區(qū)域?qū)崟r全景監(jiān)看。3.2.1.2流程設(shè)計圖 3-2 全景融合流程圖全景融合步驟：（1）接入，對幀數(shù)據(jù)進行融合預(yù)處理；（2）融合數(shù)據(jù)源，構(gòu)建三維虛擬數(shù)據(jù)模型；（3）對進行投影、融合、渲染，融全景場景。3.2.1.3模塊與設(shè)計全景融合模塊可采用 IPO 圖（即輸入處理輸出圖）的形式。圖 3-3 全景融合模塊設(shè)計圖說明：全景融合由三個模塊分別是：輸入、處理、輸出。輸入：輸入的信息包括：頭列表 ID、實時

9、幀、三維模型。處理：渲染端發(fā)送請求，開啟網(wǎng)絡(luò)接收和渲染緩沖，端將流輸入，在三維場景中，經(jīng)過三維投影、三維融合、場景渲染，完成的全景融合渲染。輸出：將全景融合渲染后的輸出。3.2.2關(guān)聯(lián)拾取3.2.2.1模塊描述功能a)關(guān)聯(lián)拾取區(qū)域：天街區(qū)域。b)通過拖動關(guān)聯(lián)拾取矩形框自動調(diào)取漫游場景中的低點關(guān)聯(lián)。操作a)鼠標(biāo)左鍵點擊菜單欄“關(guān)聯(lián)拾取”，此時就是彈出關(guān)聯(lián)拾取矩形框（綠色）。b)按住鼠標(biāo)左鍵拖動矩形框到某一位置，再松開鼠標(biāo)，則在“細(xì)節(jié)調(diào)看窗口”內(nèi)，就能顯示出該位置處的相關(guān)的低點。3.2.2.2流程設(shè)計圖 3-4 關(guān)聯(lián)拾取流程設(shè)計圖說明：根據(jù)矩形框的位置，實時視點，將頭區(qū)域定位；篩選：頭區(qū)域定位后，

10、搜索頭候選列表。顯示：在系統(tǒng)的窗口的下邊欄顯示拾取到的，沒有拾取到足夠的（系統(tǒng)默認(rèn)為 4 個），顯示其它指定圖案。3.2.2.3模塊與設(shè)計圖 3-5 關(guān)聯(lián)拾取模塊圖輸入：拾取框（矩形框）的三維位置、當(dāng)前實時視點和融合預(yù)處理服務(wù)器的各路頭的實時幀。處理：首先根據(jù)拾取框的位置和實時視點，對該區(qū)域的頭進行準(zhǔn)確定位，獲取拾取框內(nèi)頭實時列表，然后由融合端向端發(fā)送該列表信息，并開啟網(wǎng)絡(luò)接收線程和渲染緩沖線程，準(zhǔn)備好幀。輸出：在“細(xì)節(jié)調(diào)看”窗口實時顯示出所拾取的。3.2.3輪巡監(jiān)看3.2.3.1模塊描述（1）功能a) 輪詢區(qū)域：用戶指定（2）操作a)“輪巡監(jiān)看”開啟：鼠標(biāo)左鍵點擊菜單欄“實時”，此時就彈出一

11、個列表，在“巡控路徑列表”下的列表既是輪詢的路徑。b)“輪巡監(jiān)看”模式：雙擊路徑節(jié)點（比如：“巡控路徑列表”“前門天街”），進入輪巡監(jiān)看模式，系統(tǒng)此時會按照設(shè)定的路徑不停地漫游；按空格鍵可以暫停/繼續(xù)漫游；再次雙擊“前門天街”則停止漫游。c)“輪巡監(jiān)看”編輯：在根節(jié)點（比如：巡控路徑列表）上單擊右鍵，可以添加路徑。在路徑節(jié)點（比如：前門天街）上點擊右鍵，可以編輯路徑名、添加節(jié)點、刪除路徑。在節(jié)點（比如：前門天街）上點擊右鍵或者雙擊左鍵，可以進入節(jié)點編輯狀態(tài)，彈出“編輯節(jié)點”框。d)低點小的顯示：雙擊“細(xì)節(jié)調(diào)看窗口”中的低點或點擊頭圖標(biāo)，可以將放大顯示，當(dāng)“細(xì)節(jié)調(diào)看窗口”中某一路沒有數(shù)據(jù)時，此時

12、應(yīng)該顯示圖像。3.2.3.2流程設(shè)計圖 3-6 輪巡監(jiān)看流程設(shè)計圖說明：頭設(shè)置：設(shè)置頭基本屬性信息；路徑設(shè)置：用戶設(shè)置巡控路徑；頭顯示：根據(jù)頭的基本設(shè)置信息和設(shè)置的路徑，在窗口顯示特定的頭圖標(biāo)。點擊圖標(biāo)，實時顯示指定頭。3.2.3.3模塊與設(shè)計圖 3-7 輪巡監(jiān)看模塊圖說明該程序應(yīng)具有的功能，可采用 IPO 圖（即輸入處理輸出圖）的形式。輸出：最后按照預(yù)先設(shè)置好的巡控路徑，進行漫游，同時在漫游過程中，在三維模型上繪制出扇形，并在“細(xì)節(jié)調(diào)看”窗口顯示出不同視點下的。3.2.4歷史回放3.2.4.1模塊描述（1）功能a) 通過事情對每個頭進行獨立，在案事件發(fā)生后進行多同步倒放。（需轉(zhuǎn)發(fā)服務(wù)器提供歷

13、史的倒放轉(zhuǎn)發(fā)功能）（2）操作a)鼠標(biāo)左鍵點擊菜單欄“歷史回放”，此時將彈出“歷史回放”窗口。b)回放模式選擇：本地回放：選擇回放區(qū)域，直接點擊“開始回放”按鈕，窗口中的所有按鈕顯示，系統(tǒng)開始回放；還可以點擊“一倍速”、“順播”、“ 播放中”等按鈕，進試；點擊“停止回放”，就會停止；點擊“退出”或“窗口關(guān)閉”按鈕，則系統(tǒng)會從本地回放模式轉(zhuǎn)到實時監(jiān)看模式。回放：選擇回放區(qū)域，設(shè)置回放時間，點擊“開始回放”按鈕，窗口中的所有按鈕顯示，系統(tǒng)開始回放；還可以點擊“一倍速”、“順播”、“中”等按鈕，進試；點擊“停止回放”，就會停止；點擊“退出”或“窗口關(guān)閉”按鈕，則系統(tǒng)會從回放模式轉(zhuǎn)到實時監(jiān)看模式。3.2

14、.4.2流程設(shè)計圖 3-9 歷史回放流程設(shè)計圖歷史回放說明：回放參數(shù)設(shè)置：主要包括設(shè)置回放區(qū)域、設(shè)置回放時間和選擇回放類型；回放類型：本地回放和回放；的接入與緩沖：首先停止實時的，然后根據(jù)回放的信息發(fā)送請求，最后開啟網(wǎng)絡(luò)接受，渲染緩沖，獲取的。進度：控制的順序和倍速3.2.4.3模塊與設(shè)計輸入處理輸出a)w：場景向前平移（前進）b)s：場景向后平移（后退）c)a：場景向左平移（）d)d：場景向右平移（右移）e)：場景向左旋轉(zhuǎn)（左旋）f)：場景向右旋轉(zhuǎn)（右旋）g)：場景向上翻轉(zhuǎn)（上翻）h)：場景向下翻轉(zhuǎn)（下翻）i) PaUp：場景沿著Z 軸不斷升高j) PaUp：場景沿著Z 軸不斷降低3.2.5

15、.2流程設(shè)計圖 3-11 三維場景漫游流程設(shè)計圖說明：進入：運行系統(tǒng)，進入三維場景漫游：鍵盤操作，預(yù)設(shè)視點跳轉(zhuǎn)p、l、:、”；任意三維漫游w、a、s、d；3.2.6色彩預(yù)處理3.2.6.1模塊描述（1）功能a) 對全景融合進行亮度校正和邊緣融合處理，提高全景融合場景的色彩、視覺一致性。（2）操作a)按鍵盤Ctrl+t/T調(diào)出“機顏色預(yù)處理”窗口。b)亮度自動校正：在“機 ID”下拉列表中，選擇要進行校正的機，然后點擊“開啟亮度校正”按鈕就開啟了亮度校正功能；若點擊“關(guān)閉亮度校正”按鈕就將關(guān)閉該機的亮度校正功能。c)邊緣融合功能：在“機 ID”下拉列表中，選擇機（選取的原則是以左側(cè)機為準(zhǔn)），然后

16、點擊“開啟邊緣融合”按鈕就開啟了邊緣融合功能；若點擊“關(guān)閉邊緣融合”按鈕就將關(guān)閉該機的邊緣融合功能。3.2.6.2流程設(shè)計圖 3-12色彩預(yù)處理流程設(shè)計圖說明：導(dǎo)入：根據(jù)頭的 ID 列表，將流導(dǎo)入；亮度校正：利用處理處理函數(shù)，對進行判斷，如果不滿足需要，進行校正處理；邊緣融合：利用處理處理函數(shù)，對進行邊緣融合；輸出：將處理后的輸出。3.2.6.3模塊與設(shè)計圖 3-13色彩預(yù)處理模塊圖說明：輸入：輸入包括頭 ID 列表信息和實時的幀；處理：渲染端發(fā)送請求，開啟網(wǎng)絡(luò)接收，渲染緩沖，接受到源幀后，對進行亮度校正和邊緣融合處理；輸出：將處理后的幀輸出。3.2.7融合預(yù)處理3.2.7.1模塊描述功能：本

17、模塊主要負(fù)責(zé)接入不同協(xié)議類型的前端頭，包括請求流、實時、圖像預(yù)處理、二次編碼傳輸、PTZ 控制等。操作：雙擊“DManagement2005.exe”啟動端管理模塊，在該框上，點擊“StartServer”開啟管理服務(wù)，等待 5S 左右，自動啟動程序（“AXSDecoder.exe”）。3.2.7.2流程設(shè)計（1）圖 3-14流程設(shè)計圖的步驟說明：1)連接數(shù)據(jù)庫；2)服務(wù)；3)頭列表管理；4)請求接受數(shù)據(jù)；5)請求接受，。（2） 圖像編碼圖 3-15 圖像編碼流程設(shè)計圖圖像編碼步驟：1) 啟動系統(tǒng)，等待融合端請求數(shù)據(jù)，等待取得一幀 YUV 數(shù)據(jù)；2) 接受請求，JPEG 編碼；（3） 網(wǎng)絡(luò)傳輸

18、圖 3-16網(wǎng)絡(luò)傳輸流程設(shè)計圖網(wǎng)絡(luò)傳輸說明：1) 初始化 TCP/UDP 網(wǎng)絡(luò)套接字；2) 創(chuàng)建 TCP線程，YUV 轉(zhuǎn) RGB 線程和 JPEG 編程線程。3.2.7.3模塊與設(shè)計融合預(yù)處理具有的功能，可采用 IPO 圖（即輸入處理輸出圖）的形式。圖 3-17融合預(yù)處理模塊圖3.2.8信息發(fā)布3.2.8.1模塊描述（1） 功能a) 通過分級權(quán)限和加密管理的信息發(fā)布功能，系統(tǒng)可將融合后的整體態(tài)勢畫面推送到用戶手中，實現(xiàn)現(xiàn)場安全態(tài)勢的遙感。（2） 操作3.2.8.2流程設(shè)計（1）融合畫面推送3.2.8.3模塊與設(shè)計圖 3-20 終端顯示處理模塊圖說明：輸入：請求數(shù)據(jù)和打包后的融合畫面；處理：網(wǎng)絡(luò)的接收、ts 解包和 H264；輸出：融合畫面顯示輸出。3.3 系統(tǒng)部署架構(gòu)3.4 運行環(huán)境3.4.1硬件環(huán)境圖 3-20 系統(tǒng)硬件環(huán)境3.4.2環(huán)境（1）高性能部門級服務(wù)器