（信號(hào)與信息處理專業(yè)論文）基于sip協(xié)議的視頻監(jiān)控.pdf

獨(dú)創(chuàng)性聲明 本人聲明所呈交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的 研究成果 據(jù)我所知 除了文中特別加以標(biāo)注和致謝的地方外 論文中不包含其 他人已經(jīng)發(fā)表或撰寫過(guò)的研究成果 也不包含為獲得 或其他教育機(jī)構(gòu) 的學(xué)位或證書而使用過(guò)的材料 與我一同工作的同志對(duì)本研究所做的任何貢獻(xiàn)均 已在論文中作了明確的說(shuō)明并表示謝意 學(xué)位論文作者簽名 簽字日期 年 月 日 學(xué)位論文版權(quán)使用授權(quán)書 本學(xué)位論文作者完全了解 有關(guān)保留 使用學(xué)位論文的規(guī)定 有權(quán)保留并向國(guó)家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和磁盤 允許論文被查閱和 借閱 本人授權(quán) 可以將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行 檢索 可以采用影印 縮印或掃描等復(fù)制手段保存 匯編學(xué)位論文 保密的學(xué)位論文在解密后適用本授權(quán)書 學(xué)位論文作者簽名 導(dǎo)師簽名 簽字日期 年 月 日 簽字日期 年 月 日 學(xué)位論文作者畢業(yè)去向 工作單位 電話 通訊地址 郵編 摘 要 i 摘摘 要要 隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展以及人們安全意識(shí)的普遍提高 人們對(duì)視頻監(jiān)控產(chǎn) 品的要求也越來(lái)越高 會(huì)話初始化協(xié)議 sip session initiation protocol 是一種信 令控制協(xié)議 作為下一代網(wǎng)絡(luò)的核心協(xié)議 它提供了用戶定位 媒體參數(shù)協(xié)商等 基本的會(huì)話管理功能 通過(guò)把 sip 協(xié)議應(yīng)用到視頻監(jiān)控終端 可以形成一個(gè)開放 的 智能的監(jiān)控系統(tǒng) 使隨時(shí)隨地的監(jiān)控變?yōu)榭赡?鑒于此 本文基于 z228 硬件平臺(tái)和嵌入式 linux 操作系統(tǒng) 設(shè)計(jì)并實(shí)現(xiàn)了 基于 sip 協(xié)議的視頻監(jiān)控終端 該終端具備 sip 用戶代理的基本功能 能夠發(fā)起 接收及終止呼叫并完成媒體參數(shù)的協(xié)商 同時(shí)它還完成終端的視頻數(shù)據(jù)的采集 mpeg 4 壓縮編碼及傳輸?shù)裙δ?本文首先對(duì) sip 協(xié)議 軟交換平臺(tái) 實(shí)時(shí)傳輸協(xié)議 rtp real time transport protocol 及 mpeg 4 視頻壓縮標(biāo)準(zhǔn)做了介紹 接著介紹了系統(tǒng)的硬件平臺(tái)及軟件 架構(gòu) 然后給出了視頻監(jiān)控系統(tǒng)的總體設(shè)計(jì)及模塊劃分 在重點(diǎn)研究 sip 協(xié)議的 基礎(chǔ)上 設(shè)計(jì)并實(shí)現(xiàn)了終端系統(tǒng)上 sip 模塊 此外 本文還較為詳細(xì)的介紹了終 端系統(tǒng)上視頻數(shù)據(jù)的采集 壓縮及傳輸?shù)饶K的設(shè)計(jì)與實(shí)現(xiàn) 最后對(duì)終端系統(tǒng)進(jìn) 行了測(cè)試并給出了測(cè)試結(jié)果 關(guān)鍵詞 視頻監(jiān)控 z228 linux 會(huì)話初始化協(xié)議 實(shí)時(shí)傳輸協(xié)議 mpeg 4 abstract ii abstract with the continuous development of network technology and the general raise of people s safety consciousness people are requesting for higher quality video monitoring equipments session initiation protocol is a signaling control protocol as the core protocol of next generation network it can provide basic session management functions such as users positioning media parameters consultations etc by using the sip protocol to video monitoring terminal we can form an open intelligent monitoring system and make the monitoring at any time and in any place can be true in view of above basing on the z228 hardware platform and embedded linux os this thesis designs and implements a video monitoring terminal that supports sip protocol the terminal has the basic functionalities that a sip ua should have it can initiate and accept a session terminate a session that already exits and determine the media and the media parameters to be used it can also capture video data from the camera encode the data with mpeg 4 and transport the data to monitoring center the sip protocol soft switch platform rtp protocol mpeg 4 standard are introduced at first following the system s hardware platform and software architecture are introduced and then the system s overall design and module division are given secondly basing on detailed analyse of the sip protocol the thesis designs and achieves the sip module furthermore the designs and implementations of the video data collection compression and transmission modules on terminal are detailedly introduced too at last the thesis explains how to test the system and lists the result of the test keywords video monitoring z228 linux sip rtp mpeg 4 目 錄 iii 目目 錄錄 第一章 序論 i 1 1 視頻監(jiān)控系統(tǒng)概述 1 1 2 國(guó)內(nèi)外市場(chǎng)狀況 2 1 3 研究目的及意義 2 1 4 本文的主要內(nèi)容及組織結(jié)構(gòu) 3 第二章 視頻監(jiān)控系統(tǒng)的相關(guān)技術(shù) 5 2 1 軟交換技術(shù) 5 2 1 1 軟交換簡(jiǎn)述 5 2 1 2 軟交換的體系結(jié)構(gòu) 5 2 1 3 軟交換的主要協(xié)議 6 2 2 sip 協(xié)議 8 2 2 1 sip 協(xié)議背景和功能 8 2 2 2 sip 的網(wǎng)絡(luò)結(jié)構(gòu) 8 2 2 3 sip 的分層結(jié)構(gòu) 9 2 2 4 sip 的消息格式 10 2 2 5 sip 會(huì)話流程 11 2 3 mpeg 4 編碼標(biāo)準(zhǔn) 12 2 3 1 mpeg 4 標(biāo)準(zhǔn)概述 12 2 3 2 mpeg 4 標(biāo)準(zhǔn)構(gòu)成 13 2 3 3 mpeg 4 標(biāo)準(zhǔn)實(shí)現(xiàn)過(guò)程 14 2 4 rtp 協(xié)議 15 2 4 1 rtp 協(xié)議概述 15 2 4 2 實(shí)時(shí)傳輸協(xié)議 16 2 4 3 實(shí)時(shí)傳輸控制協(xié)議 17 第三章 硬件平臺(tái)及軟件架構(gòu) 18 3 1 系統(tǒng)硬件平臺(tái) 18 3 1 1 arm 微處理器概述 18 3 1 2 z228 硬件平臺(tái) 18 目 錄 iv 3 2 系統(tǒng)軟件架構(gòu) 20 3 2 1 嵌入式及 linux 概述 20 3 2 2 嵌入式系統(tǒng)軟件組成 22 3 2 3 z228 嵌入式系統(tǒng)開發(fā) 22 第四章 終端系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 25 4 1 總體設(shè)計(jì)及模塊劃分 25 4 1 1 監(jiān)控系統(tǒng)的總體設(shè)計(jì) 25 4 1 2 終端系統(tǒng)的模塊劃分 26 4 2 sip 模塊的實(shí)現(xiàn) 27 4 2 1 sip 協(xié)議棧 27 4 2 2 sip 模塊具體實(shí)現(xiàn) 29 4 3 視頻處理模塊的實(shí)現(xiàn) 36 4 3 1 視頻處理模塊的設(shè)計(jì) 36 4 3 2 視頻數(shù)據(jù)的采集 37 4 3 3 視頻數(shù)據(jù)的編碼 41 4 4 視頻傳輸模塊的實(shí)現(xiàn) 44 4 4 1 視頻傳輸模塊的設(shè)計(jì) 44 4 4 2 視頻傳輸模塊的實(shí)現(xiàn) 45 第五章 系統(tǒng)測(cè)試 48 5 1 測(cè)試環(huán)境 48 5 2 功能測(cè)試 48 5 2 1 系統(tǒng)簡(jiǎn)要介紹 48 5 2 2 系統(tǒng)測(cè)試過(guò)程 49 5 3 互通性測(cè)試 52 第六章 總結(jié)與展望 55 參考文獻(xiàn) 56 致 謝 58 作者攻讀學(xué)位期間發(fā)表的論文 59 第一章 序 論 1 第一章第一章 序序 論論 1 1 視頻監(jiān)控系統(tǒng)概述視頻監(jiān)控系統(tǒng)概述 視頻監(jiān)控系統(tǒng)是安全防范系統(tǒng)的組成部分 它是一種防范能力較強(qiáng)的綜合系 統(tǒng) 視頻監(jiān)控以其直觀 方便 信息內(nèi)容豐富而廣泛應(yīng)用于許多場(chǎng)合 隨著計(jì)算 機(jī) 網(wǎng)絡(luò)以及圖像處理等技術(shù)的發(fā)展 視頻監(jiān)控系統(tǒng)大致經(jīng)歷了模擬視頻監(jiān)控系 統(tǒng) 模擬 數(shù)字混合視頻監(jiān)控系統(tǒng)和網(wǎng)絡(luò)化視頻監(jiān)控系統(tǒng)等三個(gè)發(fā)展階段 第一代模擬視頻監(jiān)控系統(tǒng)也叫閉路電視監(jiān)控系統(tǒng) 其特點(diǎn)是全部通過(guò)模擬方 式將攝像機(jī)的視頻信號(hào)傳輸?shù)奖O(jiān)控中心 監(jiān)控中心通過(guò)視頻分配和合成設(shè)備將一 部分視頻信號(hào)在電視機(jī)等模擬顯示設(shè)備上輸出 并通過(guò)磁帶錄像設(shè)備進(jìn)行錄像或 保存 第一代產(chǎn)品存在許多局限性 首先 有線模擬視頻信號(hào)的傳輸對(duì)距離十分 敏感 當(dāng)傳輸距離大于一千米時(shí) 信號(hào)容易產(chǎn)生衰耗 畸變 群延時(shí) 并且易受 干擾 使圖像質(zhì)量下降 其次 有線模擬視頻監(jiān)控?zé)o法聯(lián)成網(wǎng)絡(luò) 只能以點(diǎn)對(duì)點(diǎn) 的方式監(jiān)視現(xiàn)場(chǎng) 使到布線工程量極大 另外 有線模擬視頻信號(hào)數(shù)據(jù)的存儲(chǔ)會(huì) 耗費(fèi)大量的存儲(chǔ)介質(zhì) 如錄像帶 而且錄像資料的保存和查詢工作十分煩瑣 第二代模擬 數(shù)字混合視頻監(jiān)控系統(tǒng) 是從上個(gè)世紀(jì) 90 年代中期開始出現(xiàn) 以數(shù)字硬盤錄像 dvr 為主 替代了原來(lái)的模擬錄像機(jī) 將原來(lái)的磁帶存儲(chǔ)模式 轉(zhuǎn)變成數(shù)字存儲(chǔ)錄像 解決了監(jiān)控的模擬轉(zhuǎn)數(shù)字錄像和顯示 集合了錄像機(jī) 畫 面分割器等功能 跨出數(shù)字監(jiān)控的第一步 第二代產(chǎn)品的缺陷在于監(jiān)控點(diǎn)到監(jiān)控 中心的數(shù)據(jù)傳輸仍然采用模擬方式 要實(shí)現(xiàn)遠(yuǎn)距離視頻傳輸需要鋪設(shè) 租用 光 纜 在光纜兩端安裝視頻光端機(jī)設(shè)備 系統(tǒng)建設(shè)成本高 不易維護(hù) 且維護(hù)費(fèi)用 較大 目前 視頻監(jiān)控系統(tǒng)已經(jīng)發(fā)展到以數(shù)字化 網(wǎng)絡(luò)化為核心的第三代 與第一 代傳統(tǒng)閉路電視監(jiān)控系統(tǒng)及第二代模擬 數(shù)字混合視頻監(jiān)控系統(tǒng)相比 第三代監(jiān) 控系統(tǒng)基于 tcp ip 網(wǎng)絡(luò)協(xié)議 以分布式的概念出現(xiàn) 將監(jiān)控模式拓展為分散與 集中的相輔相成 拓展了監(jiān)控的范圍 與傳統(tǒng)的視頻監(jiān)控系統(tǒng)相比 基于網(wǎng)絡(luò)化 的視頻監(jiān)控系統(tǒng)具有如下優(yōu)點(diǎn) 1 數(shù)字化視頻可以在計(jì)算機(jī)網(wǎng)絡(luò) 局域網(wǎng)或廣域網(wǎng) 上傳輸圖像數(shù)據(jù) 基 基于 sip 協(xié)議的視頻監(jiān)控終端的研究與實(shí)現(xiàn) 2 本上不受距離限制 信號(hào)不易受干擾 可大幅度提高圖像品質(zhì)和穩(wěn)定性 2 數(shù)字視頻可利用計(jì)算機(jī)網(wǎng)絡(luò)聯(lián)網(wǎng) 網(wǎng)絡(luò)帶寬可復(fù)用 無(wú)須重復(fù)布線 3 數(shù)字化存儲(chǔ)成為可能 經(jīng)過(guò)壓縮的視頻數(shù)據(jù)可存儲(chǔ)在磁盤陣列中或保存在 光盤中 查詢十分簡(jiǎn)便快捷 1 1 2 國(guó)內(nèi)外國(guó)內(nèi)外市場(chǎng)市場(chǎng)狀況狀況 據(jù)諾達(dá)咨詢公司發(fā)布的 2007 網(wǎng)絡(luò)視頻監(jiān)控業(yè)務(wù)研究報(bào)告 顯示 2006 年 中國(guó)網(wǎng)絡(luò)視頻監(jiān)控市場(chǎng)規(guī)模達(dá) 18 24 億元 2007 年中國(guó)網(wǎng)絡(luò)視頻監(jiān)控市場(chǎng)規(guī)模將 達(dá)到 26 36 億元 未來(lái) 5 年內(nèi) 網(wǎng)絡(luò)視頻監(jiān)控將保持約 38 的年增長(zhǎng)率 預(yù)計(jì) 2011 年將達(dá)86 61億元 而且會(huì)有越來(lái)越多的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)采用完全數(shù)字化技術(shù) 特別是在銀行 交通 工業(yè) 零售業(yè)等行業(yè)市場(chǎng) 以數(shù)字化視頻監(jiān)控為基礎(chǔ)的智 能視頻監(jiān)控技術(shù)將獲得長(zhǎng)足發(fā)展 今年以來(lái) 網(wǎng)絡(luò)視頻監(jiān)控在物流 海關(guān) 衛(wèi)生 檢疫 能源 金融 防汛減災(zāi)等領(lǐng)域應(yīng)用廣泛 隨著 國(guó)家應(yīng)急體系 平安城 市 平安建設(shè) 科技強(qiáng)警 等重大工程項(xiàng)目在全國(guó)不斷推進(jìn)以及未來(lái)將在中 國(guó)舉辦的奧運(yùn)會(huì) 世博會(huì)等重要國(guó)際活動(dòng)持續(xù)拉動(dòng) 市場(chǎng)前景一片看好 而國(guó)外視頻監(jiān)控業(yè)務(wù)主要應(yīng)用在公共領(lǐng)域 行業(yè)用戶和個(gè)人用戶 在公共場(chǎng) 所 國(guó)外設(shè)置了眾多監(jiān)控設(shè)備 以加強(qiáng)對(duì)公共領(lǐng)域安全的控制能力 另外 在交 通 銀行 大型連鎖超市 居民住宅等領(lǐng)域都已經(jīng)得到了廣泛應(yīng)用 在美 英等 國(guó) 個(gè)人使用視頻監(jiān)控主要是應(yīng)用于住宅的安全防范和財(cái)產(chǎn)的監(jiān)控 目前 國(guó)內(nèi)外比較知名的網(wǎng)絡(luò)監(jiān)控開發(fā)商有杭州的?？低?松下電子 三 星電子等公司 1 3 研究目的及意義研究目的及意義 網(wǎng)絡(luò)化數(shù)字視頻監(jiān)控系統(tǒng)作為一種全新的視頻監(jiān)控系統(tǒng) 從根本上解決了以 往視頻監(jiān)控系統(tǒng)所存在的問(wèn)題 使監(jiān)控系統(tǒng)的監(jiān)控范圍和監(jiān)控質(zhì)量都有了很大的 提高 但作為一種新興的視頻監(jiān)控系統(tǒng) 網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)也有著一些諸如圖像 質(zhì)量問(wèn)題 安全問(wèn)題 服務(wù)質(zhì)量問(wèn)題等不足之處 而制約著網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)發(fā) 展的最大問(wèn)題在于其標(biāo)注化 其中包括信令控制協(xié)議標(biāo)準(zhǔn)化問(wèn)題 比如遵循標(biāo)準(zhǔn) 的 sip 協(xié)議 http 協(xié)議 rtp 協(xié)議 流媒體轉(zhuǎn)發(fā)協(xié)議等 音頻壓縮 視頻壓縮 第一章 序 論 3 的標(biāo)準(zhǔn)化問(wèn)題 dvr dvs ipcam 等接入平臺(tái)的標(biāo)準(zhǔn)化問(wèn)題 球機(jī) 云臺(tái) 矩陣等設(shè)備控制協(xié)議的標(biāo)準(zhǔn)化問(wèn)題 鑒于以上網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)所存在的問(wèn)題 本文提出了一種以 sip 協(xié)議為信 令控制協(xié)議的嵌入式網(wǎng)絡(luò)視頻監(jiān)控終端的設(shè)計(jì)方案 該系統(tǒng)的網(wǎng)絡(luò)是以下一代網(wǎng)絡(luò) ngn next generation network 為基礎(chǔ) 系 統(tǒng)采用嵌入式系統(tǒng)作為監(jiān)控終端的圖像采集及壓縮編碼 呼叫的建立與連接采用 sip 協(xié)議 使整個(gè)監(jiān)控系統(tǒng)具有清晰流暢的圖像 安全性能好 服務(wù)質(zhì)量好的特 點(diǎn) 真正意義上實(shí)現(xiàn)了全數(shù)字全網(wǎng)絡(luò)的視頻監(jiān)控系統(tǒng) 該系統(tǒng)的設(shè)計(jì)與研發(fā)的意義在于 1 采用 ngn 架構(gòu) ngn 具有支持快速靈活的新業(yè)務(wù)生成能力 這無(wú)疑將 是電信業(yè)關(guān)注的焦點(diǎn) 而安防用途的視頻監(jiān)控正是 ngn 可以提供的業(yè)務(wù) 2 利用軟交換平臺(tái)對(duì)網(wǎng)絡(luò)監(jiān)控進(jìn)行管理和通信 增加了網(wǎng)絡(luò)的安全性及終 端的智能性 為下一代網(wǎng)絡(luò)的視頻監(jiān)控系統(tǒng)指明了方向 3 sip 協(xié)議是一種比較先進(jìn)的會(huì)話管理協(xié)議 將 sip 協(xié)議運(yùn)用到視頻監(jiān)控系 統(tǒng) 有利于拓展 sip 協(xié)議的使用范圍 同時(shí)也加速其標(biāo)準(zhǔn)化過(guò)程 4 嵌入式是當(dāng)前研究的熱點(diǎn)之一 將嵌入式運(yùn)用于視頻監(jiān)控領(lǐng)域?qū)ζ淦占?和發(fā)展也起到了一定的作用 1 4 本文的主要內(nèi)容及組織結(jié)構(gòu)本文的主要內(nèi)容及組織結(jié)構(gòu) 本課題主要結(jié)合安徽四創(chuàng)電子股份有限公司研發(fā)中心的 基于 ngn 架構(gòu)的 視頻監(jiān)控終端系統(tǒng)的研究與實(shí)現(xiàn) 項(xiàng)目而展開的 在該項(xiàng)目中作者對(duì) ngn 及軟 交換架構(gòu)做了深入的學(xué)習(xí)和理解 在此基礎(chǔ)上分析了將 sip 協(xié)議應(yīng)用到視頻監(jiān)控 終端的可行性 并結(jié)合圖像處理理論 計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)及嵌入式系統(tǒng)開發(fā)的原理 完成對(duì)視頻監(jiān)控系統(tǒng)的總體分析 并最終開發(fā)出基于 sip 協(xié)議的視頻監(jiān)控終端系 統(tǒng) 最后搭建了系統(tǒng)的測(cè)試環(huán)境 對(duì)一些主要模塊進(jìn)行了測(cè)試 本文主要組織結(jié)構(gòu)如下 第一章 序論 介紹了視頻監(jiān)控系統(tǒng)的發(fā)展概況 國(guó)內(nèi)外市場(chǎng)狀況及本文的 研究目的和意義 第二章 視頻監(jiān)控系統(tǒng)的相關(guān)技術(shù) 介紹了視頻監(jiān)控系統(tǒng)的相關(guān)技術(shù) 主要 基于 sip 協(xié)議的視頻監(jiān)控終端的研究與實(shí)現(xiàn) 4 介紹了信令控制協(xié)議 網(wǎng)絡(luò)傳輸協(xié)議 ngn 軟交換技術(shù)及視頻編解碼算法 第三章 對(duì)現(xiàn)有的監(jiān)控平臺(tái)做了基本介紹 介紹了本課題所基于的硬件平臺(tái) 的總體架構(gòu)及各模塊電路特點(diǎn) 并在此基礎(chǔ)上給出了系統(tǒng)的軟件架構(gòu) 第四章 視頻監(jiān)控終端的實(shí)現(xiàn)過(guò)程 該章是本文的核心所在 在分析終端系 統(tǒng)的軟件架構(gòu)的基礎(chǔ)上 重點(diǎn)闡述了 sip 協(xié)議在視頻監(jiān)控終端的實(shí)現(xiàn)過(guò)程 mpeg 4 視頻編碼算法標(biāo)準(zhǔn)及 rtp 協(xié)議在終端平臺(tái)上的設(shè)計(jì)與實(shí)現(xiàn) 第五章 系統(tǒng)測(cè)試 搭建了產(chǎn)品的測(cè)試環(huán)境 對(duì)產(chǎn)品的一些主要指標(biāo)進(jìn)行了 測(cè)試 第六章 總結(jié)全文并展望下階段的工作任務(wù) 第二章 視頻監(jiān)控系統(tǒng)的相關(guān)技術(shù) 5 第二章第二章 視頻監(jiān)控視頻監(jiān)控系統(tǒng)的系統(tǒng)的相關(guān)技術(shù)相關(guān)技術(shù) 2 1 軟交換技術(shù)軟交換技術(shù) 隨著計(jì)算機(jī)和通信技術(shù)的不斷發(fā)展 通過(guò)在一個(gè)公共的分組網(wǎng)絡(luò)中承載語(yǔ) 音 數(shù)據(jù)和圖像等多種業(yè)務(wù)已經(jīng)被越來(lái)越多的運(yùn)營(yíng)商和設(shè)備制造商所認(rèn)同 在這 樣的業(yè)務(wù)驅(qū)動(dòng)和網(wǎng)絡(luò)融合的趨勢(shì)下 誕生了 ngn 模型 實(shí)現(xiàn)在分組網(wǎng)絡(luò)中 采 用分布式的網(wǎng)絡(luò)結(jié)構(gòu) 有效承載話音 數(shù)據(jù)和多媒體業(yè)務(wù) 而作為 ngn 的核心 技術(shù) 軟交換技術(shù)的發(fā)展因而受到越來(lái)越多的關(guān)注 2 2 1 1 軟交換簡(jiǎn)述軟交換簡(jiǎn)述 軟交換是 ngn 的控制功能實(shí)體 是 ngn 呼叫與控制的核心 為 ngn 具有 實(shí)時(shí)性要求的業(yè)務(wù)提供呼叫控制和連接控制功能 現(xiàn)階段的軟交換至少應(yīng)具備以 下三個(gè)基本特點(diǎn) 1 集成分組網(wǎng)世界和電路交換網(wǎng)世界 2 具備匯接局和端局能力 3 呼叫控制與媒體層和業(yè)務(wù)層分離 在 ngn 模型中 軟交換設(shè)備位于控制層 提供多種業(yè)務(wù)的連接控制 路由 網(wǎng)絡(luò)資源管理 計(jì)費(fèi) 認(rèn)證等功能 軟交換設(shè)備與各種媒體網(wǎng)關(guān) 終端 應(yīng)用服 務(wù)器 其他軟交換設(shè)備間采用標(biāo)準(zhǔn)協(xié)議相互通信 所以 簡(jiǎn)單的看 軟交換是實(shí) 現(xiàn)傳統(tǒng)程控交換機(jī)的 呼叫控制 功能的實(shí)體 但傳統(tǒng)的 呼叫控制 功能是和 業(yè)務(wù)結(jié)合在一起的 不同的業(yè)務(wù)所需要的呼叫控制功能不同 這要求軟交換提供 的呼叫控制功能是各種業(yè)務(wù)的基本呼叫控制 2 2 1 2 軟交換的體系結(jié)構(gòu)軟交換的體系結(jié)構(gòu) 隨著 ip 網(wǎng)的迅速發(fā)展 軟交換體系將以 ip 網(wǎng)為骨干 在各種網(wǎng)絡(luò)相互融合 的基礎(chǔ)上 以一種統(tǒng)一的方式靈活地提供業(yè)務(wù)是目前頗受推崇的面向網(wǎng)絡(luò)融合的 新一代多媒體業(yè)務(wù)整體解決方案 它從功能上可以分為業(yè)務(wù)平面 控制平面 傳 基于 sip 協(xié)議的視頻監(jiān)控終端的研究與實(shí)現(xiàn) 6 輸平面和接入平面 它的網(wǎng)絡(luò)體系如圖 2 1 所示 圖 2 1 軟交換的網(wǎng)絡(luò)體系結(jié)構(gòu) 接入平面 提供各種網(wǎng)絡(luò)和設(shè)備接入到核心骨干網(wǎng)的方式和手段 主要包括 信令網(wǎng)關(guān) 媒體網(wǎng)關(guān) 接入網(wǎng)關(guān)等多種接入設(shè)備 傳輸平面 負(fù)責(zé)提供各種信令和媒體流傳輸?shù)耐ǖ?網(wǎng)絡(luò)的核心傳輸網(wǎng)將是 ip 分組網(wǎng)絡(luò) 控制平面 主要提供呼叫控制 連接控制 協(xié)議處理等能力 并為業(yè)務(wù)平面 提供訪問(wèn)底層各種網(wǎng)絡(luò)資源的開放接口 該平面的主要組成部分是軟交換設(shè)備 應(yīng)用平面 利用底層的各種網(wǎng)絡(luò)資源為用戶提供豐富多樣的網(wǎng)絡(luò)業(yè)務(wù) 主要 包括應(yīng)用服務(wù)器 application server 策略 管理服務(wù)器 policy server aaa 服務(wù)器 authority authentication and accounting server 等 可以看出 軟交換所采用的是分層 開放的體系結(jié)構(gòu) 并將傳統(tǒng)交換機(jī)的功 能模塊分離成獨(dú)立的網(wǎng)絡(luò)實(shí)體 各實(shí)體間采用開放的協(xié)議或 api 接口 從而打破 了傳統(tǒng)電信網(wǎng)封閉的格局 實(shí)現(xiàn)了多種異構(gòu)網(wǎng)絡(luò)間的融合 這種網(wǎng)絡(luò)的體系通過(guò) 將業(yè)務(wù)與呼叫控制分離 呼叫控制與承載分離 來(lái)實(shí)現(xiàn)相對(duì)獨(dú)立的業(yè)務(wù)體系 使 得上層業(yè)務(wù)與底層的異構(gòu)網(wǎng)絡(luò)無(wú)關(guān) 靈活 有效地實(shí)現(xiàn)業(yè)務(wù)的提供 從而能夠滿 足用戶多樣的 不斷發(fā)展的業(yè)務(wù)需求 2 3 2 1 3 軟交換的主要協(xié)議軟交換的主要協(xié)議 軟交換技術(shù)的目標(biāo)是建設(shè)一個(gè)能夠提供話音 數(shù)據(jù) 多媒體等多種業(yè)務(wù)的 第二章 視頻監(jiān)控系統(tǒng)的相關(guān)技術(shù) 7 集通信 信息 電子商務(wù) 娛樂(lè)于一體 滿足自由通信的分組融合網(wǎng)絡(luò) 為了實(shí) 現(xiàn)這一目標(biāo) ietf itu t isc ipcc 制定并不斷完善系列標(biāo)準(zhǔn)協(xié)議 如 h 248 megaco sip bicc sigtran h 323 等 下面對(duì)幾個(gè)主要協(xié)議做一簡(jiǎn)單介紹 1 h 248 megaco h 248和megaco協(xié)議均稱為媒體網(wǎng)關(guān)控制協(xié)議 應(yīng)用在媒體網(wǎng)關(guān)和h 248 megaco 與軟交換設(shè)備之間 兩個(gè)協(xié)議的內(nèi)容基本相同 只是 h 248 是由 itu 提出來(lái)的 而 megaco 是由 ietf 提出來(lái)的 且是雙方共同推薦的協(xié)議 它們 引入了 termination 終端 和 context 關(guān)聯(lián) 兩個(gè)抽象概念 在 termination 終 端 中 封裝了媒體流的參數(shù) modem 和承載能力參數(shù) 而 context 關(guān)聯(lián) 則表明了在一些 termination 終端 之間的相互連接關(guān)系 h 248 megaco 通 過(guò) add modify subtract move 等 7 個(gè)命令完成對(duì) termination 終端 和 context 關(guān)聯(lián) 之間的操作 從而完成了呼叫的建立和釋放 2 3 2 媒體網(wǎng)關(guān)控制協(xié)議 mgcp 媒體網(wǎng)關(guān)控制協(xié)議 mgcp 是由 ietf 提出來(lái)的 是簡(jiǎn)單網(wǎng)關(guān)控制協(xié)議 sgcp 和 ip 設(shè)備控制協(xié)議 ipdc 相結(jié)合的產(chǎn)物 megaco 協(xié)議是對(duì) mgcp 協(xié)議的進(jìn)一步改進(jìn) 完善和提高 mgcp 協(xié)議可以說(shuō)是一個(gè)比較成熟的協(xié)議 協(xié) 議的內(nèi)容與 megaco 協(xié)議比較相似 目前軟交換系統(tǒng)設(shè)備大都支持該協(xié)議 其 不足也慢慢表現(xiàn)出來(lái) 將來(lái)可能要被 h 248 megaco 協(xié)議所取代 在軟交換系統(tǒng)中 mgcp 協(xié)議與 h 248 megaco 協(xié)議一樣 應(yīng)用在媒體網(wǎng) 關(guān)和 mgcp 終端與軟交換設(shè)備之間 通過(guò)此協(xié)議來(lái)控制媒體網(wǎng)關(guān)和 mgcp 終端 上的媒體 控制流的連接 建立和釋放 2 3 3 會(huì)話初始化協(xié)議 sip 會(huì)話初始化協(xié)議 sip 是 ietf 提出的在 ip 網(wǎng)上進(jìn)行多媒體通信的應(yīng)用層 控制協(xié)議 以 internet 協(xié)議 http 為基礎(chǔ) 遵循 internet 的設(shè)計(jì)原則 基于對(duì) 等工作模式 利用 sip 可實(shí)現(xiàn)會(huì)話的連接 建立和釋放 并支持單播 組播和可 移動(dòng)性 此外 sip 如果與 sdp 配合使用 可以動(dòng)態(tài)地調(diào)整和修改會(huì)話屬性 如 通話帶寬 所傳輸?shù)拿襟w類型及編解碼格式 其具體內(nèi)容可參見 ietf rfc 2543 在軟交換系統(tǒng)中 sip 協(xié)議主要應(yīng)用于軟交換與 sip 終端之間 也有的廠家 基于 sip 協(xié)議的視頻監(jiān)控終端的研究與實(shí)現(xiàn) 8 將sip協(xié)議應(yīng)用于軟交換與應(yīng)用服務(wù)器之間 提供基于sip協(xié)議實(shí)現(xiàn)的增值業(yè)務(wù) 總的來(lái)說(shuō) sip 協(xié)議主要應(yīng)用于語(yǔ)音和數(shù)據(jù)相結(jié)合的業(yè)務(wù) 以及多媒體業(yè)務(wù)之間 的呼叫建立與釋放 特別是 sip 協(xié)議以其簡(jiǎn)單 靈活的特點(diǎn) 使作為移動(dòng)通信標(biāo) 準(zhǔn)化組織的 3gpp 已經(jīng)決定在其基礎(chǔ)上建立第三代移動(dòng)通信的全 ip 網(wǎng)絡(luò) 并要 求未來(lái)的 3g 終端必須支持 sip 協(xié)議 3 2 2 sip 協(xié)議協(xié)議 2 2 1 sip 協(xié)議背景和功能協(xié)議背景和功能 sip session initiation protocol 即會(huì)話初始化協(xié)議 最初是由 ietf 工作組 于 1999 年提出的在基于 ip 網(wǎng)絡(luò)中實(shí)現(xiàn)實(shí)時(shí)通信應(yīng)用的一種信令協(xié)議標(biāo)準(zhǔn) 它是 一個(gè)應(yīng)用層的控制協(xié)議 可以用來(lái)建立 修改和終止多媒體會(huì)話進(jìn)程 4 sip 協(xié)議的開發(fā)目的是用來(lái)幫助提供因特網(wǎng)的高級(jí)電話業(yè)務(wù) 而網(wǎng)絡(luò)電話 ip 電話 正在向一種正式的商業(yè)電話模式演進(jìn) sip 就是用來(lái)確保這種演進(jìn)實(shí) 現(xiàn)而需要的 ngn 系列協(xié)議中重要的成員之一 也是 ip 多媒體子系統(tǒng)的核心協(xié)議 之一 總的來(lái)說(shuō) sip 從以下五個(gè)方面支持多媒體會(huì)話 1 用戶定位 判斷通信終端的位置 2 用戶可用性 判斷通信終端是否愿意參與會(huì)話 3 用戶能力 判斷將要使用的多媒體類型和媒體參數(shù) 4 會(huì)話建立 在通信雙方建立會(huì)話的所有參數(shù) 5 會(huì)話管理 包括傳輸和中止會(huì)話 修改會(huì)話參數(shù) 請(qǐng)求各種服務(wù) 5 2 2 2 sip 的網(wǎng)絡(luò)結(jié)構(gòu)的網(wǎng)絡(luò)結(jié)構(gòu) sip 協(xié)議定義了兩類網(wǎng)絡(luò)元素 sip 用戶代理 user agent ua 和 sip 用戶服 務(wù)器 user server us 用戶代理是呼叫的終端系統(tǒng)元素 而用戶服務(wù)器是處理 與多個(gè)呼叫相關(guān)聯(lián)的網(wǎng)絡(luò)設(shè)備 其基本結(jié)構(gòu)如圖 2 2 所示 第二章 視頻監(jiān)控系統(tǒng)的相關(guān)技術(shù) 9 圖 2 2 sip 網(wǎng)絡(luò)結(jié)構(gòu) 用戶代理是一個(gè)用于和用戶交互的 sip 實(shí)體 又稱為 sip 終端 根據(jù) ua 在 會(huì)話中扮演角色的不同又可分為用戶代理客戶機(jī) uac user agent client 和用戶 代理服務(wù)器 uas user agent server 兩種 其中前者用于發(fā)送呼叫請(qǐng)求 后者用 于響應(yīng)呼叫請(qǐng)求 一個(gè) sip 終端通常需要包括 uac 和 uas 6 服務(wù)器主要功能為地址解析和用戶定位 分為代理服務(wù)器 proxy server 重 定向服務(wù)器 redirect server 注冊(cè)服務(wù)器 register server 三種 1 代理服務(wù)器 可以當(dāng)作一個(gè)客戶端或者一個(gè)服務(wù)器 具有解析能力 負(fù) 責(zé)接收用戶代理發(fā)來(lái)的請(qǐng)求 根據(jù)網(wǎng)絡(luò)策略將請(qǐng)求發(fā)給相應(yīng)的服務(wù)器 并根據(jù)應(yīng) 答對(duì)用戶做出相應(yīng) 也可以將收到的消息改寫后再發(fā)出 2 重定向服務(wù)器 負(fù)責(zé)規(guī)劃 sip 呼叫路由 它將獲得的呼叫的下一跳地址 信息告訴呼叫方 呼叫方由此地址直接向下一跳發(fā)出申請(qǐng) 而重定向服務(wù)器則退 出這個(gè)呼叫控制過(guò)程 3 注冊(cè)服務(wù)器 用來(lái)完成 uas 的登錄 在 sip 系統(tǒng)中所有的 uas 都要在 網(wǎng)絡(luò)上注冊(cè) 登錄 以便 uac 通過(guò)服務(wù)器能找到 它的作用就是接收用戶端的 請(qǐng)求 完成用戶地址的注冊(cè) 5 6 2 2 3 sip 的的分層結(jié)構(gòu)分層結(jié)構(gòu) sip 協(xié)議按照邏輯來(lái)劃分 從下到上可以分為四層 第一層是語(yǔ)法和編碼層 編碼方式是采用擴(kuò)展的 backus naur form grammar bnf 范式 第二層是傳輸層 它定義了一個(gè)客戶端如何發(fā)送請(qǐng)求和接收應(yīng)答 以及一個(gè) 服務(wù)器如何接收請(qǐng)求和發(fā)送應(yīng)答 所有的 sip 要素都包含一個(gè)通訊層 基于 sip 協(xié)議的視頻監(jiān)控終端的研究與實(shí)現(xiàn) 10 第三層是事務(wù)層 事務(wù)是 sip 的基本組成部分 一個(gè)事務(wù)是客戶發(fā)送的一個(gè) 請(qǐng)求事務(wù) 通過(guò)通訊層 發(fā)送到一個(gè)服務(wù)器事務(wù) 連同服務(wù)器事務(wù)的所有的該請(qǐng) 求的應(yīng)答發(fā)送回客戶端事務(wù) 事務(wù)層處理應(yīng)用服務(wù)層的重發(fā) 匹配請(qǐng)求的應(yīng)答 以及應(yīng)用服務(wù)層的超時(shí) 任何一個(gè)用戶代理客戶端 user agent client uac 完成 的事情都是由一組事務(wù)構(gòu)成的 用戶代理包含一個(gè)事務(wù)層 來(lái)實(shí)現(xiàn)有狀態(tài)的代理 服務(wù)器 無(wú)狀態(tài)的代理服務(wù)器并不包含事務(wù)層 事務(wù)層包含一個(gè)客戶元素 可以 認(rèn)為是一個(gè)客戶事務(wù) 和一個(gè)服務(wù)器元素 可以認(rèn)為是一個(gè)服務(wù)器事務(wù) 他們 都可以用一個(gè)有限狀態(tài)機(jī)來(lái)處理特定的請(qǐng)求 第四層是事務(wù)用戶層 tu 在事務(wù)層之上 每一個(gè) sip 實(shí)體 除了無(wú)狀 態(tài)代理 都是一個(gè)事務(wù)用戶 當(dāng)一個(gè) tu 發(fā)出一個(gè)請(qǐng)求 它首先創(chuàng)建一個(gè)客戶事 務(wù)實(shí)例 client transaction instance 并且和請(qǐng)求一起發(fā)送 這包括了目標(biāo) ip 地址 端口號(hào) 以及發(fā)送請(qǐng)求的設(shè)備 tu 可以創(chuàng)建客戶事務(wù) 也可以取消客戶事務(wù) 當(dāng)客戶取消一個(gè)事務(wù) 它請(qǐng)求服務(wù)器終止正在處理的事務(wù) 并且返回狀態(tài)到該事 務(wù)開始前的狀態(tài) 并且產(chǎn)生指定的該事務(wù)的錯(cuò)誤報(bào)告 這是由 cancel 請(qǐng)求完 成的 這個(gè)請(qǐng)求有自己的事務(wù) 并且包含一個(gè)被取消的事務(wù) 7 8 2 2 4 sip 的消息格式的消息格式 sip 是一個(gè)基于文本的協(xié)議 sip 消息有兩種 客戶機(jī)到服務(wù)器的請(qǐng)求 request 服務(wù)器到客戶機(jī)的響應(yīng) response sip 消息由一個(gè)起始行 start line 一個(gè)或多個(gè)字段 field 組成的消息頭 一 個(gè)標(biāo)志消息頭結(jié)束的空行 crlf 以及作為可選擇的消息體 message body 組 成 起始行又分為請(qǐng)求行 request line 和狀態(tài)行 status line 兩種 其中 請(qǐng)求行是請(qǐng)求消息的起始行 狀態(tài)行是響應(yīng)消息的起始行 其格式如下 generic message start line message header crlf message body 請(qǐng)求行以方法 method 標(biāo)記開始 后面是 request uri 和協(xié)議版本 sip version 最后以回車鍵結(jié)束 各個(gè)元素間用空格鍵字符間隔 即 第二章 視頻監(jiān)控系統(tǒng)的相關(guān)技術(shù) 11 request line method sp request uri sp sip version crlf sip 定義了以下幾種請(qǐng)求消息 invite 用于初始化一個(gè)呼叫 通常通過(guò) sdp 協(xié)議攜帶會(huì)話的描述信息 從而可以在通話雙方間進(jìn)行媒體協(xié)商 option 客戶端通過(guò)發(fā)送該請(qǐng)求獲取某一主機(jī)的性能參數(shù) ack 由客戶端發(fā)出 用來(lái)向服務(wù)器確認(rèn)它已經(jīng)收到服務(wù)器的最后響應(yīng) bye 用于結(jié)束會(huì)話 客戶端可以用次請(qǐng)求向服務(wù)器表明它想釋放呼叫 register 主要用于客戶端向服務(wù)器登記注冊(cè)當(dāng)前的位置 cancel 用于在接受到對(duì)方發(fā)出的響應(yīng)前 取消已經(jīng)發(fā)出的請(qǐng)求 與請(qǐng)求消息相對(duì)應(yīng) sip 定義了一下六種狀態(tài)碼 1xx informational 表示發(fā)出的請(qǐng)求已被對(duì)方接受 正在處理 2xx uccess 表示對(duì)方已經(jīng)成功接收 解析和接受請(qǐng)求 3xx redirection 表示為完成呼叫請(qǐng)求 需要重定向請(qǐng)求 4xx client error 表示客戶端出現(xiàn)錯(cuò)誤 5xx server error 表示服務(wù)器端出錯(cuò) 不能執(zhí)行合法請(qǐng)求 6xx global failure 表示出現(xiàn)了全局故障 任何服務(wù)器都不能執(zhí)行請(qǐng)求 9 2 2 5 sip 會(huì)話流程會(huì)話流程 一個(gè)多媒體會(huì)話就是一組媒體提供者和接受者及從提供者到接受者之間的 媒體數(shù)據(jù)流 一個(gè)典型的 sip 會(huì)話流程如圖 2 3 所示 sip 協(xié)議以統(tǒng)一資源定位符 uri 來(lái)標(biāo)識(shí)用戶 稱為 sip uri 它的形式和 emali 的形式相似 包括一個(gè)用戶名和一個(gè)主機(jī)名 在本例子中 bob 的 sip uri 為 sip bob b 其中 bob 是 bob 的注冊(cè)用戶名 而 b 是 bob 的 sip 服務(wù)提供者的域名 類似的 alice 的 sip uri 是 sip alice a 若 alice 要和 bob 進(jìn)行會(huì)話 由于 alice 并不知道 bob 的當(dāng)前服務(wù)器地址 所以 alice 把他的 invite f1 請(qǐng)求發(fā)送至其所在域的代理服務(wù)器 a proxy 代理服務(wù)器把 alice 的 invite f2 請(qǐng)求轉(zhuǎn)發(fā)給 bob 所在域的代理服務(wù)器 b proxy 并返回給 alice 一個(gè) 100 trying f3 消息 b proxy 收到 請(qǐng)求后 它把請(qǐng)求消息轉(zhuǎn)發(fā)給 bob 并返回給 a proxy 一個(gè) 100 trying 基于 sip 協(xié)議的視頻監(jiān)控終端的研究與實(shí)現(xiàn) 12 f5 消息 bob 收到 invite f4 請(qǐng)求后 首先產(chǎn)生一個(gè) 180 ringing f6 消息并發(fā) 送給代理服務(wù)器 a 代理服務(wù)器負(fù)責(zé)把 180 ringing f8 消息轉(zhuǎn)發(fā)給 alice 如果 bob 決定接收 alice 的請(qǐng)求 他便產(chǎn)生一個(gè) 200 ok f9 消息 并通 過(guò)代理服務(wù)器傳輸給 alice 當(dāng) alice 收到 bob 的 200ok f11 消息后 她再給 bob 發(fā)送一個(gè) ack f12 消息 這樣會(huì)話就建立起來(lái)了 雙方可以進(jìn)行媒體交互 此 后由于會(huì)話雙方都已經(jīng)知道了對(duì)方的聯(lián)系地址 所以 alice 可以直接把 ack 消 息發(fā)送給 bob 而不需要通過(guò)代理服務(wù)器轉(zhuǎn)發(fā) 最后當(dāng)會(huì)話中的其中一個(gè)參與者 想結(jié)束會(huì)話時(shí) 在本例中為 bob 他直接給對(duì)方發(fā)送一個(gè) bye f13 消息 alice 收到 bye 消息后 他給 bob 發(fā)送一個(gè) 200 ok f14 消息 這樣會(huì)話就結(jié)束了 3 8 圖 2 3 sip 會(huì)話流程 2 3 mpeg 4 編碼標(biāo)準(zhǔn)編碼標(biāo)準(zhǔn) 2 3 1 mpeg 4 標(biāo)準(zhǔn)概述標(biāo)準(zhǔn)概述 運(yùn)動(dòng)圖像專家組 mpeg 于 1999 年 2 月正式公布了 mpeg 4 iso iec14496 標(biāo)準(zhǔn)第一版本 同年年底 mpeg 4 第二版亦告底定 且于 2000 年年初正式成為 國(guó)際標(biāo)準(zhǔn) 10 mpeg 4 與 mpeg 1 和 mpeg 2 有很大的不同 mpeg 4 不只是具體壓縮算 法 它是針對(duì)數(shù)字電視 交互式繪圖應(yīng)用 影音合成內(nèi)容 交互式多媒體 www 第二章 視頻監(jiān)控系統(tǒng)的相關(guān)技術(shù) 13 資料擷取與分散 等整合及壓縮技術(shù)的需求而制定的國(guó)際標(biāo)準(zhǔn) mpeg 4 標(biāo)準(zhǔn)將 眾多的多媒體應(yīng)用集成于一個(gè)完整的框架內(nèi) 旨在為多媒體通信及應(yīng)用環(huán)境提供 標(biāo)準(zhǔn)的算法及工具 從而建立起一種能被多媒體傳輸 存儲(chǔ) 檢索等應(yīng)用領(lǐng)域普 遍采用的統(tǒng)一數(shù)據(jù)格式 mpeg 4 標(biāo)準(zhǔn)同以前標(biāo)準(zhǔn)的最顯著的差別在于它是采用基于對(duì)象的編碼理 念 即在編碼時(shí)將一幅景物分成若干在時(shí)間和空間上相互聯(lián)系的視頻音頻對(duì)象 分別編碼后 再經(jīng)過(guò)復(fù)用傳輸?shù)浇邮斩?然后再對(duì)不同的對(duì)象分別解碼 從而組 合成所需要的視頻和音頻 這樣既方便我們對(duì)不同的對(duì)象采用不同的編碼方法和 表示方法 又有利于不同數(shù)據(jù)類型間的融合 并且這樣也可以方便的實(shí)現(xiàn)對(duì)于各 種對(duì)象的操作及編輯 10 11 2 3 2 mpeg 4 標(biāo)準(zhǔn)構(gòu)成標(biāo)準(zhǔn)構(gòu)成 1 dmif dmif 即多媒體傳送整體框架 它主要解決交互網(wǎng)絡(luò)中 廣播環(huán)境下以及磁 盤應(yīng)用中多媒體應(yīng)用的操作問(wèn)題 通過(guò) dmif mpeg 4 可以建立具有特殊品質(zhì) 服務(wù) qos quality of service 的信道和面向每個(gè)基本流的帶寬 2 數(shù)據(jù)平面 mpeg 4 中的數(shù)據(jù)平面可以分為兩部分 傳輸關(guān)系部分和媒體關(guān)系部分 為 了使基本流和 av 對(duì)象在同一場(chǎng)景中出現(xiàn) mpeg 4 引用了對(duì)象描述 od 和流 圖桌面 smt 的概念 od 傳輸與特殊 av 對(duì)象相關(guān)的基本流的信息流圖 桌 面把每一個(gè)流與一個(gè) cat channel association tag 相連 cat 可實(shí)現(xiàn)該流的 順利傳輸 3 緩沖區(qū)管理和實(shí)時(shí)識(shí)別 mpeg 4 定義了一個(gè)系統(tǒng)解碼模式 sdm 該解碼模式描述了一種理想的 處理比特流句法語(yǔ)義的解碼裝置 它要求特殊的緩沖區(qū)和實(shí)時(shí)模式 通過(guò)有效的 管理 可以更好地利用有限的緩沖區(qū)空間 4 音頻編碼 mpeg 4 的優(yōu)越之處在于 它不僅支持自然聲音 而且支持合成聲音 mpeg 4 的音頻部分將音頻的合成編碼和自然聲音的編碼相結(jié)合 并支持音頻的 基于 sip 協(xié)議的視頻監(jiān)控終端的研究與實(shí)現(xiàn) 14 對(duì)象特征 5 視頻編碼 與音頻編碼類似 mpbg 4 也支持對(duì)自然和合成的視覺對(duì)象的編碼 合成的 視覺對(duì)象包括 2d 3d 動(dòng)畫和人面部表情動(dòng)畫等 6 場(chǎng)景描述 mpeg 4 提供了一系列工具 用于組成場(chǎng)景中的一組對(duì)象 主要用于描述各 av 對(duì)象在一具體 av 場(chǎng)景坐標(biāo)下 如何組織與同步等問(wèn)題 一些必要的合成信 息就組成了場(chǎng)景描述 10 12 2 3 3 mpeg 4 標(biāo)準(zhǔn)實(shí)現(xiàn)過(guò)程標(biāo)準(zhǔn)實(shí)現(xiàn)過(guò)程 如圖 2 4 所示的 mepg 4 的視頻編碼過(guò)程中 mpeg 4 除了繼承第一代視頻 編碼算法以外 還主要出現(xiàn)了針對(duì)視頻對(duì)象平面 vop video object profile 的形 狀編碼以及紋理編碼和運(yùn)動(dòng)信息等編碼方式 13 14 dct 逆量化 量化 idct 預(yù) 測(cè) 開 關(guān) 預(yù)測(cè)1 預(yù)測(cè)2 預(yù)測(cè)3 幀 存 運(yùn) 動(dòng) 紋 理 編 碼 視 頻 多 路 合 成 運(yùn)動(dòng)估值 形狀編碼 任意形狀視頻 mpeg 4視頻流 圖 2 4 mepg 4 的視頻編碼過(guò)程 我們將原始視頻序列每一幀中的人 物或是計(jì)算機(jī)生成的 2d 3d 圖形等作 為個(gè)視頻對(duì)象 vo video object vo 的表面雖然往往是不規(guī)則和千變?nèi)f化的 但可將其視為一定視角下 n 個(gè)形狀規(guī)則的 具有一定紋理的剖面組合的連續(xù)運(yùn) 動(dòng) 這些剖面的組合就稱為 vop 它描述的是 vo 在一定視角條件下的表面特 性 按圖 2 4 所示的過(guò)程 原始視頻幀進(jìn)入編碼系統(tǒng)后 經(jīng)分析確認(rèn)出 n 個(gè)視覺 目的對(duì)象為編碼對(duì)象 將其作為 n 個(gè) vo 將每個(gè) vo 進(jìn)行形狀 紋理和運(yùn)動(dòng)預(yù) 第二章 視頻監(jiān)控系統(tǒng)的相關(guān)技術(shù) 15 測(cè)編碼后 形成各個(gè) vo 的 vop 數(shù)據(jù)流 與只能處理矩形幀序列的第一代視頻 編碼所不同的是 mpeg 4 編碼標(biāo)準(zhǔn)中的 vop 可以具有任意的形狀 當(dāng)然也包 括了矩形 若 vop 為矩形 編碼系統(tǒng)就無(wú)須處理形狀信息而退化為類似于 mpeg 1 mepg 2 的傳統(tǒng)編碼系統(tǒng) 從而也實(shí)現(xiàn)了與傳統(tǒng)編碼系統(tǒng)的兼容 原 始視頻幀中未被作為 vo 的背景信息 仍然采用傳統(tǒng)的矩形 dct 變換編碼 而 vo 自身的一些諸如 vo 間位置 邏輯關(guān)系等 vo 場(chǎng)景描述信息也要進(jìn)行單獨(dú)的 編碼 最后和 vop 數(shù)據(jù)流以及背景編碼信息一同在視頻復(fù)用器中進(jìn)行合成 產(chǎn) 生 mepg 4 數(shù)據(jù)流 mpeg 4 數(shù)據(jù)流提供了視覺場(chǎng)景的分級(jí)描述 從上往下分別是 視覺對(duì)象序 列 vs visual object 明 sequence 視頻對(duì)象 vo video object 視頻對(duì)象層 vol video object layer 視頻對(duì)象平面組 gov group of vop 和視覺對(duì)象 平面 vop video object profile 這樣的分級(jí)編碼方式可以根據(jù)帶寬或者系統(tǒng)的 運(yùn)算能力來(lái)有選擇地產(chǎn)生 mpeg 4 視頻流 也便于對(duì) mpeg 4 數(shù)據(jù)流實(shí)現(xiàn)隨機(jī) 訪問(wèn)和編輯 14 15 16 2 4 rtp 協(xié)議協(xié)議 2 4 1 rtp 協(xié)議概述協(xié)議概述 rtp real time protocol 實(shí)時(shí)傳輸協(xié)議 它是由 ietf 的音頻視頻傳輸工作 組 avt 負(fù)責(zé)開發(fā)的 并于 1996 年成為 rfc 正式文檔 它主要用于音頻 視頻等實(shí)時(shí)流媒體的傳送 17 rtp 為交互式音頻 視頻等具有實(shí)時(shí)特性的數(shù)據(jù)提供端到端的傳送服務(wù) 在 ip 網(wǎng)絡(luò)上 一般是在 udp 之上運(yùn)行 rtp 協(xié)議 如果支持它的網(wǎng)絡(luò)能提供組 播功能 則 rtp 也可用組播將數(shù)據(jù)送給多個(gè)目的用戶 rtp 包括兩個(gè)關(guān)系十分密切的子協(xié)議 實(shí)時(shí)傳輸協(xié)議 rtp 用于傳輸實(shí)時(shí)數(shù)據(jù) 實(shí)時(shí)控制協(xié)議 rtcp 用于監(jiān)視網(wǎng)絡(luò)的服務(wù)質(zhì)量 并傳遞與會(huì)者會(huì)話中的 信息 基于 sip 協(xié)議的視頻監(jiān)控終端的研究與實(shí)現(xiàn) 16 2 4 2 實(shí)時(shí)傳輸協(xié)議實(shí)時(shí)傳輸協(xié)議 rtp 協(xié)議提供具有實(shí)時(shí)特征的 端到端的數(shù)據(jù)傳送服務(wù) 可用來(lái)傳送聲音 和運(yùn)動(dòng)圖像數(shù)據(jù) 在這項(xiàng)數(shù)據(jù)傳送服務(wù)中包含了裝載數(shù)據(jù)的標(biāo)識(shí)符 序列計(jì)數(shù) 時(shí)間戳和傳送監(jiān)視 通常 rtp 的協(xié)議元是用 udp 協(xié)議元來(lái)裝載的 并利用 udp 的復(fù)用和校驗(yàn)和來(lái)實(shí)現(xiàn) rtp 的復(fù)用 rtp 報(bào)文的報(bào)頭是固定的 有效數(shù)據(jù)可以是音頻或視頻數(shù)據(jù) 固定報(bào)頭的 rtp 報(bào)文結(jié)構(gòu)如圖 2 5 所示 圖 2 5 固定報(bào)頭的 rtp 報(bào)文 rtp 報(bào)頭中各字段的含義如下 版本 v 用來(lái)標(biāo)識(shí) rtp 協(xié)議的版本 長(zhǎng)度為 2 bit 當(dāng)前版本為 2 填充 p 用于標(biāo)記 長(zhǎng)度為 1 bit 置 1 表示用戶數(shù)據(jù)最后加有填充位 擴(kuò)展 x 置 1 表示 rtp 報(bào)頭后緊隨一個(gè)擴(kuò)展報(bào)頭 長(zhǎng)度為 1 bit csrc 計(jì)數(shù) cc 表示在定長(zhǎng)的 rtp 報(bào)頭后的 csrc 標(biāo)識(shí)符的數(shù)量 長(zhǎng) 度為 4bit 標(biāo)記 m 該標(biāo)記的含義對(duì)于不同的有效負(fù)荷類型有不同的意義 由 rtp 配置文件對(duì)它進(jìn)行定義和使用 其長(zhǎng)度為 1bit 載荷類別 pt 它指示在用戶數(shù)據(jù)字段中承載數(shù)據(jù)的載荷類別 長(zhǎng)度為 7bit 序號(hào) sn 每發(fā)送一個(gè) rtp 數(shù)據(jù)包該序號(hào)增加 1 該序號(hào)在接收方可用來(lái) 發(fā)現(xiàn)丟失的數(shù)據(jù)包和對(duì)到來(lái)的數(shù)據(jù)包進(jìn)行排序 長(zhǎng)度為 16bit 時(shí)間戳 ts 它用來(lái)表示 rtp 包中用戶數(shù)據(jù)段的第一個(gè)字節(jié)的采樣時(shí)刻 時(shí)間戳的時(shí)間表示應(yīng)為線性單調(diào)遞增的 以便完成同步實(shí)現(xiàn)和抖動(dòng)的計(jì)算 長(zhǎng)度 為 32bit 同步源標(biāo)識(shí)符 ssrc 用來(lái)標(biāo)識(shí)一個(gè)同步源 此標(biāo)識(shí)符是隨機(jī)選擇的 但 要保證同一 rtp 會(huì)話中的任意兩個(gè) ssrc 各不相同 rtp 必須檢測(cè)并解決沖 突 長(zhǎng)度為 32bit 第二章 視頻監(jiān)控系統(tǒng)的相關(guān)技術(shù) 17 提供源標(biāo)識(shí)符 csrc 它可有 0 15 項(xiàng)標(biāo)識(shí)符 每一項(xiàng)長(zhǎng)度為 32 bit 其 項(xiàng)數(shù)由 cc 字段來(lái)確定 如果提供源多于 15 個(gè) 則只有 15 個(gè)被標(biāo)識(shí) 17 18 2 4 3 實(shí)時(shí)傳輸控制協(xié)議實(shí)時(shí)傳輸控制協(xié)議 實(shí)時(shí)傳輸控制協(xié)議 rtcp real time control protocol 是 rtp 的控制協(xié)議 它用于監(jiān)視網(wǎng)絡(luò)的服務(wù)質(zhì)量和在正在進(jìn)行的與會(huì)者會(huì)話中傳遞信息 rtcp 協(xié)議需要與 rtp 協(xié)議一起配合使用 當(dāng)應(yīng)用程序啟動(dòng)一個(gè) rtp 會(huì)話 時(shí)將同時(shí)占用兩個(gè)端口 分別供 rtp 和 rtcp 使用 rtp 本身并不能為按序傳 輸數(shù)據(jù)包提供可靠的保證 也不提供流量控制和擁塞控制 這些都由 rtcp 來(lái)負(fù) 責(zé)完成 通常 rtcp 會(huì)采用與 rtp 相同的分發(fā)機(jī)制 向會(huì)話中的所有成員周期 性地發(fā)送控制信息 應(yīng)用程序通過(guò)接收這些數(shù)據(jù) 從中獲取會(huì)話參與者的相關(guān)資 料 以及網(wǎng)絡(luò)狀況 分組丟失概率等反饋信息 從而能夠?qū)Ψ?wù)質(zhì)量進(jìn)行控制或 者對(duì)網(wǎng)絡(luò)狀況進(jìn)行診斷 rtcp 協(xié)議的功能是通過(guò)不同的 rtcp 數(shù)據(jù)報(bào)來(lái)實(shí)現(xiàn)的 主要有如下幾種類 型 sr 發(fā)送端報(bào)告 所謂發(fā)送端是指發(fā)出 rtp 數(shù)據(jù)報(bào)的應(yīng)用程序或者終端 發(fā)送端同時(shí)也可以是接收端 rr 接收端報(bào)告 所謂接收端是指僅接收但不發(fā)送 rtp 數(shù)據(jù)報(bào)的應(yīng)用程 序或者終端 sdes 源描述 主要功能是作為會(huì)話成員有關(guān)標(biāo)識(shí)信息的載體 如用戶名 郵件地址 電話號(hào)碼等 此外還具有向會(huì)話成員傳達(dá)會(huì)話控制信息的功能 bye 通知離開 主要功能是指示某一個(gè)或者幾個(gè)源不再有效 即通知會(huì) 話中的其他成員自己將退出會(huì)話 app 由應(yīng)用程序自己定義 解決了 rtcp 的擴(kuò)展性問(wèn)題 并且為協(xié)議的 實(shí)現(xiàn)者提供了很大的靈活性 rtcp 數(shù)據(jù)報(bào)攜帶有服務(wù)質(zhì)量監(jiān)控的必要信息 能夠?qū)Ψ?wù)質(zhì)量進(jìn)行動(dòng)態(tài) 的調(diào)整 并能夠?qū)W(wǎng)絡(luò)擁塞進(jìn)行有效的控制 由于 rtcp 數(shù)據(jù)報(bào)采用的是多播方 式 因此會(huì)話中的所有成員都可以通過(guò) rtcp 數(shù)據(jù)報(bào)返回的控制信息 來(lái)了解其 他參與者的當(dāng)前情況 17 18 基于 sip 協(xié)議的視頻監(jiān)控終端的研究與實(shí)現(xiàn) 18 第三章第三章 硬件平臺(tái)硬件平臺(tái)及軟件架構(gòu)及軟件架構(gòu) 3 1 系統(tǒng)硬件平臺(tái)系統(tǒng)硬件平臺(tái) 3 1 1 arm 微處理器概述微處理器概述 arm advanced risc machines 公司成立于 1991 年 它是全球領(lǐng)先的 16 32 位嵌入式 risc 微處理器解決方案的供應(yīng)商 向全球各大領(lǐng)先電子公司提供高 性能 低成本和高效率的 risc 處理器 外設(shè)和系統(tǒng)芯片技術(shù)授權(quán) 其中包括 intel ibm lg 半導(dǎo)體 nec sony 菲利浦和國(guó)民半導(dǎo)體這樣的大公司 arm 的微處理器核技術(shù)廣泛用于便攜式通信產(chǎn)品 手持運(yùn)算 多媒體和嵌入式 解決方案等領(lǐng)域 已成為 risc 標(biāo)準(zhǔn) arm 微處理器目前包括 arm7 arm9 arm9e 和 arm10 等四個(gè)通用處 理器系列 每個(gè)系列都提供一套相對(duì)獨(dú)特的性能來(lái)滿足不通應(yīng)用領(lǐng)域的需求 由 于其具有內(nèi)核耗電少 成本低 功能強(qiáng)等特點(diǎn)而被廣泛應(yīng)用于移動(dòng)通信 手持計(jì) 算和數(shù)據(jù)處理等嵌入式產(chǎn)品中 已經(jīng)成為業(yè)界系統(tǒng)開發(fā)首選方案之一 19 20 3 1 2 z228 硬件平臺(tái)硬件平臺(tái) 本課題所選用的硬件平臺(tái)是以上海杰得微電子公司的 z228 微處理器為核心 的嵌入式系統(tǒng) z228 是上海杰得微電子公司自主開發(fā)的多媒體應(yīng)用處理器 是 中國(guó)第一款 0 13 微米的高度集成的低功耗的具有強(qiáng)大多媒體處理能力的 soc 芯片 z228 單芯片包含了 arm926ej cpu 和 mpeg