第五章 運(yùn)動(dòng)目標(biāo)檢測(cè)

1、第三次上機(jī)安排： 時(shí)間：11月24日（周一）8:00-11:50（1-4節(jié)） 地點(diǎn)：計(jì)算中心T07 內(nèi)容：對(duì)第二次上機(jī)保存的關(guān)鍵幀先進(jìn)行灰度化，然后利 用閾值分割算法對(duì)其進(jìn)行圖像分割（至少編程實(shí)現(xiàn)一種算 法），并分析實(shí)驗(yàn)結(jié)果。 方式：自行完成 要求：上機(jī)時(shí)帶上存好的關(guān)鍵幀圖像，可帶自己的電腦。 第五章 運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù) 運(yùn)動(dòng)目標(biāo)檢測(cè)是指在視頻圖像序列中判斷是 否有前景目標(biāo)的運(yùn)動(dòng)，如果有則對(duì)目標(biāo)進(jìn)行 初始定位的檢測(cè)過(guò)程，運(yùn)動(dòng)目標(biāo)檢測(cè)是實(shí)現(xiàn) 目標(biāo)識(shí)別跟蹤的基礎(chǔ)。 常用的運(yùn)動(dòng)目標(biāo)檢測(cè)方法包括時(shí)間差分法、 背景差分法、光流法。 1、時(shí)間差分法(P.170) 直接比較圖像序列相鄰幀對(duì)應(yīng)像素點(diǎn)發(fā)生的相對(duì)變

2、 化，是一種直接簡(jiǎn)單的運(yùn)動(dòng)檢測(cè)方法。 優(yōu)點(diǎn)是計(jì)算簡(jiǎn)單、速度快。差分的兩幅圖像的時(shí)間 間隔較短，受光線變化影響小，非常適合于動(dòng)態(tài)變 化場(chǎng)景。 缺點(diǎn)有三個(gè)方面，首先它不能完全提取出運(yùn)動(dòng)物體 所有相關(guān)的特征像素點(diǎn)；其次是對(duì)噪聲非常敏感， 而且檢測(cè)出的物體位置不精確；再次必須根據(jù)目標(biāo) 的運(yùn)動(dòng)速度選擇合適的差分時(shí)間間隔，否則將錯(cuò)檢 或漏檢。 else Ttyxftyxf ttyxfd 0 | ),(),(|1 ),( 21 21 2、背景差分法(P.172) 是目前運(yùn)動(dòng)分割中最常用的一種方法，利用當(dāng)前圖 像與背景圖像進(jìn)行差分，從而檢測(cè)出運(yùn)動(dòng)區(qū)域。 首先對(duì)背景模型進(jìn)行初始化，建立原始的背景圖像 ；背景模型

3、更新是根據(jù)當(dāng)前輸入的圖像修正背景模 型，及時(shí)反映環(huán)境的變化；背景差分是將當(dāng)前幀和 背景模型進(jìn)行差值運(yùn)算，然后與閾值相比較提取出 運(yùn)動(dòng)目標(biāo)。 運(yùn)動(dòng)目標(biāo)運(yùn)動(dòng)目標(biāo) 對(duì)于場(chǎng)景的動(dòng)態(tài)變化，光照和外部噪聲等干擾會(huì)影響處 理結(jié)果： （1）光照條件變化 一是光照緩慢變化，可以通過(guò)更 新背景解決；另一種是光照條件變化很快，背景模型的 更新速度跟不上光照變化速度。會(huì)將大面積的背景當(dāng)作 前景目標(biāo)。 （2）遮擋與運(yùn)動(dòng)目標(biāo)混淆 當(dāng)兩個(gè)運(yùn)動(dòng)物體相互靠近重 疊時(shí)，簡(jiǎn)單的背景相減會(huì)將其當(dāng)作一個(gè)目標(biāo)而不是兩個(gè) 不同目標(biāo)。而如果一個(gè)運(yùn)動(dòng)物體的一部分被背景遮擋， 則背景相減后可能會(huì)將其當(dāng)作兩個(gè)分開(kāi)的運(yùn)動(dòng)物體。 （3）物體停止或者運(yùn)

4、動(dòng)過(guò)慢 當(dāng)運(yùn)動(dòng)物體停止時(shí)，需 要考慮是否將該物體當(dāng)作背景；而運(yùn)動(dòng)過(guò)慢物體會(huì)產(chǎn)生 拖尾以及中間產(chǎn)生空洞。 （4）背景中物體運(yùn)動(dòng)，引起虛靜止物體 當(dāng)初始背景 中存在運(yùn)動(dòng)物體時(shí)，該運(yùn)動(dòng)物體的初始圖像在背景中將 長(zhǎng)期存在，在檢測(cè)結(jié)果中出現(xiàn)虛的靜止目標(biāo)，用一般的 背景更新算法很難將該區(qū)域去除。 （5）樹(shù)葉擺動(dòng)等干擾 當(dāng)背景中有很多并非絕對(duì)靜止 的背景物體時(shí)，在檢測(cè)結(jié)果中將會(huì)產(chǎn)生很多噪聲。若場(chǎng) 景中有風(fēng)，背景中大部分樹(shù)葉都在晃動(dòng)，在檢測(cè)結(jié)果中 出現(xiàn)很多樹(shù)葉。 （6）運(yùn)動(dòng)物體的陰影 由于運(yùn)動(dòng)物體存在著陰影，而 這些陰影往往與背景不同，在背景相減過(guò)程中，這些陰 影會(huì)與前景物體連在一起，不利于前景物體的跟蹤與識(shí)

5、 別。 對(duì)于（1）光照條件變化 ，必須對(duì)所有像素點(diǎn)進(jìn) 行全局統(tǒng)計(jì)，以判斷是否有光照條件的變化。依 據(jù)前景物體所占比例小的假設(shè)，可以通過(guò)判斷像 素點(diǎn)中前景點(diǎn)占的百分比來(lái)判斷光照條件是否變 化，以決定是否要提高背景的更新率。 對(duì)于（2）遮擋與運(yùn)動(dòng)目標(biāo)混淆 ，目前的解決方 法是基于模板匹配。 對(duì)于（3）物體停止或者運(yùn)動(dòng)過(guò)慢 ，如果停止的 物體將長(zhǎng)期靜止，則應(yīng)該將其視為背景；如果它 只是短期停留，則應(yīng)該還是將其作為前景目標(biāo)。 對(duì)于（4）背景中物體運(yùn)動(dòng)，引起虛靜止物體 ， 由于虛物體被檢測(cè)出來(lái)都是靜止的，可以用上述 解決（3）的方法來(lái)處理，不過(guò)這種方法需要一 定長(zhǎng)的時(shí)間?；蛲ㄟ^(guò)基于內(nèi)容的方法來(lái)解決。 對(duì)

6、于（5）樹(shù)葉擺動(dòng)等干擾 ，可以借助一些去除 噪聲的方法。 對(duì)于（6）運(yùn)動(dòng)物體的陰影 ，可以使用隱式馬爾 可夫模型來(lái)解決該問(wèn)題。 v 教材補(bǔ)充內(nèi)容 運(yùn)動(dòng)目標(biāo)測(cè)方法總結(jié)示意圖 光流法 空域法 時(shí)域法 背景減法 幀差法 運(yùn)動(dòng)目標(biāo)檢測(cè) 基本背景建模法 統(tǒng)計(jì)背景建模法 兩幀差分法 三幀差分法 均值濾波法 W4法 單高斯模型 混合高斯模型 v 運(yùn)動(dòng)目標(biāo)檢測(cè) 常見(jiàn)時(shí)域法優(yōu)缺點(diǎn)對(duì)比表 算法名稱算法名稱優(yōu)點(diǎn)優(yōu)點(diǎn)缺點(diǎn)缺點(diǎn) 幀差法幀差法算法簡(jiǎn)單易于實(shí)現(xiàn)實(shí)時(shí)監(jiān)算法簡(jiǎn)單易于實(shí)現(xiàn)實(shí)時(shí)監(jiān) 控，對(duì)場(chǎng)景光線變化不敏控，對(duì)場(chǎng)景光線變化不敏 感感 噪聲較多，檢測(cè)精度不高，易噪聲較多，檢測(cè)精度不高，易 出現(xiàn)重疊和空洞現(xiàn)象，對(duì)目標(biāo)出現(xiàn)

7、重疊和空洞現(xiàn)象，對(duì)目標(biāo) 描述不完整描述不完整 背景減法背景減法算法簡(jiǎn)單易于實(shí)現(xiàn)，檢測(cè)算法簡(jiǎn)單易于實(shí)現(xiàn)，檢測(cè) 結(jié)果完整，適合實(shí)時(shí)處理結(jié)果完整，適合實(shí)時(shí)處理 易受到背景變化的干擾，如樹(shù)易受到背景變化的干擾，如樹(shù) 葉搖動(dòng)、雨雪天氣等葉搖動(dòng)、雨雪天氣等 光流法光流法包含目標(biāo)運(yùn)動(dòng)信息和三維包含目標(biāo)運(yùn)動(dòng)信息和三維 結(jié)構(gòu)信息，可以在場(chǎng)景信結(jié)構(gòu)信息，可以在場(chǎng)景信 息未知的情況下進(jìn)行檢測(cè)息未知的情況下進(jìn)行檢測(cè) 算法復(fù)雜耗時(shí)，抗噪聲能力比算法復(fù)雜耗時(shí)，抗噪聲能力比 較差，需要特定的硬件支持，較差，需要特定的硬件支持， 實(shí)用性較差實(shí)用性較差 相鄰兩幀算法流程圖 差分圖像二值化公式 v運(yùn)動(dòng)目標(biāo)檢測(cè)相鄰兩幀差分 相鄰三

8、幀算法流程圖 v運(yùn)動(dòng)目標(biāo)檢測(cè)相鄰三幀差分 差分相乘算法流程圖 運(yùn)動(dòng)目標(biāo)檢測(cè)差分相乘法 背景差分算法流程圖 運(yùn)動(dòng)目標(biāo)檢測(cè)背景差分法 BSED算法流程圖 運(yùn)動(dòng)目標(biāo)檢測(cè)背景差分與邊緣檢測(cè)結(jié)合算法（BSED） TFED算法流程圖 運(yùn)動(dòng)目標(biāo)檢測(cè)三幀差分和邊緣檢測(cè)結(jié)合算法（TFED） v 運(yùn)動(dòng)目標(biāo)檢測(cè) W4算法 基本原理:用最小灰度值 、最大灰度值 和鄰間差分最大值 來(lái)描述背景模型，其中鄰間 差分最大值是相鄰兩幀圖像之間灰度差分最大值。算法 檢測(cè)原理如以下公式所示。 ( , )Min x y ( , )Max x y ( , )Dif x y ( )B x 0,( , )( , )( , ) ( , )(

9、 , ) 1, Min x yk Dif x yI x yMax x yk Dif x y else v 運(yùn)動(dòng)目標(biāo)檢測(cè) W4算法 第45幀圖像不同k值檢測(cè)結(jié)果對(duì)比圖 k=1 k=3k=5 待檢測(cè)圖像 例1：運(yùn)動(dòng)目標(biāo)實(shí)時(shí)監(jiān)控及報(bào)警系統(tǒng)開(kāi)發(fā) v 研究?jī)?nèi)容 運(yùn)動(dòng)目標(biāo)檢測(cè)模運(yùn)動(dòng)目標(biāo)檢測(cè)模 塊：塊：W4運(yùn)動(dòng)目標(biāo)運(yùn)動(dòng)目標(biāo) 檢測(cè)算法檢測(cè)算法 遠(yuǎn)程視頻監(jiān)控及遠(yuǎn)程視頻監(jiān)控及 報(bào)警系統(tǒng)報(bào)警系統(tǒng) 遠(yuǎn)程報(bào)警模塊：遠(yuǎn)程報(bào)警模塊： GPRS MODEM 發(fā)送短信和彩信發(fā)送短信和彩信 報(bào)警報(bào)警 運(yùn)動(dòng)目標(biāo)實(shí)時(shí)監(jiān)控及報(bào)警系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā) 路線圖 運(yùn)動(dòng)目標(biāo)實(shí)時(shí)監(jiān)控及報(bào)警系統(tǒng)技術(shù) 路線圖 移動(dòng)通信技術(shù)中使用時(shí)間最長(zhǎng)、用戶最多的網(wǎng)絡(luò)

10、是2G/2.5G網(wǎng)絡(luò)。 GSM全球移動(dòng)通信系統(tǒng)/GPRS通用分組無(wú)線服務(wù) USB接口GPRS MODEM 硬件設(shè)備連接效果圖 運(yùn)動(dòng)目標(biāo)實(shí)時(shí)監(jiān)控及報(bào)警系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā) v 遠(yuǎn)程報(bào)警模塊 運(yùn)動(dòng)目標(biāo)實(shí)時(shí)監(jiān)控及報(bào)警系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā) v 系統(tǒng)界面設(shè)計(jì) 系統(tǒng)界面設(shè)計(jì)效果圖 運(yùn)動(dòng)目標(biāo)檢測(cè) 模塊 報(bào)警模塊 數(shù)據(jù)庫(kù) 管理模塊 運(yùn)動(dòng)目標(biāo)實(shí)時(shí)監(jiān)控及報(bào)警系統(tǒng) v 系統(tǒng)測(cè)試結(jié)果 系統(tǒng)測(cè)試結(jié)果 運(yùn)動(dòng)目標(biāo)實(shí)時(shí)監(jiān)控及報(bào)警系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā) 測(cè)試結(jié)果 用戶接收?qǐng)?bào)警信息結(jié)果 演示：運(yùn)動(dòng)目標(biāo)檢測(cè)系統(tǒng) 例2：基于視頻分析的運(yùn)動(dòng)目標(biāo)檢測(cè)系統(tǒng) v 運(yùn)動(dòng)目標(biāo)檢測(cè) 算法流程圖 預(yù)處理: 去噪和亮度歸一化 背景建模: 改進(jìn)的均值濾波背景建模法

11、目標(biāo)檢測(cè): 差分圖像分割 后處理: 涂抹去噪和填充空洞 步驟1：建立一個(gè)視頻流滑窗用來(lái)緩存前L幀視頻圖像; 步驟2：將圖像的顏色值的變化范圍0-255劃分為n個(gè)區(qū)間：0, N, N, 2N, (n-1)N, 255, N = 255/n； 步驟3：對(duì)于每個(gè)像素點(diǎn)的每一個(gè)顏色通道，先統(tǒng)計(jì)滑窗時(shí)間里每個(gè)區(qū)間 內(nèi)顏色分量值在幀視頻圖像中出現(xiàn)的次數(shù)，然后計(jì)算出現(xiàn)次數(shù)最多的區(qū) 間內(nèi)所有值的平均值，并用它來(lái)作為背景模型在該點(diǎn)的顏色值： 1 0 1 ( , )( , ) m tt i i B x yIx y m 基于視頻分析的運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù) v 背景建模 背景建模 基于視頻分析的運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù) v 背景

12、建模 目標(biāo)檢測(cè)算法流程圖 帶陰影的運(yùn)動(dòng)目標(biāo) 背景減 T N 差分圖像 閾值分割 Y 背景和 當(dāng)前幀 基于視頻分析的運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù) v 目標(biāo)檢測(cè) 差分圖像 2D交叉熵分割 交叉熵分割 01 01 ( )log()log() ( )( ) kL ii ii k ii D kipip m km k 最小分離度閾值: 基于視頻分析的運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù) v 閾值分割 實(shí)現(xiàn)了基于顏色不變特征等經(jīng)典的SR算法 結(jié)合顏色不變特征、混合高斯陰影模型和邊緣檢測(cè) 提出了一種陰影去除方法 基于視頻分析的運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù) v 陰影去除（SR） SR算法流程圖 1. 基于顏色的陰影去除 2. 引入邊緣檢測(cè) 3. 輪廓提取

13、 基于視頻分析的運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù) v 陰影去除（SR） 基于顏色不變特征的陰影檢測(cè) 基于高斯混合陰影模型的陰影驗(yàn)證 1 2 3 arctan() max( , ) arctan() max( , ) arctan() max( ,) R c G B G c R B B c R G ( , )( , ) 111 ( , )( , ) 222 ( , )( , ) 333 B x yI x y B x yI x y B x yI x y dcc dcc dcc 基于視頻分析的運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù) v 陰影去除（SR）基于顏色的陰影去除 基于視頻分析的運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù) v 陰影去除（SR） 基于視頻分析的運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù) v 邊緣檢測(cè) 基于視頻分析的運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù) v 運(yùn)動(dòng)目標(biāo)提取 演示：室內(nèi)人流量統(tǒng)計(jì)原型系統(tǒng) 第四次上機(jī)安排： 時(shí)間：12月1日（周一）8:00-11:50（1-4節(jié)） 地點(diǎn)：計(jì)算中心T07 內(nèi)容：任選一種方法檢測(cè)視頻中的運(yùn)動(dòng)目標(biāo)，并分析實(shí)驗(yàn) 結(jié)果。 方式：自行完成 要求：上機(jī)時(shí)帶上選好的