多媒體搜索引擎

多媒體搜索引擎第一頁，共三十四頁，2022年，8月28日樣本準備對象分割對象在文檔中可能只占很小比例用整個文檔提取的特征含有大量噪聲特征與特征提取使用什么樣的特征？如何計算？如何進行預處理？……樣本選擇正負樣本數可能嚴重失衡（1:10，1:100）樣本可能包含噪聲第二頁，共三十四頁，2022年，8月28日圖像分割如何分割需要被分割成不同部分的對象有什么不同？第一類圖像：前景與背景第三頁，共三十四頁，2022年，8月28日圖像分割前景與背景分割假設：前景與背景亮度不同一個暗一個亮閾值分割閾值如何求最優(yōu)分割閾值？第四頁，共三十四頁，2022年，8月28日圖像分割前景與背景分割基于直方圖的方法直方圖：圖像灰度級的離散概率密度函數如何發(fā)現這個點？第五頁，共三十四頁，2022年，8月28日圖像分割前景與背景分割最大熵算法熵：物理含義：分布的“均勻性”越均勻，熵越大越不均勻，熵越小第六頁，共三十四頁，2022年，8月28日圖像分割前景與背景分割最大熵算法圖像假設：前景/背景亮度不同直方圖如同時包含前景和背景，則其熵將變小如只包含前景或背景，熵將變大把直方圖分解成兩部分，分別計算熵，兩部分熵的和最大時為最佳分割閾值H1H2很強很完美？第七頁，共三十四頁，2022年，8月28日圖像分割前景與背景分割最大熵算法圖像噪聲影響直方圖第八頁，共三十四頁，2022年，8月28日圖像分割前景與背景分割最大熵算法如何解決？第九頁，共三十四頁，2022年，8月28日圖像分割前景與背景分割物體的分布區(qū)域是空間連續(xù)的相鄰像素應該有相同的分類很可能是噪聲如何利用這些信息?第十頁，共三十四頁，2022年，8月28日圖像分割前景與背景分割松弛算法P(i):像素i是前/背景的概率ii1i2i3i4i5i6i7i8像素值255先有雞？先有蛋？第十一頁，共三十四頁，2022年，8月28日圖像分割前景與背景分割先有雞？先有蛋？恐龍象雞蛋的恐龍蛋象雞的恐龍更象一點的蛋再象一點的雞……高產蘆花雞優(yōu)質土雞蛋……“雞蛋同出”迭代優(yōu)化EM算法第十二頁，共三十四頁，2022年，8月28日圖像分割前景與背景分割松弛算法初始化:迭代：第十三頁，共三十四頁，2022年，8月28日圖像分割前景與背景分割松弛算法同質獎勵異質懲罰>0<0反復迭代多次，直至收斂同等對待所有鄰域第十四頁，共三十四頁，2022年，8月28日圖像分割前景與背景分割松弛算法待分割圖像閾值分割松弛算法還有更高級、更復雜的算法第十五頁，共三十四頁，2022年，8月28日圖像分割前景與背景分割實際應用：指紋圖像處理很強很完美？第十六頁，共三十四頁，2022年，8月28日圖像分割前景與背景分割實際圖像并非一定有顯著亮度/顏色差異可以是紋理差異可以是…沒有差異?。坑羞吘壘€條畫前/背景有多個物體還可能互相遮蓋第十七頁，共三十四頁，2022年，8月28日圖像分割對象分割(ObjectSegmentation)把圖像分解成對象“對象”：具有獨立語義的圖像區(qū)域人臉眼睛、鼻子、眉毛？人？不同應用有不同“粒度”第十八頁，共三十四頁，2022年，8月28日圖像分割對象分割人眼分割物體的方法邊緣：人眼對邊緣敏感通過邊緣分割物體檢測邊緣邊緣所圍的區(qū)域為物體如何檢測邊緣？第十九頁，共三十四頁，2022年，8月28日圖像分割對象分割邊緣檢測邊緣的數學模型灰度級一階導數二階導數第二十頁，共三十四頁，2022年，8月28日圖像分割對象分割邊緣檢測圖像的一階導數圖像是二維的只能求偏導數結果為矢量梯度矢量幅度：方向：第二十一頁，共三十四頁，2022年，8月28日圖像分割對象分割邊緣檢測檢測算子：用卷積對一階偏導數的近似-1-1-1000111-101-101-101011-101-1-10-1-10-101011-1-2-1000121-101-202-101012-101-2-10-2-10-101012PrewittSobel水平垂直-45°+45°第二十二頁，共三十四頁，2022年，8月28日圖像分割對象分割Sobel算子檢測例很強很完美？第二十三頁，共三十四頁，2022年，8月28日圖像分割對象分割邊緣檢測的問題噪聲敏感導數反映的是變化噪聲是高頻的變化階越高對噪聲越敏感很少使用二階導數基本上不考慮更高階的導數第二十四頁，共三十四頁，2022年，8月28日圖像分割對象分割邊緣檢測的問題不大可能總是檢測出連續(xù)的邊緣第二十五頁，共三十四頁，2022年，8月28日圖像分割對象分割局部連接如果在很近的領域內像素的梯度幅度和方向都很相似，則連接這兩個像素|f

(x,y)–

f

(x’,y’)|T|

(x,y)–

(x’,y’)|<A在同一邊緣上的像素能連接的仍然很少只能在很小的局部進行連接(3x3,5x5)第二十六頁，共三十四頁，2022年，8月28日圖像分割對象分割Hough變換把坐標空間變換到參數空間，檢測峰值y=ax+bXYABab出現峰值任何可以化為參數方程的形狀都可以檢測“簡化”的Hough變換：實際變換的理論更復雜第二十七頁，共三十四頁，2022年，8月28日圖像分割對象分割邊緣檢測雖然可以使用大量技術，要獲得完整的邊緣并不容易邊緣檢測只作為圖像分割和其它圖像處理技術的輔助手段如何更好地進行分割？第二十八頁，共三十四頁，2022年，8月28日圖像分割對象分割基于顏色、紋理特征的分割假設：對象和對象之間總要有差異要么顏色，要么紋理檢測這種差異，即可進行分割原始圖像特征圖像聚類！機器學習??？第二十九頁，共三十四頁，2022年，8月28日圖像分割對象分割基于顏色、紋理特征的分割使用RGB顏色作為特征，K-均值聚類算法紋理區(qū)域被分割分割過細必須指定類數第三十頁，共三十四頁，2022年，8月28日圖像分割對象分割基于顏色、紋理特征的分割Mean-Shift聚類/~lazebnik/research/spring08/lec21_segmentation.ppt第三十一頁，共三十四頁，2022年，8月28日視頻分割視頻分割（shotdetection）視頻是圖像的時間序列在時間軸上應該分割成小的單元鏡頭：攝像機從打開到關閉所拍攝的一段視頻鏡頭邊界：兩個鏡頭之間的邊界鏡頭分割：分析視頻，標記鏡頭邊界本質上是一個聚類過程第三十二頁，共三十四頁，2022年，8月28日視頻分割鏡