數(shù)字視頻信息研究論文

1、數(shù)字視頻信息研究論文 1、引言 視頻（Video）是源于廣播電視業(yè)的術(shù)語，指內(nèi)容隨著時間變化的圖像（Picture）序列，也稱為活動圖像（MotionPicture）。廣義的視頻有電影、電視和計算機動畫等不同類型，狹義上的視頻主要是指電視類視頻。 視頻是一種重要的視覺信息源。隨著各種數(shù)字影像設(shè)備的發(fā)展與遍及，以及多媒體技術(shù)和Internet的發(fā)展，人們面對的視頻信息種類迅速地增長，如電影、電視、視頻會議、監(jiān)控錄像等。僅中央電視臺（CCTV）截至2003年就保存有約30萬盤視頻節(jié)目，目前CCTV開設(shè)有15套節(jié)目（日播出量超過300小時，其中約有1/3是首播節(jié)目）、6套付費電視頻道，以每天保存80

2、90h的首播節(jié)目計算，每年新增節(jié)目將會達到3萬小時以上1。面對如此巨量的視頻信息，人們迫切希望改進傳統(tǒng)的對視頻數(shù)據(jù)的線性查找方式，研發(fā)出能夠快速定位和部分析取的視頻數(shù)據(jù)獲取技術(shù)。要達到這樣的目標，首先需要將視頻數(shù)據(jù)有序化，即對視頻信息進行有效的索引，使之便于檢索2。 從目前來看，數(shù)據(jù)庫信息、文本信息、圖形圖像信息的檢索已進入成熟期，已有許多實用的檢索工具和產(chǎn)品，而視頻信息的檢索目前還處于研究階段，雖然已有一些實驗原型和個別針對特定領(lǐng)域的檢索工具，但目前還無普遍實用的工具和產(chǎn)品。其主要原因是，與其他信息（如文本、圖像等）相比，視頻信息主要有如下一些特點： （1）信息內(nèi)涵豐富； （2）無“顯式”的

3、結(jié)構(gòu)； （3）存檔方式、視頻格式和編碼標準較多； （4）數(shù)據(jù)量大。 近年來，許多研究人員在文本信息、圖形圖像信息檢索技術(shù)的基礎(chǔ)上，對視頻信息檢索技術(shù)進行了大量的研究，研究內(nèi)容涉及視頻信息的存儲組織、內(nèi)容分析、特征抽取、索引方法、匹配算法、檢索算法、檢索結(jié)果的評估和視頻信息的表現(xiàn)形式等諸多方面。本文在分析視頻信息的隱含結(jié)構(gòu)基礎(chǔ)上，研究視頻信息的索引對象、索引模型和索引結(jié)構(gòu)。 2、視頻信息的隱含結(jié)構(gòu)與索引對象 目前的視頻文檔都是以節(jié)目（或稱為作品）為單位表現(xiàn)某個主題，其數(shù)據(jù)在組織時無“顯式”的結(jié)構(gòu)和索引信息（如同一本無目錄和章節(jié)標題的書籍），用戶只能采用線性方式觀看和欣賞。傳統(tǒng)的視頻信息的消費往往

4、是以節(jié)目為單位進行的，即查找某一電視節(jié)目（電視片、廣告片、某場體育比賽等），但不同類型的用戶（消費型、研究型、創(chuàng)作型和應(yīng)用型3），在不同的場合下（通過電視、網(wǎng)絡(luò)、PDA、移動電話等）可能有不同的視頻消費要求，即可能需要以鏡頭、場景或故事單元為單位進行消費。例如，籃球教練需要查找“姚明進攻”的視頻鏡頭、司機在“塞車”時利用PDA收看某場足球比賽的精彩片段或畫面等等。所以，對視頻信息進行“結(jié)構(gòu)化”，并針對不同的結(jié)構(gòu)層次對象進行索引，是實現(xiàn)基于內(nèi)容的視頻信息檢索的基礎(chǔ)。 2.1視頻信息的隱含結(jié)構(gòu) 從形式上看，視頻信息本身是一種無“顯式”結(jié)構(gòu)的流媒體，即數(shù)據(jù)流本身無明顯的“章節(jié)、段落”結(jié)構(gòu)，但從構(gòu)成和

5、語義上看，視頻信息蘊涵著幀、鏡頭、場景、故事單元和節(jié)目這樣的層次型結(jié)構(gòu)。其中，幀、鏡頭和節(jié)目是視頻信息的物理組成成分，而場景和故事單元則是語義上的邏輯組成成分。 視頻是內(nèi)容隨著時間變化的圖像序列，其最小組成單位是幀（Frame），即一幅幅靜止圖像；針對一個對象或事件的、攝像機一次拍攝產(chǎn)生的幀集合稱為一個鏡頭（Shot）；發(fā)生在某一場地的、針對某一對象、具有相對獨立的敘事情節(jié)的一個或多個連續(xù)鏡頭構(gòu)成一個場景（Scene）；故事單元（StoryUnit）是指針對某一事件的、具有相對完整的故事情節(jié)的一個或多個連續(xù)場景的集合，例如電視連續(xù)劇中的每一節(jié)節(jié)目、NBA比賽中的每一節(jié)比賽；節(jié)目（Program

6、）是獨立的完整的視頻文檔，通常表述一個完整的故事或事件。視頻信息的這種隱含結(jié)構(gòu)，可用如下的數(shù)學模型表述： shotframe，ii1 sceneshotii1 story_unitscene，ii1 programstory_unit，ii1 2.2視頻索引對象的分割與選取 視頻信息蘊涵著幀、鏡頭、場景、故事單元和節(jié)目這樣的層次型結(jié)構(gòu)，為了滿足不同的應(yīng)用需求，視頻信息的索引應(yīng)在各個層次上分別展開，即對視頻信息的索引，不僅要以節(jié)目為對象，而且需要在視頻分割的基礎(chǔ)上以幀、鏡頭、場景和故事單元為對象分別進行索引。節(jié)目和幀是視頻信息固有的自然層次，而鏡頭、場景和故事單元則要通過對視頻內(nèi)容的分析、采用各

7、種算法進行分割才能得到。 （1）幀對象的選取 雖然幀是視頻信息固有的自然層次，但一個視頻文檔由太多的幀組成（每秒2530幀），且?guī)g存在大量的信息冗余以及用戶不感興趣的幀圖像，這就需要采取一定的策略進行幀的“選取”，找出一定數(shù)量的“代表幀”（也稱為“關(guān)鍵幀”）。 目前代表幀的選取大多是在鏡頭分割的基礎(chǔ)上，以鏡頭為單元分別進行代表幀的選取，選取算法主要是以鏡頭的首幀、尾幀或中間幀為代表幀。筆者認為，代表幀的選取還應(yīng)考慮兩個方面：一是對于不同體裁（類型）的視頻，應(yīng)采用不同的選取方法，且代表幀的數(shù)量也應(yīng)區(qū)別對待；二是可以通過幀圖像的相似性比較，對幀進行聚類，從幀數(shù)最多的類中選取代表幀（因為持續(xù)時間

8、長的畫面往往更具有代表性）。 （2）鏡頭分割 鏡頭是視頻節(jié)目構(gòu)成的基本單元，也是視頻消費時的最小邏輯單元。一個完整的視頻節(jié)目通常由若干個鏡頭組成，例如一部2小時的電影通常由數(shù)百個鏡頭組成。鏡頭之間的切換形式主要有突變和漸變兩大類，漸變又可分為隱現(xiàn)（Dissolve）、淡入/淡出（Fade）和擦除（Wipe）等不同類型，文獻4列出了常見的10種鏡頭變換形式，在實際的應(yīng)用中可能有上百種鏡頭變換效果。 采用人工方式進行視頻分割是十分費時的。近十多年來，電子工程和計算機科學等領(lǐng)域的學者從不同的角度研究出了多種自動鏡頭檢測的方法，其基本思想大多為比較相鄰幀之間的相似性。目前鏡頭檢測技術(shù)的方法分類主要有以

9、下三種： 根據(jù)所處理的視頻是否為壓縮數(shù)據(jù)進行分類，如文獻4所述，將鏡頭變換檢測方法分為基于解壓的全圖像序列的識別方法、直接基于壓縮視頻的識別方法和基于確定變換模型的識別方法； 根據(jù)檢測的鏡頭變換類型進行分類，如文獻5所述，將鏡頭變換檢測方法分為突變檢測（HardCutDetection）、淡入/淡出檢測（FadeDetection）和隱現(xiàn)檢測（DissolveDetection）等類型； 根據(jù)檢測時所采用的視頻特征進行分類，可以將鏡頭變換檢測方法分為基于亮度/顏色（Intensity/color）的檢測、基于紋理（Texture）的檢測、基于邊緣（Edges/contours）的檢測、基于運動

10、（Motion）信息的檢測，等等。 鏡頭突變檢測的技術(shù)相對比較成熟，一般采用基于顏色直方圖比較法即可得到較高的準確率。但對于形式多樣的漸變切換檢測，通常需要采用多種檢測手段進行綜合檢測，這也是目前鏡頭檢測研究的難點和熱點之一。 （3）場景分割 場景是發(fā)生在某一場地或針對某一對象（或動作）的、具有相對獨立的敘事情節(jié)的一個或多個連續(xù)鏡頭的集合。有時一個場景就是一個鏡頭，有時一個場景是從不同角度反映同一場地（或?qū)ο蠡騽幼鳎┑亩鄠€鏡頭的組合。 目前場景分割（也可稱為場景構(gòu)建）一般是在鏡頭分割的基礎(chǔ)上，采用鏡頭聚集的方式實現(xiàn)。文獻6提出了一種通過構(gòu)造層次型“場景變換圖”的方法實現(xiàn)場景分割的思路，場景變換

11、圖中的結(jié)點表示鏡頭、邊表示變換，基于場景變換圖，利用顏色的相似性計算對鏡頭進行層次聚類，形成的每一個子圖即為一個場景；文獻7提出了一種在鏡頭分割基礎(chǔ)上，利用運動信息（包括攝像機運動和對象運動）、鏡頭長度和顏色屬性進行場景檢測的方法。 （4）故事單元分割 在影視制作過程中，導(dǎo)演根據(jù)劇本的內(nèi)容，按照敘述的邏輯并根據(jù)創(chuàng)作意圖，合乎邏輯地、富有表現(xiàn)力地、有節(jié)奏地把鏡頭連接起來，構(gòu)成完整的銀幕形象，形成比鏡頭更高一級的結(jié)構(gòu)故事單元8。故事單元是指針對某一事件的、具有相對完整的故事情節(jié)的一個或多個連續(xù)場景（鏡頭）的集合。故事單元分割的基本思想也是在鏡頭分割的基礎(chǔ)上，結(jié)合領(lǐng)域知識對鏡頭（或場景）進行聚類分析

12、。 故事單元的理解主要是從語義層次上進行的，其長度（大?。┎]有確切的定義和界限，需要更多地考慮視頻節(jié)目的類型、體裁等領(lǐng)域知識。對于不同類型的視頻節(jié)目，其故事單元的劃分有不同的形式。例如，對于電視連續(xù)劇，可以將每一集看作一個故事單元；對于體育節(jié)目，可以根據(jù)其本身所固有的時間間隔進行分割，或根據(jù)主要事件（如得分、進球等）進行分割等。 2.3視頻索引對象的數(shù)據(jù)結(jié)構(gòu) 數(shù)據(jù)模型是直接面向計算機系統(tǒng)（數(shù)據(jù)庫）中數(shù)據(jù)的邏輯結(jié)構(gòu)。在常見的數(shù)據(jù)庫系統(tǒng)中，根據(jù)實體集之間的不同結(jié)構(gòu)，通常把數(shù)據(jù)模型分為層次模型、網(wǎng)狀模型、關(guān)系模型和面向?qū)ο竽Ｐ退姆N。目前成熟的、主流的數(shù)據(jù)庫管理系統(tǒng)絕大多數(shù)是采用關(guān)系模型，并在此基礎(chǔ)

13、上擴展了面向?qū)ο蟮某绦蛟O(shè)計功能。鑒于這種情況，可以考慮視頻索引對象的數(shù)據(jù)結(jié)構(gòu)采用如下的關(guān)系數(shù)據(jù)模式： 節(jié)目Program（節(jié)目號pNO，索引信息p） 故事單元StoryUnit（節(jié)目號pNo，故事單元號uNO，索引信息u） 場景Scene（節(jié)目號pNo，故事單元號uNO，場景號eNO，索引信息e） 鏡頭Shot（節(jié)目號pNo，故事單元號uNO，場景號eNO，鏡頭號sNO，索引信息s） 代表幀KeyFrame（節(jié)目號pNo，故事單元號uNO，場景號eNO，鏡頭號sNO，幀號fNO，索引信息f） 在實現(xiàn)時，節(jié)目號由分類號和編號兩部分組成，其中分類號應(yīng)采用類似于中圖分類號的編碼體系，分類方法可參考T

14、VAnytime論壇制定的分類策略（SP003v1312）；故事單元號、場景號、鏡頭號和幀號可采用視頻片段的起止時間碼（SMPTE使用的時間碼格式為：小時：分鐘：秒：幀）；各索引對象的索引信息可根據(jù)后續(xù)討論的索引模型創(chuàng)建。 3、視頻信息的索引模型 3.1視頻信息的內(nèi)容模型 視頻包含有豐富的信息內(nèi)容，針對同一段視頻，不同的人、在不同的情形之下觀看，通常有不同的感受，即使是同一個人多次觀看同一段視頻，往往也會有不同的感受。針對視頻所包含的信息內(nèi)容，許多學者從不同的學科出發(fā)，對其進行了較為深入的研究。其中，較有代表性的是文獻9提出的視頻內(nèi)容分類模型，如圖2所示。 該模型根據(jù)人類視覺感知和認識事物的規(guī)

15、律，將視頻內(nèi)容分為三個層次：第一層（低層）為用戶觀看視頻時首先感知的視覺信息，如顏色、紋理、形狀、運動等；第二層（中間層）為通過邏輯推理而得的、基于對象（Object）的感知信息，如視頻中包含（描述）的人物、地點、時間等；第三層（高層）為通過智能推理而得的、基于知識（Knowledge）的感知信息，它反映了視頻本身的語義，以及由此而來的感受，如某視頻片段為暴力鏡頭、歡慶場景、劫機事件等等。這種視頻內(nèi)容建模方式為基于內(nèi)容的視頻信息索引提供了有益的指導(dǎo)。 3.2視頻信息的描述需求與索引模型 視頻信息內(nèi)涵的豐富性、用戶檢索需求的多樣性，決定了在對視頻信息進行索引時，應(yīng)盡可能地從各個層次和側(cè)面進行全方

16、位的描述。根據(jù)MPEG7的目標要求10，對視頻信息的描述至少應(yīng)包括如下的信息： （1）有關(guān)內(nèi)容的產(chǎn)生和發(fā)展進程的描述信息（如導(dǎo)演/作者、標題、版本等）； （2）與內(nèi)容使用有關(guān)的信息（如版權(quán)、使用歷程、宣傳計劃等）； （3）有關(guān)內(nèi)容存儲特性的信息（如存儲格式、編碼等）； （4）有關(guān)內(nèi)容的低層特性的信息（如顏色、紋理、音質(zhì)、音調(diào)描述等）； （5）從內(nèi)容捕捉到的實體的概念化信息（如對象和事件，對象間的交互作用等）； （6）利于瀏覽視頻內(nèi)容的信息（如概要、變更、空間和頻率等）； （7）關(guān)于用戶和內(nèi)容交互作用的信息（如用戶選擇、使用歷史等）。 根據(jù)MPEG7提出的描述要求及視頻內(nèi)容分類模型，可以考慮采用

17、如圖3所示的視頻索引模型。 在該索引模型中，視頻信息的索引分為外部信息索引和基于內(nèi)容的索引。 外部信息索引是指基于視頻文檔外部的、不依賴于其內(nèi)容的信息索引，用于視頻文檔的標識和檢索，如標題、作者、時間、文檔大小、存儲格式與編碼格式、使用信息（軟硬件要求、使用要求、版權(quán)等）等等。 基于內(nèi)容的索引又可以分為結(jié)構(gòu)索引、低層特征索引、中間層對象索引和高層語義索引，后三種索引與圖2所示的視頻內(nèi)容模型相對應(yīng)。結(jié)構(gòu)索引是指節(jié)目、場景、鏡頭、幀之間的層次結(jié)構(gòu)與關(guān)系等；低層特征索引是基于視頻信息的物理特征信息（如顏色、紋理、運動、音質(zhì)、音調(diào)等）進行索引；中間層的索引是對視頻中可識別對象（如時間、地點、人物等）的

18、索引；高層語義索引用于描述視頻中包含的事件及相關(guān)的感受。 3.3視頻對象與索引類型的關(guān)系 不同（層次）的視頻對象對應(yīng)著不同的索引，其對應(yīng)關(guān)系如表1所示。 幀的索引包含低層特征索引、中間層對象索引和高層語義索引。其中，低層特征可以自動地提取，中間層對象可以采用人工或半自動化（基于圖像識別技術(shù)）的方式進行標引，高層語義可以采用人工輸入方式進行標引。 表1視頻對象與索引類型索引 外部信息結(jié)構(gòu)索引低層特征中間層對象高層語義 對象索引索引索引索引 （代表幀） 鏡頭 場景 故事單元 節(jié)目 鏡頭的索引主要是中間層對象索引和高層語義索引。其中，鏡頭的中間層對象描述是在幀的中間層對象描述基礎(chǔ)上進行擴充，高層語義

19、可以采用人工輸入與自動提?。ㄖ饕侵咐谜Z音識別與文字識別等技術(shù)直接從視頻信息中提?。┫嘟Y(jié)合的方式生成。 場景和故事單元的索引主要有結(jié)構(gòu)索引和高層語義索引。其結(jié)構(gòu)索引用于描述鏡頭之間的關(guān)系，高層語義索引描述的是在鏡頭語義基礎(chǔ)上形成的敘事（故事）情節(jié)。 節(jié)目的索引包含外部信息索引、結(jié)構(gòu)索引和高層語義索引。 3.4索引類型與檢索方式的關(guān)系 視頻信息的檢索主要有三種類型，即結(jié)合在線相關(guān)反饋機制的基于示例的檢索（Query-by-Example）、基于關(guān)鍵詞檢索（Query-by-Keyword）和基于導(dǎo)航機制的視頻瀏覽（VideoBrowsing），它們與索引類型的對應(yīng)關(guān)系如表2所示。 表2檢索方式

20、與索引類型 索引外部信息結(jié)構(gòu)索引低層特征中間層對高層語義 索引索引象索引索引 檢索方式 示例的檢索 關(guān)鍵詞檢索 視頻瀏覽 4、存在的問題及探討 面對急劇增長的視頻信息，如何高效且合理地對其進行索引是視頻信息重用和消費的基礎(chǔ)。雖然近年來的研究已取得不少的進展，但仍然存在許多有待解決的問題。有些問題是屬于“技術(shù)”層面的，如視頻分割、代表幀提取、圖像理解、文字識別、語音識別等，有些問題是屬于“非技術(shù)”層面的，如視頻元數(shù)據(jù)標準、文本描述的規(guī)范性、視頻作品的規(guī)范化等。下面就一些“非技術(shù)性”問題進行探討。 4.1視頻信息的元數(shù)據(jù)標準 信息的索引描述是信息的元數(shù)據(jù)，索引項的確立依賴于元數(shù)據(jù)標準的制定。針對不

21、同的資源類型、不同的用途、不同的機構(gòu)建立了多種不同的元數(shù)據(jù)標準。隨著數(shù)字視頻技術(shù)的發(fā)展，針對數(shù)字視頻信息的元數(shù)據(jù)研究也在不斷地深入，并已出現(xiàn)了一些基于不同目標的元數(shù)據(jù)模式或標準，如數(shù)字電視元數(shù)據(jù)標準（DVB-SI、TV-Anytime和SMPTE等）、視頻軟硬件廠商推出的元數(shù)據(jù)標準（Apple公司的QuickTime、Microsoft公司的WindowsMedia等）以及MPEG-7等11。 由于視頻信息本身固有的復(fù)雜性，使得視頻信息在創(chuàng)建、存儲、傳輸和使用等過程中需要不同的管理信息（元數(shù)據(jù)）。筆者認為，根據(jù)視頻元數(shù)據(jù)的發(fā)展現(xiàn)狀，在研究和制定元數(shù)據(jù)標準時應(yīng)注意三點：一是這些元數(shù)據(jù)標準應(yīng)整合在

22、統(tǒng)一的框架之內(nèi)，在統(tǒng)一的視頻元數(shù)據(jù)框架基礎(chǔ)上形成面向不同應(yīng)用的子集；二是視頻元數(shù)據(jù)標準應(yīng)適應(yīng)MPEG制定的“多媒體描述框架”MPEG-7標準；三是采用通用的XML語言語法。 4.2文本索引信息的規(guī)范性 雖然基于示例的視頻檢索是最簡便的檢索手段，但用戶往往不會有現(xiàn)成的示例，且目前現(xiàn)有技術(shù)很難高效地為普通用戶提供一個初始查詢示例。目前來看，利用文本信息對視頻信息進行索引（即基于關(guān)鍵字的視頻檢索），既符合一般用戶的檢索習慣，又可借助日趨成熟的文本檢索技術(shù)。文獻3較為深入地探討了基于文本信息的視頻索引及其相關(guān)技術(shù)，特別是文本信息獲取的途徑。 在采用文本信息對視頻信息進行索引（包含外部信息索引、中間層對

23、象索引和語義索引）時，無論這些文本信息是人工輸入的，還是自動提取或生成的，均需要考慮文本描述的規(guī)范性，即如何對視頻信息的某種特征和屬性（如視頻節(jié)目的類型、流派等）進行表述。對此應(yīng)從兩個方面進行研究并制定相關(guān)的標準：一是對于一些可面向所有視頻文檔的通用屬性，應(yīng)建立相關(guān)的分類標準和詞匯表，目前TVAnytime論壇在這方面已做出了開創(chuàng)性工作，在其已制定的元數(shù)據(jù)規(guī)范（SP003v13）中已經(jīng)定義了一個獨特的文檔結(jié)構(gòu)來綜合節(jié)目描述、用戶描述、分類策略12；二是對于特定類型的視頻節(jié)目（如各種體育比賽），應(yīng)建立相關(guān)的對象、事件描述標準和詞匯表。 4.3視頻文檔的規(guī)范化 目前文本文檔的論文格式規(guī)范和著錄標準

24、（例如章節(jié)、標題的格式，每一篇論文均需要給出標題、作者、摘要、關(guān)鍵詞，等等），為文本文檔的管理、索引、檢索和瀏覽等帶來了極大的便利。 對于視頻作品（文檔）來說，也應(yīng)該且急需制定出相應(yīng)的視頻文檔規(guī)范，這包括兩個方面：一是規(guī)定視頻作品必須有著錄標準，應(yīng)能提供相應(yīng)的視頻摘要（文本的、圖像的、視頻的）、關(guān)鍵詞（關(guān)鍵幀）等元數(shù)據(jù)，作者和相關(guān)的制作人員對作品的理解最深、主題把握最準，由這些人員給出的相關(guān)信息（元數(shù)據(jù)）顯然是最為有效的視頻索引信息；二是應(yīng)制定視頻文檔的格式規(guī)范，也能像文本文檔一樣提供結(jié)構(gòu)化的信息，包括視頻的組織、結(jié)構(gòu)層次等信息。要解決視頻文檔的規(guī)范化問題，需要從兩個方面努力：一是各種規(guī)范和標

25、準；二是開發(fā)相應(yīng)的視頻“寫作”工具。 5、結(jié)語 隨著計算機處理能力、網(wǎng)絡(luò)帶寬和多媒體技術(shù)的發(fā)展，視頻信息越來越成為人們消費信息資源的主要形式之一。如何高效且合理地對視頻信息進行分析、組織和索引，以便于檢索和重用，需要多個學科人員的共同努力。目前的研究大多集中在對現(xiàn)有視頻信息進行分析與處理，以解決現(xiàn)有視頻信息的利用等問題上。筆者認為，未來視頻信息的增長將會越來越快，對于視頻信息組織與管理的研究，更需要重視新視頻標準的制定，即盡快制定出全新的、便于管理和使用的視頻文檔格式和制作規(guī)范，從根本上解決視頻信息的“無結(jié)構(gòu)”問題，并為視頻索引和檢索提供有用的信息。 【參考文獻】 1宋宜純.CCTV音像資料館業(yè)務(wù)系統(tǒng)的技術(shù)特點.http:/www.tech-/broadcast/journal/ibi/00316985.html（AccessedDec.10,2004） 2蘇新寧.視頻信息索引技術(shù)研究進展.情報學報，2004（4）:410416 3嚴明，秦嘉杭.基于文本信息的數(shù)字視頻檢