AI視頻內(nèi)容理解的研究與實踐課件

1、AI視頻內(nèi)容理解的研究與實踐技術創(chuàng)新 變革未來第1頁，共22頁。OPERATING SYSTEMCLOUD COMPUTINGDATATECHNOLOGYTEAM$Online and Mobile Commerce PlatformBUYERSSELLERSMarketingFinancing &Payment SolutionProfessional Service ProvidersDigital EntertainmentLogisticsMobile BrowserLocation-Based第2頁，共22頁。文字 圖片 聲音 動態(tài)1080p/HDR立體聲全視角全景聲5G非結(jié)構(gòu)化信息

2、的結(jié)構(gòu)化促進高效應用?人 物 自然物理世界互聯(lián)網(wǎng)+高清 視頻+視頻+網(wǎng)絡視頻VR視頻+AI+數(shù)字世界第3頁，共22頁。4智能理解智能生產(chǎn)人：身份識別物：服化道識別自然：地標識別行為識別自動分類UGC標簽視頻指紋智能審核智能拆條描述生成智能縮略圖智能配樂集錦生成虛擬人多語言字幕生成供給、效率、成本智能播放智能分發(fā)智能推薦多模態(tài)搜索多語言搜索只看他視頻增強第4頁，共22頁。視頻行業(yè)與細分市場媒體Ai算法 產(chǎn)品鑒黃血腥暴恐旗幟共11個能力智能審核視頻指紋視頻指紋音頻指紋結(jié)構(gòu)化標簽靜態(tài)標簽動態(tài)標簽智能生產(chǎn)GIF首圖賽事集錦拆條虛擬人傳媒泛娛樂電商體育泛視頻行業(yè)阿里云渠道視頻云OSS云盾數(shù)據(jù)智能被集成輸

3、出賦能集團內(nèi)合作方彈內(nèi)業(yè)務優(yōu)酷 微博淘寶 閑魚UC圖像審核識別智能審核視頻指紋視頻關系計算視頻段落定位結(jié)構(gòu)化標簽靜態(tài)標簽：人、物、場景、字幕動態(tài)標簽：行為、事件智能生產(chǎn)賽事集錦GIF首圖拆條虛擬人媒體Ai算法能力圖像審核標簽第5頁，共22頁。01Contents目錄0203第6頁，共22頁。New Future on Cloud01第7頁，共22頁。多模態(tài)理解：視覺+語音+文本的多模態(tài)識別人、物、自然、文字的充分理解多維解構(gòu)：人、物、場景、服化 道、動作、事件、概念Open-set 識別系統(tǒng)：輕量定制化引擎人物標注視覺標簽語音識別多模態(tài)標簽文字識別視頻審核第8頁，共22頁。第9頁，共22頁。第

4、10頁，共22頁。）第11頁，共22頁。1.如何利用增量數(shù)據(jù)提升性能2.如何利用不同域數(shù)據(jù)訓練3.只對增加數(shù)據(jù)的標簽性能提升，而不影響其他標簽性能4.快速訓練，無需對所有數(shù)據(jù)重新訓練1.跨模態(tài)表征，多模態(tài)搜索2.向量化與ID化表征3.結(jié)構(gòu)化+向量化的定制化系統(tǒng)第12頁，共22頁。02New Future on Cloud第13頁，共22頁。同源相似第14頁，共22頁。第15頁，共22頁。161.2.3.4.5.6.1.視頻質(zhì)量變化noise, contrast, gamma, blur, re- encoding, rotation2.時空域變換PIP, insertion, mirroring, ratio, crop shift3.視頻拼接4.復合變換功能：短查短 短查長 長查長應用場景：版權(quán)保護、原創(chuàng)認證廣告追蹤、分成視頻去重、分發(fā)打散、搜索等結(jié)構(gòu)化的最細粒度第16頁，共22頁。第17頁，共22頁。第18頁，共22頁。03New Future on Cloud第19頁，共22頁。21進球Forward retrieval慶祝Time-space