基于人工智能的移動(dòng)應(yīng)用視頻服務(wù)技術(shù)要求

3YD/Txxx-xxxx基于人工智能的移動(dòng)應(yīng)用視頻推薦服務(wù)技術(shù)要求1范圍本文件規(guī)定了基于人工智能的移動(dòng)應(yīng)用視頻推薦服務(wù)的技術(shù)框架、人工智能通用要求業(yè)務(wù)流程。本文件適用于對(duì)基于人工智能的移動(dòng)應(yīng)用視頻推薦服務(wù)進(jìn)行設(shè)計(jì)、研發(fā)和測評(píng)，也可為監(jiān)管部門第三方評(píng)估機(jī)構(gòu)對(duì)基于人工智能的視頻推薦服務(wù)活動(dòng)進(jìn)行監(jiān)督、管理、評(píng)估提供參考。2規(guī)范性引用文件下列文件對(duì)于本標(biāo)準(zhǔn)的應(yīng)用是必不可少的，凡是凡是不注日期的引用文件，其最新版本(包括所有的修改單)適用于本標(biāo)準(zhǔn)。GB/T35273-2020信息安全技術(shù)個(gè)人信息安全規(guī)范3術(shù)語和定義下列術(shù)語和定義適用于本文件。采用人工智能技術(shù)，分析、評(píng)估、預(yù)測用戶的特征，分析視頻服務(wù)平臺(tái)的視頻內(nèi)容，選將對(duì)象轉(zhuǎn)換為多維向量，用以表示對(duì)象的特征。索引池indexpool與業(yè)務(wù)場景匹配的，可推薦視頻的全集4縮略語下列縮略語適用于本文件。光學(xué)字符識(shí)別OpticalCharacterRecognitionIntellectualPro相互獨(dú)立，完全窮盡MutuallyExclusive,Collectively4YD/Txxx-xxxx基于人工智能的移動(dòng)應(yīng)用視頻推薦服務(wù)系統(tǒng)的技術(shù)框架如圖1所示基于人工智能的移動(dòng)應(yīng)用視頻推薦服務(wù)系統(tǒng)的技術(shù)框架如圖1所示百動(dòng)圖1技術(shù)框架人工智能在視頻推薦服務(wù)中可應(yīng)用于：a)智能分析模塊：b)搜索查詢處理模塊：c)視頻推薦決策模塊：d)視頻內(nèi)容呈現(xiàn)模塊；視頻內(nèi)容理解模塊、搜索查詢處理模塊、視頻召回、視頻排序應(yīng)部署于平臺(tái)側(cè)實(shí)現(xiàn)用戶分析模塊、決策生成、視頻內(nèi)容呈現(xiàn)模塊可部署于APP側(cè)，也可部署于平臺(tái)側(cè)，也可在APP側(cè)和平臺(tái)側(cè)同時(shí)部署實(shí)現(xiàn)。6視頻推薦服務(wù)人工智能通用要求對(duì)人工智能算法處理的數(shù)據(jù)，應(yīng)滿足如下要求：a)應(yīng)對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)處理，包括識(shí)別并刪除惡意樣本、識(shí)別并修復(fù)或過濾被污染數(shù)據(jù)：b)宜對(duì)訓(xùn)練數(shù)據(jù)集采取必要的保護(hù)措施，確保數(shù)據(jù)的保密性、完整性c)當(dāng)采用對(duì)比學(xué)習(xí)時(shí)，應(yīng)減少負(fù)樣本訓(xùn)練數(shù)據(jù)的隨機(jī)性，如將目標(biāo)用戶沒有正向反饋但其他用戶有正向反饋的視頻作為單獨(dú)的負(fù)樣本訓(xùn)練數(shù)據(jù)集；d)宜構(gòu)建不同于訓(xùn)練數(shù)據(jù)集的標(biāo)準(zhǔn)測試數(shù)據(jù)集，模型上線前應(yīng)通過標(biāo)準(zhǔn)測試數(shù)據(jù)集的測試e)應(yīng)構(gòu)建合理的訓(xùn)練數(shù)據(jù)集，包括但不限于數(shù)據(jù)集的規(guī)模、均衡性、準(zhǔn)確性等56YD/Txxx-xxxx結(jié)構(gòu)化分析基于人工智能的結(jié)構(gòu)化分析應(yīng)滿足以下要求a)應(yīng)支持多級(jí)類目標(biāo)簽，宜遵循MECE原則，同級(jí)類目標(biāo)簽之間相互獨(dú)立，同級(jí)類目標(biāo)簽之和無遺漏的覆蓋上一級(jí)的相應(yīng)類目標(biāo)簽；b)應(yīng)支持多維特征標(biāo)簽，如內(nèi)容主題標(biāo)簽、內(nèi)容元素標(biāo)簽、風(fēng)格標(biāo)簽、內(nèi)容形式標(biāo)簽、展示形式標(biāo)簽、IP標(biāo)簽、商品標(biāo)簽、興趣點(diǎn)標(biāo)簽、實(shí)效性標(biāo)簽等。不同維度的特征標(biāo)簽可交叉重疊可存在同義關(guān)系、相關(guān)關(guān)系、上下位關(guān)系等；如強(qiáng)/弱/無等。c)應(yīng)支持重復(fù)視頻的識(shí)別，并進(jìn)行相應(yīng)的處理；d)宜支持對(duì)知識(shí)視頻的識(shí)別，通過知識(shí)圖譜(多模態(tài)實(shí)體鏈接、層次聚類、知識(shí)點(diǎn)匹配)等技術(shù)，構(gòu)建體系化的詞條上下位關(guān)系、知識(shí)點(diǎn)關(guān)系，形成結(jié)構(gòu)化知識(shí)視頻并進(jìn)行相應(yīng)掛載e)宜支持百萬級(jí)別訓(xùn)練數(shù)據(jù)；f)模型宜支持多任務(wù)；g)宜支持百億規(guī)模參數(shù)內(nèi)容統(tǒng)一建模。7.1.2用戶分析模塊基于人工智能進(jìn)行用戶分析時(shí)，應(yīng)滿足以下要求：a)對(duì)用戶的個(gè)人信息保護(hù)應(yīng)滿足GB/T35273-2020的要求；b)應(yīng)告知向用戶提供視頻推薦服務(wù)的場景、相應(yīng)所需處理的個(gè)人信息、處理方式和目的；c)處理未成年人個(gè)人信息，應(yīng)公開專門處理規(guī)則，明示未成年人個(gè)人信息處理的目的、方式和范圍；d)處理兒童個(gè)人信息，應(yīng)征得兒童的父母或其他監(jiān)護(hù)人同意；e)應(yīng)以顯著方式告知用戶拒絕提供視頻推薦服務(wù)所必需個(gè)人信息時(shí)的后果；f)宜使用基于用戶群體特征標(biāo)簽的簡介畫像信息進(jìn)行視頻推薦服務(wù)；g)應(yīng)以顯著便捷的方式向用戶提供偏好選擇的功能，宜提供給用戶不同級(jí)別的推薦強(qiáng)度選擇；h)應(yīng)以顯著方式向用戶提供個(gè)人信息獲取權(quán)限的打開或關(guān)閉方式；1)應(yīng)支持用戶關(guān)閉個(gè)性化視頻推薦服務(wù)基于人工智能的用戶分析應(yīng)滿足以下要求：a)支持用戶選擇、刪除標(biāo)簽；b)生成針對(duì)用戶個(gè)人特征的標(biāo)簽；c)用戶標(biāo)簽不應(yīng)包含有對(duì)民族、種族、宗教、殘疾、疾病、人群行為等歧視的內(nèi)容；d)注：人群行為如低消費(fèi)水平用戶等。e)用戶標(biāo)簽不應(yīng)包含負(fù)面含義的內(nèi)容；f)應(yīng)對(duì)訓(xùn)練數(shù)據(jù)中涉及用戶個(gè)人敏感信息的數(shù)據(jù)進(jìn)行脫敏處理；g)用戶標(biāo)簽涉及敏感個(gè)人信息的，應(yīng)建立脫敏處理機(jī)制。7.2搜索查詢處理模塊7YD/Txxx-xxxx搜索查詢處理模塊應(yīng)支持以下功能：a)應(yīng)支持文本、語音等形式的搜索查詢；b)對(duì)于語音搜索查詢，通過自動(dòng)語音識(shí)別轉(zhuǎn)換為文本；應(yīng)保持搜索查詢的一致性，即語音搜索查詢的結(jié)果，與直接以同樣文本進(jìn)行搜索查詢的結(jié)果保持一致：c)應(yīng)支持搜索查詢的糾錯(cuò)：d)應(yīng)支持搜索查詢的意圖分析，包括以用戶為搜索查詢目標(biāo)的意圖和以視頻內(nèi)容為搜索查詢目標(biāo)的意圖。7.3視頻推薦決策模塊視頻展示推薦對(duì)于展示推薦的視頻推薦召回，應(yīng)滿足以下要求：a)從索引池海量視頻中檢索篩選出匹配用戶興趣的視頻b)應(yīng)支持多因素召回，包括視頻內(nèi)容、視頻類別、用戶、作者、用戶與作者的關(guān)系等c)應(yīng)支持主流的協(xié)同過濾方案，包括基于物品(視頻)的協(xié)同、基于用戶的協(xié)同、用戶到物品注：實(shí)踐中通常以用戶到物品(視頻)的協(xié)同為主要召回通路d)宜支持基于用戶與視頻交互行為生成嵌入向量：注：實(shí)踐中通常將顯式正反饋(如點(diǎn)贊、轉(zhuǎn)發(fā)等)交互行為設(shè)置更高的權(quán)重，將隱式正反饋(如觀看)o)應(yīng)支持多路召回，可靈活配置各路召回的召回規(guī)模，如直接設(shè)置個(gè)數(shù)，或是閥值設(shè)置等0宜支持在線實(shí)時(shí)的召回搜索；g)宜支持實(shí)時(shí)訓(xùn)練、實(shí)時(shí)更新h)應(yīng)提供業(yè)務(wù)規(guī)模匹配的召回處理能力。視頻搜索推薦對(duì)于搜索推薦的視頻推薦召回、應(yīng)滿足以下要求：a)從索引池海量視頻中檢索篩選出匹配用戶輸入的搜索查詢的視頻b)應(yīng)支持主流的召回方式，包括倒排素引、向量檢索、協(xié)同過濾等；c)應(yīng)支持多路召回，應(yīng)具備配置各路召回規(guī)模上限的能力；d)在倒排索引中，視頻特征應(yīng)包括視頻的自包含文本(如封面文本、標(biāo)簽文本、描述文本等)、0CR識(shí)別文本、內(nèi)容理解標(biāo)簽等；e)應(yīng)支持基于用戶歷史行為序列的個(gè)性化視頻搜索推薦；f)宜支持在線實(shí)時(shí)的召回搜索；g)宜支持實(shí)時(shí)訓(xùn)練、實(shí)時(shí)更新。視頻排序模型基于人工智能的視頻排序模型，應(yīng)根據(jù)業(yè)務(wù)特點(diǎn)，采用滿足需求的排序模型：YD/Txxx-xxxxa)當(dāng)用于粗排時(shí)，為了確保資源能夠支撐快速從召回視頻池中進(jìn)行篩選，宜采用復(fù)雜度相對(duì)較低的模型，例如基于物品(視頻)的協(xié)同相似度分析、雙塔模型等。模型使用特征相對(duì)較少耗時(shí)較短，吞吐量較高b)當(dāng)用于精排時(shí)，為了確保能夠從粗排視頻池中進(jìn)行精準(zhǔn)篩選，宜采用復(fù)雜度相對(duì)較高的模型。模型使用特征相對(duì)較多，結(jié)果精確度較高；c)宜支持百億規(guī)模的用戶行為序列樣本特征規(guī)模d)宜支持實(shí)時(shí)訓(xùn)練、實(shí)時(shí)更新e)對(duì)于視頻搜索，模型特征應(yīng)包括視頻、視頻自包含的文本、視頻內(nèi)容理解標(biāo)簽、視頻內(nèi)容理解嵌入向量、視頻自包含圖片信息(如封面)、以及搜素查詢向量等：f)對(duì)于視頻搜索，應(yīng)支持不同類目的視頻按類目相關(guān)性排序，宜支持不同類目視頻推薦數(shù)量的視頻排序策略基于人工智能的視頻排序，應(yīng)滿足以下要求a)對(duì)于視頻展示推薦業(yè)務(wù)，應(yīng)支持多因素排序，如內(nèi)容理解、作者表征、關(guān)注關(guān)系、用戶行b)應(yīng)支持多目標(biāo)排序。應(yīng)包括時(shí)長類(如播放時(shí)長、完成度、有效播放率、完播率等)、互動(dòng)類(如點(diǎn)贊率、關(guān)注率、分享率、評(píng)論率等)、營收類(如打賞率、下單率、商品交易總額)等；對(duì)于視頻搜索的業(yè)務(wù)，還應(yīng)包括搜素查詢相關(guān)性、權(quán)威性、時(shí)效性等c)應(yīng)支持多目標(biāo)的動(dòng)態(tài)優(yōu)化調(diào)整d)應(yīng)支持個(gè)性化排序策略；e)應(yīng)支持多目標(biāo)的融合，采取歸一化等方法消除不同目標(biāo)量級(jí)差異、分布差異等影響。f宜支持內(nèi)容風(fēng)控策略7.3.3決策生成決策生成模塊根據(jù)不同的服務(wù)類型進(jìn)行決策，應(yīng)滿足以下要求。a)應(yīng)支持人工干預(yù)，包括但不限于基于業(yè)務(wù)規(guī)則和價(jià)值觀的扶持、排名排序干預(yù)、內(nèi)容打壓b)應(yīng)支持識(shí)別相似視須內(nèi)容，減少相似內(nèi)容的重復(fù)推送；c)對(duì)于非搜索推薦業(yè)務(wù)，應(yīng)支持多準(zhǔn)度的打散干預(yù)。如減少重復(fù)類型內(nèi)容的推送，確保視頻類目的多樣性；控制同一作者內(nèi)容推薦的頻率；控制類似特征標(biāo)簽的視頻內(nèi)容的推送等；d)對(duì)于非搜索推薦業(yè)務(wù)，宜支持適量引入隨機(jī)內(nèi)容；e)對(duì)于非搜索推薦業(yè)務(wù)，宜支持根據(jù)網(wǎng)絡(luò)環(huán)境進(jìn)行推薦視頻的緩存，并在網(wǎng)絡(luò)異常時(shí)對(duì)緩存視頻進(jìn)行排序，按序向用戶推送緩存的視頻；播放過的視頻宜從緩存中清除；宜優(yōu)先推送上一次網(wǎng)絡(luò)異常后緩存的視頻；f)不應(yīng)設(shè)置誘導(dǎo)用戶沉迷、過度消費(fèi)的人工智能模型；g)不應(yīng)惡意屏蔽信息、不應(yīng)惡意操縱榜單以及搜索結(jié)果等；h)應(yīng)支持推薦視頻的重排；i)宜支持端側(cè)重排調(diào)整j0宜支持生成輔助展示信息，如熱度、推薦理由等；k)宜支持針對(duì)未成年人模式、適老模式等提供符合該人群特點(diǎn)的視頻內(nèi)容；1)應(yīng)支持重排后原生視頻與其他領(lǐng)域場景(如廣告營銷服務(wù)、電商推薦服務(wù)等)的混排1)原生視頻可包括自然流量短視頻、冷啟推薦、關(guān)系鏈推薦等YD/Txxx-xxxx2)混排應(yīng)考慮業(yè)務(wù)約束規(guī)則、用戶標(biāo)簽、用戶體驗(yàn)等：3)混排宜考慮原生視頻與其他服務(wù)的關(guān)系，支持過濾及重計(jì)算4)應(yīng)設(shè)置其他服務(wù)與原生視頻的最大比值：m)應(yīng)支持的視頻推薦服務(wù)包括但不限于：1)視頻內(nèi)容的個(gè)性化推送2)視頻內(nèi)容的排序精選：3)視頻內(nèi)容的檢索過濾。7.4視頻內(nèi)容呈現(xiàn)模塊基于人工智能的視頻內(nèi)容呈現(xiàn)應(yīng)滿足以下要a)應(yīng)顯著標(biāo)示個(gè)性化呈現(xiàn)的內(nèi)容：b)應(yīng)提供退出、關(guān)閉個(gè)性化視頻內(nèi)容呈現(xiàn)的方式：c)應(yīng)根據(jù)用戶設(shè)置的時(shí)間管理或時(shí)間提醒，在設(shè)置的條件觸發(fā)時(shí)向用戶推送提醒內(nèi)容7.5評(píng)估反饋模塊應(yīng)設(shè)計(jì)合理的評(píng)價(jià)體系，觀測評(píng)價(jià)指標(biāo)，反饋改進(jìn)人工智能模型。a)應(yīng)在模型上線部署前進(jìn)行評(píng)估，并在上線后定期進(jìn)行評(píng)估反饋。必要時(shí)觸發(fā)模型的優(yōu)化：b)宜支持實(shí)時(shí)訓(xùn)練和優(yōu)化；c)對(duì)于內(nèi)容理解模塊的類目標(biāo)簽。應(yīng)根據(jù)準(zhǔn)確率和覆蓋率進(jìn)行反饋和優(yōu)化：d)對(duì)于內(nèi)容理解模塊的特征標(biāo)簽。應(yīng)根據(jù)準(zhǔn)確率、覆蓋率、豐富度進(jìn)行反饋和優(yōu)化；e)對(duì)于內(nèi)容理解模塊的特征標(biāo)簽。宜對(duì)不同視頻類型設(shè)置不同的反饋優(yōu)化指標(biāo)；f)對(duì)于視頻推薦決策，應(yīng)支持綜合考慮正向、反向反饋進(jìn)行優(yōu)化；應(yīng)綜合考慮顯式反饋、隱式g)對(duì)于視頻搜索推薦，應(yīng)支持客觀指標(biāo)進(jìn)行準(zhǔn)確性的評(píng)估反饋；h)對(duì)于視頻推薦結(jié)果，宜從效率指標(biāo)，用戶體驗(yàn)指標(biāo)，內(nèi)容新穎度指標(biāo)等角度進(jìn)行推薦結(jié)果的視頻搜索推薦業(yè)務(wù)由用戶的搜索查詢輸入觸發(fā)，結(jié)合對(duì)用戶偏好的理解，向用戶返回搜