78.生成式人工智能標(biāo)識(shí)管理指南

生成式人工智能標(biāo)識(shí)管理指南一、標(biāo)準(zhǔn)名稱：生成式人工智能標(biāo)識(shí)管理指南二、項(xiàng)目提出單位：上海市經(jīng)濟(jì)和信息化委員會(huì)三、起草單位：上海市質(zhì)量和標(biāo)準(zhǔn)化研究院、上海市人工智能行業(yè)協(xié)會(huì)、上海華東電信研究院四、立項(xiàng)理由生成式人工智能，是指基于算法、模型、規(guī)則生成文本、圖片、聲音、視頻、代碼等內(nèi)容的技術(shù)。近年來，人工智能技術(shù)快速發(fā)展，為互聯(lián)網(wǎng)行業(yè)帶來了更多可能性，尤其在內(nèi)容創(chuàng)作領(lǐng)域，生成式人工智能技術(shù)降低了創(chuàng)作的門檻，豐富了互聯(lián)網(wǎng)內(nèi)容生態(tài)，為信息生產(chǎn)和傳播帶來了新的變革和機(jī)遇，數(shù)字人、AI繪畫以及火遍全球的ChatGPT都屬于生成式人工智能范疇。生成式人工智能是人工智能1.0時(shí)代進(jìn)入2.0時(shí)代的重要標(biāo)志，對(duì)經(jīng)濟(jì)和社會(huì)的發(fā)展具有重要的促進(jìn)作用，據(jù)彭博行業(yè)研究近日發(fā)布的報(bào)告顯示，未來10年內(nèi)，生成式AI市場(chǎng)規(guī)模將從2022年的400億美元，增長(zhǎng)至2032年的1.3萬億美元，年復(fù)合增速有望達(dá)到42%。上海將人工智能作為重點(diǎn)發(fā)展的三大先導(dǎo)產(chǎn)業(yè)之一，著力推動(dòng)人工智能產(chǎn)業(yè)健康發(fā)展。自2017年起，上海在全國(guó)率先布局發(fā)展人工智能產(chǎn)業(yè)，發(fā)布《關(guān)于本市推動(dòng)新一代人工智能發(fā)展的實(shí)施意見》；自2018年起，連續(xù)5年成功舉辦“世界人工智能大會(huì)”，著力建設(shè)人工智能創(chuàng)新策源、應(yīng)用示范、制度供給、人才集聚的“上海高地”；2021年，發(fā)布《上海市人工智能產(chǎn)業(yè)發(fā)展“十四五”規(guī)劃》《關(guān)于推進(jìn)本市新一代人工智能標(biāo)準(zhǔn)體系建設(shè)的指導(dǎo)意見》；2022年，審議通過了首部省級(jí)人工智能地方性法規(guī)《上海市促進(jìn)人工智能產(chǎn)業(yè)發(fā)展條例》；上海的人工智能產(chǎn)業(yè)規(guī)模已從2018年1340億元到2022年突破3800億元，年均增長(zhǎng)超29%。一方面，人工智能技術(shù)特別是生成式人工智能迅速迭代，促進(jìn)了產(chǎn)業(yè)發(fā)展和經(jīng)濟(jì)增長(zhǎng)；另一方面，伴隨生成式人工智能的發(fā)展，生成式人工智能引發(fā)的社會(huì)問題也開始涌現(xiàn)。一是生成內(nèi)容真假難辨，違法風(fēng)險(xiǎn)激增。例如，前不久，警方偵破了一起案件，犯罪嫌疑人從網(wǎng)上搜索近幾年發(fā)生過的社會(huì)熱點(diǎn)新聞事件，然后在ChatGPT軟件中輸入該事件的關(guān)鍵詞及部分文本，設(shè)置生成長(zhǎng)度和風(fēng)格，生成了一篇與之相關(guān)但不完全相同的新聞文章，并在自媒體平臺(tái)發(fā)布《今晨甘肅一火車撞上修路工人致9人死亡》虛假文章，操控社會(huì)輿論，從中賺取流量、非法牟利。從這個(gè)案例中可以發(fā)現(xiàn)，新聞等場(chǎng)景下的人工智能生成內(nèi)容很容易讓用戶無法區(qū)分虛擬與真實(shí)，讓不法分子有了可乘之機(jī)。其它場(chǎng)景的生成式人工智能也不同程度地面臨著相同或相似的問題。如何既不影響生成式人工智能技術(shù)的發(fā)展，又能夠讓普通大眾比較容易辨識(shí)人工智能生成的內(nèi)容成為亟待解決的問題。二是生成內(nèi)容形式多樣，簡(jiǎn)單標(biāo)識(shí)無法解決現(xiàn)實(shí)復(fù)雜問題。給人工智能生成內(nèi)容打上水印，幫助普通大眾區(qū)分真實(shí)和虛構(gòu)，確實(shí)是一種簡(jiǎn)單易行的做法。然而，現(xiàn)實(shí)世界是復(fù)雜的，對(duì)“水印”術(shù)語的理解不同、生成內(nèi)容的展現(xiàn)形式差異、水印的傳播的魯棒性等等因素，都會(huì)影響提示效果，因此有必要更加深入研究標(biāo)識(shí)方法和技術(shù)要求。三是生成式人工智能涉及主體眾多，需要明確責(zé)任與追蹤方式。在生成式人工智能提供服務(wù)的過程中，涉及提供者、使用者等，各方的技術(shù)能力、關(guān)注點(diǎn)和影響力都有很大的不同。生成式人工智能的使用和輸出結(jié)果可能會(huì)對(duì)用戶產(chǎn)生重要影響，因此除了從技術(shù)層面進(jìn)行標(biāo)識(shí)外，更需要規(guī)定模型開發(fā)者、訓(xùn)練數(shù)據(jù)提供者和模型使用者等相關(guān)方的責(zé)任和追溯方式，同時(shí)還需要規(guī)定出現(xiàn)問題或錯(cuò)誤時(shí)的處理流程和責(zé)任劃分。在此背景下，深入研究和編制生成式人工智能標(biāo)識(shí)方法和管理指南，明確各相關(guān)主體的責(zé)任和追蹤方式，一方面將有助于保護(hù)公眾隱私和生命財(cái)產(chǎn)安全，另一方面也將有助于在發(fā)生虛假信息傳播事件時(shí)，更快地采取行動(dòng)，促進(jìn)人工智能產(chǎn)業(yè)健康有序發(fā)展，進(jìn)而推動(dòng)標(biāo)準(zhǔn)更好服務(wù)于本市人工智能產(chǎn)業(yè)高地建設(shè)。五、主要內(nèi)容本文件確立了生成式人工智能標(biāo)識(shí)管理的基本原則、標(biāo)識(shí)分