2022可信人工智能產(chǎn)業(yè)生態(tài)發(fā)展報告

可信人工智能產(chǎn)業(yè)生態(tài)發(fā)展報告（2022年）目錄一、可信人工智能發(fā)展背景 1（一）基本內(nèi)涵 1（二）發(fā)展意義 4二、可信人工智能發(fā)展態(tài)勢 5（一）總體發(fā)展 5（二）政策規(guī)劃 9（三）技術(shù)進展 10（四）標準建設(shè) 13三、可信人工智能生態(tài)分析 16（一）基礎(chǔ)能力 16（二）算法技術(shù) 23（三）應(yīng)用場景 29（四）產(chǎn)品設(shè)備 39四、可信人工智能前景展望 49（一）未來發(fā)展趨勢 49（二）產(chǎn)業(yè)發(fā)展建議 52圖目錄圖1全球主要國家及組織可信人工智能發(fā)展動向 6圖2全球可信人工智能產(chǎn)業(yè)生態(tài)實踐圖 7圖3可信人工智能相關(guān)政策發(fā)展歷程 10圖4可信人工智能領(lǐng)域論文數(shù)量（2017-2022.4） 圖5全球/中國可信人工智能領(lǐng)域?qū)＠暾埩浚?017-2022.4） 12圖6可信人工智能領(lǐng)域?qū)＠暾埩考夹g(shù)分布（2017-2022.4） 13圖7平臺系統(tǒng)領(lǐng)域的典型可信應(yīng)用 17圖8數(shù)據(jù)要素領(lǐng)域的典型可信應(yīng)用 20圖9計算能力領(lǐng)域的典型應(yīng)用 22圖10計算機視覺領(lǐng)域典型可信應(yīng)用 24圖11智能語音領(lǐng)域的典型可信應(yīng)用 27圖12自然語言處理領(lǐng)域的典型可信應(yīng)用 28圖13智慧金融領(lǐng)域的典型可信需求與實踐 30圖14智慧醫(yī)療領(lǐng)域的典型可信需求與實踐 32圖15智慧教育領(lǐng)域的典型可信需求與實踐 35圖16智能制造領(lǐng)域的典型可信需求與實踐 36圖17智慧政務(wù)領(lǐng)域的典型可信需求與實踐 39圖18醫(yī)療設(shè)備與器械領(lǐng)域的典型可信需求與實踐 40圖19智能終端領(lǐng)域的典型可信需求與實踐 42圖20智能駕駛領(lǐng)域的典型可信需求與實踐 45圖21智能機器人領(lǐng)域的典型可信需求與實踐 46圖22虛擬現(xiàn)實設(shè)備領(lǐng)域的典型可信需求與實踐 48表目錄表1主流可信人工智能概念梳理 1表2主要國際組織可信人工智能標準進展 14可信人工智能產(chǎn)業(yè)生態(tài)發(fā)展報告（2022可信人工智能產(chǎn)業(yè)生態(tài)發(fā)展報告（2022年）PAGEPAGE10一、可信人工智能發(fā)展背景（一）基本內(nèi)涵可信人工智能并不是一個新名詞，隨著可信實踐的深入，產(chǎn)業(yè)界對可信人工智能的認識也在不斷深化。目前關(guān)于可信人工智能概念解釋繁多，我們梳理了一些具有代表性的觀點。業(yè)界除了關(guān)注透明度、隱私保護、責(zé)任、公平等方面，近年更強調(diào)“人類對可信人工智能認識及素養(yǎng)的提升”以及“對提升人工智能可信度的可持續(xù)性工具的提出”。表1主流可信人工智能概念梳理國家/組織時間文件/項目內(nèi)涵美國2019.10《人工智能原則：國防部應(yīng)用人工智能倫理建議》1）負責(zé)任；2）公平性；3）可追溯性；4）可靠性；5）可控性2021.07“可信及負責(zé)任人工智能”項目1）準確性；2）可解釋性；3）隱私；4）可靠性；5）穩(wěn)健性；6）安全性；7）減少有害偏見2021.11《人工智能指南道德標準》人工智能系統(tǒng)開發(fā)、測試和審查符合最高公平性、問責(zé)制和透明度標準歐盟2017.01關(guān)于機器人民事法規(guī)則的歐洲委員會建議1）自由；2）隱私；3）正值和尊嚴；4）自決和不歧視；5）個人數(shù)據(jù)保護2019.04《人工智能道德準則》1）受人類監(jiān)管；2）技術(shù)的穩(wěn)健性和安全性；3）隱私和數(shù)據(jù)管理；4）透明度；5）多樣性、非歧視性和公平性；6）社會和環(huán)境福祉；7）問責(zé)制日本2017.02《人工智能學(xué)會倫理指針》1）對人類的貢獻；2）遵守法律規(guī)則；3）尊重他人隱私權(quán)；4）公正性；5）安全性；6）誠信行為；7）對社會的責(zé)任2017.07《AI發(fā)展綱領(lǐng)》開發(fā)者參照技術(shù)的特性在可能的AI系統(tǒng)學(xué)習(xí)數(shù)據(jù)在內(nèi)，所形成的一切偏見和其他不當(dāng)差別對待的措施；開發(fā)者應(yīng)遵守國際人權(quán)法、國際AI系統(tǒng)是否有不符合人類價值的行為2019.03《以人為中心的人工智能社會原則》1）以人為中心；2）教育應(yīng)用；3）隱私保護；4）安全保障；5）公平競爭；6）公平；7）問責(zé)和透明；8）創(chuàng)新加拿大2018.12《可靠的人工智能草案蒙特利爾宣言》1）2）自主；3）正義；4）5）知識；6）民主；7）責(zé)任澳大利亞2019.11《澳大利亞人工智能倫理框架》1）人類、社會和環(huán)境福祉；2）以人為本的價值觀；3）4）隱私保護和安全；5）可靠性6）透明度和可解釋性；7）可爭論性；8）問責(zé)性新西蘭2020.03《新西蘭值得信賴的人工智能的指導(dǎo)原則》1）公平和正義；2）可靠性、安全性和私密性；3）透明度；4）人類的監(jiān)督和責(zé)任；5）福利韓國2020.12《國家人工智能倫理標準》1）人權(quán)保障；2）隱私保護；3）尊重多樣性；4）禁止侵權(quán)；5）社會宣傳；6）主體合作；7）數(shù)據(jù)管理；8）明確責(zé)任；9）確保安全；10）透明度中國2017.11S36香山會議中國科學(xué)院何積豐院士首次提出可信人工智能，包含人、信息、物理三大要素2019.08《人工智能行業(yè)自律公約》1）安全可控；2）透明可釋；3）；保護隱私；4）明確責(zé)任；5）多元包容2019.09《新一代人工智能倫理規(guī)范》1）增進人類福祉；2）促進公平公正；3）保護隱私安全；4）確保可控可信；5）強化責(zé)任擔(dān)當(dāng)；6）提升倫理素養(yǎng)2021.07《可信人工智能白皮書》可信人工智能是從技術(shù)和工程實踐的角度，落實倫理治理要求，實現(xiàn)創(chuàng)新發(fā)展和風(fēng)險治理的有效平衡?？尚虐煽靠煽?、透明可釋、數(shù)據(jù)保護、明確責(zé)任、多元包容5項可信要素生命未來研究機構(gòu)2017.02《阿西洛馬AI原則》安全性、故障透明性、司法透明性、責(zé)任、價值觀的調(diào)和、人類價值觀、個人隱私權(quán)、自由和隱私、共享利益、共享繁榮、人類控制、非破壞IEEE2017.03旨在推進人工智能和自治系統(tǒng)的倫理設(shè)計的IEEE全球倡議書1）2）福祉；3）4）透明；5）慎用G202019.06G20人工智能原則1）包容性增長、可持續(xù)發(fā)展及人類福祉；2）以人為本的價值觀和3）透明度和可解釋性；4）健壯性、信息安全性和物理安全性；5）問責(zé)制世界衛(wèi)生組織2021.06《健康領(lǐng)域人工智能倫理與治理指南》1）保護自主權(quán)；2）促進人類安全和福祉；3）確保透明度；4）促進問責(zé)制；5）確保公平；6）促進具有響應(yīng)性和可持續(xù)性的工具聯(lián)合國教科文組織2021.11《人工智能倫理問題建議書》1）相稱性和不損害；2）安全和安保；3）公平和非歧視；4）可持續(xù)性；5）隱私權(quán)和數(shù)據(jù)保護；6）透明度和可解釋性；7）責(zé)任和問責(zé)；8）人類的監(jiān)督和決定；9）認識和素養(yǎng)資料來源：根據(jù)公開資料整理針對人工智能產(chǎn)業(yè)現(xiàn)狀，切實結(jié)合當(dāng)前發(fā)展需求，我們認為《可信人工智能白皮書》中對“可信人工智能”的表述更為貼切，因此本報告將沿用中國信通院所提出的內(nèi)涵，即“‘可信’反映了人工智能系統(tǒng)、產(chǎn)品和服務(wù)在安全性、可靠性、可解釋、可問責(zé)等一系列內(nèi)在屬性的可信賴程度?！被谶@一內(nèi)涵，企業(yè)、院校和各類機構(gòu)等各類參與者，在人工智能產(chǎn)業(yè)各個環(huán)節(jié)中，秉持可信理念，將可信貫穿研發(fā)、生產(chǎn)、經(jīng)營等內(nèi)部全流程，落實于算力、算法、數(shù)據(jù)等產(chǎn)業(yè)核心要素中，打造出全面融合可信要素的人工智能產(chǎn)業(yè)，構(gòu)建形成了可信的人工智能產(chǎn)業(yè)生態(tài)。（二）發(fā)展意義人工智能作為新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動力量，廣泛應(yīng)用于醫(yī)療、金融、交通等領(lǐng)域，帶來了巨大的經(jīng)濟效益與社會效益。據(jù)IDC相關(guān)數(shù)據(jù)，2021年全球人工智能產(chǎn)業(yè)規(guī)模為3619億美元，并預(yù)計在2022年同比增長19.6%，超過到4300億美元。然而隨著人工智能應(yīng)用的深入，其自身的技術(shù)缺陷以及帶來的決策偏見、使用安全等問題引發(fā)了信任危機，可信成為關(guān)注焦點。技術(shù)上，算法脆弱易受攻擊帶來的危險性；黑箱模型導(dǎo)致算法不透明，使得人們無法直觀理解決策背后的原因。應(yīng)用上，訓(xùn)練數(shù)據(jù)中存在的偏見歧視導(dǎo)致公平性缺失；以人臉識別技術(shù)為代表的生物識別信息的頻繁使用增加了隱私泄露的可能。倫理上，人工智能系統(tǒng)決策復(fù)雜，難以界定責(zé)任主體，帶來倫理安全問題。構(gòu)建可信人工智能成為緩解和消除這些擔(dān)憂的必然選擇。學(xué)術(shù)界率先推開了可信人工智能的大門，在可信人工智能概念提出后，逐步推廣可信共識。2020年起，可信人工智能領(lǐng)域研究論文數(shù)量飛速增長，圍繞魯棒性、可解釋性、隱私保護等方面的技術(shù)研究持續(xù)升溫。隨著產(chǎn)業(yè)界開始落地實踐，針對人工智能產(chǎn)業(yè)化過程中的可信探索與實踐不斷成熟，融合可信要素的人工智能產(chǎn)業(yè)生態(tài)開始興起?？尚乓呀?jīng)成為人工智能產(chǎn)業(yè)發(fā)展必備要素，驅(qū)動人工智能規(guī)范發(fā)展。人工智能只有可信可靠，才能獲得可持續(xù)性發(fā)展。對用戶而言，可信要素將推動人工智能技術(shù)黑箱趨于透明，增強用戶對人工智能的信任感。對開發(fā)者而言，可解釋的人工智能有助于全生命周期的企業(yè)管理，有助于履行內(nèi)部報告和外部監(jiān)管合規(guī)義務(wù)，確保應(yīng)用和服務(wù)在最大程度上減少偏見。可信作為傳統(tǒng)領(lǐng)域數(shù)字化轉(zhuǎn)型賦能因子，培育數(shù)字經(jīng)濟新興增長點。隨著人工智能產(chǎn)業(yè)對可信的探索與實踐不斷成熟，其代表的透明度高、可解釋性強、確定性高的特性將與國防、法律、醫(yī)療等領(lǐng)域深度結(jié)合，緩解當(dāng)前應(yīng)用人工智能時所遇到的隱私保護、系統(tǒng)穩(wěn)定等問題，以可信賦能數(shù)字化轉(zhuǎn)型，甚至衍生出新的細分領(lǐng)域賽道，促進傳統(tǒng)產(chǎn)業(yè)生態(tài)健康高質(zhì)量發(fā)展，成為數(shù)字經(jīng)濟新的可持續(xù)增長點。二、可信人工智能發(fā)展態(tài)勢（一）總體發(fā)展可信人工智能處于快速發(fā)展中。2017年可信人工智能的概念正式提出后，各國積極開展研究，隨后可信理念深入到人工智能全生命周期，各項人工智能監(jiān)管指南相繼推出，2021年后融合可信要素的人工智能產(chǎn)業(yè)生態(tài)開始構(gòu)建。目前，企業(yè)已成為實踐可信人工智能的主要力量，各大高校與行業(yè)組織也在積極同步推進打造人工智能可信生態(tài)環(huán)境。資料來源：中國信息通信研究院整理圖1全球主要國家及組織可信人工智能發(fā)展動向總體來看，可信人工智能的發(fā)展與各國人工智能產(chǎn)業(yè)基礎(chǔ)緊密關(guān)聯(lián)，隨著人工智能產(chǎn)業(yè)化過程中可信要素的融入，企業(yè)日益成為可信人工智能實踐主體。以微軟、谷歌為代表的美國科技巨頭通過內(nèi)部開設(shè)人工智能倫理委員會，以及發(fā)布專注于人工智能可解釋、公平性等倫理服務(wù)及工具，開展可信人工智能探索工作；以商湯、騰訊為代表的中國頭部科技企業(yè)通過發(fā)布行業(yè)內(nèi)人工智能可解釋、AISynSenceAIGuardKnox企業(yè)致力于將安全融入到智慧交通領(lǐng)域，實現(xiàn)“零信任”；以三星2全球可信人工智能產(chǎn)業(yè)生態(tài)實踐圖在可信人工智能實踐上，世界各國高度重視，在政策、技術(shù)、標準的研究制定上均采取了相關(guān)措施。美國、歐盟、中國依托人工智能技術(shù)、人才、產(chǎn)業(yè)優(yōu)勢，在可信人工智能研究及治理實踐上處于全球領(lǐng)先，成為全球可信人工智能領(lǐng)跑者；以日本、韓國、加拿大等為代表的人工智能第二發(fā)展梯隊的追趕正在加速，試圖通過構(gòu)政策發(fā)布上，全球持續(xù)探索人工智能立法，推動可信人工智能2021算法問責(zé)法案》，再到中國深圳、上海等各地方相繼推動人工智能立法條例。各國針對人工智能算法的監(jiān)測、人工智能應(yīng)用的審查的相關(guān)監(jiān)管法規(guī)不斷技術(shù)研究上，提升人工智能系統(tǒng)穩(wěn)定性、隱私保護技術(shù)占據(jù)可信人工智能技術(shù)研究主流，可解釋性、公平性等技術(shù)研究緊隨其后。當(dāng)前以對抗訓(xùn)練、梯度屏蔽為代表的人工智能系統(tǒng)穩(wěn)定性技術(shù)穩(wěn)步發(fā)展，技術(shù)重點從數(shù)字域逐步向物理域擴展[1][2]，人工智能系統(tǒng)的穩(wěn)定性測試技術(shù)成為科技巨頭布局方向；以同態(tài)加密、多方安全計算、差分隱私等為代表的隱私安全技術(shù)發(fā)展迅速[3][4]，全球隱私計算專利數(shù)量迎來井噴；人工智能可解釋性增強技術(shù)研究當(dāng)前仍處于初期階段，以谷歌、IBM、微軟、騰訊為代表的科技巨頭推出多個AI可解釋性工具及服務(wù)；提升人工智能公平性主流方法分別從數(shù)據(jù)和技術(shù)兩方面入手，通過構(gòu)建完整異構(gòu)數(shù)據(jù)集及引入公平?jīng)Q策量化指標算法，以減輕決策偏差。標準研制上，行業(yè)組織成為可信人工智能標準重要推進者，涵蓋多個可信人工智能領(lǐng)域。國際標準化組織和國際電工委員ISO/IEC布局最早，涉及AI系統(tǒng)偏差、風(fēng)險管理、AI系統(tǒng)質(zhì)量模型、神經(jīng)網(wǎng)絡(luò)魯棒性等；電氣和電子工程師協(xié)會（IEEE）主要以隱私、可解釋為突破點；中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟（AIIA）牽頭制AIAIAI2021年起，中美兩國加快了對可信人工智能領(lǐng)域標準研制工作的步伐，美國發(fā)布《人工智能風(fēng)險管理框架概念文件》旨在降低人工智能系統(tǒng)風(fēng)險；全國信標委人工智能分委會作為中國可信人工智能標準主要研制單位，持續(xù)推動《人工智能可信賴規(guī)范第一部分：通用要求》等可信賴人工智能標準系列研究工作。（二）政策規(guī)劃2017年以來，全球各個國家（地區(qū)）在可信人工智能領(lǐng)域進行了廣泛的政策部署，內(nèi)容主要涉及倫理道德、隱私保護、負責(zé)任、公平性、安全性等層面，在實施路徑與側(cè)重點方面體現(xiàn)出了一定的特色與差異。AI全球領(lǐng)導(dǎo)地位。美國以推動快速發(fā)展、降低創(chuàng)新門檻以及成本最小化為宗旨，政府和行業(yè)共同發(fā)力。一是制定基于性能的靈活性框架，權(quán)衡AI技術(shù)創(chuàng)新利弊，以適應(yīng)AI應(yīng)用程序的快速迭代和更新；二是設(shè)立行業(yè)準則、“安全港”、靈活監(jiān)管、監(jiān)管例外、監(jiān)管豁免等內(nèi)容，促進效益最大化的同時最小化潛在風(fēng)險；三是制定可信AIAI轉(zhuǎn)型的領(lǐng)先者。一是以合法性、倫理性和魯棒性為基準制定可信人AI態(tài)提供參照；二是通過發(fā)布《走向卓越與信任—歐盟人工智能監(jiān)管AI造政策環(huán)境；三是規(guī)劃制定《人工智能法》并定位全球最高標準，我國協(xié)調(diào)發(fā)展與治理，憑借規(guī)范化治理確保人工智能可信賴。一是從規(guī)則、標準、評估、管控等層面的戰(zhàn)略角度出發(fā)，協(xié)調(diào)并明確發(fā)展與治理的關(guān)系；二是通過成立新一代人工智能治理專業(yè)委員會，為人工智能治理框架和行動指南提供技術(shù)與規(guī)則支撐，積極引AI護、網(wǎng)絡(luò)安全、數(shù)據(jù)安全等領(lǐng)域強化立法與執(zhí)法力度，構(gòu)建可信人資料來源：根據(jù)公開資料整理圖3可信人工智能相關(guān)政策發(fā)展歷程（三）技術(shù)進展當(dāng)前對于可信人工智能技術(shù)聚焦在提升人工智能系統(tǒng)穩(wěn)定性、可解釋性、隱私保護、公平性等方面，這些技術(shù)構(gòu)成了可信人工智能的基礎(chǔ)支撐能力。我們結(jié)合當(dāng)前產(chǎn)業(yè)與技術(shù)發(fā)展最新趨勢及熱點，對相關(guān)文獻及專利檢索分析，得出如下發(fā)現(xiàn)。可信人工智能領(lǐng)域論文發(fā)表量在人工智能論文發(fā)表量占比逐步2%表主要國家，占比超過全球50%?？尚湃斯ぶ悄苤饾u進入研究者視野，各大科技巨頭加速實踐落地，可信人工智能領(lǐng)域論文數(shù)量迎來井噴，2021年可信人工智能領(lǐng)域論文數(shù)量同比增長116%，在全球人工智能領(lǐng)域論文數(shù)量中占比也由2020年的0.8%提升到1.7%左右。200320224705953%數(shù)據(jù)來源：WebofScience官網(wǎng)圖4可信人工智能領(lǐng)域論文數(shù)量（2017-2022.4）1可信人工智能領(lǐng)域，中國累計專利申請量與授權(quán)量居全球首位，在全球申請數(shù)占比持續(xù)增長。全球可信人工智能領(lǐng)域?qū)＠暾埩靠焖僭鲩L，2017年至2022年49174733980%19681中國信息通信研究院根據(jù)WebofScience檢索整理?？尚湃斯ぶ悄墚a(chǎn)業(yè)生態(tài)發(fā)展報告（2022可信人工智能產(chǎn)業(yè)生態(tài)發(fā)展報告（2022年）PAGE2PAGE2中國信息通信研究院根據(jù)incoPat檢索整理。12143273%2018可信人工智能相關(guān)專利申請數(shù)量迅速增長，這或許與全球各國開始2022下降可能受部分專利申請流程存在滯后性的影響。我國在全球可信人工智能領(lǐng)域?qū)＠暾垟?shù)占比處于持續(xù)增長，這可能與我國較強的人工智能技術(shù)基礎(chǔ)、人工智能企業(yè)更加注重知識產(chǎn)權(quán)保護和我國大數(shù)據(jù)來源：incoPat圖5全球/中國可信人工智能領(lǐng)域?qū)＠暾埩浚?017-2022.4）2專利技術(shù)分布上，針對人工智能隱私保護、提升人工智能系統(tǒng)穩(wěn)定性領(lǐng)域?qū)＠紦?jù)主流，可解釋性、公平性等領(lǐng)域?qū)＠燥@落后。從可信人工智能領(lǐng)域技術(shù)來看，主要集中于隱私保護方向與人工智能系統(tǒng)穩(wěn)定性方向，隱私保護領(lǐng)域?qū)＠急?3%，人工智能系可信人工智能產(chǎn)業(yè)生態(tài)發(fā)展報告（2022可信人工智能產(chǎn)業(yè)生態(tài)發(fā)展報告（2022年）3incoPat3incoPat13統(tǒng)穩(wěn)定性領(lǐng)域?qū)＠急?1%，對于人工智能可解釋性與公平性方向?qū)＠芯枯^少。這或許與可信人工智能產(chǎn)業(yè)應(yīng)用成熟度有關(guān)，由于隱私保護與系統(tǒng)穩(wěn)定性相關(guān)技術(shù)應(yīng)用場景較為廣泛，且成熟度高，因此這兩個方向的專利申請呈集聚趨勢；而人工智能可解釋性與公平性由于相關(guān)實踐應(yīng)用落地不夠，且相關(guān)技術(shù)研究仍處于初期階段，因此針對這兩個領(lǐng)域的專利申請相對較少。數(shù)據(jù)來源：incoPat圖6可信人工智能領(lǐng)域?qū)＠暾埩考夹g(shù)分布（2017-2022.4）3（四）標準建設(shè)自2017年以來，國際標準化組織與各國政府陸續(xù)布局可信人工智能標準?？傮w來說，當(dāng)前對于可信人工智能的研究，主要涉及安全性、可靠性、公平性、透明性以及對人工智能的風(fēng)險評估等。綜合各可信人工智能相關(guān)標準看，當(dāng)前標準研究更多集中在隱私安全、倫理道德、風(fēng)險評估，以及人工智能在金融、醫(yī)療等領(lǐng)域的可信應(yīng)用；針對穩(wěn)定性、透明度等領(lǐng)域，相關(guān)標準研究稍顯不足?？尚湃斯ぶ悄墚a(chǎn)業(yè)生態(tài)發(fā)展報告（2022可信人工智能產(chǎn)業(yè)生態(tài)發(fā)展報告（2022年）PAGEPAGE14表2主要國際組織可信人工智能標準進展國家/組織時間標準領(lǐng)域ISO/IEC2020.05《信息技術(shù)人工智能人工智能可信度概述》可信概念2021.031概述》穩(wěn)定性2021.11《信息技術(shù)人工智能人工智能系統(tǒng)和人工智能輔助決策的偏見》公平性在研《信息技術(shù)人工智能風(fēng)險管理》風(fēng)險管理在研《信息技術(shù)人工智能倫理和社會關(guān)注概述》倫理道德在研《人工智能神經(jīng)網(wǎng)絡(luò)魯棒性評價第2部分：常規(guī)方法選擇方式》穩(wěn)定性IEEE在研P7000系列（15項標準）倫理道德、隱私安全、透明度、公平性、可解釋在研《可解釋人工智能結(jié)構(gòu)框架指南》可解釋在研《自適應(yīng)教學(xué)系統(tǒng)中人工智能倫理設(shè)計實踐》倫理道德2021.01《金融服務(wù)可信數(shù)據(jù)和人工智能系統(tǒng)》綜合ITU-T在研《技術(shù)報告：全同態(tài)加密技術(shù)為機器學(xué)習(xí)中的安全推理服務(wù)和數(shù)據(jù)聚合提供安全指導(dǎo)》隱私安全在研《技術(shù)報告：人工智能安全技術(shù)應(yīng)用安全管理指南》隱私安全資料來源：中國信息通信研究院整理國際標準組織以ISO/IEC、IEEE等為代表，在可信人工智能標準領(lǐng)域搶先布局。國際標準化組織和國際電工委員ISO/IEC在可信WG310AI系統(tǒng)質(zhì)量模型、神經(jīng)網(wǎng)絡(luò)魯棒性等。電氣和電子工程師協(xié)會（IEEE）主要以隱私、可解釋為突破點，其下轄工作組開展了一系列人工智能倫理相關(guān)標準研究工作。其中，P7000系列涉及倫理、透明度、隱私、安全機制等，是可信人工智能領(lǐng)域倫理20224月，IEEEP700015SG17工智能安全視為未來重要工作方向，因此致力于研究相關(guān)隱私安全20224月，SG17美國、歐盟具備依托人工智能領(lǐng)域領(lǐng)先優(yōu)勢，加強在可信人工智能領(lǐng)域標準研究，構(gòu)建可信人工智能生態(tài)。美國國家標準和技術(shù)研究院（NIST）隸屬于美國商務(wù)部，在美國政府支持下進行人工智2018NIST項目，涉及人工智能系統(tǒng)安全性、可解釋性、透明性等標準；2021年NIST發(fā)布《人工智能風(fēng)險管理框架概念文件》等報告，旨在建立可信賴負責(zé)任的人工智能框架，打造可信人工智能生態(tài)，維持美國在全球人工智能領(lǐng)域領(lǐng)導(dǎo)地位。歐盟從倫理向監(jiān)管推進，搶占全球倫理規(guī)則主導(dǎo)權(quán)。從《人工智能道德準則草案》到《人工智能法》草案，歐盟希望通過搶占全球倫理規(guī)則主導(dǎo)權(quán)，構(gòu)建“卓越生態(tài)系統(tǒng)”和“信任生態(tài)系統(tǒng)”，將歐洲建設(shè)成為全球人工智能研究中國科研機構(gòu)及相關(guān)企業(yè)積極參與可信人工智能領(lǐng)域相關(guān)標準制定，涉及隱私安全、算法安全、風(fēng)險管理、行業(yè)應(yīng)用等多個方面，標準類型囊括國際標準、國家標準、行業(yè)標準等各類型，參與者覆蓋了中國信通院、電子標準院等各類研究機構(gòu)，以及華為、百度、阿里等人工智能頭部企業(yè)。三、可信人工智能生態(tài)分析可信已經(jīng)在人工智能產(chǎn)業(yè)各個環(huán)節(jié)中落地，貫穿研發(fā)、生產(chǎn)、經(jīng)營等內(nèi)部全流程，打造出全面融合可信要素的人工智能產(chǎn)業(yè)，涵蓋基礎(chǔ)能力、理論技術(shù)、應(yīng)用場景與產(chǎn)品設(shè)備等多元化模塊。其中，基礎(chǔ)能力提供基于不同業(yè)務(wù)需求的“最優(yōu)可信設(shè)計”，構(gòu)筑“安全、透明、可追蹤、可計量”的數(shù)據(jù)體系，不斷提升可信計算效能。算法技術(shù)在隱私保護、數(shù)據(jù)標注、精準識別、噪聲處理等方面不斷提升算法公平性、穩(wěn)定性與可解釋性水平[5][6][7]。應(yīng)用場景方面目前已涌現(xiàn)出面向隱私安全保護、風(fēng)險識別與控制、數(shù)據(jù)傳輸與共享等的諸多案例[8][9]，并已在金融、醫(yī)藥、教育、制造等領(lǐng)域?qū)崿F(xiàn)商業(yè)化應(yīng)用。產(chǎn)品設(shè)備方面已逐步滲透至醫(yī)療設(shè)備與器械、智能終端、智能駕駛、智能機器人、虛擬現(xiàn)實設(shè)備等領(lǐng)域，打造兼具穩(wěn)定性、合規(guī)性、可解釋性等特征的功能體系。（一）基礎(chǔ)能力平臺系統(tǒng)人工智能平臺和系統(tǒng)通過搭建云邊端協(xié)同模式，保證模型在不同的現(xiàn)實環(huán)境中都能部署和運營，幫助企業(yè)和開發(fā)者將精力聚焦在算法開發(fā)、模型驗證和業(yè)務(wù)運營中，有效提升研發(fā)實施效率。近年來，隨著機器學(xué)習(xí)和深度學(xué)習(xí)算法的深入實踐，以及預(yù)訓(xùn)練模型、低代碼/無代碼接口、自助服務(wù)和生命周期自動化工具的快速發(fā)展，與人工智能平臺發(fā)展相互促進，更具有可信屬性的人工智能平臺系統(tǒng)迅速發(fā)展。目前，人工智能平臺系統(tǒng)與可信理念的融合在數(shù)據(jù)處理、模型構(gòu)建、部署和支撐服務(wù)等方面還面臨不少挑戰(zhàn)。數(shù)據(jù)處理方面，數(shù)據(jù)接入、數(shù)據(jù)分析、數(shù)據(jù)管理和數(shù)據(jù)標注已經(jīng)普遍實現(xiàn)，團隊標注成為標配，數(shù)據(jù)預(yù)處理的自動化實現(xiàn)和無監(jiān)督數(shù)據(jù)增強還需要持續(xù)探索。模型構(gòu)建方面，雖然現(xiàn)有人工智能平臺和系統(tǒng)普遍配置了豐富框架和算法，支持交互式、可視化、自動化多種開發(fā)模式和單機/分布式多種訓(xùn)練方式，但是模型評估建議能力和可解釋性還需要增強，特別是面向文本、語音和視頻場景的自動學(xué)習(xí)建模模版能力。此外，還需要提升基于規(guī)則的模型自動更新和模型在端云設(shè)備的協(xié)同部署能力，加強GPU虛擬化和池化，優(yōu)化數(shù)據(jù)和模型的安全性。資料來源：中國信息通信研究院整理圖7平臺系統(tǒng)領(lǐng)域的典型可信應(yīng)用人工智能企業(yè)主要圍繞業(yè)務(wù)生命周期，重點構(gòu)建系列可信能力。一是將內(nèi)置模型保護于框架中，實現(xiàn)模型的安全、可信，通過魯棒性評測、對抗測評、對抗訓(xùn)練、模型加密等方法增強模型保護能力，為人工智能模型安全性評估和增強提供支持。以對抗訓(xùn)練為例[10][11]，通過在輸入上進行梯度上升，在參數(shù)上進行梯度下降，從而向增大損失的方向增加擾動。二是搭建混合引擎架構(gòu)，實現(xiàn)跨場景可信協(xié)同，集成運用隱私評估、差分訓(xùn)練、聯(lián)邦學(xué)習(xí)等多種技術(shù)方法[9][11][12][13][14][29]，通過數(shù)據(jù)安全交換協(xié)議有效利用多源數(shù)據(jù)，僅協(xié)同經(jīng)過處理后的、不帶有隱私信息的梯度和模型信息，在保證用戶隱私數(shù)據(jù)保護的前提下實現(xiàn)跨場景協(xié)同。一些場景和平臺中，也選擇加入?yún)^(qū)塊鏈技術(shù)實現(xiàn)全流程的可記錄、可驗證、可追溯、可審計，以證書授權(quán)實現(xiàn)雙向認證，確保參與方身份真實性。三是整合運用多種可解釋技術(shù)，全面提升可解釋性，融合語義級可解釋技術(shù)、可解釋方法工具集等技術(shù)，建立適當(dāng)可視化機制嘗試評估和解釋模型的中間狀態(tài)，整合數(shù)據(jù)治理、資源管理和應(yīng)用管理核心能力，大幅提高模型的可解釋性，讓用戶更理解、信任并有效地使用模型。早在2016年起，谷歌、IBM、微軟、騰訊等科技巨頭就相繼推出可解釋性工具與服務(wù)，探索人工智能算法可解釋化。四是持續(xù)加強虛擬化和池化，提升運營維護和運營調(diào)度的可信能力，將服務(wù)器等物理資源抽象成邏輯資源，通過區(qū)分優(yōu)先次序并及時調(diào)度分配工作負載，讓CPU、內(nèi)存、磁盤等硬件變成可以動態(tài)管理的“資源池”，并實現(xiàn)計算資源的隔離。數(shù)據(jù)安全數(shù)據(jù)是人工智能三大要素之一。人類把需要計算機識別和分辨的內(nèi)容打上標簽，讓計算機不斷地識別這些特征標簽，從而讓計算機“學(xué)會”人類的理解和判斷。只有經(jīng)過大量的訓(xùn)練，人工智能算法才能總結(jié)出規(guī)律并順利應(yīng)用到新的樣本上，因此，大量、多種可信人工智能在數(shù)據(jù)安全治理方面的應(yīng)用主要集中在基于傳統(tǒng)的人工方式難以處理的規(guī)模龐大、類型復(fù)雜的數(shù)據(jù)資產(chǎn)管理與分類分級，涉及安全、隱私計算、存證溯源、數(shù)據(jù)控制、計算處理等多種技術(shù)[15][16][17]。在《網(wǎng)絡(luò)安全法》《數(shù)據(jù)安全法》《個人信息保護法》等一系列法律法規(guī)和政策文件出臺后，金融、電信、工業(yè)等行業(yè)均已出臺行業(yè)標準，形成以法律法規(guī)和行業(yè)標準為引導(dǎo)加快推進可信進展的局面。企業(yè)主要以訓(xùn)練樣本合成、可信多位標簽、存儲治理追蹤、智能巡檢與兜底等方式，通過建設(shè)自動化的數(shù)據(jù)分類分級能力，確保分散在組織各處各層面的各類數(shù)據(jù)能夠被及時發(fā)現(xiàn)和?？尚咆灤?shù)據(jù)采集、標注、存儲和巡檢全過程。在數(shù)據(jù)采集環(huán)節(jié)，以訓(xùn)練樣本合成替代敏感數(shù)據(jù)采集。由于部分數(shù)據(jù)涉及到身份證號碼、住址等個人隱私信息，敏感程度很高，收集難度極大，因此在數(shù)據(jù)收集階段，業(yè)內(nèi)主要使用公開樣本數(shù)據(jù)和自主合成樣本的方法，一方面收集和使用相關(guān)公開賽事的數(shù)據(jù)樣本，另一方面開發(fā)隱私數(shù)據(jù)訓(xùn)練樣本自動合成算法來模擬真實樣本數(shù)據(jù)。為解決數(shù)據(jù)量不足的困難，大多選擇使用旋轉(zhuǎn)、加噪等數(shù)據(jù)增強方法來擴充訓(xùn)練樣本。通過構(gòu)建可信的多維標簽體系，進行靈活的數(shù)據(jù)分類分級，融合目標檢測、光學(xué)字符識別、圖像分類、人臉識別、文本校驗、風(fēng)格識別等算法模型，結(jié)合多方信息聯(lián)合判定校驗，輸出多維度標簽，進一步提升隱私數(shù)據(jù)識別和治理的準確性，克服單一模型難以應(yīng)對復(fù)雜的分級場景和不同治理需求、解釋性較弱的問題。嚴格執(zhí)行分級加密存儲和明暗水印追蹤，對于分類分級識別后的高敏感數(shù)據(jù)，通常需要經(jīng)過加密后進行存儲，基于區(qū)塊鏈、數(shù)據(jù)沙箱等技術(shù)，實現(xiàn)長久穩(wěn)固儲存、全方位安全防護、安全共享；在文件分發(fā)流轉(zhuǎn)過程中，添加對應(yīng)的明暗水印以便數(shù)據(jù)泄露后展開追蹤調(diào)查。強化智能巡檢與兜底，推動可信能力的持續(xù)建設(shè)與優(yōu)化，依賴安全運營專家人工驗證需要耗費大量的人力，面對新增業(yè)務(wù)數(shù)據(jù)也很難及時發(fā)現(xiàn)異常，極易漏審、誤審；通過智能巡檢和兜底機制，將安全專家經(jīng)驗與機器學(xué)習(xí)能力相結(jié)合，并結(jié)合黑盒驗證、紅藍演練等推動可信能力的持續(xù)建設(shè)與優(yōu)化。資料來源：中國信息通信研究院整理圖8數(shù)據(jù)要素領(lǐng)域的典型可信應(yīng)用計算能力人工智能發(fā)展的關(guān)鍵要素是數(shù)據(jù)，而讓數(shù)據(jù)發(fā)揮作用的關(guān)鍵則是算力。目前，各行各業(yè)都存在更多維度、更大深度的智能需求，而在這背后需要更多的算力來為人工智能算法提供處理能力。算力已經(jīng)成為助推經(jīng)濟發(fā)展的動力，據(jù)中國信通院測算，在算力中每投入1元，可帶動3-4元經(jīng)濟產(chǎn)出，“算力正成為數(shù)字經(jīng)濟時代的重要驅(qū)動力”已成為共識。在這種情況下，以人工智能芯片為代表的計算架構(gòu)也承擔(dān)了越來越多的敏感數(shù)據(jù)計算職能，對可信有極大的需求。例如，智能駕駛場景下，從感知系統(tǒng)進行數(shù)據(jù)收集，到車載計算平臺實時處理，再到快速傳輸分析結(jié)果，每一個環(huán)節(jié)都離不開人工智能芯片的支持；由于智能駕駛場景較為復(fù)雜，一旦失效可能引發(fā)嚴重后果，對穩(wěn)定性有很高要求?；诖耍⒖尚胖悄苡嬎隳芰Τ蔀槿斯ぶ悄芩懔Πl(fā)展的一大趨勢，歐盟委員會人工智能高級專家組（AIHLEG）于2019年和2021年發(fā)布的《可信人工智能政策投資建議》和《人工智能聯(lián)合計劃》就建議共同研發(fā)邊緣端AI芯片，從基礎(chǔ)軟AI系統(tǒng)。資料來源：中國信息通信研究院整理圖9計算能力領(lǐng)域的典型應(yīng)用可信執(zhí)行環(huán)境（TrustedExecutionEnvironment，TEE）是人工智能芯片常見的可信技術(shù)，是密碼學(xué)與系統(tǒng)安全的結(jié)合，通過軟硬件方法在中央處理器中構(gòu)建安全區(qū)域，保護內(nèi)部加載程序和數(shù)據(jù)的機密性與完整性，隔離的硬件設(shè)備提升了可信計算抵御攻擊的能力，同時也可避免額外的通信過程以及公鑰密碼學(xué)中大量的計算開TEEX86IntelSGXARMTrustZone框架取得階段性進展，構(gòu)建系列可信能力，英特爾可信計算框架（TCF）將密集運算和隱私數(shù)據(jù)處理工作轉(zhuǎn)移至區(qū)塊鏈下，以此解決區(qū)塊鏈的可擴展性和隱私問題，并使用可信執(zhí)行環(huán)境保證網(wǎng)絡(luò)彈性和安全性；模型部署上，模型訓(xùn)練工具鏈遷移能力不足，對數(shù)據(jù)隔離條件下的訓(xùn)練、敏感數(shù)據(jù)的加密訓(xùn)練等都未能提供有效支持，需要通過開放模型生產(chǎn)工具鏈平臺，向上對接訓(xùn)練數(shù)據(jù)協(xié)議、向下具備規(guī)范模型安全、模型格式等能力。目前，全球首個內(nèi)存安全的可信安全計算服務(wù)框架MesaTEE利用IntelSGXHMS內(nèi)存安全技術(shù)，兼顧云上數(shù)據(jù)代碼完整性、保密性和內(nèi)存安全帶來的不可AI框架MindSporeCCEAL2+證書的人工智能框架。通用的和可解釋的智能芯片設(shè)計流程將成為下一個發(fā)展重點。許多芯片設(shè)計為了適應(yīng)不斷變化的模型結(jié)構(gòu)，需要在設(shè)計的通用性和效率之間尋求平衡，帶來較大設(shè)計難度。未來，可信的智能芯片設(shè)計可能使用神經(jīng)符號化方法構(gòu)建可組合的模型，將芯片轉(zhuǎn)變?yōu)橛蓪?yīng)算法、具有可解釋硬件模塊的集合，從而在保（二）算法技術(shù)計算機視覺計算機視覺技術(shù)囊括很多能夠理解圖像（包括圖片和視頻）的算法[23][27][28][30]，得益于深度學(xué)習(xí)技術(shù)的不斷進步，計算機視覺在近些年飛速發(fā)展，在感知領(lǐng)域的研究已經(jīng)相對成熟，內(nèi)容合成與圖像識別等某些人工智能任務(wù)已經(jīng)能夠通過圖靈測試，并在金融、安防、制造等場景中落地，擁有一批相對成熟的產(chǎn)品應(yīng)用。在為生產(chǎn)生活帶來便利的同時，計算機視覺算法的應(yīng)用也在隱私泄露、識別失效、偏見歧視等方面引發(fā)新關(guān)注。例如，在商業(yè)零售領(lǐng)域?qū)τ脩粼诓恢榈那闆r下進行人臉識別和營銷活動等產(chǎn)生了個人信息和隱私保護問題，造成了惡劣的社會影響。面具仿冒、對抗樣本攻擊可能造成識別失效，此外，也可能涉及到針對不同人種、老年人的偏見歧視等倫理問題，美國一些零售店和警務(wù)工作中使用的面部識別技術(shù)會錯誤識別黑人，引發(fā)了抗議和監(jiān)管。資料來源：中國信息通信研究院整理圖10計算機視覺領(lǐng)域典型可信應(yīng)用為了增強計算機視覺算法的可信能力，產(chǎn)業(yè)界進行了多種嘗試，不斷提升計算機視覺算法可信水平，為重要產(chǎn)品提供核心能力支撐。一是通過聯(lián)合解譯和認知推理深入理解場景或事件，增強可解釋性，人造物體和場景設(shè)計中暗含了潛在的、未以像素表示的實體和關(guān)系（近似于人類的常識），通過推理這些可見像素以外的不可見因素，使用有限的數(shù)據(jù)來實現(xiàn)各種任務(wù)的泛化[17][18][19][26]，形成“以小數(shù)據(jù)驅(qū)動大任務(wù)”的新型范式。二是采用數(shù)學(xué)可證明的形式，融合不同形態(tài)的噪聲進行改造，以掩碼等方法使其滿足不可逆、可撤銷、不可關(guān)聯(lián)等特性，提升模型魯棒性，避免樣本不均衡，實現(xiàn)安全、可信且準確率高的識別。三是對于已有的生物識別系統(tǒng)，可以應(yīng)用安全多方計算和同態(tài)加密等技術(shù)手段，在生物特征的密文狀態(tài)下進行計算，并將最終結(jié)果恢復(fù)成明文，有效保護原始生物特征的安全。在實際應(yīng)用中，同態(tài)加密與安全多方計算經(jīng)常結(jié)合使用，在金融領(lǐng)域反洗錢和跨實體欺詐分析、抗擊新冠疫情敏感健康數(shù)據(jù)等場景下得到應(yīng)用。四是形成行業(yè)合力，推進與不同風(fēng)險場景、主體結(jié)合的分級分類標準建設(shè)，例如，上海在全國率先立項人臉識別地方標準《公共場所人臉識別分級分類應(yīng)用規(guī)范》，積極探索使用主體和實施主體對公共場所人臉識別系統(tǒng)的分級分類應(yīng)用原則，并提出相應(yīng)的評估方法；中國信通院發(fā)起成立“可信人臉應(yīng)用守護計劃”，聯(lián)合多方力量，通過標準制定、測試評估和行業(yè)自律等手段，共同規(guī)范人臉應(yīng)用健康發(fā)展。智能語音智能語音技術(shù)是人工智能主要算法技術(shù)之一，從最初只能識別孤立的數(shù)字以及有限的詞匯，逐步發(fā)展到通過聲音模式和特征設(shè)置參數(shù)實現(xiàn)基于大量詞匯的連續(xù)語音識別，再到基于概率統(tǒng)計建模、基于深度學(xué)習(xí)的識別。目前，智能語音算法已經(jīng)逐步成熟，在移動設(shè)備、汽車、家居等C端場景以及呼叫中心、在線客服等B端場景深入賦能，并逐漸滲透到安防、旅游、法律等行業(yè)中。語音識別穩(wěn)定性、語音詐欺等問題成為焦點。語音識別的魯棒性問題顯著，業(yè)內(nèi)普遍宣稱的高準確率，更多是在安靜室內(nèi)近場識別中實現(xiàn)的，在真實使用場景中則要考慮遠場、方言、噪音、斷句等問題，準確率會大打折扣。語言往往一詞多義，語音分析目前主要是淺層處理，詞義消歧依然是瓶頸，想要讓機器像人一樣運用知識儲備結(jié)合上下文進行理解和交互，還需要更多的探索。此外，隨著各種語音合成工具的普及，語音合成濫用等語音欺詐問題也隨之而來，成為產(chǎn)業(yè)發(fā)展關(guān)注的焦點問題。為解決以上問題，企業(yè)先后開展探索，積累了一批成功經(jīng)驗。一是向用戶充分告知相關(guān)風(fēng)險，通過簽署協(xié)議等方式對數(shù)據(jù)的采集和使用進行限制，允許用戶對何時和如何上傳使用語音信息做出選擇，例如設(shè)置手動關(guān)閉語音采集裝置的開關(guān)、允許不自動升級、只有在用戶允許的情況下進行語音的采集和識別。二是在數(shù)據(jù)存儲、處理和刪除等方面遵循各類法律法規(guī)的規(guī)定，推進技術(shù)向善，嚴格按照個人信息保護法、數(shù)據(jù)安全法、網(wǎng)絡(luò)安全法、個人信息安全規(guī)GDPRCCPA業(yè)務(wù)。例如，《網(wǎng)絡(luò)音視頻信息服務(wù)管理規(guī)定》對基于新技術(shù)新應(yīng)用制作、發(fā)布、傳播音視頻信息明確了安全評估、標識、信息管理、辟謠等方面的要求，避免利用智能語音技術(shù)侵害他人合法權(quán)益。三是嘗試基于大規(guī)模無標注訓(xùn)練，語音領(lǐng)域的無監(jiān)督學(xué)習(xí)成功案例較少，有監(jiān)督訓(xùn)練成本較高，因此，半監(jiān)督學(xué)習(xí)獲得廣泛關(guān)注，即在海量無標簽數(shù)據(jù)上訓(xùn)練大規(guī)模通用預(yù)訓(xùn)練模型，并對少量有標簽數(shù)據(jù)進行精細調(diào)整，從而更好地強化訓(xùn)練效果，提升可信能力。這種利用少量帶標注數(shù)據(jù)來訓(xùn)練大量無標注數(shù)據(jù)的超大規(guī)模自監(jiān)督學(xué)習(xí)技術(shù)已展現(xiàn)出很強的通用學(xué)習(xí)能力。四是語音對抗攻擊與防御技術(shù)獲得更多關(guān)注，語音領(lǐng)域的對抗攻擊將從當(dāng)前的白盒攻擊，進?步進化成黑盒攻擊，攻擊內(nèi)容將從當(dāng)前流行的untarget攻擊進化成target攻擊。基于這些嘗試，智能語音正在從以往基于語音交互的智能輔助工具形態(tài)進化為基于虛擬人多模態(tài)交互的智能助手形態(tài)。資料來源：中國信息通信研究院整理圖11智能語音領(lǐng)域的典型可信應(yīng)用自然語言處理自然語言處理是人工智能從感知邁向認知的關(guān)鍵技術(shù)，近年來，自然語言處理加快與知識圖譜等的融合，推動機器翻譯、對話系統(tǒng)、閱讀理解等技術(shù)在特定任務(wù)上超越人類水平，從而持續(xù)提升在搜索引擎、對話交互、個性推薦等場景的性能，并隨著全球各地協(xié)同發(fā)展和語言文化交流融合而不斷培育出新的需求。自然語言處理在發(fā)展過程中還存在不少技術(shù)挑戰(zhàn)，其中之一便是很難獲取到大量高質(zhì)量的標注數(shù)據(jù)。自然語言處理領(lǐng)域認知類任務(wù)較多，數(shù)據(jù)標注的時間成本和人力成本相較與語音識別、圖像處理等感知類任務(wù)更大。從可信人工智能的視角來看，自然語言處理發(fā)展仍存在建模、融合、消除歧視等挑戰(zhàn)。一是自然語言語義空間寬泛，依賴特定語料學(xué)習(xí)，通用性和遷移性存在瓶頸，難以有效建模；二是自然語言涉及多種模態(tài)，跨模態(tài)關(guān)系抽取、語義理解等技術(shù)還缺乏深層結(jié)構(gòu)分析，難以精準融合；三是大型預(yù)訓(xùn)練模型可能導(dǎo)致對性別、種族和年齡等受保護屬性的偏見，例如一項研究表明，通過某特定報紙和一家面向老年人的報紙訓(xùn)練的自然語言處理結(jié)果脫離了年輕人和女性的交流方式。資料來源：中國信息通信研究院整理圖12自然語言處理領(lǐng)域的典型可信應(yīng)用目前，自然語言處理領(lǐng)域中已經(jīng)開展了不少可信相關(guān)工作?？山忉屝苑矫?，采用特征重要性、替代模型、樣例驅(qū)動、溯源、陳述probingtask理解能力，尋找簡單的替代模型或者將模型的局部分類面簡化；理RNN[18]最終決策的貢獻量；注意力機制模擬人類理解語言時會集中注意到一些關(guān)鍵詞的行為，在一系列任務(wù)上顯著提升模型性能[19]。此外，還可以模仿人類解決問題的過程進行可解釋的結(jié)構(gòu)設(shè)計，由于該架構(gòu)包含模擬人類認知的組件，學(xué)習(xí)到的模型（部分）可解釋。公平性方面，擴大和豐富樣本數(shù)據(jù)來源，并對樣本進行偏移，識別和減輕偏見，擴大自然語言樣本來源范圍和種類，除了常見的社交媒體、報紙等數(shù)據(jù)來源，將樣本來源進一步擴大到維基百科、城市字典(UrbanDictionary)，甚至圣經(jīng)和古蘭經(jīng)的解釋及公開雜志[20]。在預(yù)訓(xùn)練模型使用的各個階段盡可能消除偏見[21]，一些算法可以在保持有用信息的同時，修改實際矢量以刪除定型信息，實現(xiàn)對模型的偏移，從而改善公平性?？煽啃苑矫妫颖緦W(xué)習(xí)性能和魯棒性提升，同時出現(xiàn)了很多能夠可靠評估模型的方法，性能指標逐漸由單一轉(zhuǎn)向多元。通過數(shù)據(jù)增廣、增加先驗知識等實現(xiàn)小樣本學(xué)習(xí)性能和魯棒性的提升，有效避免故障模式的發(fā)生。以欺詐短信分類識別場景為例，通過對公開的短信數(shù)據(jù)進行改造，對樣本量少的類別進行過采樣操作，以及綜合使用Macro-F1等多分類的評價函數(shù)、FastText算法等技術(shù)，能夠有效提升模型的穩(wěn)定性[22]。隨著近年來自然語言處理模型的快速改進，基準度量能力也在不斷提升，動態(tài)對抗性評估、社區(qū)驅(qū)動型評估、跨多種錯誤類型的交互式細粒度評（三）應(yīng)用場景智慧金融人工智能驅(qū)動金融服務(wù)應(yīng)用程序已經(jīng)成為金融創(chuàng)新的一大趨勢，在金融產(chǎn)品設(shè)計、市場營銷、風(fēng)險管理、客戶服務(wù)和其它支持性活動等金融行業(yè)主要業(yè)務(wù)鏈條均有落地，生物特征識別、知識圖譜、智能語音等技術(shù)已經(jīng)衍生出智能營銷、智能客服等典型場景。人工智能賦能金融業(yè)的深度逐漸加深，金融系統(tǒng)復(fù)雜性日益提升，對金融市場的公平性、透明度和穩(wěn)定性提出了新的挑戰(zhàn)。依托可信人工智能適當(dāng)和透明的設(shè)計能夠合理規(guī)避風(fēng)險，增進消費者保護和信任。一方面，通過解釋人工智能算法如何開發(fā)與運作，能夠促進建立對人工智能應(yīng)用的信任，整體提升金融市場的可信度；另一方面，減少人工智能結(jié)果的偏見，避免產(chǎn)生歧視性結(jié)果及市場趨同和羊群行為，從而確保市場的穩(wěn)定性和可復(fù)現(xiàn)性。資料來源：中國信息通信研究院整理圖13智慧金融領(lǐng)域的典型可信需求與實踐可信人工智能在金融領(lǐng)域的實踐主要集中于業(yè)務(wù)運營、風(fēng)險管控、銷售營銷等環(huán)節(jié)。在業(yè)務(wù)運營環(huán)節(jié)，匿蹤私密查詢等技術(shù)能夠保護用戶隱私，防止用戶信息被誤用濫用。金融機構(gòu)在聯(lián)合運營商、政務(wù)機構(gòu)、保險機構(gòu)、支付機構(gòu)等獲取相關(guān)客戶信息解決日常業(yè)務(wù)的過程中，使用匿蹤私密查詢技術(shù)對查詢方的客戶身份ID進行混淆加密，使數(shù)據(jù)源方無法確切知道客戶信息，有效避免客戶身份ID信息泄漏。通過不可更改的固件安全啟動、硬件加密算法保證的加密信任鏈以及離線簽名的加解密算法，保證系統(tǒng)運行環(huán)境的無人為篡改和可信安全性。在風(fēng)險管控環(huán)節(jié)，通過聯(lián)合計算與統(tǒng)計解決風(fēng)險信息不對稱問題，豐富目標主體風(fēng)險評價信息維度，提升金融服務(wù)的普惠性和公平性。通過安全求交等技術(shù)[24][25]，橫縱向打通不同領(lǐng)域數(shù)據(jù)，從而實現(xiàn)金融機構(gòu)風(fēng)控信息的全面補充，形成跨行業(yè)線上線下真實經(jīng)營數(shù)據(jù)信息的評估鏈條，交換機器學(xué)習(xí)參數(shù)，提升對目標主體信貸風(fēng)險洞察能力，實現(xiàn)本行優(yōu)質(zhì)高潛客戶挖掘，有效緩解中小銀行客戶相對資質(zhì)稍差的問題。支付服務(wù)環(huán)節(jié)，以注入式攻擊防御方案增強支付系統(tǒng)安全穩(wěn)定性。針對刷臉支付等新型支付潮流和潛在的注入式攻擊威脅，金融機構(gòu)主要采用整套防控方案，既包含硬件環(huán)境檢測+傳感器參數(shù)+圖像視覺特征融合的多模態(tài)防控方案+TEE+暗水印，又融合隱式多幀、微表情等算法創(chuàng)新，可以防御99.9%的注入式攻擊。智慧醫(yī)療人工智能作為一種“通用”技術(shù)，幾乎滲透醫(yī)療系統(tǒng)所有領(lǐng)域，從臨床決策到生物醫(yī)學(xué)研究和衛(wèi)生系統(tǒng)管理等，將臨床醫(yī)生從非臨床事務(wù)中解放出來，在影像診斷、藥物發(fā)現(xiàn)、腫瘤診治等行醫(yī)過程中甚至具有更高的效率。如何在人工智能可信框架內(nèi)規(guī)范智慧醫(yī)療，高效發(fā)揮人工智能技術(shù)作用至關(guān)重要。可信治理框架強調(diào)透明度、信任的重要性，可信人工智能在醫(yī)療領(lǐng)域的推廣能夠在保護數(shù)據(jù)隱私的同時打通數(shù)據(jù)群島、實現(xiàn)數(shù)據(jù)價值、提升醫(yī)療算法的可解釋性，從而提高社會整體醫(yī)療水平與效率。目前，醫(yī)療行業(yè)內(nèi)存在數(shù)據(jù)共享難、分析難的困境，并伴隨著醫(yī)療數(shù)據(jù)異構(gòu)、類型復(fù)雜等問題。資料來源：中國信息通信研究院整理圖14智慧醫(yī)療領(lǐng)域的典型可信需求與實踐可信人工智能在醫(yī)療領(lǐng)域的運用主要體現(xiàn)在醫(yī)療輔助診斷、藥物發(fā)現(xiàn)與罕見病治療方面。醫(yī)療輔助診斷方面，可信人工智能能夠?qū)崿F(xiàn)高質(zhì)量醫(yī)療服務(wù)的標準化，緩解地區(qū)醫(yī)療水平發(fā)展不平衡的問題。通過數(shù)字化、標準化的專家經(jīng)驗和知識圖譜，可將高質(zhì)量醫(yī)療服務(wù)復(fù)制并輸出，增加醫(yī)療資源的總體供給，快速提升基層醫(yī)院的醫(yī)療水平，使得患者無論是在發(fā)達地區(qū)或是偏遠地區(qū)，均可就近就醫(yī)，享受到基本同質(zhì)的醫(yī)療服務(wù)，促進醫(yī)療衛(wèi)生資源均衡化發(fā)展。藥物研發(fā)和罕見病研究方面，以聯(lián)邦學(xué)習(xí)協(xié)同各機構(gòu)合作，提高精度和成功率，保護病人隱私。單個機構(gòu)罕見病數(shù)據(jù)量偏少且高度有偏，共享存在高壁壘、高成本、高機密性等困難，聯(lián)邦學(xué)習(xí)框架下，機構(gòu)之間僅通過共享模型權(quán)重即可協(xié)同訓(xùn)練，彼此增強模型效果，還可通過蒸餾學(xué)習(xí)解決參與聚合的模型參數(shù)量過大的問題，維護系統(tǒng)穩(wěn)定性。此外，將隨機對照試驗作為檢驗醫(yī)療人工智能創(chuàng)新的金標準，保證泛化性和可靠性。隨機對照試驗（RCT）通常被認2021NatureReviewCancer的一篇研究顯示，3578項與深度學(xué)習(xí)相關(guān)的癌癥診斷技術(shù)研究中，符合RCT3CTA智慧教育智慧教育在發(fā)展過程中已催生出大量應(yīng)用和新業(yè)態(tài)，覆蓋教育各個環(huán)節(jié)，依托知識圖譜、情感計算、自然語言處理等技術(shù)，通過計算機輔助教學(xué)、學(xué)習(xí)管理系統(tǒng)、自適應(yīng)學(xué)習(xí)等方式，全面促進教育機會多樣性，內(nèi)容豐富性，方式靈活性與途徑便捷性。教育的社會性與敏感性意味著人工智能帶來的不確定性和風(fēng)險更加顯著。可信人工智能在公平，穩(wěn)健、保護隱私的前提下充分發(fā)揮人工智能在教育領(lǐng)域的潛力。一方面，降低系統(tǒng)復(fù)雜性，給出選擇特定學(xué)習(xí)軌跡的過程與理由，避免信息不對稱及歧視性結(jié)果，確保包容、公平的優(yōu)質(zhì)教育。另一方面，在保護用戶個人數(shù)據(jù)的前提下促進因材施教和個性化學(xué)習(xí)，避免個人信息濫用引發(fā)道德風(fēng)險。可信人工智能在教育領(lǐng)域的實踐主要體現(xiàn)在確保公平性、增強系統(tǒng)穩(wěn)健性、完善數(shù)據(jù)安全保障三方面?？尚胖腔劢逃墓叫泽w現(xiàn)在系統(tǒng)設(shè)計的多樣性與無偏性。一方面，保證設(shè)計和訓(xùn)練人工智能系統(tǒng)團隊多樣性，如在專業(yè)領(lǐng)域、教育背景方面，并定期更新教學(xué)數(shù)據(jù)避免系統(tǒng)固化；另一方面，對系統(tǒng)設(shè)計建立監(jiān)督程序，明確分析系統(tǒng)的目的、操作范圍、限制和要求等，評估可能出現(xiàn)不公平偏見的情況，并保證人工智能教育系統(tǒng)態(tài)度、診斷和教學(xué)行為的一致性。可信智慧教育能夠確保系統(tǒng)的穩(wěn)健型，對抗惡意攻擊與數(shù)據(jù)過載等問題，全程保障教學(xué)質(zhì)量。一方面，建立穩(wěn)健教學(xué)服務(wù)引擎，對教學(xué)服務(wù)實時監(jiān)控，并設(shè)立預(yù)警通知機制，保障監(jiān)測到警告信息后及時處理，以維持底層服務(wù)的穩(wěn)定性；另一方面，通過對各個關(guān)鍵業(yè)務(wù)點的智能模擬訪問，保障教育系統(tǒng)實時可用，并依據(jù)運行狀態(tài)數(shù)據(jù)分析，動態(tài)調(diào)整云端環(huán)境的配置和數(shù)量，提升業(yè)務(wù)高峰期的運行穩(wěn)定性?？尚胖腔劢逃龑⒔逃髷?shù)據(jù)的信息儲存和共享變得安全、可信。一方面，強化防泄漏、防竊取的全場景監(jiān)測、預(yù)警和應(yīng)急處置等能力建設(shè)，并建立起數(shù)據(jù)流動的異常行為畫像機制，對可能存在的風(fēng)險部署人工智能檢測模型，將數(shù)據(jù)的時效性和檢測行為融為一體；另一方面，建立可信執(zhí)行環(huán)境，通過密文查詢手段防止工作人員查詢敏感數(shù)據(jù)，保護學(xué)生隱私。同時，提升區(qū)域教育大數(shù)據(jù)含金量，實現(xiàn)隱私保護下的高質(zhì)量數(shù)據(jù)協(xié)作，利用上鏈數(shù)據(jù)實現(xiàn)事中數(shù)據(jù)流通可控，事后可溯源監(jiān)管、審計。資料來源：中國信息通信研究院整理圖15智慧教育領(lǐng)域的典型可信需求與實踐智能制造在機器視覺、語音技術(shù)、機器學(xué)習(xí)等技術(shù)助力下，人工智能在工業(yè)領(lǐng)域的應(yīng)用推動了生產(chǎn)優(yōu)化、智能質(zhì)檢、生產(chǎn)設(shè)備預(yù)測性維護以及供應(yīng)鏈管理等制造體系的全局決策優(yōu)化，推動產(chǎn)業(yè)提質(zhì)增效。目前，人工智能在工業(yè)領(lǐng)域的實踐存在工業(yè)數(shù)據(jù)流通不暢、信息泄露，數(shù)據(jù)價值融合、釋放困難，數(shù)據(jù)涉及主體眾多、無法確權(quán)等問題。可信人工智能試圖尋找一種適合工業(yè)場景的新型數(shù)據(jù)共享流通解決方案，在數(shù)據(jù)價值釋放及數(shù)據(jù)安全需求中取得平衡，保障工業(yè)數(shù)據(jù)合規(guī)流動與有序利用，有助于構(gòu)建數(shù)據(jù)驅(qū)動、人機協(xié)同、跨界融合，共創(chuàng)分享的智能工業(yè)經(jīng)濟形態(tài)。資料來源：中國信息通信研究院整理圖16智能制造領(lǐng)域的典型可信需求與實踐可信人工智能在工業(yè)領(lǐng)域的實踐主要體現(xiàn)于生產(chǎn)優(yōu)化、智能質(zhì)檢與生產(chǎn)設(shè)備預(yù)測性維護等方面?？尚湃斯ぶ悄苣軌虮苊庑畔⒐聧u帶來的效率低下、工藝水平參差、重復(fù)性工作等問題，促進生產(chǎn)優(yōu)化。通過建立以數(shù)據(jù)+模型雙驅(qū)動的數(shù)據(jù)共享方案，將樣本數(shù)據(jù)傳輸至云端進行聯(lián)邦學(xué)習(xí)實現(xiàn)多條產(chǎn)線間的聯(lián)合訓(xùn)練與模型共享，并通過數(shù)據(jù)清洗與儲存、數(shù)據(jù)計算處理等步驟沉淀量化行業(yè)知識，構(gòu)建高品質(zhì)、高效率的生產(chǎn)新模式。通過無量綱和互無量綱指標實現(xiàn)生產(chǎn)設(shè)備的預(yù)測性維護，降低隨機故障幾率。原始振動與特征信號通常隱藏了大量設(shè)備狀態(tài)信息，能夠反映設(shè)備系統(tǒng)狀態(tài)與變化規(guī)律，通過對該信號的提取與分析，能夠有效進行設(shè)備故障診斷。一些企業(yè)利用無量綱理論提取敏感特征，從而避免特征冗余，提升設(shè)備故障識別和分類效率；在一些對精細度要求較高的領(lǐng)域，可以利用實際模擬仿真，推導(dǎo)出具有更高靈敏性的互無量綱指標，適用于環(huán)境和設(shè)備結(jié)構(gòu)復(fù)雜的情況。使用基于正樣本的異常檢測、基于小樣本的模型快速迭代和基于未知缺陷的分割等方法，優(yōu)化智能質(zhì)檢。人工智能質(zhì)檢在汽車制造、電子制造、新能源等多個工業(yè)細分領(lǐng)域均有落地，目前主要采用基于正樣本的異常檢測、基于小樣本的模型快速迭代和基于未知缺陷的分割等方法，解決較為常見的換型效率與模型精度要求高、難以使用一個通用模型覆蓋所有應(yīng)用場景、樣本數(shù)量不足以滿足訓(xùn)練需求、數(shù)據(jù)質(zhì)量參差不齊等問題，優(yōu)化問題工件預(yù)測模型，進行全量自動化質(zhì)檢。智慧政務(wù)人工智能融合知識圖譜、語義分析、文字識別、語音識別等技術(shù)，已經(jīng)應(yīng)用到政府辦公、信息管理和公共服務(wù)等多個場景中，助力政務(wù)決策、業(yè)務(wù)流程優(yōu)化，提升利企便民服務(wù)體驗，提高城市政務(wù)服務(wù)能力與水平。智慧政務(wù)在助力政府信息化建設(shè)和實現(xiàn)政務(wù)應(yīng)用無障礙的過程中，數(shù)據(jù)共享、隱私安全與協(xié)同效率等受到挑戰(zhàn)?？尚湃斯ぶ悄軒椭龠M政府信息在各部門間及時交換和廣泛共享，為跨部門協(xié)同與領(lǐng)導(dǎo)決策提供準確可靠的數(shù)據(jù)支撐，全面保證數(shù)據(jù)的可知、可管、可控、可用，并為公眾建立一個更為透明、公平、功能強大的公眾服務(wù)平臺，提高政府的公共服務(wù)管理水平。目前，智慧政務(wù)主要面臨橫、縱向信息交換存在“數(shù)據(jù)壁壘”，政務(wù)協(xié)同缺乏信任基礎(chǔ)等問題?？尚湃斯ぶ悄茉谡?wù)領(lǐng)域的實踐主要體現(xiàn)在實現(xiàn)跨域數(shù)據(jù)共享，加強政務(wù)系統(tǒng)可靠性與實現(xiàn)公平普惠?？尚湃斯ぶ悄苣軌蛲黄普?wù)跨域數(shù)據(jù)壁壘，打通政務(wù)跨域數(shù)據(jù)應(yīng)用價值鏈。建立非人為控制的信任系統(tǒng)，通過聯(lián)合計算、聯(lián)合建模等實現(xiàn)政務(wù)數(shù)據(jù)協(xié)同計算與數(shù)據(jù)資源合規(guī)市場化、安全應(yīng)用化、價值最大化，為跨部門跨層級數(shù)據(jù)互聯(lián)互通提供安全、可信環(huán)境，并實現(xiàn)政務(wù)信息的全流程存證與數(shù)據(jù)確權(quán)，面向數(shù)據(jù)權(quán)屬、采集、存儲、存證、計算，提供全生命周期安全保障。提高異構(gòu)應(yīng)用訪問的適應(yīng)性，實現(xiàn)外部公共數(shù)據(jù)分布式訪問，進一步提升公共數(shù)據(jù)融合和流通服務(wù)質(zhì)量及效率，形成社會效益與經(jīng)濟效益雙發(fā)展?？尚湃斯ぶ悄苣軌驑?gòu)建穩(wěn)健政務(wù)系統(tǒng)，穩(wěn)固信任基礎(chǔ)。政府層面，通過人工智能對抗技術(shù)，幫助政府解決AI應(yīng)用中的安全問題。定期檢測AI模型安全漏洞，防御攻擊AI系統(tǒng)的行為，提升政務(wù)系統(tǒng)安全性，保證政府業(yè)務(wù)的全流程安全訪問，并防止政務(wù)敏感信息截屏、轉(zhuǎn)發(fā)、復(fù)制等。用戶層面，持續(xù)監(jiān)測終端設(shè)備和用戶的安全風(fēng)險，根據(jù)授權(quán)主體、客體環(huán)境和行為風(fēng)險進行動態(tài)授權(quán)。通過檢測鑒別AI偽造內(nèi)容，降低因濫用AI導(dǎo)致的社會隱私和倫理風(fēng)險。可信人工智能通過確保系統(tǒng)決策的公平性，幫助構(gòu)建泛在可及、公平普惠的公共服務(wù)信息體系。一方面，構(gòu)建完整的異質(zhì)數(shù)據(jù)集，避免因文化、政策或歷史因素所造成的社會偏見，如針對少數(shù)和弱勢群體，在設(shè)計理念與實際應(yīng)用中考慮特殊需求，推出相應(yīng)的頁面與符合群體特征的應(yīng)用機制。另一方面，定期檢查數(shù)據(jù)集以確保數(shù)據(jù)的高質(zhì)量，使用公平性指標來減輕或消除偏見和潛在歧視。資料來源：中國信息通信研究院整理圖17智慧政務(wù)領(lǐng)域的典型可信需求與實踐（四）產(chǎn)品設(shè)備醫(yī)療設(shè)備與器械醫(yī)療設(shè)備和器械在臨床檢查治療中占有重要地位，是保證醫(yī)院正常醫(yī)療研究教學(xué)工作的必要條件。發(fā)達國家和地區(qū)起步較早，產(chǎn)品水平總體領(lǐng)先，通用電氣、飛利浦、西門子等企業(yè)壟斷了醫(yī)療器械行業(yè)的主要份額，盡管我國企業(yè)也緊抓機遇快速發(fā)展，但中高端診療設(shè)備仍主要依賴進口。醫(yī)療設(shè)備和器械的可信能力是監(jiān)管機構(gòu)重點關(guān)注的能力之一，國家藥監(jiān)局器審中心《醫(yī)療器械網(wǎng)絡(luò)安全注冊審查指導(dǎo)原則（2022年修訂版）》要求醫(yī)療器械對于網(wǎng)絡(luò)安全威脅應(yīng)具備必要的識別、保護能力和適當(dāng)?shù)奶綔y、響應(yīng)、恢復(fù)能力，保密性、完整性等方面的風(fēng)險在全生命周期應(yīng)處于可接受水平。未經(jīng)授權(quán)的泄密已經(jīng)成為醫(yī)療行業(yè)數(shù)據(jù)安全的首要風(fēng)險，多類型、多型號的IoMT設(shè)備分布在多科室，且設(shè)備廠商的遠程運維方式多樣，這導(dǎo)致了風(fēng)險暴露面積的增加，原有安全防護手段難以應(yīng)對。醫(yī)用級智能可穿戴設(shè)備可能將代表性不足的群體排除在醫(yī)學(xué)研究之外，美國國立衛(wèi)生研究院的一項研究表明，由于設(shè)備價格太高，大多數(shù)使用智能手表和其他可以追蹤健康狀況的可穿戴設(shè)備的人都是受過良好教育的富有白人，低收入群體和少數(shù)種族群體被排除在使用可穿戴數(shù)據(jù)的研究之外。資料來源：中國信息通信研究院整理圖18醫(yī)療設(shè)備與器械領(lǐng)域的典型可信需求與實踐通過政府、行業(yè)和企業(yè)的共同努力，醫(yī)療設(shè)備與器械領(lǐng)域的可信實踐正在加快落地。實踐中，醫(yī)療設(shè)備和器械行業(yè)需要遵循法律法規(guī)和相關(guān)標準的要求，其中既有《網(wǎng)絡(luò)安全法》《數(shù)據(jù)安全法》等法律法規(guī)，也有相關(guān)標準予以規(guī)范。此外，監(jiān)督管理部門根據(jù)申請，按照相應(yīng)的法定程序，對擬上市醫(yī)療器械進行系統(tǒng)評價，其中安全性是重要的指標之一。從產(chǎn)品角度看，由于可解釋性差、醫(yī)療數(shù)據(jù)無法完全代表臨床決策要素等原因，企業(yè)結(jié)合應(yīng)用場景需求和產(chǎn)品特點，運用多種不同的技術(shù)手段提升產(chǎn)品可信能力。智能醫(yī)療設(shè)備領(lǐng)域，強化自動精準校正和全局軌跡規(guī)劃，全面保障設(shè)備運行，提升系統(tǒng)穩(wěn)定性；采用多維神經(jīng)網(wǎng)絡(luò)進行分布漸進式學(xué)習(xí)優(yōu)化，兼顧噪聲、對比度、分辨率，有效保證成像和影像識別結(jié)果的可靠性；聚焦患者關(guān)懷，為婦幼胎兒、肥胖患者、運動醫(yī)學(xué)檢查精準診斷與個性化治療提供針對性支撐產(chǎn)品。胃鏡等器械領(lǐng)域，將知識圖譜、計算機視覺等技術(shù)融入產(chǎn)品設(shè)計，使用診療規(guī)范指導(dǎo)產(chǎn)品研發(fā)，從而增強系統(tǒng)可解釋性；精準分類、快速分離，在不增加檢查時長的前提下，有效降低漏檢率，最大限度地減少不必要的活檢，顯著改善患者就診體驗；將人工智能與5G結(jié)合，支持遠程檢查，增強高水平醫(yī)療服務(wù)的公平普惠。醫(yī)用可穿戴設(shè)備方面，產(chǎn)品設(shè)計時考慮到肥胖、重癥、特殊疾病的病人需求，并推出不同價格層次的產(chǎn)品，讓更多患者享受到優(yōu)質(zhì)服務(wù)；以專業(yè)醫(yī)生臨床診斷需求為標桿，對標醫(yī)院場景下的數(shù)據(jù)準確度，提供醫(yī)用級數(shù)據(jù)監(jiān)測，利用循證人工智能算法幫助患者解決危急情況預(yù)警等痛點，指導(dǎo)用智能終端智能終端覆蓋了智能手機、PAD、智能音箱、智能車載終端等多種類別，幾乎是數(shù)字化、智能化場景中都不可缺少的構(gòu)件。受益于人均收入增加、城鎮(zhèn)化水平提升和老齡化進展，智能終端相關(guān)產(chǎn)品需求將得到持續(xù)不斷的拉動，幫助提升社會資源的普惠性、均衡性分布，增進民眾體驗感和滿意度。作為數(shù)字經(jīng)濟的關(guān)鍵入口和主要創(chuàng)新平臺，智能終端在提供更多便利的同時也面臨著嚴峻考驗，特別是在穩(wěn)定性和隱私保護方面。為了實現(xiàn)更多功能的集成，必然要求智能終端增加交互接口，這也意味著可能被攻擊的入口數(shù)量增加。據(jù)媒體報道，來自英國和意大利的研究團隊遠程黑入某智能音箱，讓智能音箱給自己下達惡意指令，平均成功率達88%。同時，為了提供個性化服務(wù)，智能終端需要大量收集用戶隱私及交互數(shù)據(jù)，用戶數(shù)據(jù)和隱私環(huán)境被侵害的可能大大增加。資料來源：中國信息通信研究院整理圖19智能終端領(lǐng)域的典型可信需求與實踐沙箱技術(shù)、身份鑒別、訪問控制等傳統(tǒng)安全手段已經(jīng)不再適用余智能終端新的可信需求。近幾年來，針對硬件的可信執(zhí)行環(huán)境（TEE）逐漸流行，基于指紋等生物特征支付成為主流支付手段后，智能終端廠商紛紛將TEE技術(shù)作為保障終端支付安全的基礎(chǔ)平臺，發(fā)布支持TEE的產(chǎn)品，蘋果、高通等企業(yè)培育和發(fā)展出從底層硬件到上層軟件的TEE整體方案。然而，由于TEE組件數(shù)量多、組件交互復(fù)雜，涉及的底層技術(shù)眾多，目前國內(nèi)對這類可信智能終端的安全評估還略顯薄弱，可能成為未來重點發(fā)展的方向。軟件方面，基于深度學(xué)習(xí)模型產(chǎn)生的各類智能化產(chǎn)品通用性較差，終端廠商主要限制敏感數(shù)據(jù)收集，提升算法的通用性和精準度，強化可解釋交互式人工智能來提升可能能力，一是通過嚴格限制非必要的數(shù)據(jù)采集、敏感信息脫敏、不強制升級、用戶數(shù)據(jù)收集協(xié)議等方式強化可信能力；二是參考可信人工智能的相關(guān)準則及框架進行系統(tǒng)涉及開發(fā)，微軟、谷歌、IBM等企業(yè)已將自身提出的可信理念貫徹于產(chǎn)品研發(fā)設(shè)計之中；三是強化算法模型的可解釋性，在復(fù)雜度、透明度等維度上尋求平衡，一般選用自解釋模型或引入注意力機制、深化統(tǒng)計模型、基于物理模型等構(gòu)建具有內(nèi)置可解釋性的事前解釋模型，也可運用激活最大化、概念激活矢量測試、知識蒸餾等事后解釋模型或算法。三是將可解釋性納入前期用戶研究考察維度，針對智能終端使用者所希望了解的解釋內(nèi)容以及相關(guān)要素的潛在影響等進行廣泛、科學(xué)的調(diào)研，為產(chǎn)品的實際研發(fā)提供參考，提升智能終端產(chǎn)品交互的可解釋能力，使其更加貼合人類認知。智能駕駛?cè)斯ぶ悄芗夹g(shù)的發(fā)展加速了汽車智能化、網(wǎng)聯(lián)化變革步伐，汽車成為具備感知和決策能力的智能載具。圍繞芯片、系統(tǒng)、算法、人車交互四大核心，在智能算力的支持下，車企通過自研和接入第三方智能駕駛系統(tǒng)獲得智能駕駛能力，頭部車企已經(jīng)能夠?qū)崿F(xiàn)“芯片+操作系統(tǒng)+算法”垂直整合，打造智能化、集成化智能駕駛系統(tǒng)，逐步打通全場景鏈路。嵌入式系統(tǒng)、高精度導(dǎo)航、智能傳感器等技術(shù)的發(fā)展為智能駕駛奠定了良好基礎(chǔ)，使得傳統(tǒng)上完全依賴人為控制的機動車輛具備了智能化的數(shù)據(jù)采集、匯總、分析、決策能力。智能駕駛車輛配備的高精度定位設(shè)備，通過同步定位與建圖模式算法即可進行地圖測繪作業(yè)，配合車載攝像頭拍攝周邊的精確環(huán)境與地貌，在精準定位的同時也存在重大安全隱患；人類駕駛員在使用過程中對智能駕駛系統(tǒng)的高度認可，或誤認為其已擁有與人類相近的駕駛能力，導(dǎo)致相關(guān)交通事故增多。因此，對智能駕駛產(chǎn)品的要求不能僅僅局限于做出安全、實時的決策，而且需要解釋這些決策是如何做出的，從而建立對人工智能的信任。針對智能駕駛產(chǎn)品環(huán)境感知、數(shù)據(jù)處理和存儲、系統(tǒng)穩(wěn)定可靠等不同模塊產(chǎn)生了不同的可信方法。融合多種傳感手段和神經(jīng)網(wǎng)絡(luò)算法提升環(huán)境感知能力。為彌補目前各類傳感器在低光或惡劣天氣工況下的缺陷，智能駕駛企業(yè)大多選擇同時使用多種傳感器，通過融合多種傳感手段，結(jié)合Transformer神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)(CNN)AI大模型量產(chǎn)部署的難題；同時，用視覺注意的反省（introspective）文本描述尋求因果（post-hoc）解釋，通過卷積神經(jīng)網(wǎng)絡(luò)模型CNN實時獲取交通參與者精準的位置、類別和速度朝向等信息。運用數(shù)據(jù)分級分類和區(qū)塊鏈等技術(shù)做好數(shù)據(jù)處理和存儲。對各類數(shù)據(jù)進行分類分級，人臉、車牌等敏感數(shù)據(jù)實現(xiàn)輪廓保留前提下的脫敏處理；寶馬、通用汽車、雷諾、福特等傳統(tǒng)汽車制造商正鼎力支持利用區(qū)塊鏈技術(shù)提供可信存證服務(wù)，并成立了移動開放區(qū)塊鏈倡議（MOBI），面需要按照法律法規(guī)要求，對用戶信息做高保密等級的存儲，個人信息或者重要數(shù)據(jù)應(yīng)當(dāng)依法在境內(nèi)存儲，確需向境外提供的，應(yīng)當(dāng)通過數(shù)據(jù)出境安全評估。通過保證硬件安全和系統(tǒng)測試提升穩(wěn)定可靠性能。依靠硬件安全芯片和安全網(wǎng)關(guān)，構(gòu)筑安全、可信的人工智能平臺環(huán)境，實現(xiàn)網(wǎng)段隔離、訪問控制、識別異常入侵，規(guī)避黑客攻擊風(fēng)險；從可信需求規(guī)劃、設(shè)計、實施、集成、驗證、確認、配置等方面，嚴密開展基本功能測試、軟件測試、運營流測試、意外測試等功能模塊的安全試驗認證。資料來源：中國信息通信研究院整理圖20智能駕駛領(lǐng)域的典型可信需求與實踐智能機器人智能機器人是產(chǎn)業(yè)智能化轉(zhuǎn)型升級的重要切入口。因為不受嚴苛環(huán)境限制、不被情緒影響，能按照設(shè)定的算法和程序代替人類完成危險、繁瑣的工作，20世紀中期，智能機器人產(chǎn)業(yè)逐步發(fā)展成型，滿足了大批量生產(chǎn)的迫切需求，顯著提升社會經(jīng)濟效率。近年來，隨著自動化、新一代信息技術(shù)的迅速發(fā)展，智能機器人正向著輕型化、柔性化和人機協(xié)作發(fā)展，并不斷地將人的認知能力與機器人的工作效率相結(jié)合，滿足更多應(yīng)用場景的需要。在為人類帶來方便的同時，智能的機器人的發(fā)展和應(yīng)用也帶了新的問題，例如，手術(shù)機器人通過計算機視覺技術(shù)識別病灶，一旦視覺系統(tǒng)受到污染，算法做出錯誤判斷，將出現(xiàn)醫(yī)療事故；工業(yè)機器人系統(tǒng)一旦被黑客惡意操作，可能轉(zhuǎn)而攻擊人類；協(xié)作機器人人機交互算法未能及時識別和同步協(xié)同，影響使用效果。資料來源：中國信息通信研究院整理圖21智能機器人領(lǐng)域的典型可信需求與實踐為實現(xiàn)智能機器人領(lǐng)域的可信落地，企業(yè)主要采取了以下幾類做法。一是落實法律法規(guī)和標準要求，在研發(fā)和測試環(huán)節(jié)加強可信能力建設(shè)，結(jié)合《網(wǎng)絡(luò)安全法》、等保2.0等法律法規(guī)，將風(fēng)險評估、安全監(jiān)測、數(shù)據(jù)防護、應(yīng)急處置等納入產(chǎn)品研發(fā)和測試環(huán)節(jié)，將智能機器人與人類交互的可解釋性、自身的穩(wěn)定性等作為智能機器人產(chǎn)品的重要亮點。二是部署可信防御新技術(shù)，加強接口管理和物理隔離，增強抗攻擊能力，結(jié)合動態(tài)安全防護、威脅態(tài)勢感知等，采用“一片雙芯”、虛擬化雙操作系統(tǒng)等技術(shù)把安全環(huán)境與互聯(lián)網(wǎng)環(huán)境進行嚴格物理隔離，構(gòu)建智能機器人產(chǎn)品可信安全架構(gòu)；VBN點和源站間高頻率鏈路質(zhì)量探測和智能切換，打造多層安全保障。三是靈活運用機器視覺、步態(tài)控制等算法優(yōu)化動作控制，強化自身物理穩(wěn)定性，將模糊邏輯、基于概率論的推理、神經(jīng)網(wǎng)絡(luò)、遺傳算法、多平面分割和混沌等具有更高魯棒性的軟計算技術(shù)應(yīng)用到智能機器人中，通過柔順控制、精準步態(tài)規(guī)劃、視覺伺服、模型預(yù)測控制器等技術(shù)，讓智能機器人穩(wěn)定靈活地移動。四是通過增加身份選項或消除身份信息，糾正或避免潛在的機器人偏見，為用戶提供多種機器人身份選項（比如允許用戶選擇機器人的“性別”“姓名”“形象”），或是避免建造具有人名和身份的“人性化”機器人，使機器人在性別、種族和文化背景中表現(xiàn)更公平、更公正，從而來虛擬現(xiàn)實設(shè)備虛擬現(xiàn)實（VirtualReality，VR）設(shè)備強調(diào)全方位的沉浸式體驗，彌補了智能手機等終端只能在二維圖像層面接受文字、圖片、音視頻等信息的缺陷，將信息傳播拓展到三維層面，進一步提升了媒介傳遞信息的效率和復(fù)雜程度，改變了參與者與媒介信息的交互模式。未來，以VR為代表的未來視頻正在成為數(shù)字孿生、元宇宙等新業(yè)態(tài)的重點發(fā)展路徑，既能作為日常生活的虛擬助手，又能在一定程度上成為生產(chǎn)力平臺或文娛平臺的演進形態(tài)。虛擬現(xiàn)實設(shè)備在增強公平性方面具有獨特優(yōu)勢，通過提供“身臨其境”“感同身受”的虛擬體驗，能夠減少偏見和歧視，滿足殘障等人士的需求，增強人之人之間的交互。隨著虛擬現(xiàn)實設(shè)備的加速推廣，隱私保護、歧視性、人身安全舒適性和安全性等方面的可信需求也逐步提升。一是AR/VR技術(shù)需要以用戶提供的基本信息和交互信息為起點，可能涉及所處位置、運動狀態(tài)、生物特征，可能帶來新的隱私保護和歧視性問題；二是針對虛擬現(xiàn)實設(shè)備的人身安全舒適性和安全性研究還有待深入，近期一起“VR性侵案”登上熱搜，在虛擬世界發(fā)生的猥褻行為是否構(gòu)成犯罪引發(fā)民眾激烈討論。資料來源：中國信息通信研究院整理圖22虛擬現(xiàn)實設(shè)備領(lǐng)域的典型可信需求與實踐通過多環(huán)節(jié)的措施可以有效提升虛擬現(xiàn)實設(shè)備的可信水平。一方面，賦予用戶更大權(quán)限控制，提供離線等多種可選的訪問方式，允許用戶自主選擇何時以及如何向設(shè)備提供可以推斷身份信息和共享敏感數(shù)據(jù)，以此限制敏感信息收集；設(shè)置“個人邊界”等多項安全功能，使得其他虛擬人物無法觸碰，以此杜絕虛擬現(xiàn)實騷擾行為。另一方面，將可信列入產(chǎn)品開發(fā)和測試必須考慮的范圍，豐富身份選擇，優(yōu)化算法增強“現(xiàn)實感”，邀請不同性別、職業(yè)、年齡等多類型的用戶參與測試，并為用戶提供多樣化的身份選擇，允許用戶選擇身份呈現(xiàn)的具體內(nèi)容；不斷向全面沉浸發(fā)展，融合運用近眼顯示、感知交互、渲染處理等新一代技術(shù)，為用戶提供身臨其境的體驗。三是改進VR設(shè)備細節(jié)設(shè)計，提升用戶使用舒適度，虛擬現(xiàn)實設(shè)備大多直接由用戶佩戴使用，其舒適度體驗主要與重量尺寸、發(fā)熱散熱程度、面部貼合度和透氣性等因素有關(guān)。近年來，隨著設(shè)計水平和原料器件的改善提升，VR設(shè)備使用體驗進一步優(yōu)化，以VR顯示器件為例，經(jīng)歷了從CRT到TFT-LCD/AMOLED的變革，在分辨率提升、效應(yīng)速度加快的同時，屏幕體積不斷縮小，重量持續(xù)降低。四是制定引入安全保障和行為準則，構(gòu)建良好的虛擬社區(qū)氛圍，通過邀請URL引入新用戶，確保鏈接的分發(fā)僅限于受信任個人，限定可以創(chuàng)建或邀請新用戶的范圍；創(chuàng)建并發(fā)布行為準則，指定受信任的用戶充當(dāng)管理者，幫助新用戶熟悉虛擬社區(qū)，嚴格限制和處罰惡意行為，積極引導(dǎo)形成友善、公平的虛擬社區(qū)氛圍，減輕虛擬體驗中的偏見和歧視。四、可信人工智能前景展望（一）未來發(fā)展趨勢形成產(chǎn)業(yè)共識，由各自表述向統(tǒng)一理念邁進。與人工智能產(chǎn)業(yè)發(fā)展歷程相似，可信人工智能也經(jīng)歷了早期的摸索階段，對于可信人工智能的內(nèi)涵，雖然各個國家、機構(gòu)、企業(yè)的表述并不相同，但是側(cè)重點較為統(tǒng)一，并已針對透明度、隱私保護、公平等方面形成初步共識，已經(jīng)邁入了形成