揭開人工智能在交通網(wǎng)絡(luò)安全中的神秘面紗（中文）

ujonson@SERJON，LLC信息技術(shù)和網(wǎng)絡(luò)安全服務(wù)高級副總裁美國聯(lián)邦調(diào)查局運輸主題專家聯(lián)邦調(diào)查局汽車行業(yè)特定工作組（SSWG）網(wǎng)絡(luò)卡車挑戰(zhàn)賽（CyberTruckChallenge）項目委員會，ESCARUSASAE車輛電氣系統(tǒng)安全委員會成員技術(shù)維護委員會（TMC）S.5和S.12研究小組成員超過35年的IT和網(wǎng)絡(luò)安全經(jīng)驗，包括戰(zhàn)略規(guī)劃，評估，項目管理和計劃管理各種關(guān)于黑客的論文、講座和研究，以及一般的卡車和運輸辯護1980年代以來的濫用和維護制度?AI常見錯誤?運輸應(yīng)用AI概覽歷史回顧?20世紀50年代-AI?1960年代-早期應(yīng)用?20世紀80年代-專家系統(tǒng)?20世紀90年代-機器學(xué)習(xí)的復(fù)興的歷史回顧?2000年代-大數(shù)據(jù)?2010年代-深度學(xué)習(xí)占主導(dǎo)地位?21世紀20年代-生成型人工智能技術(shù)概述機器學(xué)習(xí)應(yīng)用圖片：/science/article/pii/S0951832021003835用人工神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的核心部件是人工神經(jīng)元從概念上可以認為是一個迷你線性回歸模型訓(xùn)練方法圖片：/science/article/pii/S0951832021003835模型訓(xùn)練簡單監(jiān)督學(xué)習(xí)通常通過將圖像展平為矢量AI分類學(xué)NISTAI使用分類*：?將復(fù)雜的人工智能任務(wù)分解為獨立于技術(shù)的活動（例如，神經(jīng)網(wǎng)絡(luò)、大語言模型、強化學(xué)習(xí)）和領(lǐng)域（例如，金融、醫(yī)?提供了一種靈活的方法來分類AI系統(tǒng)對指定人類AI任務(wù)?旨在成為一份動態(tài)文檔，定期更新利益相關(guān)者的反饋，例如人工智能評估和人為因素社區(qū)的反饋。NISTAI200-1，AIUseTaxonomy：AHuman-CenteredApproach，作者Theofanos、Choong和Jenson，2024年3月，/10.6028/NIST.AI.200-1。AI分類學(xué)-運輸?基于神經(jīng)網(wǎng)絡(luò)的連接主義?貝葉斯-基于概率的推理系統(tǒng)?Symbolists-基于邏輯的算法，如基于規(guī)則的編程，決策樹，模糊邏輯和理性代理?類比器-基于相似性的分類器，如支持向量機?優(yōu)化-執(zhí)行迭代更新和比較以發(fā)現(xiàn)最佳解決方案的算法，例如遺傳算法（GA）JonPerez-Cerrolaza，JaumeAbella，MarkusBorg，CarloDonzella，JesúsCerquides，F(xiàn)ranciscoJ.Cazorla、CristoferEnglund、MarkusTauber、GeorgeNikolakopoulos和JoseLuisFlores。2024.工業(yè)和交通領(lǐng)域安全關(guān)鍵系統(tǒng)的人工智能：調(diào)查。ACM計算量監(jiān)視器56，7，第176條（2024年7月），40頁。/10.1145/3626314AI帶來的挑戰(zhàn)?相同的輸入不會總是產(chǎn)生相同的輸出?基于概率曲線?任何時候你在聯(lián)結(jié)主義模型中加入隨機數(shù)據(jù)選擇，你都會冒著不確定性結(jié)果?如果您的模型繼續(xù)學(xué)習(xí)，例如線性回歸，則輸出將隨著模型學(xué)習(xí)而?專家系統(tǒng)一般不會受到這個問題的困擾，但任何具有神經(jīng)網(wǎng)絡(luò)的東西都?AI的數(shù)學(xué)和代碼是完全可以理解的?你用來訓(xùn)練模型的數(shù)據(jù)是可以理解的（希望如此，如果你做得對的話）?問題是當您使用代碼生成數(shù)據(jù)模型?由于模型的學(xué)習(xí)方式（開發(fā)一個復(fù)雜的概率權(quán)重網(wǎng)絡(luò)）和表達方式，不可能查看模型并理解它是如何工作的無法解釋?由于該模型是不確定的和不可理解的，因此不容易理解?對于神經(jīng)網(wǎng)絡(luò)來說?可解釋和值得信賴的人工智能是一個激烈的研究?值得信賴的AI可以生成人類可以理解?分層神經(jīng)網(wǎng)絡(luò)?概率評估?深度學(xué)習(xí)是線性代數(shù)圖片：/tutorial/introduction-t數(shù)據(jù)問題?我們的模型和我們的數(shù)據(jù)一樣好?交通數(shù)據(jù)集還處于起步階段?我們?nèi)蕴幱趥ゴ蟮摹皵?shù)據(jù)所有權(quán)”之戰(zhàn)中?我們的車輛平臺缺乏收集必要信息的傳感器（特?模特們能做運輸數(shù)據(jù)樣本?專有數(shù)據(jù)源?特斯拉可能擁有最好的數(shù)據(jù)集?機器人出租車車隊數(shù)據(jù)第二名訓(xùn)練數(shù)據(jù)問題?深度學(xué)習(xí)和LLM需要大量數(shù)據(jù)集進行學(xué)習(xí)和驗證?LLM，如ChatGPT，使用了大量的互聯(lián)網(wǎng)內(nèi)容?學(xué)習(xí)模型中使用的許多圖像、文本、書籍等都是受版權(quán)保護的材料?基于他人的作品生成人工智能模型是對版權(quán)的“合理使用”?在創(chuàng)建模型后，如何刪除訓(xùn)練數(shù)據(jù)的一部分或一段？邊緣情況?邊緣案例是不屬于訓(xùn)練數(shù)據(jù)?雖然它們可能很罕見，但它們可能會導(dǎo)致意想不到和不希望的結(jié)果?邊緣案件是悲劇的所在來源：Projectguru.in?UberAutonomousCrash2018年?行人步行自行車過馬路?車輛識別和跟蹤行人?車輛不會破裂?安全駕駛員分心，沒有采取行動?工廠自動制動系統(tǒng)被禁用，以免干擾自動駕駛軟件?數(shù)據(jù)限制示例以及不遵循功能安全最佳實踐?行人違反禁止行走信號?行人在交叉路口前走了一半，交通迫使行人走回去?行人被汽車撞到并被拋到巡航車輛?巡航車輛正在加速，即使它“看到”行人?車輛無法識別場景（邊緣情況）?行人被困在巡航車輛?車輛系統(tǒng)識別出故障?車輛沒有停下來，而是向前行駛并靠邊停車，將行人拖到車?數(shù)據(jù)限制示例以及不遵循功能安全最佳實踐AI常見錯誤缺乏對模型?數(shù)學(xué)很難，圖書館很容易?有很多不同的AI模型和方法?TensorFlow很簡單，幾乎不需要思考?Anaconda將訪問擴展到每個可以使用Python?尋找問題?有時候，神經(jīng)網(wǎng)絡(luò)并不是最好的解決方案?經(jīng)?？吹接肕L解決的問題應(yīng)該由專家系統(tǒng)?缺乏對局限性?AI和功能安全數(shù)據(jù)科學(xué)學(xué)科?傳統(tǒng)的編程基于需求?AI基于數(shù)據(jù)，這使得數(shù)據(jù)科學(xué)至關(guān)重要?“垃圾進，垃圾出”x1000?一個常見的錯誤是沒有遵循?用于學(xué)習(xí)和驗證的小數(shù)據(jù)集存在問題數(shù)據(jù)科學(xué)生命周期?數(shù)據(jù)收集和存儲?定義項目目標?規(guī)范存儲和格式?數(shù)據(jù)缺失或不一致?清理和擴充數(shù)據(jù)?刪除重復(fù)項?數(shù)據(jù)類型對話儲 ?探索和可視化?統(tǒng)計數(shù)據(jù)分析?用于理解的?嘗試不同的模式和方法?識別數(shù)據(jù)趨勢和模式來源：/blog/what-is-data-science-the-definitive-guide運輸應(yīng)用輔助司機?安全相關(guān)的“輔助”應(yīng)用程序，以減少受損或分心駕駛?更好的音樂播放列表預(yù)測?更好的地圖和方向?在所有這些場景中，駕駛員仍然是主要的控制角色異常/錯誤檢測?車輛預(yù)測性維護?汽車貨運公司和TSP異常/錯誤檢測?汽車網(wǎng)絡(luò)安全[規(guī)模化]?個別車輛ID仍然存在問題通用輸送?人工智能在運輸管理系統(tǒng)（TMS）和交通管理系統(tǒng)（TMS）中功能安全?功能安全是眾所周知的做法，具有特定的規(guī)則和已知的方法來實現(xiàn)安全?應(yīng)對不確定性?包含分類器模型的功能安全系統(tǒng)（如防撞和車道偏離輔助）不是主要安全系統(tǒng)?駕駛員仍然是控制車輛功能安全功能安全?基于神經(jīng)網(wǎng)絡(luò)的人工智能是功能安全系統(tǒng)?測試大規(guī)模復(fù)雜的非確定性系統(tǒng)幾乎是不可?無法解釋為什么一個模型以某種方式?引入安全風(fēng)險和巨額法律責(zé)任?現(xiàn)有ML模型不適合SAE3-5級自動化?我們沒有有效?當前的ML模型是不可解釋或不可信賴的?更高級的ML模型是不確定的?ML適用于分類器和preceptor，但不適用于功能安全?封閉和受控環(huán)境是可能的?現(xiàn)實世界的公共道路和敵對環(huán)境過于復(fù)雜，無法滿足?傳統(tǒng)技術(shù)仍然適用?MITREAI系統(tǒng)對抗性威脅態(tài)勢（ATLAS?)?OWASP十大機器學(xué)習(xí)風(fēng)險分類輸入操作?修改輸入（例如圖像、傳感器值）導(dǎo)致：?一個常見的例子是停車標志“修改”：?很少有ML模型是免疫的?與提示操作不同（稍后介紹）開發(fā)優(yōu)勢案例?可用數(shù)據(jù)的限制允許邊緣情況利用?分析模型并確定低概率輸入?使用AI模糊另一個AI模型以確定限制?導(dǎo)致模型行為不正確甚至崩潰?如果輸入和輸出值沒有經(jīng)過驗證和邊界檢查，?可能導(dǎo)致系統(tǒng)故障或軟件堆棧故障?錯誤條件可能導(dǎo)致遠程代碼執(zhí)行或數(shù)據(jù)泄漏機會快速注射/操作?適用于根據(jù)提示?將其視為SQL注入攻擊的一種方式，但目標不是SQL數(shù)據(jù)庫，而是底層模型?我們還可以使用社會工程技巧讓模型做它不應(yīng)該做的事情（就像欺騙一個4歲的孩子一樣困難）訓(xùn)練數(shù)據(jù)中毒?AI模型是從訓(xùn)練數(shù)據(jù)?由于缺乏訓(xùn)練數(shù)據(jù)，許多訓(xùn)練集基于公共數(shù)據(jù)源?毒化一個公共數(shù)據(jù)集可以引入?將惡意數(shù)據(jù)輸入持續(xù)學(xué)習(xí)模型可能會導(dǎo)致模型漂移和最終的模型故障黑客攻擊示例破解ADAS模型?BlackhatAsia2024-遠程車輛控制的關(guān)鍵：自動駕駛域控制器?ShupengGao，百度?百度高級安全研究員YingtaoZeng?高杰，百度?分析了超過30個ADAS設(shè)備破解ADAS模型?ADAS單元可以成為車輛整體妥協(xié)的途徑，因為它需要在CAN網(wǎng)絡(luò)上訪問并可更新?安全性差的ADAS模塊可能會導(dǎo)致對車輛的全面控制為人工智能辯護AI--什么是AI？事物變化越多，它們就越保持不變：?軟件堆棧漏洞?操作系統(tǒng)漏洞?軟件供應(yīng)鏈攻擊?硬件固件?平臺操作系統(tǒng)?瀏覽器漏洞?IT和DevSecOps最佳實踐仍然適用?對輸入和輸出進行?系統(tǒng)是根據(jù)數(shù)據(jù)而不是需求?對抗性攻擊向量?????供應(yīng)鏈復(fù)雜性輸入驗證變得更加困難和重要數(shù)據(jù)處理程序更重要DevSecOps需要整合數(shù)據(jù)和機器學(xué)習(xí)模型數(shù)據(jù)科學(xué)家需要了解網(wǎng)絡(luò)安全AI-防御性最佳實踐雖然不是一個詳盡的列表，但這里有一些最佳實踐：?保護IT和人工智能?識別和保護所有專有數(shù)據(jù)?對最終AI模型權(quán)重的?強化部署環(huán)境?將版本標簽應(yīng)用于模型（更改權(quán)重）?針對邊緣情況和攻擊?檢查所有輸出，確保在邊界內(nèi)運行（安全袋）最近有幾篇關(guān)于部署機器學(xué)習(xí)和人工智能的網(wǎng)絡(luò)安全最佳實踐的AI未來?改善客戶服務(wù)?提高業(yè)務(wù)效率?開發(fā)更好的設(shè)計?協(xié)助開發(fā)新材料?檢查和評估基礎(chǔ)設(shè)施?通過新的駕駛員輔助功能?增加艦隊......可解釋、可信賴的AI將帶來更多應(yīng)用進一步閱讀science-second-edition/9進一步閱讀對于那些想要深入數(shù)學(xué)核心并構(gòu)建自己的模型（包括深度回歸學(xué)習(xí)）的人，我?古德費洛島，澳-地本焦，Y.，庫爾維爾A。（2017年）。深度學(xué)習(xí)麻省理工學(xué)院出版社。我還推薦以下論文，以了解有關(guān)交通運輸中安全關(guān)鍵型AI應(yīng)用的更多信息，Cerquides、FranciscoJ.Cazorla、CristoferEnglu），?AI常見錯誤?運輸應(yīng)用厄本·瓊森ujonson@服務(wù)?威脅和風(fēng)險評估?ISOSAE2143424089差距分析電子學(xué)習(xí)：YouTube：/@serjon14網(wǎng)站：參考鏈接?/sites/default/files/2020-09/AI-Definitions-HAI.pdf?JonPerez-Cerrolaza、JaumeAbella、MarkusBorg、CarloDonzella、JesúsCerquides、FranciscoJ.Cazorla、CristoferEnglund、MarkusTauber、GeorgeNikolakopoulos和JoseLuisFlores。2024年工業(yè)和交通領(lǐng)域安全關(guān)鍵系統(tǒng)的人工智能：調(diào)查。ACM計算量監(jiān)視器56，7，第176條（2024年7月），40頁。/10.1145/3626314?電子郵件/blog/what-is-data-science-the-definitive-guide 參考鏈接?神經(jīng)網(wǎng)絡(luò)?機器學(xué)習(xí)實現(xiàn)的預(yù)測性維護：汽車行業(yè)?估計深度神經(jīng)網(wǎng)絡(luò)參考鏈接?/?/slight-street-sign-modifications-can-fool-machine-learning-算法?即時注射風(fēng)險-/pdf/2311.11538?