構建智慧城市的基石-AIoT安全

-7-構建智慧城市的基石——AIoT安全半年前我就講過AIoT的平安，那時候講AIoT，許多人還不太明白什么叫AIoT，其實就是AI+IoT。我花了很大板塊來講，而這半年這個詞已經(jīng)特別火。聶科峰：感謝雷鋒網(wǎng)的邀請，在AIoT一片大好的狀況下，讓我們說一說對將來的擔憂。剛才騰訊和華為的同學都講到才智城市在許多維度都開頭有應用了，但是對于我們來說，將來大規(guī)模應用必需得以平安作為基石。

半年前我就講過AIoT的平安，那時候講AIoT，許多人還不太明白什么叫AIoT，其實就是AI+IoT。我花了很大板塊來講，而這半年這個詞已經(jīng)特別火。

但我這里要直觀地共享我的理解?，F(xiàn)在在整個才智里用得最多的點，包括才智交通、攝像頭的應用、人臉識別的應用，都是基于攝像頭的應用。最早我們使用攝像頭，是用存儲卡記錄和監(jiān)控，這屬于特別傳統(tǒng)的電子產(chǎn)品；而有一天基于帶寬的進展，攝像頭可以實時傳到網(wǎng)上去了，這就變化成了物聯(lián)網(wǎng)產(chǎn)品。

什么叫AI+IoT？可能是監(jiān)控過程中我們加入了對監(jiān)控內(nèi)容的AI分析，并且能給出實時反饋，還能做一些事情，比如監(jiān)測到一個壞人可能會報警，比如流量掌握轉(zhuǎn)變紅綠燈設計，這在將來都是AIoT所帶來的應用。

但是我們想想平安問題，假如是電子存儲的SD卡，只是記錄整個過程，我們所做的平安就是要防止把卡偷走。在物聯(lián)網(wǎng)時代我們考慮網(wǎng)絡平安，是要防止實時的數(shù)據(jù)，可能被別人監(jiān)控到，或者一些隱私的數(shù)據(jù)被拿到。但是AI完全不一樣，由于AIoT它會去分析，去推斷，去做動作，去干擾整個事情的過程，這時候平安特別重要，它擔當了采集離線分析，云端分析。我們需要做一些事情，去關注將來惡意執(zhí)行這方面帶來的風險。

從整個AIoT來看，我們認為生態(tài)平安是特別不樂觀的。

像攝像頭有許多平安問題，我們也監(jiān)測到有許多平安案例發(fā)生在目前的這些設備當中。包括基于指紋，基于攝像頭的都能被破解?？梢钥吹皆谶@個生態(tài)演化的過程中，有一個時代的變遷，從PC到移動再到AIoT，它的根基是生態(tài)的碎片化愈加嚴峻。

PC時代只有微軟一家獨大，芯片也只有英特爾一家。移動設備上有iOS和安卓，基于芯片和系統(tǒng)的不同，所帶來的平安風險會有幾何數(shù)量的增加。到AIoT，這更是特別雜亂的過程，從芯片到系統(tǒng)等等，更是特別大的生態(tài)，碎片化帶來的問題就是基于此的平安特別具有挑戰(zhàn)性。

各個廠商和上游都在推自己的產(chǎn)品，可能外觀看上去差不多，但是你問他的硬件版本，參數(shù)選型，完全不一樣，即使一套同樣的方案都可能在產(chǎn)品上產(chǎn)生不同的價值。

我們剛才看到有各種芯片廠商，目前沒有一家是完全打通的，每一個都是可以排列組合的，所以導致我們在這方面面臨的風險會更高。

從我們的角度來看，AIoT整個系統(tǒng)平安挑戰(zhàn)有兩塊，一塊是傳統(tǒng)的基于IoT設備本身需要聯(lián)網(wǎng)，需要系統(tǒng)，本身就存在潛在的系統(tǒng)和網(wǎng)絡風險。更重要的是加入了AI之后，AI帶來新的風險，我們可以看到傳感器哄騙，這是AI與視覺相關的；軟件缺陷有開源、第三方的、基于機器學習的，本身有許多漏洞，這些漏洞帶來的缺陷也會影響AI在IoT應當發(fā)生的正確反應；還有基于大數(shù)據(jù)的污染；而系統(tǒng)風險和網(wǎng)絡風險這就是特別傳統(tǒng)的，移動和PC時代都會面臨的問題。

所以AIoT平安是有新仇舊恨的。新仇就是IoT本身計算力比較弱，之前大家對這一塊平安關注度不夠，本身就有許多問題，重點可能是在網(wǎng)絡，在系統(tǒng)上的問題。附加AI之后，基于數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)分析、數(shù)據(jù)反饋，這個過程中又會帶來許多新的問題，現(xiàn)在所謂的AI平安，大部分人是在強化AI攻擊或者數(shù)據(jù)攻擊和模型攻擊的事情。

但是從結果來看，這一塊是存在許多問題的，去年，我們的同學就已經(jīng)可以突破當時的人臉識別，當時是國外的一款手機用了人臉識別解鎖技術，我們構造了一個條件就可以突破掉。可以看到這個Stop特別經(jīng)典的圖，在許多講人工智能AI的大會上都能看到，基于小的數(shù)據(jù)污染就能讓AI形成特別錯誤的結論。

所以在這個挑戰(zhàn)中我們信任，除了系統(tǒng)的碎片化和整個生態(tài)的簡單度之外，在傳統(tǒng)平安，系統(tǒng)、網(wǎng)絡、云端都很有可能快速把之前的閱歷復制過去。但是AI上的挑戰(zhàn)是特別持續(xù)的，這方面也是整個行業(yè)，包括學術界不斷的投入。

AI的不確定性，目前訓練出來的模型都是黑盒子，將來數(shù)據(jù)能不能給出正確答案，可能只有70%，80%，90%，都是相對性的結論，這個結論是沒有方法人為干預的，只有我們不斷調(diào)整這個參數(shù)。這過程中我們做一些干擾的數(shù)據(jù)，做一些數(shù)據(jù)流攻擊，甚至是模型層面做模型反逆向做模型滲透等等，這就導致我們的識別結果可能在模糊地帶，有可能是一個小的像素的粘貼，就導致結果從A跳到了B。

有幾大基于機器學習的攻擊，一個是物理世界的攻擊，現(xiàn)在許多做語音識別的，我可能是模擬一段語音或者發(fā)起一段語音，這可能是被識別成惡意指令，可以做一些動作。所以接受AI之后可以做響應，圖片也是一樣，我們可以用物理的圖片加干擾，做這個模型可能會得到完全不一樣的結果，白盒是做模型內(nèi)部的細節(jié)，目前來看是屬于比較高級的攻擊方式。

百度在這方面做了一些試驗，針對語音識別的機器學習對抗已經(jīng)有一些成果，我們可以模擬出類似于一段海豚音，讓機器識別出來，但是人是聽不見的，寧靜的環(huán)境沒有接收到任何指令。但是通過攻擊性語音，讓機器可以識別，機器做出相應的反饋和指令，可以達到攻擊的過程。同時還有基于語音的喚醒機器，可以做到隱匿語音喚醒，喚醒之后全部的隱私就可能被暴露出來，這都是將來基于AI的攻擊點。

要系統(tǒng)性的解決AI的平安問題，需要從三個方面來處理，還是要做好整個的平安評估，再有肯定的方案做平安保障，最重要的是建立起特別準時的平安響應機制和通道。由于平安從來都不是一錘子買賣，是一個持續(xù)的攻防對抗過程，所以這個過程中，持續(xù)的響應是將來特別重要的一點。

在AIoT設備中涉及到云、管、端和數(shù)據(jù)相關，不同層面要供應不同的平安保障。

在平安評估上，我們在推行業(yè)平安基準，包括跟信通院，對一些詳細場景，比如音箱、攝像頭等。我盼望將來上市的全部智能設備，基于AIoT的設備，上市之前都有一個基準的平安評估，能夠在設備傳輸和AI幾個點符合基礎的標準，這樣就大大降低將來可攻擊性。

從我們跟信通院建立的標準來看，目前通過我們建立的平安評估點和平安設備，使整個平安狀況有明顯提升。在硬件和固件層面都供應了許多的威逼點，將來許多的設備都會有相應的標準來降低將來潛在的風險。

我們也供應了一些專業(yè)工具可以幫助大家做評估，比如說百度的Advbox，是特地針對AI的平安工具，第一是可以對你的平安模型做健壯性和基礎性測試。另外可以供應對抗樣原來訓練你的模型，使你的模型加固。第三是我們可以讓你去了解對抗樣本，這是基于開源的平臺，大家在AI上可以檢測這些功能。在IoT上我們也供應了一些端上的檢測工具，第一時間可以特別便利發(fā)覺存在的風險和漏洞，在整個設備出廠之前就能感知到風險。

平安保障這一塊我們也分了幾大塊，云端防護思路是特別重要的。特殊是基于語音、攝像頭，剛才說的AI會導致行為錯亂，但是云端的措施沒做好會導致隱私的泄露。從國家層面到大眾對這方面都有強感知，所以基于這些設備我們要做基于網(wǎng)絡平安的風險部署，協(xié)議通訊這一塊盼望全部的設備能夠做基于SSL、TLS的加密，包括DNS方面，我們之前存在許多DNS被劫持的場景。劫持之后可能內(nèi)容會轉(zhuǎn)變?yōu)榈谌缴踔翉V告等等，我們盼望能夠有平安的DNS服務去做保障，這一整套通訊層面的平安，最重要的是保證我們的數(shù)據(jù)傳輸是平安的，隱私不會被泄露。

對設備端的愛護，由于系統(tǒng)特別碎片化，我們要做大量的工作，基于不同的版本做不同的平安措施，但是系統(tǒng)這一塊最重要的分幾塊去做：第一，平安狀態(tài)本身要有感知力量，需要做一些監(jiān)測，包括系統(tǒng)可能被利用了，這些自感知力量很重要；其次我們本身能夠有一些惡意推斷的應用，包括在安卓的場景，都會有利用惡意應用來攻擊場景消失；另外漏洞這一塊需要持續(xù)關注，對漏洞要準時響應，否則可能會被利用。同時跟第三方媒介的接觸要做較強的校驗和認證。

平安響應考慮到的是便捷性，所以響應肯定要有一條設備和云端的通道。這條通道是設備的生命線，可以更新設備的特性和性能，優(yōu)化我們的體驗，同時可以做平安最重要、最快速的下發(fā)通道，包括OTA的平安，是我們的生命線。

在許多行業(yè)推出的響應手段，是針對漏洞可以做一些自適應的修復，這會極大的提升我們在AIoT這個行業(yè)里對漏洞的響應力量。由于一個漏洞可能跨十個版本，可能IoT里十個版本部署在幾十個產(chǎn)品線上，假如有一個高危漏洞消失，可能我們要做幾十次封裝和下發(fā)。這是特別繁重和有成本的操作，因此現(xiàn)在許多廠商不太關注。但是假如有自適應的修復力量，我們在內(nèi)核做自適應接入，將來全部的設備只需要一個小的Patch就能解決問題，極大的提升平安的聯(lián)動和響應機制。

百度針對之前的問題也做了許多實踐，從云、管、端都供應了方式和手段。云端我們DDos防護還有Web漏洞防護，都有廣泛的應用。還有在AI學習這一塊有對抗樣本工具，通訊這一塊供