AIGC專題：生成式AI時(shí)代的網(wǎng)絡(luò)安全

生代成的式網(wǎng)絡(luò)AI安時(shí)全了解當(dāng)今的安全環(huán)境在如何變化目錄01

→02

→簡介網(wǎng)絡(luò)罪犯會如何使用生成式

AI03

→AI

如何充分發(fā)揮投入網(wǎng)絡(luò)安全的時(shí)間和04

→人才的作用保護(hù)

AI：風(fēng)險(xiǎn)和建議84%的AI

高的管網(wǎng)計(jì)絡(luò)劃安優(yōu)全先解考決慮方生案成。1

式3簡介約使用48生%成的式高A管I

來預(yù)助計(jì)力，近他一們半的的日員常工工將作在。2明然年而用，這幾種乎科所技有可的能企會業(yè)在領(lǐng)未導(dǎo)來者3(年96內(nèi)%在)

都他表們示的，組采織中造成安全漏洞。1

去美年元，全美球國數(shù)為據(jù)94泄8

露萬的美平元均，企成業(yè)本需達(dá)要到降4低45風(fēng)萬險(xiǎn)，而不是增加風(fēng)險(xiǎn)。3雪上加霜的是，黑客預(yù)計(jì)將采用生成式

AI，獲得生成式

AI

以賦予企業(yè)的相同速度、規(guī)模和先進(jìn)性。使用生成式

AI，黑客可以創(chuàng)建更具針對性的網(wǎng)絡(luò)釣魚電子郵件，模仿受信任用戶的聲音，創(chuàng)建惡意軟件和竊取數(shù)據(jù)。幸已運(yùn)投的資是于，機(jī)為器了學(xué)最習(xí)大(限ML度)

等地傳利統(tǒng)用時(shí)AI間解和決人方才案，的們網(wǎng)可絡(luò)以安利全用領(lǐng)生導(dǎo)成者式可AI以工利具用來A保I

進(jìn)護(hù)行數(shù)反據(jù)擊和用。他戶，并檢測和阻止?jié)撛诘墓?。這對事挑關(guān)戰(zhàn)，重并大充。我分們利創(chuàng)用建生本成指式南AI是的為彈了性幫。我助們您探應(yīng)討式，了以攻及擊您者應(yīng)可如能何使使用用生這成些式科A技I

來更攻好擊地您保的護(hù)方自己。最后，我們提供了一個(gè)框架來幫助您保護(hù)整個(gè)企業(yè)的

AI

訓(xùn)練數(shù)據(jù)、模型和應(yīng)用程序。014下一章網(wǎng)的絡(luò)組安織全嘗領(lǐng)試導(dǎo)這者種正變面革臨性著科生技成時(shí)，式雖A然I

的這挑項(xiàng)戰(zhàn)科。技當(dāng)可他以們推動(dòng)整個(gè)企業(yè)的生產(chǎn)力大幅提高，但他們必須控制生成式據(jù)泄AI露可到能黑帶客來操的縱潛A在I

執(zhí)風(fēng)行險(xiǎn)惡和意威任脅務(wù)。這帶包來括的從各意種外風(fēng)數(shù)險(xiǎn)和威脅。網(wǎng)絡(luò)罪犯會如何使用生成式

AI02生規(guī)成模、式精A度I

可和能先會進(jìn)像性其等可益以處為一企樣業(yè)，讓提攻供擊速者度受、益新手。生的成技式能A，I降還低將門提檻高，可即能使缺是乏新技手術(shù)黑?？烷L也的可以件在活全動(dòng)球。范圍內(nèi)發(fā)起惡意網(wǎng)絡(luò)釣魚和惡意軟在準(zhǔn)備應(yīng)對這些威脅時(shí)，您應(yīng)該考慮網(wǎng)絡(luò)安全研究人員發(fā)現(xiàn)生成式

AI

相關(guān)攻擊的兩個(gè)主要途徑。生成式

AI

相關(guān)攻擊的主要途徑攻擊您的組織攻擊您的

AI上一章下一章5–

更多網(wǎng)絡(luò)釣魚，更多點(diǎn)擊：盡管

AI

設(shè)計(jì)的網(wǎng)絡(luò)釣魚旨在實(shí)現(xiàn)與人類設(shè)計(jì)的網(wǎng)絡(luò)釣魚相同的目標(biāo)，但它成為一種可以讓攻擊者加速并增加其網(wǎng)絡(luò)釣魚活動(dòng)的工具。這種情況會–

增目加標(biāo)用式戶網(wǎng)錯(cuò)絡(luò)誤釣點(diǎn)魚擊：攻惡擊意者電可子以郵使件用的生可成能式性。AI

聊天機(jī)器人來研究受害者的在線個(gè)人資料，從而獲得對目標(biāo)受害者生活方式的寶貴洞說察服分力析的網(wǎng)。這絡(luò)些釣聊魚天電機(jī)子器郵人件還，模可仿以目生標(biāo)成受極害具者的語言風(fēng)格。網(wǎng)絡(luò)罪犯會如何使用生成式

AI02攻擊您的組織使用大型語言模型

(LLM)，網(wǎng)絡(luò)犯罪分子可以更快地進(jìn)行更多攻擊，從電子郵件網(wǎng)絡(luò)釣魚活動(dòng)到創(chuàng)建惡意軟件代碼。盡管這些威脅由來已久，但黑客將手動(dòng)任務(wù)轉(zhuǎn)移到

LLM

所獲得的技速能度短和缺規(guī)的模網(wǎng)可絡(luò)能安會全使團(tuán)已隊(duì)經(jīng)不面堪臨重持續(xù)。4

人手和AI

設(shè)計(jì)的網(wǎng)絡(luò)釣魚研內(nèi)究創(chuàng)人建逼員真證的明，網(wǎng)利絡(luò)用釣生魚成電式子A郵I

件可。以5他在們幾還分發(fā)鐘現(xiàn)，這些電子郵件幾乎與那些在社會工程網(wǎng)絡(luò)釣魚攻擊方面經(jīng)驗(yàn)豐富的人創(chuàng)建的電子郵件一樣有效。這些電子郵件非常有說服力，甚至可以挑戰(zhàn)準(zhǔn)備最充分的組織。中如，L他L們M

可以使生用成公他司們首想席要執(zhí)的行任官何的音聲頻音。例給首席財(cái)務(wù)官留言，指示他們向攻擊者控制的銀行賬戶支付一張偽造的發(fā)票。IBM

已經(jīng)證明，攻擊者可以實(shí)時(shí)進(jìn)行“音頻插孔”呼叫。IBM

的一名研究人員表明，攻擊者可以通過攔截實(shí)時(shí)通話，實(shí)時(shí)克隆說話者的聲音，生成可以欺騙聽話者以泄露敏感信息的話語來做到這一點(diǎn)。例如銀行賬號和網(wǎng)絡(luò)密碼。深度偽造的音頻 這種新攻擊方法的術(shù)語是“網(wǎng)絡(luò)釣魚

3.0”，您網(wǎng)絡(luò)安全領(lǐng)導(dǎo)者擔(dān)心生成式

AI

深度偽造音 所聽到的似乎是合法的，但事實(shí)并非如此。網(wǎng)頻的威脅

在。

這 犯，中擊攻些 罪分 將以可子 絡(luò)安全專業(yè)人員可能需要通過一系列個(gè)人之在線獲得的說話者聲音的錄音輸入到

LLM

間使用的安全代碼來確認(rèn)身份，打擊這種形式的網(wǎng)絡(luò)攻擊

這。

種方法將為員工的生活增加更多層次的網(wǎng)絡(luò)安全提示。上一章下一章6網(wǎng)絡(luò)罪犯會如何使用生成式

AI02攻擊您的

AI黑客罪犯可能會嘗試攻擊企業(yè)

AI

模型，實(shí)際上是利用您的

AI

來對付您。他們可以通過將惡意訓(xùn)練數(shù)據(jù)注入 模型并迫使

AI

做他們想做的事來對您的

A“I

投毒”。例如，他們可能會讓您的

AI

對供應(yīng)鏈做出錯(cuò)誤的預(yù)測，或者對聊天機(jī)器人產(chǎn)生仇恨。他們可以通過使用基于語言的提示來“破解”您的

LLM，使其泄露機(jī)密財(cái)務(wù)信息，創(chuàng)建易受攻擊的軟件代碼，并應(yīng)為建您議的。安全分析師提供錯(cuò)誤的網(wǎng)絡(luò)安全響對您的

A“I

投毒”讓您的

AI

來對付您可能是網(wǎng)絡(luò)罪犯的最高愿望。這可能很難做到，但并非不可能。通過對用于訓(xùn)練

LLM

的數(shù)據(jù)“投毒”，攻擊者可以使其出現(xiàn)故障或惡意行為，而不會被發(fā)現(xiàn)。一次成功的攻擊可能是制造虛假信息或?qū)﹃P(guān)鍵基礎(chǔ)設(shè)施發(fā)動(dòng)網(wǎng)絡(luò)攻擊

但是，這些攻擊要求黑客能夠訪問訓(xùn)練數(shù)據(jù)。如果這些數(shù)據(jù)是封閉、可信和安全的，這些攻擊就很難進(jìn)行。但是如果您的

AI

模型是在開源數(shù)據(jù)集上訓(xùn)練的，對您的

A“I

投毒”的門檻就會低得多。破解您的

LLM有了

LLM，英語基本上已經(jīng)成為一種編程語言。攻擊者無需掌握傳統(tǒng)的編程語言（如Python

和

Java）來創(chuàng)建惡意軟件來破壞計(jì)算系統(tǒng)，而是可以使用自然語言提示來命令LLM

做他們想做的事情。即使有護(hù)欄，攻擊者也可以使用這些提示來繞過或破解

AI

模型上的安全和審核功能。為了更好地了解攻擊者如何提操示縱多個(gè)LLLML，MIB：M?

X-Force

研究人員6成功地泄露有關(guān)其他用戶的機(jī)密財(cái)務(wù)信息––

提供較差的安全建議創(chuàng)建易受攻擊的惡意代碼上一章下一章751%高絡(luò)管安們?nèi)眍A(yù)示算，比他2們02210年23增年加的了A5I

1網(wǎng)%。他增們加預(yù)43計(jì)%到。1

2025

年，這些預(yù)算將再20212023

年2025上一章下一章8A全I(xiàn)

的如時(shí)何間充和分人發(fā)才揮的投作入用網(wǎng)絡(luò)安03除了外 ，網(wǎng)絡(luò)安全領(lǐng)導(dǎo)者還面臨著許多內(nèi)部挑戰(zhàn)。可以填補(bǔ)整個(gè)行業(yè)空缺職位復(fù)問雜題性都不使斷網(wǎng)增絡(luò)加安，全攻領(lǐng)擊導(dǎo)面者不及斷其擴(kuò)團(tuán)大隊(duì)。所更有難這保些護(hù)、管理用戶訪問以及應(yīng)對他們每天面臨的數(shù)千種威脅。每天，近三分之一

(32%)

的安全運(yùn)營中心(SOC)

分析師的時(shí)間都花在調(diào)查和驗(yàn)證最終的70人0,0太0少0

個(gè)了?！?此外據(jù)，一敏項(xiàng)感政數(shù)府據(jù)估激算增，，空基缺礎(chǔ)職設(shè)位施達(dá) 被證明是虛假威脅的事件上。7事實(shí)上，由于警報(bào)只數(shù)能量審太查多他，們S應(yīng)OC審團(tuán)查隊(duì)的成警員報(bào)在的正一常半的(4一9%天)中。7這種工作狀態(tài)不僅會打擊員工的積極性，還可能會產(chǎn)生嚴(yán)重的網(wǎng)絡(luò)安全瓶頸。事實(shí)上，大多數(shù)減分慢析了師工作(8速1%度)

。表7

示，每天的手工調(diào)查工作上一章下一章9最近，網(wǎng)絡(luò)安全領(lǐng)導(dǎo)者一直在使用傳統(tǒng)的

AI解決方案應(yīng)對這些挑戰(zhàn)，這些解決方案使用ML

來幫助

SOC

分析師評估風(fēng)險(xiǎn)，并根據(jù)其組織自身的安全需求推薦應(yīng)對措施。這種方法的優(yōu)點(diǎn)是公認(rèn)的：廣泄泛露采方用面耗AI費(fèi)和的自時(shí)動(dòng)間化平的均組縮織短在了發(fā)1現(xiàn)08并天遏。制3領(lǐng)信，先并的將A檢I

采測用時(shí)者間正縮在短監(jiān)了控三分95之%一的。網(wǎng)8

絡(luò)通廣萬泛美采元用。3

AI

和自動(dòng)化的組織節(jié)省了近

18003AI

如何充分發(fā)揮投入網(wǎng)絡(luò)安全的時(shí)間和人才的作用10下一章上一章userid:529794,docid:170359,date:2024-08-02,根據(jù)

IBM

商業(yè)價(jià)值研究院關(guān)于生成式

AI

在網(wǎng)絡(luò)安全方面的研究，64%

的高管已將網(wǎng)絡(luò)安全確定為生成式

AI

用例的首要任務(wù)。9此外，大多數(shù)人了解這些科技的商業(yè)價(jià)值，84%

的人表示他們計(jì)劃優(yōu)先考慮生成式

AI

網(wǎng)絡(luò)安全解決方網(wǎng)于對

案絡(luò)，安而不是傳統(tǒng)的網(wǎng)絡(luò)安全解決方案業(yè)育教該應(yīng)，言而者導(dǎo)領(lǐng)全 務(wù)。1合作伙伴和高級管理層，讓他們接受這些解決方案。2023

年，企業(yè)領(lǐng)導(dǎo)者意識到生成式

AI

在其組織中的潛力。生成式

AI

開始改變企業(yè)的幾乎每戶個(gè)和角員落工，體從驗(yàn)供..應(yīng)....鏈你管好理，（聊通天過機(jī)預(yù)器測人分。但析有）到一客方面它尚未觸及：網(wǎng)絡(luò)安全。接下來的

12

個(gè)月將改變這一切。03生成式

AI

作為網(wǎng)絡(luò)安全的增力因素AI

如何充分發(fā)揮投入網(wǎng)絡(luò)安全的時(shí)間和人才的作用64%的高管已將網(wǎng)絡(luò)安全確定為生成式

AI

用例的首要任務(wù)。上一章下一章11生成式

AI

在應(yīng)用于網(wǎng)絡(luò)安全領(lǐng)域時(shí)，會像其應(yīng)用于企業(yè)其他領(lǐng)域一樣成為業(yè)務(wù)加速器，在多個(gè)方面最大限度地利用安全團(tuán)隊(duì)的時(shí)間和人才。生成式

AI

可以代表分析師管理和自動(dòng)執(zhí)行重復(fù)、耗時(shí)的任務(wù)，使他們能夠?qū)Ｗ⒂诰W(wǎng)絡(luò)安全的更具戰(zhàn)略意義的方面。生成式

AI

還可以通過簡化復(fù)雜的技術(shù)性內(nèi)容來提升安全專業(yè)人員的能力，使他們更快而且更容易地完成更具挑戰(zhàn)性的任務(wù)。您在尋找生成式

AI

解決方案以在短期內(nèi)增強(qiáng)安全運(yùn)營時(shí)，需要考慮的一些特定用例包括：–

自動(dòng)化報(bào)告：這些工具 創(chuàng)建安全案例和事件的簡單摘要，然后可以將摘要與組織中的各種安全和業(yè)務(wù)領(lǐng)導(dǎo)者共享。摘要可以根據(jù)他們的技術(shù)專長水平和感興趣的領(lǐng)域進(jìn)行定制。–

加速威脅搜尋：這些工具自動(dòng)生成搜索以檢測威脅，所有這些都基于對攻擊行為和模式的自然語言描述，這有助于加快對新威脅的響應(yīng)速度。–

解釋機(jī)器生成的數(shù)據(jù)：為了幫助分析師快速理解安全日志數(shù)據(jù)，這些解決方案對系統(tǒng)上發(fā)生的事件進(jìn)行了簡單的解釋，從而加快了分析師的調(diào)查速度并降低了新員工的技術(shù)壁壘。–

整理威脅情報(bào)：生成式

AI

工具可以解釋和總結(jié)最相關(guān)的威脅情報(bào)，根據(jù)客戶獨(dú)特的風(fēng)險(xiǎn)狀況，篩選出最有可能影響客戶的活動(dòng)。展望未來，生成式

AI

還將能夠?qū)W習(xí)和創(chuàng)建主動(dòng)響應(yīng)，并隨時(shí)間推移對響應(yīng)進(jìn)行優(yōu)化，例如，幫助安全團(tuán)隊(duì)發(fā)現(xiàn)所有類似的安全事件、更新所有受影響的系統(tǒng)、修補(bǔ)所有易受攻擊的軟件代碼。03AI

如何充分發(fā)揮投入網(wǎng)絡(luò)安全的時(shí)間和人才的作用上一章下一章12保護(hù)

AI：風(fēng)險(xiǎn)和建議04L模L采M

用為時(shí)企是業(yè)主用要戶的提網(wǎng)供絡(luò)的安速全度風(fēng)和險(xiǎn)易。用當(dāng)性工在程大師規(guī)和發(fā)分軟析件師腳使本用時(shí)，生他成們式增A加I

來了幫AI助可創(chuàng)能建沒代有碼接和受開過安全代碼和實(shí)踐訓(xùn)練的風(fēng)險(xiǎn)。對組織的潛在影響倉促的數(shù)據(jù)安全實(shí)踐軟件供應(yīng)鏈風(fēng)險(xiǎn)幻覺數(shù)據(jù)泄露黑匣效應(yīng)上一章13倉促的數(shù)據(jù)安全實(shí)踐企業(yè)急于使用

LLM，有時(shí)忽略了數(shù)據(jù)安全最佳實(shí)踐和標(biāo)準(zhǔn)，包括加密、駐留和特權(quán)訪問控制。04保護(hù)

AI：風(fēng)險(xiǎn)和建議軟件供應(yīng)鏈風(fēng)險(xiǎn) 幻企業(yè)可能會在錯(cuò)誤的代碼上進(jìn)行構(gòu)建和創(chuàng)新， 使用

LLM

生成的代碼構(gòu)建的軟件有包含錯(cuò)誤這些代碼通過從 代源開的買購里那商應(yīng)供 碼 或幻覺 風(fēng)的 性整完的碼代源害損會能可，險(xiǎn)和商業(yè)軟件組件匯編而成。行業(yè)中的常見故障 和安全性。為防止此問題，您的組織應(yīng)使用在和潛在可利用的軟件缺陷可能會造成新的風(fēng) 多樣化、平衡且結(jié)構(gòu)良好的數(shù)據(jù)上訓(xùn)練的

AI險(xiǎn)暴露水平。 模型。組織的

AI

工程師應(yīng)盡可能具體地給出提示，以避免

AI

模型不得不做出假設(shè)或在缺乏細(xì)節(jié)的地方創(chuàng)建細(xì)節(jié)。而且他們應(yīng)該接受培訓(xùn)，嚴(yán)格評估

LLM

生成的代碼，以確保輸出質(zhì)量。上一章1404保護(hù)

AI：風(fēng)險(xiǎn)和建議數(shù)據(jù)泄露 黑匣效應(yīng)如果沒有對第三方

AI

引擎進(jìn)行適當(dāng)?shù)谋O(jiān)督和 部分

AI

處理發(fā)生在黑匣中，這意味著安全領(lǐng)治理，無

方?jīng)Q解IA論

案

策留?；蚋罘謸?jù)數(shù)的

導(dǎo)者及其 所其乏缺會隊(duì)團(tuán) 需 度明透、性見可的略如何，組織都有將機(jī)密數(shù)據(jù)暴露給未授權(quán)用 和可解釋性。如果不遵循正確的軟件工程實(shí)戶的風(fēng)險(xiǎn)。新的提示注入和提示泄漏攻擊可 踐

這個(gè)問題會帶來特別的風(fēng)險(xiǎn)。至關(guān)重要的能會暴露敏感信息并削弱模型性能。 是，您的組織要有一套

AI

治理方法，可以幫助其跟蹤模型生命周期中的性能

并，

解釋模型如何以及為什么產(chǎn)生其所產(chǎn)生的結(jié)果。上一章15AI

框架的安全性04保護(hù)

AI：風(fēng)險(xiǎn)和建議構(gòu)建值得信賴的

AI隨著采用

AI

規(guī)模的擴(kuò)大和創(chuàng)新的發(fā)展，網(wǎng)絡(luò)安全指南將趨于成熟。一個(gè)用于保護(hù)可信基礎(chǔ)模型、生成式

AI

及其所基于的數(shù)據(jù)集的框架對于企業(yè)級

AI

至關(guān)重要。下面是一些應(yīng)與安全團(tuán)隊(duì)分享的最佳治理和技術(shù)實(shí)踐。1604保護(hù)

AI：風(fēng)險(xiǎn)和建議保護(hù)數(shù)據(jù)保護(hù)

AI

訓(xùn)練數(shù)據(jù)免遭盜竊、操縱和違規(guī)行為。–

使用數(shù)據(jù)發(fā)現(xiàn)和分類來檢測訓(xùn)練或微調(diào)中使用的敏感數(shù)據(jù)。–

在加密、訪問管理和合規(guī)性監(jiān)控方面實(shí)施數(shù)據(jù)安全控制。–

使用防止數(shù)據(jù)丟失技術(shù)，通過提示和應(yīng)用程序編程接口

(API)

防止敏感個(gè)人信息

(SPI)、個(gè)人身份信息

(PII)

和受監(jiān)管的數(shù)據(jù)泄露。保護(hù)模型通過掃描管道中的漏洞、強(qiáng)化集成以及實(shí)施策略和訪問控制來保護(hù)

AI

模型開發(fā)。–

持續(xù)掃描

AI

和

ML

管道中的漏洞、惡意軟件和損壞。–

發(fā)現(xiàn)并強(qiáng)化

API

和插件與第三方模型的集成。–

圍繞

ML

模型、工件和數(shù)據(jù)集配置和實(shí)施策略、控制和基于角色的訪問控制

(RBAC)。確保使用安通過檢測數(shù)據(jù)或提示泄漏，并在規(guī)避、投毒、竊取或推理攻擊時(shí)發(fā)出警報(bào)，確保

AI

模型的使用安全。–

監(jiān)控惡意輸入，例如提示注入和包含敏感數(shù)據(jù)或不當(dāng)內(nèi)容的輸出。–

實(shí)施

AI

安全解