安全數(shù)據(jù)湖的敏捷數(shù)據(jù)原則 2023

最高威脅工作組官網(wǎng)地址是：/research/working-groups/top-threats/@2023云安全聯(lián)盟大中華區(qū)-保留所有權(quán)利。你可以在你的電腦上下載、儲(chǔ)存、展示、查看及打印，或者訪問(wèn)云安全聯(lián)盟大中華區(qū)官網(wǎng)（）。須遵守以下：(a)本文只可作個(gè)人、信息獲取、非商業(yè)用途；(b)本文內(nèi)容不得篡改；(c)本文不得轉(zhuǎn)發(fā)；(d)該商標(biāo)、版權(quán)或其他聲明不得刪除。在遵循中華人民共和國(guó)著作權(quán)法相關(guān)條款情況下合理使用本文內(nèi)容，使用時(shí)請(qǐng)注明引用于云安全聯(lián)盟大中華區(qū)。?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有2?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有3中文版翻譯專家組（排名不分先后）：在此感謝以上專家。如譯文有不妥當(dāng)之處，敬請(qǐng)讀者聯(lián)系CSAGCR秘書(shū)處給箱research@；國(guó)際云安全聯(lián)盟CSA公眾號(hào)。?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有數(shù)據(jù)湖作為目前正在廣泛運(yùn)用的一種技術(shù)，是一種集中式的數(shù)據(jù)倉(cāng)庫(kù)，用于接收、存儲(chǔ)和保護(hù)大量結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，有效集成與分析各類數(shù)據(jù)源，為相應(yīng)的組織增加了巨大的價(jià)值。雖然這是對(duì)于數(shù)據(jù)聚合的一個(gè)關(guān)鍵解決方案，但光有數(shù)據(jù)湖技術(shù)是不夠的，需要企業(yè)范圍的數(shù)據(jù)原則來(lái)確保數(shù)據(jù)是可信的。而且，在整個(gè)數(shù)據(jù)社區(qū)中最大限度地實(shí)現(xiàn)其價(jià)值并確保遵守越來(lái)越多的法規(guī)要求至關(guān)重要。報(bào)告考察了當(dāng)數(shù)據(jù)湖作為一種主要數(shù)據(jù)管理技術(shù)而呈現(xiàn)的數(shù)據(jù)原則的基本參數(shù)，包括確保數(shù)據(jù)的安全和隱私，并且為數(shù)據(jù)湖的整體保護(hù)和執(zhí)行提供了架構(gòu)。希望為組織提供一套能夠貫穿始終的數(shù)據(jù)原則思路。建立包含敏捷思維的整體數(shù)據(jù)戰(zhàn)略，實(shí)現(xiàn)數(shù)據(jù)安全和有效的隱私控制，在最大程度降低總成本的同時(shí)，提高數(shù)據(jù)湖中數(shù)據(jù)資產(chǎn)的價(jià)值。?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有5致謝 4序言 5介紹 7 7什么是數(shù)據(jù)社區(qū)？ 8理論與應(yīng)用 9解決方案 10結(jié)語(yǔ) 12?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有6在整個(gè)數(shù)據(jù)社區(qū)中最大限度地實(shí)現(xiàn)其價(jià)值并確保遵守越來(lái)越多的本文觀點(diǎn)考察了當(dāng)吧數(shù)據(jù)湖作為一種主要數(shù)據(jù)管理技術(shù)而呈現(xiàn)出包括確保數(shù)據(jù)的安全和隱私，并且不基于任何供應(yīng)商的解決方案，數(shù)據(jù)湖通過(guò)提供對(duì)廣泛的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)源進(jìn)行有效集巨大的價(jià)值。一般而言，數(shù)據(jù)湖以原始形式存儲(chǔ)從多個(gè)數(shù)據(jù)源收集的數(shù)據(jù)時(shí)才定義數(shù)據(jù)結(jié)構(gòu)和用戶需求。如果組織要使用數(shù)據(jù)并確保其安須遵守嚴(yán)格的數(shù)據(jù)原則政策和相關(guān)程序。且需要得到數(shù)據(jù)社區(qū)（DC）中了從數(shù)據(jù)湖中獲取最高的靈活性和性能，保障DC中的任何用戶能據(jù)，在適當(dāng)?shù)臅r(shí)候，跨多個(gè)數(shù)據(jù)集進(jìn)行可靠的數(shù)據(jù)集成。執(zhí)行此操作時(shí)?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有7什么是數(shù)據(jù)社區(qū)？社區(qū)定義為在特定領(lǐng)域具有共同利益的個(gè)人的統(tǒng)一團(tuán)體；廣義大的社會(huì)或團(tuán)體的人員和專家，由共同的興趣和政策聯(lián)系在一起形成此，數(shù)據(jù)社區(qū)是由平時(shí)分散在組織中投入研究數(shù)據(jù)的個(gè)人，通過(guò)常見(jiàn)的確保組織中的DC正常運(yùn)轉(zhuǎn)是數(shù)據(jù)治理人員或者團(tuán)隊(duì)的職責(zé)?！稊?shù)據(jù)治息管理和數(shù)據(jù)架構(gòu)的一個(gè)組成部分。正如財(cái)務(wù)會(huì)計(jì)師使用一個(gè)流財(cái)務(wù)一樣，負(fù)責(zé)數(shù)據(jù)資產(chǎn)的數(shù)據(jù)經(jīng)理也需要流程和規(guī)則。這些原則由信息管理團(tuán)隊(duì)實(shí)施。Ladley指出，“數(shù)據(jù)治理不是由管理信息的人員履行數(shù)據(jù)治理是一種管理監(jiān)督，有助于為數(shù)據(jù)管理數(shù)據(jù)社區(qū)是圍繞關(guān)鍵數(shù)據(jù)集建立的。例如，一個(gè)社區(qū)可能負(fù)責(zé)責(zé)客戶數(shù)據(jù)。這些社區(qū)確保其影響范圍內(nèi)的數(shù)據(jù)準(zhǔn)任何社區(qū)的首要價(jià)值是為其成員提供歸屬感和安全感。數(shù)據(jù)社區(qū)也不例據(jù)安全應(yīng)該是社區(qū)章程的一部分，為數(shù)據(jù)用戶提供了對(duì)收集和管理的理論與應(yīng)用數(shù)據(jù)原則、政策和實(shí)施規(guī)則必須平衡數(shù)據(jù)本身的管理和控制及整個(gè)1.信任：用戶必須知道，從數(shù)據(jù)湖開(kāi)發(fā)的可視化和報(bào)表是基于可識(shí)別和可靠），2.數(shù)據(jù)血源可追溯性：用戶必須能夠通過(guò)數(shù)據(jù)生命周期中的多次躍程輕松識(shí)別數(shù)據(jù)的血緣和安全性，包括數(shù)據(jù)的原始來(lái)源、任何中間轉(zhuǎn)換過(guò)程中流程的細(xì)節(jié)和算法的使用、安全控制以及復(fù)制數(shù)據(jù)轉(zhuǎn)換路徑中使用的任何數(shù)據(jù)的能3.使用情況跟蹤：組織必須知道誰(shuí)訪問(wèn)了數(shù)據(jù)，包括特權(quán)用戶、他們?cè)L問(wèn)了什么、是否進(jìn)行了更改以及更改的方式和時(shí)間，以便組織能夠滿足任何法規(guī)要求，如《健康保險(xiǎn)流通與責(zé)任法案（HIPAA）》或《塞班斯-奧克斯利法案4.啟用發(fā)現(xiàn)：數(shù)據(jù)湖的內(nèi)容可能很復(fù)雜，因此必須對(duì)數(shù)據(jù)有效標(biāo)記，包括添加元數(shù)據(jù)，并且文件需要被開(kāi)發(fā)，例如開(kāi)發(fā)數(shù)據(jù)目錄，以便可以使用與用戶5.數(shù)據(jù)安全：系統(tǒng)必須確保數(shù)據(jù)只能由授權(quán)用戶訪問(wèn)，尊重?cái)?shù)據(jù)的機(jī)密性和隱私（例如，個(gè)人身份信息或PII），并允許及時(shí)識(shí)別任何利用外據(jù)的威脅及其補(bǔ)救措施。此外，還必須考慮高度機(jī)密的數(shù)據(jù)應(yīng)該存入指定的數(shù)據(jù)湖中。支付卡信息或SSN等數(shù)據(jù)可能永遠(yuǎn)不存在于數(shù)據(jù)湖中，這是非常6.數(shù)據(jù)混淆：為了最大限度地提高可用性，當(dāng)多個(gè)用戶可以檢索同一數(shù)據(jù)記錄時(shí)，必須保護(hù)敏感和個(gè)人數(shù)據(jù)元素的機(jī)密性，這些用戶可能只有權(quán)查看某些指定的數(shù)據(jù)元素，而不能查看其他數(shù)據(jù)元素（如工資信息）。這包括數(shù)據(jù)7.可審計(jì)性：必須確保內(nèi)部和外部審計(jì)師可根據(jù)需要獲得所有數(shù)據(jù)血緣和數(shù)?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有8.性能：數(shù)據(jù)原則流程不得對(duì)數(shù)據(jù)湖的性能產(chǎn)生重大不利影響，包括從多個(gè)9.故障排除：必須有現(xiàn)成的技術(shù)解決由數(shù)據(jù)的安全性、可信度或質(zhì)量引起的10.保留、歸檔和處置：數(shù)據(jù)湖必須遵守?cái)?shù)據(jù)生命周期中的所有11.監(jiān)控：必須建立數(shù)據(jù)湖監(jiān)控規(guī)范，并且必須圍繞數(shù)據(jù)分類分級(jí)和組織合規(guī)報(bào)告的要求，配置基于數(shù)據(jù)分類分級(jí)和使用模式（如下載數(shù)據(jù)、修改數(shù)據(jù)、競(jìng)爭(zhēng)優(yōu)勢(shì)，越來(lái)越多的關(guān)注于從其數(shù)據(jù)資產(chǎn)中獲得最大價(jià)值。長(zhǎng)內(nèi)的數(shù)據(jù)原則一直被認(rèn)為是從數(shù)據(jù)中獲得業(yè)務(wù)價(jià)值的關(guān)鍵成功因候在新技術(shù)的背景下重新審視數(shù)據(jù)治理的原則，比如數(shù)據(jù)湖，以解決方案了應(yīng)對(duì)這種情況，必須實(shí)施一套數(shù)據(jù)原則框架，該框架包括安全的數(shù)企業(yè)數(shù)據(jù)社區(qū)需要時(shí)，能以正確的格式提供最新的、可信的數(shù)據(jù)。該靈活的，因?yàn)殡S著數(shù)據(jù)爆炸性的增長(zhǎng)，數(shù)據(jù)生態(tài)系統(tǒng)在不斷發(fā)展變化變性，導(dǎo)致會(huì)增加更多的數(shù)據(jù)管道，產(chǎn)生新的數(shù)據(jù)架構(gòu)，進(jìn)而也增加性的關(guān)注。與此同時(shí)，高明的黑客、民族國(guó)家活動(dòng)、惡意內(nèi)部員工和據(jù)安全帶來(lái)了越來(lái)越大的挑戰(zhàn)。此外，隨著執(zhí)法力度的加大，制定了隱私已成為社會(huì)關(guān)注的問(wèn)題。最后，數(shù)據(jù)也越來(lái)越分散，沒(méi)有清晰的好的開(kāi)箱即用和多云部署情況）和邊緣的多源頭接收、存儲(chǔ)、運(yùn)算上敏捷數(shù)據(jù)原則框架必須提供一個(gè)靈活的正式結(jié)構(gòu)控制數(shù)據(jù)的定義、收?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有用，管理風(fēng)險(xiǎn)并確保數(shù)據(jù)的質(zhì)量和可用性，從而支持整個(gè)企業(yè)數(shù)據(jù)傳統(tǒng)的數(shù)據(jù)治理主要是防御性的，主要側(cè)重在減輕風(fēng)險(xiǎn)，延長(zhǎng)數(shù)據(jù)可用高而被詬病。然而，與其他敏捷方法一樣，敏捷數(shù)據(jù)原），敏捷數(shù)據(jù)湖威脅模型框架需要首先讓組織的數(shù)據(jù)社區(qū)定義以下治理因素，重點(diǎn)關(guān)注角色a.為了維護(hù)和提高數(shù)據(jù)質(zhì)量，并在不斷發(fā)展的數(shù)據(jù)b.在整個(gè)數(shù)據(jù)社區(qū)中，哪些術(shù)語(yǔ)應(yīng)該被定義好（例如數(shù)據(jù)質(zhì)量、）？d.元數(shù)據(jù)是數(shù)據(jù)湖的基本優(yōu)先事項(xiàng)：現(xiàn)在有哪些描述性信息（例如，數(shù)據(jù)目）？f.數(shù)據(jù)管道的哪些部分需要自動(dòng)化，以及如何自動(dòng)化，包括機(jī)器學(xué)習(xí)等先進(jìn)技h.數(shù)據(jù)原則政策和標(biāo)準(zhǔn)如何與正在使用的進(jìn)程、工具、技術(shù)和平i.誰(shuí)管理數(shù)據(jù)湖（角色和職責(zé)），包括訪問(wèn)控制、元數(shù)據(jù)管理、接收監(jiān)控警報(bào)和j.如何建立和維護(hù)數(shù)據(jù)社區(qū)，包括用戶社區(qū)如何分享個(gè)人在數(shù)據(jù)檢索和分析過(guò)程?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有l(wèi).包括治理政策在內(nèi)的數(shù)據(jù)原則以及產(chǎn)生的變化如何傳達(dá)給整個(gè)數(shù)據(jù)社區(qū)？o.使用什么技術(shù)，如何支撐數(shù)據(jù)原則的安全實(shí)施？一旦計(jì)劃好，數(shù)據(jù)原則就必須作為數(shù)據(jù)湖管理計(jì)劃的組性和隱私性不僅是專業(yè)人員的責(zé)任，也需要數(shù)據(jù)社區(qū)中包括所有數(shù)據(jù)共同努力。敏捷技術(shù)已經(jīng)成功地實(shí)現(xiàn)了軟件開(kāi)發(fā)的現(xiàn)代化，也為不斷做出了類似的承諾。此外，數(shù)據(jù)操作在實(shí)施過(guò)程中可能具有一定價(jià)值需要先仔細(xì)考慮，形成一套能夠貫穿始終的數(shù)據(jù)原則。數(shù)據(jù)原則包括湖的基本決策，并建立包含敏捷思