區(qū)塊鏈在大數(shù)據(jù)管理中的應(yīng)用方案

區(qū)塊鏈在大數(shù)據(jù)管理中的應(yīng)用方案區(qū)塊鏈在大數(shù)據(jù)管理中的應(yīng)用方案1目錄不夠完美的大數(shù)據(jù)區(qū)塊鏈簡介區(qū)塊鏈在大數(shù)據(jù)管理中的應(yīng)用目錄不夠完美的大數(shù)據(jù)2不夠完美的大數(shù)據(jù)——用戶隱私問題Facebook用戶隱私數(shù)據(jù)泄露事件：3月份媒體揭露稱一家服務(wù)特朗普競選團(tuán)隊(duì)的數(shù)據(jù)分析公司CambridgeAnalytica獲得了Facebook五千萬用戶的數(shù)據(jù)，并進(jìn)行違規(guī)濫用。Facebook違背了用戶協(xié)議，對用戶隱私造成了侵犯，遭到了輿論的強(qiáng)烈批評。Facebook股價(jià)一度暴跌8%以上，扎克伯格的個(gè)人凈資產(chǎn)在當(dāng)日銳減60.6億美元。不夠完美的大數(shù)據(jù)——用戶隱私問題Facebook用戶隱私數(shù)據(jù)3不夠完美的大數(shù)據(jù)——用戶隱私問題李彥宏的邏輯：“中國用戶更傾向于用隱私換取便捷性?！辈粔蛲昝赖拇髷?shù)據(jù)——用戶隱私問題李彥宏的邏輯：“中國用戶更傾4不夠完美的大數(shù)據(jù)——數(shù)據(jù)質(zhì)量與監(jiān)管問題魏則西事件：2016年4月12日，西安電子科技大學(xué)21歲學(xué)生魏則西因滑膜肉瘤病逝。他去世前在知乎網(wǎng)站撰寫治療經(jīng)過時(shí)稱，在百度上搜索出武警北京第二醫(yī)院的生物免疫療法，隨后在該醫(yī)院治療后致病情耽誤，此后了解到，該技術(shù)在美國已被淘汰。不夠完美的大數(shù)據(jù)——數(shù)據(jù)質(zhì)量與監(jiān)管問題魏則西事件：2016年5不夠完美的大數(shù)據(jù)——應(yīng)用邏輯問題大數(shù)據(jù)殺熟：不夠完美的大數(shù)據(jù)——應(yīng)用邏輯問題大數(shù)據(jù)殺熟：6不夠完美的大數(shù)據(jù)：數(shù)據(jù)安全問題中國中藥材價(jià)格指數(shù)：全部數(shù)據(jù)被國內(nèi)某咨詢公司非法獲取。不夠完美的大數(shù)據(jù)：數(shù)據(jù)安全問題中國中藥材價(jià)格指數(shù)：全部數(shù)據(jù)被7不夠完美的大數(shù)據(jù)——數(shù)據(jù)采集問題價(jià)格采集的數(shù)據(jù)不真實(shí)：價(jià)格屬于企業(yè)的商業(yè)秘密數(shù)據(jù)集中在中心化的平臺(tái)不夠完美的大數(shù)據(jù)——數(shù)據(jù)采集問題價(jià)格采集的數(shù)據(jù)不真實(shí)：價(jià)格屬8不夠完美的大數(shù)據(jù)——數(shù)據(jù)交易模式不夠完美的大數(shù)據(jù)——數(shù)據(jù)交易模式9不夠完美的大數(shù)據(jù)——數(shù)據(jù)交易的痛點(diǎn)數(shù)據(jù)交易可以存留、復(fù)制、轉(zhuǎn)發(fā)，數(shù)據(jù)交易中的數(shù)據(jù)所有權(quán)沒有因交易發(fā)生根本改變。大數(shù)據(jù)交易可以劃分為大數(shù)據(jù)分析、大數(shù)據(jù)產(chǎn)品和交易中介三種模式，其中，交易中介可以進(jìn)步分為托管模式和聚合模式。無論哪種模式，交易中心都可以存留交易的數(shù)據(jù)，無法自證清白。不夠完美的大數(shù)據(jù)——數(shù)據(jù)交易的痛點(diǎn)數(shù)據(jù)交易可以存留、復(fù)制、轉(zhuǎn)10不夠完美的大數(shù)據(jù)不夠完美的大數(shù)據(jù)11目錄不夠完美的大數(shù)據(jù)區(qū)塊鏈簡介區(qū)塊鏈在大數(shù)據(jù)管理中的應(yīng)用目錄不夠完美的大數(shù)據(jù)12引言區(qū)塊鏈的概念源于比特幣，比特幣2009年面世，成為區(qū)塊鏈最完美的應(yīng)用。2015年開始，部分國家認(rèn)識到區(qū)塊連技術(shù)的巨大因果那個(gè)前景2018年，不管是文藝圈、科技圈，還是最早嗅到先機(jī)的投資圈，區(qū)塊鏈都已成為新的風(fēng)口?！澳没ヂ?lián)網(wǎng)與區(qū)塊鏈類比，區(qū)塊鏈的顛覆性將是互聯(lián)網(wǎng)的十倍，是互聯(lián)網(wǎng)十倍的機(jī)遇。如果說互聯(lián)網(wǎng)是信息高速公路，區(qū)塊鏈則是資產(chǎn)高速公路?！币詤^(qū)塊鏈的概念源于比特幣，比特幣2009年面世，成為區(qū)塊鏈13什么是區(qū)塊鏈？技術(shù)語言定義狹義來講，區(qū)塊鏈?zhǔn)且环N按照時(shí)間順序?qū)?shù)據(jù)塊以順序相連的方式組合成的一種鏈?zhǔn)綌?shù)據(jù)結(jié)構(gòu)，并以密碼學(xué)方式保證的不可篡改和不可偽造的分布式賬本。廣義來講，區(qū)塊鏈技術(shù)是利用塊鏈?zhǔn)綌?shù)據(jù)結(jié)構(gòu)來驗(yàn)證與存儲(chǔ)數(shù)據(jù)、利用分布式節(jié)點(diǎn)共識算法來生成和更新數(shù)據(jù)、利用密碼學(xué)的方式保證數(shù)據(jù)傳輸和訪問的安全、利用由自動(dòng)化腳本代碼組成的智能合約來編程和操作數(shù)據(jù)的一種全新的分布式基礎(chǔ)架構(gòu)與計(jì)算范式。什么是區(qū)塊鏈？技術(shù)語言定義14要點(diǎn)1：區(qū)塊鏈?zhǔn)且环N按照時(shí)間順序?qū)?shù)據(jù)塊（頁）以順序相連的方式組合成的一種鏈?zhǔn)綌?shù)據(jù)結(jié)構(gòu)(賬本)要點(diǎn)1：區(qū)塊鏈?zhǔn)且环N按照時(shí)間順序?qū)?shù)據(jù)塊（頁）以順序相連的方15區(qū)塊示例區(qū)塊示例16要點(diǎn)2：賬本是非中心化存儲(chǔ)的！要點(diǎn)2：賬本是非中心化存儲(chǔ)的！17共識機(jī)制共識機(jī)制：指所有的分布式節(jié)點(diǎn)之間達(dá)成共識，通過算法來生成和更新數(shù)據(jù)，去認(rèn)定一個(gè)記錄的有效性。是區(qū)塊連系統(tǒng)中實(shí)現(xiàn)不同節(jié)點(diǎn)之間建立信任、獲得權(quán)益的數(shù)學(xué)算法。PoW（工作量證明ProofofWork）依賴機(jī)器進(jìn)行數(shù)學(xué)運(yùn)算來獲得記帳權(quán)，所有節(jié)點(diǎn)都平等的計(jì)算一個(gè)數(shù)學(xué)難題，誰最先找到答案說獲得記帳權(quán)。全網(wǎng)算力形成區(qū)塊鏈防火墻，降低攻擊風(fēng)險(xiǎn)。PoS（權(quán)益證明ProofofStake）

股份制，通過持有幣的數(shù)量和時(shí)間決定記帳權(quán)。DPoS（股份授權(quán)證明DelegatedProof-of-Stake）

民主議會(huì)制，通過選舉決定記帳權(quán)，被選中的代表在一定時(shí)間內(nèi)依次具有記帳權(quán)PBFT（實(shí)用拜占庭容錯(cuò)PracticalByzantineFaultTolerance）

拜占庭容錯(cuò)算法，通過數(shù)學(xué)算法實(shí)現(xiàn)，不需要代幣，33%容錯(cuò)。共識機(jī)制共識機(jī)制：指所有的分布式節(jié)點(diǎn)之間達(dá)成共識，通18共識機(jī)制——PBFT拜占庭將軍問題：古羅馬帝國疆土遼闊，軍隊(duì)駐地遠(yuǎn)，只能依靠信使傳遞軍令，戰(zhàn)爭時(shí)，將軍們必須制定統(tǒng)一的行動(dòng)計(jì)劃，但是，軍中有叛徒，叛徒會(huì)通過影響統(tǒng)一行動(dòng)計(jì)劃的制定和傳播，破壞忠誠將軍們的行動(dòng)計(jì)劃。因此，將軍們必須有一個(gè)預(yù)定的方法協(xié)議，使得所有的將軍達(dá)成一致，而少數(shù)舉個(gè)叛徒不能使忠誠的將軍做出錯(cuò)誤的行動(dòng)計(jì)劃。實(shí)質(zhì)：尋找一個(gè)方法，使得在一個(gè)有叛徒的非信任環(huán)境中建立對戰(zhàn)爭計(jì)劃的共識。在分布式系統(tǒng)中，有正常的服務(wù)器（將軍），有故障的服務(wù)器，也有破壞者的服務(wù)器（叛徒）共識算法的核心是在正常的節(jié)點(diǎn)間形成對等網(wǎng)絡(luò)狀態(tài)的共識。共識機(jī)制——PBFT拜占庭將軍問題：古羅馬帝國疆土遼闊，軍隊(duì)19共識機(jī)制——PBFT其中C為發(fā)送請求端，0123為服務(wù)端，3為宕機(jī)的服務(wù)端，具體步驟如下：1.Request：請求端C發(fā)送請求到任意一節(jié)點(diǎn)，這里是02.Pre-Prepare：服務(wù)端0收到C的請求后進(jìn)行廣播，擴(kuò)散至1233.Prepare：123,收到后記錄并再次廣播，1->023，2->013，3因?yàn)殄礄C(jī)無法廣播4.Commit：0123節(jié)點(diǎn)在Prepare階段，若收到超過一定數(shù)量的相同請求，則進(jìn)入Commit階段，廣播Commit請求5.Reply：0123節(jié)點(diǎn)在Commit階段，若收到超過一定數(shù)量的相同請求，則對C進(jìn)行反饋

根據(jù)上述流程，在N≥3F+1的情況下一致性是可能解決，N為總計(jì)算機(jī)數(shù)，F(xiàn)為有問題的計(jì)算機(jī)總數(shù)共識機(jī)制——PBFT其中C為發(fā)送請求端，0123為服務(wù)端，320要點(diǎn)3：數(shù)字簽名+非對稱加密的記帳過程要點(diǎn)3：數(shù)字簽名+非對稱加密的記帳過程21區(qū)塊鏈在大數(shù)據(jù)管理中的應(yīng)用方案22區(qū)塊鏈在大數(shù)據(jù)管理中的應(yīng)用方案23區(qū)塊鏈：怎樣建立信用體系的？區(qū)塊鏈：怎樣建立信用體系的？24區(qū)塊鏈：如何防偽？防篡改？保證數(shù)據(jù)一致性、完整性哈希算法，SHA256.一段內(nèi)容經(jīng)過哈希處理，變成哈希值內(nèi)容的任何修改，哪怕是一個(gè)標(biāo)點(diǎn)符號，哈希值都不同哈希值不可逆上一個(gè)區(qū)塊的哈希值（唯一的），放在本區(qū)塊的區(qū)塊頭上。挖礦的算法就是去通過隨機(jī)數(shù)的比對來配出哈希值。區(qū)塊鏈：如何防偽？防篡改？保證數(shù)據(jù)一致性、完整性哈希算法，S25區(qū)塊鏈：如何加密？保證交易的安全性、來源可靠非對稱加密算法公鑰公開，私鑰是私有的私鑰做數(shù)字簽名，只要擁有簽名人的公鑰就可以驗(yàn)證簽名，保證數(shù)據(jù)來源可靠。以“交易單二”為例，“交易單二”的簽名過程是付款人（用戶1）來完成的。用已經(jīng)公開的收款人（用戶2）的公鑰加密上一交易數(shù)據(jù)，算出哈希值X，付款人（用戶1）用付款人私鑰對X進(jìn)行加密，得到付款人（用戶1）的簽名，將付款人簽名附加在交易單中，發(fā)給收款人（用戶2）“交易單二”的驗(yàn)證過程是收款人（用戶2）來完成的，用公開的付款人（用戶1）的公鑰來解密用戶1的私鑰，進(jìn)一步解密用戶1的簽名，得到哈希值X。收款人（用戶2）利用自己的公鑰和上一交易單的數(shù)據(jù)，也得到另一個(gè)哈希值Y。如果X=Y，交易單有效。交易單一交易單二交易單三區(qū)塊鏈：如何加密？保證交易的安全性、來源可靠非對稱加密算法以26區(qū)塊鏈的主要特征區(qū)塊鏈的主要特征27區(qū)塊鏈的分類區(qū)塊鏈的分類28區(qū)塊鏈的發(fā)展與應(yīng)用場景數(shù)字貨幣資產(chǎn)交易（價(jià)值）組織協(xié)作（信任）資產(chǎn)數(shù)字化與交易發(fā)幣跨組織協(xié)作區(qū)塊鏈的發(fā)展與應(yīng)用場景數(shù)字貨幣資產(chǎn)交易（價(jià)值）組織協(xié)作（信任29區(qū)塊鏈在大數(shù)據(jù)管理中的應(yīng)用方案30區(qū)塊鏈在大數(shù)據(jù)管理中的應(yīng)用方案31技術(shù)成熟度模型技術(shù)成熟度模型32目錄不夠完美的大數(shù)據(jù)區(qū)塊鏈簡介區(qū)塊鏈用于大數(shù)據(jù)管理目錄不夠完美的大數(shù)據(jù)33數(shù)據(jù)共享：一定程度的私密性基于區(qū)塊鏈的數(shù)據(jù)脫敏技術(shù)能保證數(shù)據(jù)私密性，為隱私保護(hù)下的數(shù)據(jù)開放提供了解決方案。數(shù)據(jù)脫敏技術(shù)主要是采用了哈希處理等加密算法。數(shù)據(jù)共享：一定程度的私密性基于區(qū)塊鏈的數(shù)據(jù)脫敏技術(shù)能保證數(shù)據(jù)34數(shù)據(jù)存儲(chǔ)：不可篡改的、全歷史的、強(qiáng)背書

網(wǎng)絡(luò)中所有節(jié)點(diǎn)共同參與計(jì)算互相驗(yàn)證其信息的真?zhèn)我赃_(dá)成全網(wǎng)共識是不可篡改的、全歷史的、也使數(shù)據(jù)的質(zhì)量獲得前所未有的強(qiáng)信任背書。數(shù)據(jù)存儲(chǔ)：不可篡改的、全歷史的、強(qiáng)背書

網(wǎng)絡(luò)中所有節(jié)點(diǎn)共同參35數(shù)據(jù)分析：區(qū)塊鏈確保數(shù)據(jù)安全性

有效保護(hù)個(gè)人隱私和防止核心數(shù)據(jù)泄露區(qū)塊鏈技術(shù)可以通過多簽名私鑰、加密技術(shù)、安全多方計(jì)算技術(shù)來防止這類情況的出現(xiàn)通過私鑰保證數(shù)據(jù)私密性使用數(shù)字簽名技術(shù)，就能夠讓那些獲得授權(quán)的人們才可以對數(shù)據(jù)進(jìn)行訪問。數(shù)據(jù)分析：區(qū)塊鏈確保數(shù)據(jù)安全性

有效保護(hù)個(gè)人隱私和防止核心數(shù)36數(shù)據(jù)流通：區(qū)塊鏈保障數(shù)據(jù)相關(guān)權(quán)益

對于個(gè)人或機(jī)構(gòu)有價(jià)值的數(shù)據(jù)資產(chǎn)，可以利用區(qū)塊鏈對其進(jìn)行注冊，交易記錄是全網(wǎng)認(rèn)可的、透明的、可追溯的，明確了大數(shù)據(jù)資產(chǎn)來源、所有權(quán)、使用權(quán)和流通路徑，對數(shù)據(jù)資產(chǎn)交易具有很大價(jià)值。一方面，區(qū)塊鏈能夠破除中介拷貝數(shù)據(jù)威脅，有利于建立可信任的數(shù)據(jù)資產(chǎn)交易環(huán)境。另一方面，區(qū)塊鏈提供了可追溯路徑，能有效破解數(shù)據(jù)確權(quán)難題數(shù)據(jù)流通：區(qū)塊鏈保障數(shù)據(jù)相關(guān)權(quán)益

對于個(gè)人或機(jī)構(gòu)有價(jià)值的數(shù)據(jù)37基于區(qū)塊鏈的大數(shù)據(jù)采集平臺(tái)基于區(qū)塊鏈的大數(shù)據(jù)采集平臺(tái)38基于區(qū)塊鏈的數(shù)據(jù)交易模型傳統(tǒng)模型區(qū)塊鏈基于區(qū)塊鏈的數(shù)據(jù)交易模型傳統(tǒng)模型區(qū)塊鏈39基于區(qū)塊鏈的數(shù)據(jù)交易基于區(qū)塊鏈的數(shù)據(jù)交易40基于雙鏈結(jié)構(gòu)的數(shù)據(jù)交易流程基于雙鏈結(jié)構(gòu)的數(shù)據(jù)交易流程41基于區(qū)塊鏈的數(shù)據(jù)資產(chǎn)交易平臺(tái)的構(gòu)成基于區(qū)塊鏈的數(shù)據(jù)資產(chǎn)交易平臺(tái)的構(gòu)成42BNC：首個(gè)基于區(qū)塊鏈的市場指數(shù)上線可以將市場指數(shù)、報(bào)價(jià)和交易數(shù)據(jù)被安全的放置在區(qū)塊鏈上，提供不可篡改的證明。指數(shù)提供商在區(qū)塊鏈上注冊，當(dāng)他們在進(jìn)行結(jié)算、銷售或者其他需要使用指數(shù)時(shí)，任何人或者允許的第三方能夠校驗(yàn)合法性?？梢酝耆珴M足客戶的信任，并且能夠在區(qū)塊鏈上通過