大數(shù)據(jù)大論（通識課版）-第10章-大數(shù)據(jù)交易

1、廈門大學(xué)計算機(jī)科學(xué)系 2019版林子雨廈門大學(xué)計算機(jī)科學(xué)系E-mail: ziyulin主頁：/linziyu第10章 大數(shù)據(jù)交易（PPT版本號：2019年秋季學(xué)期） 大數(shù)據(jù)導(dǎo)論（通識課版）教材官網(wǎng)： /post/bigdataintroduction/溫馨提示：編輯幻燈片母版，可以修改每頁P(yáng)PT的廈大?；蘸偷撞课淖謷咭粧咴L問教材官網(wǎng)課程教材林子雨 編著大數(shù)據(jù)導(dǎo)論數(shù)據(jù)思維、數(shù)據(jù)能力和數(shù)據(jù)倫理（通識課版）高等教育出版社，2019年11月提綱10.1概述10.2大數(shù)據(jù)交易發(fā)展現(xiàn)狀10.3大數(shù)據(jù)交易平臺10.4大數(shù)據(jù)交易在發(fā)展過程中出現(xiàn)的問題10.5推進(jìn)大數(shù)據(jù)交易發(fā)展的對策百度搜索廈門大學(xué)數(shù)據(jù)庫實(shí)驗(yàn)

2、室網(wǎng)站訪問平臺10.1概述大數(shù)據(jù)交易應(yīng)當(dāng)是買賣數(shù)據(jù)的活動，是以貨幣為交易媒介獲取數(shù)據(jù)這種商品的過程，具有3 種特征：一是標(biāo)的物受到嚴(yán)格的限制，只有經(jīng)過處理之后的數(shù)據(jù)才能交易；二是涉及的主體眾多，包括數(shù)據(jù)提供方、數(shù)據(jù)購買方、數(shù)據(jù)平臺等；三是交易過程繁瑣，涉及大數(shù)據(jù)的多個產(chǎn)業(yè)鏈，如數(shù)據(jù)源的獲取、數(shù)據(jù)安全的保障、數(shù)據(jù)的后續(xù)利用等。10.1概述目前進(jìn)行數(shù)據(jù)交易的形式有以下幾種：（1）大數(shù)據(jù)交易公司（2）數(shù)據(jù)交易所（3）API 模式（4）其他大數(shù)據(jù)交易是大數(shù)據(jù)產(chǎn)業(yè)生態(tài)系統(tǒng)中的重要一環(huán)，與大數(shù)據(jù)交易相關(guān)的其他環(huán)節(jié)包括數(shù)據(jù)源、大數(shù)據(jù)硬件層、大數(shù)據(jù)技術(shù)層、大數(shù)據(jù)應(yīng)用層、大數(shù)據(jù)衍生層等10.2大數(shù)據(jù)交易發(fā)展現(xiàn)狀

3、圖 數(shù)據(jù)市場概貌數(shù)據(jù)交易由來已久，并不是最近幾年才出現(xiàn)的新型交易方式進(jìn)入大數(shù)據(jù)時代以后，大數(shù)據(jù)資源愈加豐富龐大的大數(shù)據(jù)資源為大數(shù)據(jù)交易的興起奠定了堅實(shí)的基礎(chǔ)10.2大數(shù)據(jù)交易發(fā)展現(xiàn)狀2014年以來，國內(nèi)不僅出現(xiàn)了數(shù)據(jù)堂、京東萬象、中關(guān)村數(shù)海、浪潮卓數(shù)、聚合數(shù)據(jù)等一批數(shù)據(jù)交易平臺，各地方政府也成立了混合所有制形式的數(shù)據(jù)交易機(jī)構(gòu)，包括貴陽大數(shù)據(jù)交易所、上海數(shù)據(jù)交易中心、長江大數(shù)據(jù)交易中心(武漢)、浙江大數(shù)據(jù)交易中心等10.3大數(shù)據(jù)交易平臺10.3.1交易平臺的類型10.3.2交易平臺的數(shù)據(jù)來源10.3.3交易平臺的產(chǎn)品類型10.3.4交易平臺涉及的主要領(lǐng)域10.3.5平臺的交易規(guī)則10.3.6交易

4、平臺的運(yùn)營模式10.3.7代表性的大數(shù)據(jù)交易平臺10.3.1交易平臺的類型大數(shù)據(jù)交易平臺主要包括綜合數(shù)據(jù)服務(wù)平臺和第三方數(shù)據(jù)交易平臺兩種。綜合數(shù)據(jù)服務(wù)平臺為用戶提供定制化的數(shù)據(jù)服務(wù)，由于需要涉及數(shù)據(jù)的處理加工，因此，該類型平臺的業(yè)務(wù)相對復(fù)雜，國內(nèi)大數(shù)據(jù)交易平臺大多屬于這種類型。而第三方數(shù)據(jù)交易平臺業(yè)務(wù)則相對簡單明確，主要負(fù)責(zé)對交易過程的監(jiān)管，通?？梢蕴峁?shù)據(jù)出售、數(shù)據(jù)購買、數(shù)據(jù)供應(yīng)方查詢以及數(shù)據(jù)需求發(fā)布等服務(wù)。10.3.2交易平臺的數(shù)據(jù)來源政府公開數(shù)據(jù)企業(yè)內(nèi)部數(shù)據(jù)數(shù)據(jù)供應(yīng)方數(shù)據(jù)020103網(wǎng)頁爬蟲數(shù)據(jù)0410.3.3交易平臺的產(chǎn)品類型API01數(shù)據(jù)包02云服務(wù)03解決方案04數(shù)據(jù)定制服務(wù)05數(shù)

5、據(jù)產(chǎn)品0610.3.4交易平臺涉及的主要領(lǐng)域國內(nèi)外大數(shù)據(jù)交易平臺產(chǎn)品涉及的主要領(lǐng)域包括政府、經(jīng)濟(jì)、教育、環(huán)境、法律、醫(yī)療、人文、地理、交通、通信、人工智能、商業(yè)、農(nóng)業(yè)、工業(yè)等。了解交易平臺產(chǎn)品涉及的主要領(lǐng)域，可以幫助用戶根據(jù)自己的個性化需求有針對性地選擇合適的交易平臺。國內(nèi)外交易平臺基本上都涉及到多個領(lǐng)域，平臺提供的多領(lǐng)域數(shù)據(jù)，可以較好滿足目前廣泛存在的用戶對跨學(xué)科、跨領(lǐng)域數(shù)據(jù)的需求。10.3.5平臺的交易規(guī)則相對于國外的數(shù)據(jù)交易公司來說，國內(nèi)的數(shù)據(jù)交易平臺大多發(fā)布了成系統(tǒng)的總體規(guī)則，規(guī)定更詳細(xì)，在很多方面也更嚴(yán)格。如中關(guān)村數(shù)海大數(shù)據(jù)交易平臺規(guī)則、貴陽大數(shù)據(jù)交易所702公約、上海數(shù)據(jù)交易中心（

6、ChinaDEP）數(shù)據(jù)交易規(guī)則等，以條文的形式對整個平臺的運(yùn)營體系、遵守原則都進(jìn)行了詳細(xì)規(guī)定，明確了交易主體、交易對象、交易資格、交易品種、交易格式、數(shù)據(jù)定價、交易融合和交易確權(quán)等內(nèi)容。隨著我國數(shù)據(jù)流通行業(yè)的發(fā)展，部分企業(yè)間已經(jīng)推出了跨企業(yè)的數(shù)據(jù)交易規(guī)則或自律準(zhǔn)則?？梢哉f，目前我國建立廣泛的數(shù)據(jù)流通行業(yè)自律公約的時機(jī)已經(jīng)相對成熟，行業(yè)內(nèi)部各企業(yè)對數(shù)據(jù)交易自律性協(xié)議的需求呼之欲出。10.3.6交易平臺的運(yùn)營模式圖 貴陽大數(shù)據(jù)交易所運(yùn)營模式10.3.6交易平臺的運(yùn)營模式圖 中關(guān)村數(shù)海大數(shù)據(jù)交易平臺運(yùn)營模式10.3.7代表性的大數(shù)據(jù)交易平臺ABCD貴陽大數(shù)據(jù)交易所上海數(shù)據(jù)交易中心華東江蘇大數(shù)據(jù)交易中

7、心題浙江大數(shù)據(jù)交易中心10.4大數(shù)據(jù)交易在發(fā)展過程中出現(xiàn)的問題中國大數(shù)據(jù)交易市場發(fā)展還處于起步階段，發(fā)展過程中面臨的問題歸納起來主要包括以下幾個方面：互聯(lián)網(wǎng)數(shù)據(jù)馬太效應(yīng)顯現(xiàn)市場信用體系缺失、監(jiān)管有待加強(qiáng)大數(shù)據(jù)產(chǎn)權(quán)界定不清晰大數(shù)據(jù)交易規(guī)則和標(biāo)準(zhǔn)缺乏數(shù)據(jù)質(zhì)量評價與估值定價有待完善大數(shù)據(jù)需求不明確、抑制大數(shù)據(jù)產(chǎn)業(yè)發(fā)展大數(shù)據(jù)交易組織機(jī)構(gòu)定位不清大數(shù)據(jù)安全保護(hù)隱患重重大數(shù)據(jù)專業(yè)人才缺乏10.5推進(jìn)大數(shù)據(jù)交易發(fā)展的對策加快制定隱私保護(hù)相關(guān)法律法規(guī)加快推進(jìn)政府?dāng)?shù)據(jù)開放共享加快完善市場交易機(jī)制加快建立大數(shù)據(jù)交易監(jiān)管職能部門加快培育大數(shù)據(jù)交易人才附錄A：主講教師林子雨簡介單位：廈門大學(xué)計算機(jī)科學(xué)系E-mail:

8、 ziyulin個人網(wǎng)頁：/post/linziyu數(shù)據(jù)庫實(shí)驗(yàn)室網(wǎng)站：主講教師：林子雨林子雨，男，1978年出生，博士（畢業(yè)于北京大學(xué)），現(xiàn)為廈門大學(xué)計算機(jī)科學(xué)系助理教授（講師），曾任廈門大學(xué)信息科學(xué)與技術(shù)學(xué)院院長助理、晉江市發(fā)展和改革局副局長。中國計算機(jī)學(xué)會數(shù)據(jù)庫專業(yè)委員會委員，中國計算機(jī)學(xué)會信息系統(tǒng)專業(yè)委員會委員。國內(nèi)高校首個“數(shù)字教師”提出者和建設(shè)者，廈門大學(xué)數(shù)據(jù)庫實(shí)驗(yàn)室負(fù)責(zé)人，廈門大學(xué)云計算與大數(shù)據(jù)研究中心主要建設(shè)者和骨干成員，2013年度和2017年度廈門大學(xué)教學(xué)類獎教金獲得者，榮獲2017年福建省精品在線開放課程、2018年廈門大學(xué)高等教育成果特等獎、2018年福建省高等教育教學(xué)成

9、果二等獎、2018年國家精品在線開放課程。主要研究方向?yàn)閿?shù)據(jù)庫、數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、大數(shù)據(jù)、云計算和物聯(lián)網(wǎng)，并以第一作者身份在軟件學(xué)報計算機(jī)學(xué)報和計算機(jī)研究與發(fā)展等國家重點(diǎn)期刊以及國際學(xué)術(shù)會議上發(fā)表多篇學(xué)術(shù)論文。作為項(xiàng)目負(fù)責(zé)人主持的科研項(xiàng)目包括1項(xiàng)國家自然科學(xué)青年基金項(xiàng)目(No.61303004)、1項(xiàng)福建省自然科學(xué)青年基金項(xiàng)目(No.2013J05099)和1項(xiàng)中央高?；究蒲袠I(yè)務(wù)費(fèi)項(xiàng)目(No.2011121049)，主持的教改課題包括1項(xiàng)2016年福建省教改課題和1項(xiàng)2016年教育部產(chǎn)學(xué)協(xié)作育人項(xiàng)目，同時，作為課題負(fù)責(zé)人完成了國家發(fā)改委城市信息化重大課題、國家物聯(lián)網(wǎng)重大應(yīng)用示范工程區(qū)域試點(diǎn)

10、泉州市工作方案、2015泉州市互聯(lián)網(wǎng)經(jīng)濟(jì)調(diào)研等課題。中國高校首個“數(shù)字教師”提出者和建設(shè)者，2009年至今，“數(shù)字教師”大平臺累計向網(wǎng)絡(luò)免費(fèi)發(fā)布超過500萬字高價值的研究和教學(xué)資料，累計網(wǎng)絡(luò)訪問量超過500萬次。打造了中國高校大數(shù)據(jù)教學(xué)知名品牌，編著出版了中國高校第一本系統(tǒng)介紹大數(shù)據(jù)知識的專業(yè)教材大數(shù)據(jù)技術(shù)原理與應(yīng)用，并成為京東、當(dāng)當(dāng)網(wǎng)等網(wǎng)店暢銷書籍；建設(shè)了國內(nèi)高校首個大數(shù)據(jù)課程公共服務(wù)平臺，為教師教學(xué)和學(xué)生學(xué)習(xí)大數(shù)據(jù)課程提供全方位、一站式服務(wù)，年訪問量超過100萬次。掃一掃訪問個人主頁附錄B：大數(shù)據(jù)學(xué)習(xí)路線圖大數(shù)據(jù)學(xué)習(xí)路線圖訪問地址：/post/10164/附錄C：大數(shù)據(jù)技術(shù)原理與應(yīng)用教材歡

11、迎訪問大數(shù)據(jù)技術(shù)原理與應(yīng)用概念、存儲、處理、分析與應(yīng)用教材官方網(wǎng)站：/post/bigdata掃一掃訪問教材官網(wǎng)大數(shù)據(jù)技術(shù)原理與應(yīng)用概念、存儲、處理、分析與應(yīng)用（第2版），由廈門大學(xué)計算機(jī)科學(xué)系林子雨博士編著，是國內(nèi)高校第一本系統(tǒng)介紹大數(shù)據(jù)知識的專業(yè)教材。人民郵電出版社 ISBN:978-7-115-44330-4 定價：49.80元全書共有15章，系統(tǒng)地論述了大數(shù)據(jù)的基本概念、大數(shù)據(jù)處理架構(gòu)Hadoop、分布式文件系統(tǒng)HDFS、分布式數(shù)據(jù) 庫HBase、NoSQL數(shù)據(jù)庫、云數(shù)據(jù)庫、分布式并行編程模型MapReduce、Spark、流計算、圖計算、數(shù)據(jù)可視化以及大數(shù)據(jù)在互聯(lián)網(wǎng)、生物醫(yī)學(xué)和物流等

12、各個領(lǐng)域的應(yīng)用。在Hadoop、HDFS、HBase和MapReduce等重要章節(jié)，安排了入門級的實(shí)踐操作，讓讀者更好地學(xué)習(xí)和掌握大數(shù)據(jù)關(guān)鍵技術(shù)。本書可以作為高等院校計算機(jī)專業(yè)、信息管理等相關(guān)專業(yè)的大數(shù)據(jù)課程教材，也可供相關(guān)技術(shù)人員參考、學(xué)習(xí)、培訓(xùn)之用。附錄D：大數(shù)據(jù)基礎(chǔ)編程、實(shí)驗(yàn)和案例教程本書是與大數(shù)據(jù)技術(shù)原理與應(yīng)用（第2版）教材配套的唯一指定實(shí)驗(yàn)指導(dǎo)書步步引導(dǎo)，循序漸進(jìn)，詳盡的安裝指南為順利搭建大數(shù)據(jù)實(shí)驗(yàn)環(huán)境鋪平道路深入淺出，去粗取精，豐富的代碼實(shí)例幫助快速掌握大數(shù)據(jù)基礎(chǔ)編程方法精心設(shè)計，巧妙融合，五套大數(shù)據(jù)實(shí)驗(yàn)題目促進(jìn)理論與編程知識的消化和吸收結(jié)合理論，聯(lián)系實(shí)際，大數(shù)據(jù)課程綜合實(shí)驗(yàn)案例精

13、彩呈現(xiàn)大數(shù)據(jù)分析全流程清華大學(xué)出版社 ISBN:978-7-302-47209-4 定價：59元附錄E：Spark編程基礎(chǔ)（Scala版）Spark編程基礎(chǔ)（Scala版）廈門大學(xué) 林子雨，賴永炫，陶繼平 編著披荊斬棘，在大數(shù)據(jù)叢林中開辟學(xué)習(xí)捷徑填溝削坎，為快速學(xué)習(xí)Spark技術(shù)鋪平道路深入淺出，有效降低Spark技術(shù)學(xué)習(xí)門檻資源全面，構(gòu)建全方位一站式在線服務(wù)體系本書以Scala作為開發(fā)Spark應(yīng)用程序的編程語言，系統(tǒng)介紹了Spark編程的基礎(chǔ)知識。全書共8章，內(nèi)容包括大數(shù)據(jù)技術(shù)概述、Scala語言基礎(chǔ)、Spark的設(shè)計與運(yùn)行原理、Spark環(huán)境搭建和使用方法、RDD編程、Spark SQL

14、、Spark Streaming、Spark MLlib等。本書每個章節(jié)都安排了入門級的編程實(shí)踐操作，以便讀者更好地學(xué)習(xí)和掌握Spark編程方法。本書官網(wǎng)免費(fèi)提供了全套的在線教學(xué)資源，包括講義PPT、習(xí)題、源代碼、軟件、數(shù)據(jù)集、授課視頻、上機(jī)實(shí)驗(yàn)指南等。人民郵電出版社出版發(fā)行，ISBN:978-7-115-48816-9教材官網(wǎng)：/post/spark/附錄F：高校大數(shù)據(jù)課程公共服務(wù)平臺掃一掃訪問平臺主頁/post/bigdata-teaching-platform/掃一掃觀看3分鐘FLASH動畫宣傳片附錄G：高校大數(shù)據(jù)實(shí)訓(xùn)課程系列案例教材掃一掃訪問大數(shù)據(jù)實(shí)訓(xùn)課程系列案例教材主頁為了更好滿足高校開設(shè)大數(shù)據(jù)實(shí)訓(xùn)課程的教材需求，廈門