大數(shù)據(jù)技術(shù)將是企業(yè)未來(lái)的核心競(jìng)爭(zhēng)力

1、1只有司機(jī)不敢大意馬虎，依舊提起精神高度警惕向前小心駕駛著。民間搞藝術(shù)的人很多，有的靠藝術(shù)可以生活，可以成名，但不一定所有民間搞藝術(shù)的，靠自己手中的藝術(shù)可以生活和成名。“劇團(tuán)不演戲就是垮臺(tái)！”一次談話(huà)，我覺(jué)得老劉不僅熱忱，也是個(gè)很有事業(yè)心的好人。實(shí)名認(rèn)證 https:/ 2020年是繼往開(kāi)來(lái)、里程碑式的一年，在這個(gè)十三五收官和十四五開(kāi)啟之年，我們國(guó)家經(jīng)受住了新冠疫情的考驗(yàn)。其中，少不了大數(shù)據(jù)對(duì)城市疫情防控工作做出的有力支撐和保障。年初，全國(guó)各地紛紛上線了健康碼，利用大數(shù)據(jù)技術(shù)第一時(shí)間判斷個(gè)人的健康狀況，發(fā)現(xiàn)疫情傳染源頭及追溯病情高發(fā)傳染地點(diǎn)，幫助政府部門(mén)對(duì)各地進(jìn)行精細(xì)化的疫情防控。最近，如上海

2、的隨申碼還上線了“親屬隨申碼”的功能，幫助老人和小孩申領(lǐng)健康碼，幫助課件課件PPT3部分老人跨越數(shù)字鴻溝。在疫情常態(tài)化的今天，健康碼已不再只負(fù)責(zé)健康狀態(tài)的查詢(xún)和結(jié)果展示，在公共出行、醫(yī)保、借書(shū)等各類(lèi)公共服務(wù)和辦事通道方面已經(jīng)開(kāi)始拓展及延伸。2020年初，國(guó)家發(fā)改委多個(gè)部委提出了“新基建”的概念。中國(guó)在2001年加入WTO之后，其經(jīng)濟(jì)增長(zhǎng)主要來(lái)自投資、出口、消費(fèi)，到2010年，中國(guó)國(guó)際貿(mào)易占到世界GDP的60%左右。隨著中美之間進(jìn)入戰(zhàn)略競(jìng)爭(zhēng)階段，意味著我們需要有更多的經(jīng)課件課件PPT4濟(jì)，意味著我們要專(zhuān)注于國(guó)內(nèi)經(jīng)濟(jì)的內(nèi)循環(huán)。在這個(gè)百年未有之大變局的情況下，全國(guó)各地政府積極加大新基建的建設(shè)，努力推

3、動(dòng)整個(gè)經(jīng)濟(jì)進(jìn)入下一步發(fā)展周期。關(guān)于新基建建設(shè)，一方面是信息基礎(chǔ)設(shè)施建設(shè)，包括機(jī)房、大數(shù)據(jù)軟件、云等等；另一方面是融合基礎(chǔ)設(shè)施建設(shè)，把新一代的新技術(shù)融合到各個(gè)行業(yè)當(dāng)中去，加速他們的轉(zhuǎn)型；此外還有創(chuàng)新基礎(chǔ)設(shè)施，主要是一些基礎(chǔ)的創(chuàng)新，偏重在核心技術(shù)方面的研究。我們可以看到，大數(shù)據(jù)技課件課件PPT5術(shù)實(shí)際上在各個(gè)行業(yè)當(dāng)中都在不斷融合，在新基建處于核心位置，加速各行業(yè)和企業(yè)的數(shù)字化轉(zhuǎn)型。通過(guò)使用大數(shù)據(jù)技術(shù)、建設(shè)大數(shù)據(jù)平臺(tái)，政府、交通、能源、制造等各行業(yè)均實(shí)現(xiàn)了數(shù)據(jù)的沉淀和匯集，挖掘了數(shù)據(jù)的潛在價(jià)值，最終使用大數(shù)據(jù)技術(shù)提高了自身的核心競(jìng)爭(zhēng)力，實(shí)現(xiàn)了降本增效。展望2021年，我認(rèn)為大數(shù)據(jù)行業(yè)將會(huì)迎來(lái)三大趨勢(shì)

4、。趨勢(shì)一：多模型的大數(shù)據(jù)平臺(tái)第一個(gè)趨勢(shì)是隨著大數(shù)據(jù)技術(shù)的課件課件PPT6演變，未來(lái)的大數(shù)據(jù)平臺(tái)將需要具備多模型的特性。過(guò)去處理數(shù)據(jù)使用的是單機(jī)的關(guān)系型數(shù)據(jù)庫(kù)，隨著數(shù)據(jù)量的變大，大概在11年、12年的時(shí)候混合架構(gòu)被提出，因?yàn)閱蝹€(gè)關(guān)系數(shù)據(jù)庫(kù)已經(jīng)無(wú)法處理日益增大的數(shù)據(jù)，就需要單機(jī)的關(guān)系數(shù)據(jù)庫(kù)加一個(gè)MPP的架構(gòu)，再加一個(gè)Hadoop的架構(gòu)。Hadoop用來(lái)做百TP以上，MPP用來(lái)做幾至十幾TB的數(shù)據(jù)集，小數(shù)量放在關(guān)系型數(shù)據(jù)庫(kù)或內(nèi)存數(shù)據(jù)庫(kù)中。這種架構(gòu)被稱(chēng)為混合架構(gòu)，也被稱(chēng)為第一課件課件PPT7代，它使用的還是用傳統(tǒng)技術(shù)的拼接。到了大概09年之后，大家認(rèn)為應(yīng)該由一個(gè)引擎來(lái)處理所有的數(shù)據(jù)，不應(yīng)該用混合架構(gòu)。

5、09年到15年這六年的時(shí)間，大家努力的目標(biāo)就是用一個(gè)SQL引擎來(lái)處理不同的數(shù)據(jù)，用一個(gè)數(shù)據(jù)庫(kù)來(lái)替代以前的多個(gè)混合架構(gòu)的、不同的關(guān)系型數(shù)據(jù)庫(kù)。這個(gè)我們稱(chēng)為第二階段，這個(gè)階段我們也提出一站式大數(shù)據(jù)平臺(tái)的概念，我們剛剛創(chuàng)業(yè)的時(shí)候就提了這個(gè)理念，需要一個(gè)SQL引擎來(lái)解決不同數(shù)據(jù)量的數(shù)課件課件PPT8據(jù)問(wèn)題，而且在每個(gè)數(shù)據(jù)量級(jí)上面效率都很高，比傳統(tǒng)數(shù)據(jù)庫(kù)都要快，甚至快一個(gè)數(shù)量級(jí)。這個(gè)過(guò)程大概在15年塵埃落定，大家已經(jīng)認(rèn)識(shí)到有單一引擎可以處理這個(gè)問(wèn)題了，可以解決并替代混合架構(gòu)了。當(dāng)然今天國(guó)內(nèi)還有很多客戶(hù)沒(méi)有采用一站式架構(gòu)的，不是星環(huán)的客戶(hù)大部分都采用混合架構(gòu)。到了第三階段我們又看到，除了關(guān)系型數(shù)據(jù)、結(jié)構(gòu)化

6、數(shù)據(jù)處理以外，還有很多非結(jié)構(gòu)化數(shù)據(jù)，像圖數(shù)據(jù)、文檔數(shù)據(jù)、自然語(yǔ)言、文本。過(guò)去大家課件課件PPT9采用的是多種數(shù)據(jù)庫(kù)技術(shù)，有用Neo4j做圖數(shù)據(jù)庫(kù)的，也有用Elastic做搜索引擎的，還有用MongoDB做文檔數(shù)據(jù)庫(kù)的，用Hadoop做文件存儲(chǔ)的，用MPP來(lái)做機(jī)構(gòu)化數(shù)據(jù)處理的，這種就是很多種不同數(shù)據(jù)庫(kù)組合?，F(xiàn)在一個(gè)明顯的趨勢(shì)，是能不能用一個(gè)平臺(tái)來(lái)處理多種類(lèi)型的數(shù)據(jù)，特別當(dāng)大數(shù)據(jù)應(yīng)用到多個(gè)行業(yè)中去的時(shí)候。有傳感器數(shù)據(jù)，有影像數(shù)據(jù)，也有結(jié)構(gòu)化的數(shù)據(jù)，在醫(yī)療行業(yè)更是如此，數(shù)據(jù)類(lèi)型更多?，F(xiàn)課件課件PPT10在一個(gè)新的趨勢(shì)，是用一個(gè)統(tǒng)一的大數(shù)據(jù)平臺(tái)，有核心的存儲(chǔ)平臺(tái)，有統(tǒng)一的計(jì)算引擎，有統(tǒng)一的接口。但它的

7、存儲(chǔ)模式是不一樣的，可以支持文本，也可以支持結(jié)構(gòu)化，也可以支持對(duì)象存儲(chǔ)。這樣可以極大的簡(jiǎn)化大數(shù)據(jù)平臺(tái)本身的使用、運(yùn)維，還有應(yīng)用的開(kāi)發(fā)，能夠加速這個(gè)技術(shù)在各個(gè)行業(yè)中的應(yīng)用，這個(gè)是比較明顯的趨勢(shì)。我們當(dāng)時(shí)在2017年提出一個(gè)理念，用一個(gè)平臺(tái)能夠存儲(chǔ)不同數(shù)據(jù)形態(tài)、不同數(shù)據(jù)模型，但上面計(jì)算引擎和SQL引擎接口課件課件PPT11都是一樣的，這樣極大簡(jiǎn)化開(kāi)發(fā)的難度，同時(shí)也能夠跨多種數(shù)據(jù)形態(tài)進(jìn)行互相訪問(wèn)。現(xiàn)在不難看出這是一個(gè)比較明顯的趨勢(shì)，不管是我們星環(huán)還是國(guó)外的數(shù)據(jù)庫(kù)軟件公司都在往這個(gè)方向去努力，希望用一個(gè)平臺(tái)處理不同類(lèi)型的數(shù)據(jù)。趨勢(shì)二：聯(lián)邦學(xué)習(xí)技術(shù)第二大趨勢(shì)是聯(lián)邦學(xué)習(xí)的技術(shù)。數(shù)據(jù)過(guò)去是分散在不同地方的，

8、放在不同的數(shù)據(jù)中心和不同的國(guó)家的，因?yàn)楦鱾€(gè)國(guó)家都有一些數(shù)據(jù)保護(hù)條例，很難把數(shù)據(jù)拿出來(lái)。另一類(lèi)是有課件課件PPT12些客戶(hù)的數(shù)據(jù)量太大，沒(méi)辦法放在一個(gè)數(shù)據(jù)中心，可能需要放在多個(gè)城市、多個(gè)地方。還有一種情況是不同的企業(yè)之間要進(jìn)行數(shù)據(jù)共享，數(shù)據(jù)交換，但是因?yàn)閿?shù)據(jù)的隱私，網(wǎng)絡(luò)安全法，無(wú)法把原始數(shù)據(jù)直接給別人，這也是催生聯(lián)邦學(xué)習(xí)的一個(gè)背景原因。聯(lián)邦學(xué)習(xí)的概念是把機(jī)器學(xué)習(xí)的算法分發(fā)到不同的數(shù)據(jù)中心去，讓算法在不同數(shù)據(jù)中心運(yùn)算，但原始數(shù)據(jù)不會(huì)在網(wǎng)絡(luò)上傳輸，確保用戶(hù)隱私不會(huì)泄露出去，但能返回到需要的結(jié)果。今天聯(lián)邦課件課件PPT13學(xué)習(xí)已經(jīng)演變到細(xì)分的幾個(gè)類(lèi)別。有橫向聯(lián)邦學(xué)習(xí)，在特征趨同的情況夏對(duì)不同樣本進(jìn)行聯(lián)

9、合互補(bǔ)，用更大的樣本數(shù)據(jù)提升現(xiàn)有模型的精度。有縱向聯(lián)邦學(xué)習(xí)，比如同一個(gè)人，在樣本趨同的情況下對(duì)不同特征進(jìn)行聯(lián)合互補(bǔ)，用更多的特征數(shù)據(jù)補(bǔ)全對(duì)某一客戶(hù)樣本的畫(huà)像。也有遷移聯(lián)邦學(xué)習(xí)，一類(lèi)樣本上面統(tǒng)一的模型可以遷移到另外一批上面。但是也有一些不同企業(yè)的數(shù)據(jù)，他們之間可能是互相影響的，這種情況下就需要用個(gè)性聯(lián)邦學(xué)習(xí)來(lái)做統(tǒng)一的分析課件課件PPT14。有了這些技術(shù)的進(jìn)步，數(shù)據(jù)的共享和交換變成可能，以前大家如果要把數(shù)據(jù)進(jìn)行實(shí)際交換，很可能會(huì)觸犯一些法律的底線，但是使用聯(lián)邦學(xué)習(xí)方案可以做到數(shù)據(jù)不出戶(hù)，仍然能達(dá)到統(tǒng)一分析的結(jié)果。在當(dāng)今這個(gè)大家都把數(shù)據(jù)作為一個(gè)生產(chǎn)要素來(lái)實(shí)現(xiàn)流通交換的時(shí)代，聯(lián)邦學(xué)習(xí)被認(rèn)為是一個(gè)可行的

10、技術(shù)路徑。趨勢(shì)三：智能化的大數(shù)據(jù)技術(shù)第三個(gè)趨勢(shì)是AI的智能化技術(shù)。過(guò)去大數(shù)據(jù)分析主要被稱(chēng)為計(jì)算智能，通課件課件PPT15過(guò)分布式計(jì)算實(shí)現(xiàn)大規(guī)模的數(shù)據(jù)統(tǒng)一分析，這也是AI發(fā)展的第一個(gè)階段。早先在06年以前的時(shí)候，大家是用分布式計(jì)算來(lái)解決機(jī)器學(xué)習(xí)效率問(wèn)題，典型的比如Google的廣告系統(tǒng)就是用分布計(jì)算來(lái)做機(jī)器學(xué)習(xí)的。這塊主要的研究重點(diǎn)是用大量的機(jī)器組成一個(gè)超級(jí)計(jì)算機(jī)來(lái)做機(jī)器學(xué)習(xí)算法的分布式化，提升它的性能和精度，這個(gè)階段被稱(chēng)為計(jì)算智能的階段。09年以后，深度學(xué)習(xí)算法被發(fā)明出來(lái)了，這個(gè)算法在12年做人臉識(shí)別和課件課件PPT16圖象識(shí)別時(shí)打敗以往所有的算法。2009年也稱(chēng)之為機(jī)器學(xué)習(xí)的元年，從這一年開(kāi)

11、始，我們把AI作為感知智能階段。一個(gè)很明顯的特點(diǎn)是，有多少人工就有多少智能。因?yàn)楦兄悄苄枰罅康臉颖救ミM(jìn)行訓(xùn)練，整個(gè)神經(jīng)網(wǎng)絡(luò)是一個(gè)黑盒子，需要大量的數(shù)據(jù)給它、教它，它才能訓(xùn)練出結(jié)果。一個(gè)識(shí)別算法要達(dá)到99.99%時(shí)，可能需要100萬(wàn)張樣本。這個(gè)量是非常大的，是一個(gè)巨大的體力活。我們認(rèn)為這個(gè)階段中國(guó)人工智能應(yīng)該會(huì)世界領(lǐng)先的，課件課件PPT17因?yàn)橹袊?guó)的勞動(dòng)力優(yōu)勢(shì)，使得算法能夠領(lǐng)先于美國(guó)，事實(shí)也是如此。到第三階段，大家在研究機(jī)器能不能不用喂樣本就可以自主學(xué)習(xí)，這也被稱(chēng)為強(qiáng)化學(xué)習(xí)。還有一部分叫遷移學(xué)習(xí)，運(yùn)用已有的知識(shí)來(lái)學(xué)習(xí)新的知識(shí)，這樣就使得勞動(dòng)力優(yōu)勢(shì)喪失了，算法自動(dòng)進(jìn)行進(jìn)化，這個(gè)階段被稱(chēng)為認(rèn)知智

12、能階段。除了自己學(xué)習(xí)以外，也過(guò)度到知識(shí)推理階段，用知識(shí)圖譜來(lái)做智能的問(wèn)答，機(jī)器更加智能化了。這塊也是現(xiàn)在正在研究的方向，我們稱(chēng)之為人課件課件PPT18工智能第三個(gè)階段，即認(rèn)知智能，也叫通用智能。今天我們進(jìn)一步認(rèn)為過(guò)了認(rèn)知智能階段，用推理技術(shù)，來(lái)構(gòu)建知識(shí)圖譜，在知識(shí)圖譜上推理，發(fā)現(xiàn)更多新的知識(shí)。現(xiàn)在也有不少的金融機(jī)構(gòu)開(kāi)始使用圖數(shù)據(jù)庫(kù)和知識(shí)圖譜。圖數(shù)據(jù)庫(kù)主要是用來(lái)做實(shí)時(shí)的反欺詐，進(jìn)行快速查詢(xún)，然后進(jìn)行風(fēng)控。知識(shí)圖譜主要用來(lái)做企業(yè)風(fēng)險(xiǎn)分析，把企業(yè)相關(guān)信息全部集中在一起。過(guò)去被看作是相對(duì)靜態(tài)的圖譜今天經(jīng)常被認(rèn)為是動(dòng)態(tài)的，它隨著時(shí)間在變化，比課件課件PPT19如發(fā)生一個(gè)突發(fā)事件時(shí)，這個(gè)事件會(huì)產(chǎn)生什么影響

13、，風(fēng)險(xiǎn)會(huì)如何擴(kuò)散，我們需要一個(gè)動(dòng)態(tài)的知識(shí)圖譜來(lái)構(gòu)建、描述，能夠進(jìn)行推測(cè)和推理。同時(shí)，我們?cè)黾恿藭r(shí)序分析、地理空間分析，還有3D的展現(xiàn)，讓圖的操作更加簡(jiǎn)便。從以前用圖來(lái)做異常檢測(cè)、反欺詐，到后來(lái)用圖來(lái)查詢(xún)風(fēng)險(xiǎn)傳播，來(lái)判斷一個(gè)事件的影響，到現(xiàn)在我們把圖計(jì)算和深度學(xué)習(xí)結(jié)合起來(lái)，在上面進(jìn)行大規(guī)模的圖分析，在前端用自然語(yǔ)言處理構(gòu)建一個(gè)圖。目前知識(shí)圖譜已經(jīng)在金融、國(guó)課件課件PPT20防工業(yè)、制造等多個(gè)行業(yè)開(kāi)始得到使用。總地來(lái)說(shuō)，多模型、云原生、聯(lián)邦學(xué)習(xí)、智能化等技術(shù)都將助力大數(shù)據(jù)不斷發(fā)展和革新。而現(xiàn)如今，數(shù)據(jù)作為生產(chǎn)要素、企業(yè)的重要資產(chǎn)和進(jìn)步的源動(dòng)力，被提升到國(guó)家戰(zhàn)略的高度。未來(lái)，相信大數(shù)據(jù)技術(shù)將持續(xù)助力各行各業(yè)數(shù)字化轉(zhuǎn)型，成為企業(yè)的核心競(jìng)爭(zhēng)力。課件課件PPT資料寶袋資料寶袋 張志和張志和唐代詞人。字子同,初名龜齡,婺州金華(今屬浙江)人。年十六游太學(xué),舉明經(jīng)。肅宗時(shí)待詔翰林,貶南浦尉。后隱居江湖,自號(hào)“煙波釣徒”。與顏真卿等為友。善歌詞,能書(shū)畫(huà)、擊鼓、吹笛。作品多寫(xiě)隱居時(shí)的閑散生活。其詞今存漁父五首,描寫(xiě)江南水鄉(xiāng)風(fēng)光,漁父生活,鮮明生動(dòng),為早期文人詞中著名之作。另有玄真子。21完美課件課件課件PPT西塞山西塞山一說(shuō)在湖州西郊弁(bin)南鄉(xiāng)樊漾湖村,此據(jù)大清一統(tǒng)志所載:“西塞山,在烏程縣西南25里,有桃花塢,下有凡常湖(即樊漾湖)?！比缃裆角拔鬈?/p>