大數(shù)據(jù)開發(fā)是什么 大數(shù)據(jù)開發(fā)是干什么的

1、大數(shù)據(jù)開發(fā)是什么？大數(shù)據(jù)開發(fā)是干什么的?來源：扣丁學(xué)堂大數(shù)據(jù)現(xiàn)在很火，有很多的企業(yè)在高薪聘請大數(shù)開發(fā)據(jù)人才，因此很多人紛紛開始學(xué)習(xí)大數(shù)據(jù)開發(fā)，希望可以獲得一份高薪工作，那么大數(shù)據(jù)開發(fā)是什么?大數(shù)據(jù)開發(fā)是干什么的有都少想要學(xué)習(xí)大數(shù)據(jù)開發(fā)的朋友知道?如果你問他大數(shù)據(jù)和你有什么關(guān)系?估計很少能說出一二三來。究其原因，一是因為大家對新技術(shù)有著相同的原始渴求，至少知其然在聊天時不會顯得很“土鱉”;二是在工作和生活環(huán)境中真正能參與實踐大數(shù)據(jù)案例實在太少了，所以大家沒有必要花時間去知其所以然。那么大數(shù)據(jù)究竟是什么呢?如果你說大數(shù)據(jù)就是數(shù)據(jù)大，或者侃侃而談4個V,也許很有深度的談到BI或預(yù)測的價值，又或者拿G

2、oogle和Amazon舉例，技術(shù)流可能會聊起Hadoop和CloudComputing，不管對錯，只是無法勾勒對大數(shù)據(jù)的整體認(rèn)識，不說是片面，但至少有些管窺蠡測、隔衣瘙癢了。也許，“解構(gòu)”是最好的方法。怎樣結(jié)構(gòu)大數(shù)據(jù)?首先，大數(shù)據(jù)就是互聯(lián)網(wǎng)發(fā)展到現(xiàn)今階段的一種表象或特征而已，沒有必要神話它或?qū)λ３志次分?，在以云計算為代表的技術(shù)創(chuàng)新大幕的襯托下，這些原本很難收集和使用的數(shù)據(jù)開始容易被利用起來了，通過各行各業(yè)的不斷創(chuàng)新，大數(shù)據(jù)會逐步為人類創(chuàng)造更多的價值。其次，想要系統(tǒng)的認(rèn)知大數(shù)據(jù)，必須要全面而細(xì)致的分解它，我們著手從三個層面來展開：實踐(UtiHzgticn)4-個人的大敝據(jù)生定疆的大敢提3

3、兩的的大的居互馨網(wǎng)的義數(shù)指4,鼠:w-i二一去注1WffWJ桁桐扉田土崎和未果4-大賺魏技術(shù)（Technology）理論Theory)第一層面是理論，理論是認(rèn)知的必經(jīng)途徑，也是被廣泛認(rèn)同和傳播的基線。我會從大數(shù)據(jù)的特征定義理解行業(yè)對大數(shù)據(jù)的整體描繪和定性;從對大數(shù)據(jù)價值的探討來深入解析大數(shù)據(jù)的珍貴所在;從對大數(shù)據(jù)的現(xiàn)在和未來去洞悉大數(shù)據(jù)的發(fā)展趨勢;從大數(shù)據(jù)隱私這個特別而重要的視角審視人和數(shù)據(jù)之間的長久博弈。第二層面是技術(shù)，技術(shù)是大數(shù)據(jù)價值體現(xiàn)的手段和前進(jìn)的基石。我將分別從云計算、分布式處理技術(shù)、存儲技術(shù)和感知技術(shù)的發(fā)展來說明大數(shù)據(jù)從采集、處理、存儲到形成結(jié)果的整個過程。第三層面是實踐，實踐是大

4、數(shù)據(jù)的最終價值體現(xiàn)。我將分別從互聯(lián)網(wǎng)的大數(shù)據(jù)，政府的大數(shù)據(jù)，企業(yè)的大數(shù)據(jù)和個人的大數(shù)據(jù)四個方面來描繪大數(shù)據(jù)已經(jīng)展現(xiàn)的美好景象及即將實現(xiàn)的藍(lán)圖。和大數(shù)據(jù)相關(guān)的理論?特征定義最早提出大數(shù)據(jù)時代到來的是麥肯錫：“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運用，預(yù)示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來?！睒I(yè)界（IBM最早定義）將大數(shù)據(jù)的特征歸納為4個“V”（量Volume,多樣Variety,價值Value,速Velocity）,或者說特點有四個層面：第一，數(shù)據(jù)體量巨大。大數(shù)據(jù)的起始計量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T

5、）;第二，數(shù)據(jù)類型繁多。比如，網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等。第三,價值密度低,商業(yè)價值高。第四,處理速度快。最后這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。G）知:J字袁其實這些V并不能真正說清楚大數(shù)據(jù)的所有特征，下面這張圖對大數(shù)據(jù)的一些相關(guān)特性做出了有效的說明。m9w膏陽口則、：SOCIAL.ANALYTICS息弋福聯(lián)小.1.CWf-r,.：iwCOMPLEX/冬雪射皿二亞喉由Sramwiisufw疝uyc呼TECHNOLOGIES1aM/顧而善嘈GEINCHSfflE疊置nTnniorSIZtsesri：*,STOKAbtw：ma差m古語云：三分技術(shù)，七分?jǐn)?shù)據(jù)，得數(shù)據(jù)者得天下。

6、先不論誰說的，但是這句話的正確性已經(jīng)不用去論證了。維克托邁爾-舍恩伯格在大數(shù)據(jù)時代一書中舉了百般例證，都是為了說明一個道理：在大數(shù)據(jù)時代已經(jīng)到來的時候要用大數(shù)據(jù)思維去發(fā)掘大數(shù)據(jù)的潛在價值。書中，作者提及最多的是Google如何利用人們的搜索記錄挖掘數(shù)據(jù)二次利用價值，比如預(yù)測某地流感爆發(fā)的趨勢;Amazon如何利用用戶的購買和瀏覽歷史數(shù)據(jù)進(jìn)行有針對性的書籍購買推薦，以此有效提升銷售量;Farecast如何利用過去十年所有的航線機票價格打折數(shù)據(jù)，來預(yù)測用戶購買機票的時機是否合適。那么，什么是大數(shù)據(jù)思維?維克托邁爾-舍恩伯格認(rèn)為，1-需要全部數(shù)據(jù)樣本而不是抽樣;2-關(guān)注效率而不是精確度;3-關(guān)注相關(guān)

7、性而不是因果關(guān)系。阿里巴巴的王堅對于大數(shù)據(jù)也有一些獨特的見解，比如，“今天的數(shù)據(jù)不是大，真正有意思的是數(shù)據(jù)變得在線了，這個恰恰是互聯(lián)網(wǎng)的特點?！薄胺腔ヂ?lián)網(wǎng)時期的產(chǎn)品，功能一定是它的價值，今天互聯(lián)網(wǎng)的產(chǎn)品，數(shù)據(jù)一定是它的價值?！薄澳闱f不要想著拿數(shù)據(jù)去改進(jìn)一個業(yè)務(wù)，這不是大數(shù)據(jù)。你一定是去做了一件以前做不了的事情?！碧貏e是最后一點，我是非常認(rèn)同的，大數(shù)據(jù)的真正價值在于創(chuàng)造，在于填補無數(shù)個還未實現(xiàn)過的空白。舞有人把數(shù)據(jù)比喻為蘊藏能量的煤礦。煤炭按照性質(zhì)有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數(shù)據(jù)并不在“大”，而在于“有用”。價值含量、挖掘成本比數(shù)量更為

8、重要。價值探討大數(shù)據(jù)是什么？投資者眼里是金光閃閃的兩個字：資產(chǎn)。比如，F(xiàn)acebook上市時，評估機構(gòu)評定的有效資產(chǎn)中大部分都是其社交網(wǎng)站上的數(shù)據(jù)。如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實現(xiàn)盈利的關(guān)鍵，在于提高對數(shù)據(jù)的“加工能力”，通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。Target超市以20多種懷孕期間孕婦可能會購買的商品為基礎(chǔ)，將所有用戶的購買記錄作為數(shù)據(jù)來源，通過構(gòu)建模型分析購買者的行為相關(guān)性，能準(zhǔn)確的推斷出孕婦的具體臨盆時間，這樣Target的銷售部門就可以有針對的在每個懷孕顧客的不同階段寄送相應(yīng)的產(chǎn)品優(yōu)惠卷。Target的例子是一個很典型的案例，這樣印證了維克托邁爾-舍恩伯格提過的一個很有指

9、導(dǎo)意義的觀點：通過找出一個關(guān)聯(lián)物并監(jiān)控它，就可以預(yù)測未來。Target通過監(jiān)測購買者購買商品的時間和品種來準(zhǔn)確預(yù)測顧客的孕期，這就是對數(shù)據(jù)的二次利用的典型案例。如果，我們通過采集駕駛員手機的GPS數(shù)據(jù)，就可以分析出當(dāng)前哪些道路正在堵車，并可以及時發(fā)布道路交通提醒;通過采集汽車的GPS位置數(shù)據(jù)，就可以分析城市的哪些區(qū)域停車較多，這也代表該區(qū)域有著較為活躍的人群，這些分析數(shù)據(jù)適合賣給廣告投放商。不管大數(shù)據(jù)的核心價值是不是預(yù)測，但是基于大數(shù)據(jù)形成決策的模式已經(jīng)為不少的企業(yè)帶來了盈利和聲譽。從大數(shù)據(jù)的價值鏈條來分析，存在三種模式：手握大數(shù)據(jù)，但是沒有利用好;比較典型的是金融機構(gòu)，電信行業(yè)，政府機構(gòu)等。

10、2-沒有數(shù)據(jù)，但是知道如何幫助有數(shù)據(jù)的人利用它；比較典型的是IT咨詢和服務(wù)企業(yè)，比如，埃森哲，IBM，Oracle等。3-既有數(shù)據(jù)，又有大數(shù)據(jù)思維；比較典型的是Google，Amazon，Mastercard等。未來在大數(shù)據(jù)領(lǐng)域最具有價值的是兩種事物：1-擁有大數(shù)據(jù)思維的人，這種人可以將大數(shù)據(jù)的潛在價值轉(zhuǎn)化為實際利益;2-還未有被大數(shù)據(jù)觸及過的業(yè)務(wù)領(lǐng)域。這些是還未被挖掘的油井，金礦，是所謂的藍(lán)海。WaMart作為零售行業(yè)的巨頭，他們的分析人員會對每個階段的銷售記錄進(jìn)行了全面的分析，有一次他們無意中發(fā)現(xiàn)雖不相關(guān)但很有價值的數(shù)據(jù)，在美國的颶風(fēng)來臨季節(jié)，超市的蛋撻和抵御颶風(fēng)物品竟然銷量都有大幅增加，

11、于是他們做了一個明智決策，就是將蛋撻的銷售位置移到了颶風(fēng)物品銷售區(qū)域旁邊，看起來是為了方便用戶挑選，但是沒有想到蛋撻的銷量因此又提高了很多。還有一個有趣的例子，1948年遼沈戰(zhàn)役期間，司令員林彪要求每天要進(jìn)行例常的“每日軍情匯報”，由值班參謀讀出下屬各個縱隊、師、團(tuán)用電臺報告的當(dāng)日戰(zhàn)況和繳獲情況。那幾乎是重復(fù)著千篇一律枯燥無味的數(shù)據(jù)：每支部隊殲敵多少、俘虜多少;繳獲的火炮、車輛多少，槍支、物資多少有一天，參謀照例匯報當(dāng)日的戰(zhàn)況，林彪突然打斷他：“剛才念的在胡家窩棚那個戰(zhàn)斗的繳獲，你們聽到了嗎?”大家都很茫然，因為如此戰(zhàn)斗每天都有幾十起，不都是差不多一模一樣的枯燥數(shù)字嗎?林彪掃視一周，見無人回答

12、，便接連問了三句：“為什么那里繳獲的短槍與長槍的比例比其它戰(zhàn)斗略高?”“為什么那里繳獲和擊毀的小車與大車的比例比其它戰(zhàn)斗略高?”“為什么在那里俘虜和擊斃的軍官與士兵的比例比其它戰(zhàn)斗略高?”林彪司令員大步走向掛滿軍用地圖的墻壁，指著地圖上的那個點說：“我猜想，不，我斷定!敵人的指揮所就在這里!”果然，部隊很快就抓住了敵方的指揮官廖耀湘，并取得這場重要戰(zhàn)役的勝利。這些例子真實的反映在各行各業(yè)，探求數(shù)據(jù)價值取決于把握數(shù)據(jù)的人，關(guān)鍵是人的數(shù)據(jù)思維;與其說是大數(shù)據(jù)創(chuàng)造了價值，不如說是大數(shù)據(jù)思維觸發(fā)了新的價值增長。3、現(xiàn)在和未來我們先看看大數(shù)據(jù)在當(dāng)下有怎樣的杰出表現(xiàn)：大數(shù)據(jù)幫助政府實現(xiàn)市場經(jīng)濟(jì)調(diào)控、公共衛(wèi)

13、生安全防范、災(zāi)難預(yù)警、社會輿論監(jiān)督;大數(shù)據(jù)幫助城市預(yù)防犯罪，實現(xiàn)智慧交通，提升緊急應(yīng)急能力;大數(shù)據(jù)幫助醫(yī)療機構(gòu)建立患者的疾病風(fēng)險跟蹤機制，幫助醫(yī)藥企業(yè)提升藥品的臨床使用效果，幫助艾滋病研究機構(gòu)為患者提供定制的藥物;大數(shù)據(jù)幫助航空公司節(jié)省運營成本，幫助電信企業(yè)實現(xiàn)售后服務(wù)質(zhì)量提升，幫助保險企業(yè)識別欺詐騙保行為，幫助快遞公司監(jiān)測分析運輸車輛的故障險情以提前預(yù)警維修，幫助電力公司有效識別預(yù)警即將發(fā)生故障的設(shè)備;大數(shù)據(jù)幫助電商公司向用戶推薦商品和服務(wù)，幫助旅游網(wǎng)站為旅游者提供心儀的旅游路線，幫助二手市場的買賣雙方找到最合適的交易目標(biāo)，幫助用戶找到最合適的商品購買時期、商家和最優(yōu)惠價格;大數(shù)據(jù)幫助企業(yè)提

14、升營銷的針對性，降低物流和庫存的成本，減少投資的風(fēng)險，以及幫助企業(yè)提升廣告投放精準(zhǔn)度;大數(shù)據(jù)幫助娛樂行業(yè)預(yù)測歌手，歌曲，電影，電視劇的受歡迎程度，并為投資者分析評估拍一部電影需要投入多少錢才最合適，否則就有可能收不回成本;大數(shù)據(jù)幫助社交網(wǎng)站提供更準(zhǔn)確的好友推薦，為用戶提供更精準(zhǔn)的企業(yè)招聘信息，向用戶推薦可能喜歡的游戲以及適合購買的商品。其實，這些還遠(yuǎn)遠(yuǎn)不夠，未來大數(shù)據(jù)的身影應(yīng)該無處不在，就算無法準(zhǔn)確預(yù)測大數(shù)據(jù)終會將人類社會帶往到哪種最終形態(tài)，但我相信只要發(fā)展腳步在繼續(xù)，因大數(shù)據(jù)而產(chǎn)生的變革浪潮將很快淹沒地球的每一個角落。比如，Amazon的最終期望是：“最成功的書籍推薦應(yīng)該只有一本書，就是用戶

15、要買的下一本書。”Google也希望當(dāng)用戶在搜索時，最好的體驗是搜索結(jié)果只包含用戶所需要的內(nèi)容，而這并不需要用戶給予Google太多的提示。而當(dāng)物聯(lián)網(wǎng)發(fā)展到達(dá)一定規(guī)模時，借助條形碼、二維碼、RFID等能夠唯一標(biāo)識產(chǎn)品，傳感器、可穿戴設(shè)備、智能感知、視頻采集、增強現(xiàn)實等技術(shù)可實現(xiàn)實時的信息采集和分析，這些數(shù)據(jù)能夠支撐智慧城市，智慧交通，智慧能源，智慧醫(yī)療，智慧環(huán)保的理念需要，這些都所謂的智慧將是大數(shù)據(jù)的采集數(shù)據(jù)來源和服務(wù)范圍。未來的大數(shù)據(jù)除了將更好的解決社會問題，商業(yè)營銷問題，科學(xué)技術(shù)問題，還有一個可預(yù)見的趨勢是以人為本的大數(shù)據(jù)方針。人才是地球的主宰，大部分的數(shù)據(jù)都與人類有關(guān)，要通過大數(shù)據(jù)解決人

16、的問題。比如，建立個人的數(shù)據(jù)中心，將每個人的日常生活習(xí)慣，身體體征，社會網(wǎng)絡(luò)，知識能力，愛好性情，疾病嗜好，情緒波動換言之就是記錄人從出生那一刻起的每一分每一秒，將除了思維外的一切都儲存下來，這些數(shù)據(jù)可以被充分的利用：醫(yī)療機構(gòu)將實時的監(jiān)測用戶的身體健康狀況;教育機構(gòu)更有針對的制定用戶喜歡的教育培訓(xùn)計劃;服務(wù)行業(yè)為用戶提供即時健康的符合用戶生活習(xí)慣的食物和其它服務(wù);社交網(wǎng)絡(luò)能為你提供合適的交友對象，并為志同道合的人群組織各種聚會活動;政府能在用戶的心理健康出現(xiàn)問題時有效的干預(yù)，防范自殺，刑事案件的發(fā)生;金融機構(gòu)能幫助用戶進(jìn)行有效的理財管理，為用戶的資金提供更有效的使用建議和規(guī)劃;道路交通、汽車租

17、賃及運輸行業(yè)可以為用戶提供更合適的出行線路和路途服務(wù)安排;當(dāng)然，上面的一切看起來都很美好，但是否是以犧牲了用戶的自由為前提呢?只能說當(dāng)新鮮事物帶來了革新的同時也同樣帶來了“病菌”。比如，在手機未普及前，大家喜歡聚在一起聊天，自從手機普及后特別是有了互聯(lián)網(wǎng)，大家不用聚在一起也可以隨時隨地的聊天，只是“病菌”滋生了另外一種情形，大家慢慢習(xí)慣了和手機共渡時光，人與人之間情感交流仿佛永遠(yuǎn)隔著一張“網(wǎng)”。4、大數(shù)據(jù)隱私你或許并不敏感，當(dāng)你在不同的網(wǎng)站上注冊了個人信息后，可能這些信息已經(jīng)被擴(kuò)散出去了，當(dāng)你莫名其妙的接到各種郵件，電話，短信的滋擾時，你不會想到自己的電話號碼，郵箱，生日，購買記錄，收入水平，

18、家庭住址，親朋好友等私人信息早就被各種商業(yè)機構(gòu)非法存儲或賤賣給其它任何有需要的企業(yè)或個人了。更可怕的是，這些信息你永遠(yuǎn)無法刪除，它們永遠(yuǎn)存在于互聯(lián)網(wǎng)的某些你不知道的角落。除非你更換掉自己的所有信息，但是這代價太大了。用戶隱私問題一直是大數(shù)據(jù)應(yīng)用難以繞開的一個問題，如被央視曝光過的分眾無線、羅維鄧白氏以及網(wǎng)易郵箱都涉及侵犯用戶隱私。目前，中國并沒有專門的法律法規(guī)來界定用戶隱私，處理相關(guān)問題時多采用其他相關(guān)法規(guī)條例來解釋。但隨著民眾隱私意識的日益增強，合法合規(guī)地獲取數(shù)據(jù)、分析數(shù)據(jù)和應(yīng)用數(shù)據(jù)，是進(jìn)行大數(shù)據(jù)分析時必須遵循的原則。說到隱私被侵犯，愛德華斯諾登應(yīng)該占據(jù)一席之地，這位前美國中央情報局（CIA

19、）雇員一手引爆了美國“棱鏡計劃”（PRISM）的內(nèi)幕消息?！袄忡R”項目是一項由美國國家安全局（小人）自2007年起開始實施的絕密電子監(jiān)聽計劃，年耗資近2000億美元，用于監(jiān)聽全美電話通話記錄，據(jù)稱還可以使情報人員通過“后門”進(jìn)入9家主要科技公司的服務(wù)器，包括微軟、雅虎、谷歌、Facebook、PalTalk、美國在線、Skype、YouTube、蘋果。這個事件引發(fā)了人們對政府使用大數(shù)據(jù)時對公民隱私侵犯的擔(dān)心。再看看我們身邊，當(dāng)微博，微信，QQ空間這些社交平臺肆意的吞噬著數(shù)億用戶的各種信息時，你就不要指望你還有隱私權(quán)了，就算你在某個地方刪除了，但也許這些信息已經(jīng)被其他人轉(zhuǎn)載或保存了，更有可能已經(jīng)被百度或Google存為快照，早就提供給任意用戶搜索了。因此在大數(shù)據(jù)的背景下，很多人都在積極的抵制無底線的數(shù)字化，這種大數(shù)據(jù)和個體之間的博弈還會一直繼續(xù)下去專家給予了我們一些如何有效保護(hù)大數(shù)據(jù)背景下隱私權(quán)的建議：1-減少信息的數(shù)字化;2-隱私權(quán)立法;3-數(shù)字隱私權(quán)基礎(chǔ)設(shè)施（類似DRM數(shù)字版權(quán)管理）；4-人類改變認(rèn)知（接受忽略過去）；5-創(chuàng)造良性的信息生態(tài);6-語境化。但是這些都很難立即見