認(rèn)識(shí)大數(shù)據(jù)(一)

也談大數(shù)據(jù)（一）記錄中的世界2015年9月24日孫波今天去聽了個(gè)講座，關(guān)于大數(shù)據(jù)和云計(jì)算，主講老師主要圍繞大數(shù)據(jù)的一些基礎(chǔ)和應(yīng)用示例以及數(shù)據(jù)安全方面，有一點(diǎn)收獲，有一點(diǎn)想法，很多老師沒有提到的東西，還有些自己對(duì)大數(shù)據(jù)理解已經(jīng)沉淀很久了，特此寫下來。主要是關(guān)于大數(shù)據(jù)的認(rèn)識(shí)。一、大數(shù)據(jù)的概念講座上，老師講的大數(shù)據(jù)概念，幾乎和百度百科上的一樣：大數(shù)據(jù)（bigdata），是指無法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。然而這樣的“大數(shù)據(jù)”對(duì)我們又有什么價(jià)值呢？我覺得，我們所提到的大數(shù)據(jù)，必須是以能從中挖掘出一定價(jià)值的，能指導(dǎo)我們現(xiàn)實(shí)生活作為前提條件的。我理解的大數(shù)據(jù)有兩個(gè)層面：1、廣義的大數(shù)據(jù)概念。廣義的大數(shù)據(jù)，就是“人類通過信息化手段將現(xiàn)實(shí)世界記錄為數(shù)據(jù)的集合”?；蛘哒f，其本質(zhì)是在人類世界目前的所有信息化系統(tǒng)下，產(chǎn)生的數(shù)據(jù)集合，這些數(shù)據(jù)匯集成一個(gè)映射現(xiàn)實(shí)世界的虛擬信息世界。這個(gè)虛擬信息世界的所有數(shù)據(jù)，即廣義大數(shù)據(jù)，也就是說，廣義的大數(shù)據(jù)有且只有一個(gè)。2、狹義的大數(shù)據(jù)概念狹義的大數(shù)據(jù)概念，是指圍繞某一對(duì)象，以及某一時(shí)間范圍進(jìn)行考察，該對(duì)象在該段時(shí)間內(nèi)通過各種信息化途徑產(chǎn)生的數(shù)據(jù)的集合，稱之為“大數(shù)據(jù)”。這里引入“對(duì)象”的概念，是建立在我前面提出的“大數(shù)據(jù)必須是有價(jià)值的”這一基礎(chǔ)上的，要讓大數(shù)據(jù)產(chǎn)生價(jià)值，就要有目的性的去挖掘、分析、統(tǒng)計(jì)，并為某些對(duì)象提供服務(wù)，就好像肉對(duì)狗有價(jià)值，草對(duì)羊有價(jià)值，考察對(duì)象至關(guān)重要。二、三個(gè)世界為了進(jìn)一步闡述我的大數(shù)據(jù)觀點(diǎn)，這里我提出“三個(gè)世界”的觀點(diǎn)，所謂三個(gè)世界，是指“客觀世界”、“記錄世界”、“認(rèn)知世界”1、客觀世界“客觀世界”指的是唯物主義理論中的世界，它不以人類的認(rèn)知為界限，不為人類的意識(shí)所改變。是一個(gè)客觀現(xiàn)實(shí)，不管人類是否探索到，或者是否了解，是否理解。2、記錄世界“記錄世界”可以說是數(shù)字化的“客觀世界”，是人類在生產(chǎn)、生活過程中對(duì)“客觀世界”的發(fā)現(xiàn)和有意或者無意的信息記錄。一定程度上是對(duì)“客觀世界”的信息化映射。3、認(rèn)知世界“認(rèn)知世界”是指人類對(duì)客觀世界的認(rèn)知，從而產(chǎn)生了一個(gè)在人類文明中的“世界”，這個(gè)世界里包含了人類各個(gè)歷史階段各個(gè)層次的文明，從地心說到日心說，牛頓定律到相對(duì)論等等，也是指人類科學(xué)和社會(huì)意識(shí)形態(tài)中所理解的“世界”?！罢J(rèn)知世界”是人類試圖去探索“客觀世界”，去理解“客觀世界”的成果。通?！罢J(rèn)知世界”是一部分人類專注于對(duì)“記錄世界”的分析研究和歸納總結(jié)后產(chǎn)生的。為了更好的說明這三個(gè)世界，我舉一個(gè)例子。描述1：孫波生活在地球上，地球上經(jīng)常有火山噴發(fā)。描述2：孫波每次打噴嚏都會(huì)寫進(jìn)日記。地球上每次火山噴發(fā)也都有人類記錄。描述3：若干年后，通過這些記錄，人們有一個(gè)驚人的發(fā)現(xiàn)：孫波每打100個(gè)噴嚏，就正好會(huì)有一座火山噴發(fā)，于是科學(xué)家推導(dǎo)出這個(gè)理論：每當(dāng)孫波打噴嚏的次數(shù)能被100整除，就會(huì)發(fā)生火山噴發(fā)。從此，每當(dāng)孫波打90個(gè)噴嚏的時(shí)候，火山周圍的村民就會(huì)搬遷或者躲到地下。上面三個(gè)描述，描述1就是客觀世界，描述2就是記錄世界，描述3就是認(rèn)知世界。雖然例子舉得荒誕，但是人類文明就是在這樣三個(gè)世界中輪轉(zhuǎn)進(jìn)步的，比如太陽歷和月亮歷的建立，看云、看日暈、看月暈識(shí)天氣，等等那些古老的常識(shí)，就是通過對(duì)客觀世界的觀察記錄，然后再在記錄中分析總結(jié)，得出結(jié)論，人類對(duì)這些推導(dǎo)和理論，在一開始往往是知其然而不知其所以然的，新的研究會(huì)解答之前的疑問，卻會(huì)帶來新的問題。事實(shí)上，人類科學(xué)文明就好比在剝一個(gè)由客觀現(xiàn)實(shí)做成的洋蔥，每剝開一層就是科學(xué)文明有一次進(jìn)步，這個(gè)洋蔥會(huì)越剝?cè)叫?，但是永遠(yuǎn)剝不到核心，可以一直剝下去。這個(gè)就像兒子問我的問題：“為什們蜻蜓低飛就是要下雨了？”，“因?yàn)橄掠昵皻鈮旱蜐穸却?，飛蟲翅膀濕了飛不高”；“為什么翅膀濕了就飛不高？”，“因?yàn)樾∷楸容^重！”；“為什么小水珠重？”，“因?yàn)樗拿芏缺瓤諝獯?！”；“為什么水的密度大就重？”，“因?yàn)槿f有引力，質(zhì)量越大，引力越大！”，“什么是萬有引力？”“……”。其實(shí)，當(dāng)年勞動(dòng)人民看到低飛的蜻蜓就知道要下雨，根本不知道后面這么多為什么。而萬有引力也不是問題的終點(diǎn)，至少目前的相對(duì)論指出：萬有引力的根本是質(zhì)量對(duì)時(shí)空的扭曲。而即便是大名鼎鼎的“相對(duì)論”，我兒子也能大膽的問上更多個(gè)“為什么？”三、記錄世界的重要性很多時(shí)候，人類對(duì)客觀世界進(jìn)行了記錄，然后要在很久之后才能發(fā)現(xiàn)其中的規(guī)律，產(chǎn)生新的認(rèn)知理論。因此，記錄世界是人類主觀意識(shí)下，對(duì)客觀世界的映射，而其中蘊(yùn)藏的秘密，或許等待著我們?nèi)グl(fā)現(xiàn)。如實(shí)、客觀、標(biāo)準(zhǔn)化的記錄，并且該記錄可以長(zhǎng)期保存，準(zhǔn)確還原，這樣的記錄具有最大的價(jià)值。四、“大數(shù)據(jù)”時(shí)代為什么現(xiàn)在到來進(jìn)行捕捉、管理和處理”，但是讓“記錄世界”的各項(xiàng)記錄標(biāo)準(zhǔn)化，是更加有利于大數(shù)據(jù)融合的，前面說的，對(duì)什么地方的人的購物習(xí)慣的大數(shù)據(jù)分析就是基于身份證號(hào)碼和手機(jī)號(hào)碼的標(biāo)準(zhǔn)化。2、客觀記錄盡可能多和真實(shí)的數(shù)據(jù)比如淘寶系統(tǒng)，或者陽光太倉人才網(wǎng)。在開發(fā)設(shè)計(jì)系統(tǒng)時(shí)，用戶什么時(shí)候下單，求職者什么時(shí)候應(yīng)聘，數(shù)據(jù)記錄中可以精確到日，也能精確到秒，可以保留ip地址信息，也能不保留。但是，如今的信息技術(shù)，讓記錄更加精確的數(shù)據(jù)的代價(jià)變得很小，有些數(shù)據(jù)，雖然以目前的眼光或者以割裂的方式來看價(jià)值不大，但是還是應(yīng)該盡可能去記錄，也就是說，在代價(jià)不大的情況下“記錄世界”越詳細(xì)越好，越有利于大數(shù)據(jù)的應(yīng)用。3、找到融合點(diǎn)產(chǎn)生新價(jià)值我們知道，畫一個(gè)坐標(biāo)系，如果橫坐標(biāo)是時(shí)間，縱坐標(biāo)是速度，記錄數(shù)據(jù)呈現(xiàn)的斜率就是加速度。如果橫坐標(biāo)是時(shí)間，縱坐標(biāo)是路程，那么記錄數(shù)據(jù)呈現(xiàn)的斜率就是速度。類似的二維表在統(tǒng)計(jì)學(xué)上經(jīng)常被使用，其實(shí)就是兩組數(shù)據(jù)的有機(jī)融合，產(chǎn)生了一個(gè)對(duì)我們有價(jià)值的信息。在人力資源方面，比如學(xué)歷+薪酬，年齡+工傷概率，籍貫+離職率，等等大數(shù)據(jù)融合，都能產(chǎn)生新的信息。要善于尋找融合點(diǎn)，很多看似無關(guān)的數(shù)據(jù)記錄把他們?nèi)诤掀饋?，可以得出奇妙的信息。并且大?shù)據(jù)的融合可以是多維的?。ㄗⅲ骸靶畔ⅰ敝赣袃r(jià)值的數(shù)據(jù)）4、大數(shù)據(jù)挖掘的信息要發(fā)揮指