盤點：從三個概念了解大數(shù)據(jù)

盤點：從三個概念了解大數(shù)據(jù)

對于國內(nèi)數(shù)據(jù)分析市場，我們感覺如下：1.市場巨大。許多企業(yè)(無論是互聯(lián)網(wǎng)的新銳還是傳統(tǒng)的企業(yè))都在討論這個，也有實際的需求并愿意為此付錢，但是比較零碎尚不系統(tǒng)化。目前對數(shù)據(jù)需求最強烈的行業(yè)依此是：金融機構(gòu)(從基金到銀行到保險公司到P2P公司)，以廣告投放及電商為代表的互聯(lián)網(wǎng)企業(yè)等。2.尚沒出現(xiàn)平臺級公司的模式(這或許往往是大市場或者大機會出現(xiàn)之前的混沌期)。3.ToB服務(wù)的氛圍在國內(nèi)尚沒完全形成。對于一些有能力的技術(shù)公司，如果數(shù)據(jù)需求強烈的話，考慮到自身能力的健全以及數(shù)據(jù)安全性，往往不會外包或者采用外部模塊，而傾向于自建這塊業(yè)務(wù)。4.未來BAT及京東、58和滴滴打車等企業(yè)，憑借其自身產(chǎn)生的海量數(shù)據(jù)，必然是數(shù)據(jù)領(lǐng)域的大玩家。但是整個行業(yè)很大而且需求旺盛，即使沒有留給創(chuàng)業(yè)公司出現(xiàn)平臺級巨型企業(yè)的機會，也將留出各種各樣的細分市場機會讓大家可以獲得自己的領(lǐng)地。對于數(shù)據(jù)業(yè)務(wù)，按照我們的理解，簡單將其分為三塊：數(shù)據(jù)沉淀、挖掘和可視化，每一塊分別對應(yīng)不同的模式及產(chǎn)品或服務(wù)。(數(shù)據(jù)挖掘業(yè)務(wù)又被細分為分析、理解及存儲。)下面會進行簡單介紹，其實從我們的業(yè)務(wù)也可以看到一些整個行業(yè)的大致狀況。數(shù)據(jù)沉淀用大白話說就是數(shù)據(jù)抓取。目前有四大方式獲取數(shù)據(jù)：1.網(wǎng)絡(luò)爬蟲用Python及Go等開發(fā)自己的爬蟲平臺，對幾十個網(wǎng)站進行每日抓取獲得相關(guān)信息(詳見：能利用爬蟲技術(shù)做到哪些很酷很有趣很有用的事情？-何明科的回答)2.Wi-Fi接入方案比如我們自己就開發(fā)了一套完整的軟硬件方案，優(yōu)勢是高ROI(投資回報比)，且免費提供給物業(yè)管理者，幫助其實現(xiàn)靠網(wǎng)費賺錢以及推廣費賺錢。在與其協(xié)商的基礎(chǔ)上，獲得用戶數(shù)據(jù)。這主要是OpenWRT的開發(fā)以及一些智能硬件和客戶端的開發(fā)。3.提供一些圖像方面的API，進行圖片搜索及人臉?biāo)阉?，滿足客戶在圖像處理和圖像識別方面的一些需求，同時獲取相關(guān)的圖像數(shù)據(jù)。涉及到一些MachineLearning和DeepLearning的算法，使用C++/OpenCV/Matlab等工具或模塊。4.數(shù)據(jù)服務(wù)需求方自行提供。這部分是按照數(shù)據(jù)銷售的方式向客戶收費。數(shù)據(jù)挖掘用大白話說，就是利用數(shù)據(jù)分析產(chǎn)生深層次有價值的理解。基于以上各種方式獲得的數(shù)據(jù)，我們可以做最簡單的統(tǒng)計分析、用戶及品牌理解、用戶畫像、各品牌或各產(chǎn)品型號之間的關(guān)系等等，了解現(xiàn)在和歷史并爭取預(yù)測未來。常用的工具是Python/R/SPSS等，算法包括最簡單的統(tǒng)計、稍微復(fù)雜一些的MachineLearning、現(xiàn)在被捧上天的DeepLearning以及CollaborativeFiltering等等，也需要使用到Hive等大數(shù)據(jù)處理平臺。這部分類似于咨詢服務(wù)，向有需求的客戶按照項目收費。數(shù)據(jù)呈現(xiàn)用大白話說，就是把分析結(jié)果用最美觀和最容易理解的方式(圖標(biāo)或者圖形)展現(xiàn)出來。目前，行業(yè)大概有幾種玩法。網(wǎng)站(兼容PC端和移動端)：提供給付費的B端客戶，不對外公開。開專欄和做公眾號：都是純免費的，將一些不敏感的數(shù)據(jù)和分析分享出去，攢人品賺口碑。提供一個SaaS的公有云平臺，方便大家把自己的數(shù)據(jù)制作成為便于在網(wǎng)上特別是移動端傳播的圖文報表。[大數(shù)據(jù)魔方]產(chǎn)品的邏輯很簡單：讀數(shù)讀圖的需求越來越強烈，但是卻缺乏這樣的工具或者平臺來制作圖文并茂的內(nèi)容，即使是Excel，也不能制作出適合于網(wǎng)絡(luò)傳播的圖文內(nèi)容。常