大數(shù)據(jù)分析學習之路

大數(shù)據(jù)分析學習之路 一 大數(shù)據(jù)分析的五個基本方面 1 可視化分析 大數(shù)據(jù)分析的使用者有大數(shù)據(jù)分析專家 同時還有普通用戶 但是他們二者對于大數(shù)據(jù)分析最基本的要求就是可視化分析 因為可視化分析能夠直觀的呈現(xiàn)大數(shù)據(jù)特點 同時能夠非常容 易被讀者所接受 就如同看圖說話一樣簡單明了 2 數(shù)據(jù)挖掘算法 大數(shù)據(jù)分析的理論核心就是數(shù)據(jù)挖掘算法 各種數(shù)據(jù)挖掘的算 法基于不同的數(shù)據(jù)類型和格式才能更加科學的呈現(xiàn)出數(shù)據(jù)本身 具備的特點 也正是因為這些被全世界統(tǒng)計學家所公認的各種 統(tǒng)計方法 可以稱之為真理 才能深入數(shù)據(jù)內部 挖掘出公認 的價值 另外一個方面也是因為有這些數(shù)據(jù)挖掘的算法才能更 快速的處理大數(shù)據(jù) 如果一個算法得花上好幾年才能得出結論 那大數(shù)據(jù)的價值也就無從說起了 3 預測性分析能力 大數(shù)據(jù)分析最終要的應用領域之一就是預測性分析 從大數(shù)據(jù) 中挖掘出特點 通過科學的建立模型 之后便可以通過模型帶 入新的數(shù)據(jù) 從而預測未來的數(shù)據(jù) 4 語義引擎 大數(shù)據(jù)分析廣泛應用于網(wǎng)絡數(shù)據(jù)挖掘 可從用戶的搜索關鍵詞 標簽關鍵詞 或其他輸入語義 分析 判斷用戶需求 從而實 現(xiàn)更好的用戶體驗和廣告匹配 5 數(shù)據(jù)質量和數(shù)據(jù)管理 大數(shù)據(jù)分析離不開數(shù)據(jù)質量和數(shù)據(jù)管理 高質量的數(shù)據(jù)和有效 的數(shù)據(jù)管理 無論是在學術研究還是在商業(yè)應用領域 都能夠 保證分析結果的真實和有價值 大數(shù)據(jù)分析的基礎就是以上五 個方面 當然更加深入大數(shù)據(jù)分析的話 還有很多很多更加有 特點的 更加深入的 更加專業(yè)的大數(shù)據(jù)分析方法 二 如何選擇適合的數(shù)據(jù)分析工具 要明白分析什么數(shù)據(jù) 大數(shù)據(jù)要分析的數(shù)據(jù)類型主要有四大類 1 交易數(shù)據(jù) TRANSACTION DATA 大數(shù)據(jù)平臺能夠獲取時間跨度更大 更海量的結構化交易數(shù)據(jù) 這樣就可以對更廣泛的交易數(shù)據(jù)類型進行分析 不僅僅包括 POS 或電子商務購物數(shù)據(jù) 還包括行為交易數(shù)據(jù) 例如 Web 服務器記錄的互聯(lián)網(wǎng)點擊流數(shù)據(jù)日志 2 人為數(shù)據(jù) HUMAN GENERATED DATA 非結構數(shù)據(jù)廣泛存在于電子郵件 文檔 圖片 音頻 視頻 以及通過博客 維基 尤其是社交媒體產生的數(shù)據(jù)流 這些數(shù) 據(jù)為使用文本分析功能進行分析提供了豐富的數(shù)據(jù)源泉 3 移動數(shù)據(jù) MOBILE DATA 能夠上網(wǎng)的智能手機和平板越來越普遍 這些移動設備上的 App 都能夠追蹤和溝通無數(shù)事件 從 App 內的交易數(shù)據(jù) 如 搜索產品的記錄事件 到個人信息資料或狀態(tài)報告事件 如地 點變更即報告一個新的地理編碼 4 機器和傳感器數(shù)據(jù) MACHINE AND SENSOR DATA 這包括功能設備創(chuàng)建或生成的數(shù)據(jù) 例如智能電表 智能溫度 控制器 工廠機器和連接互聯(lián)網(wǎng)的家用電器 這些設備可以配 置為與互聯(lián)網(wǎng)絡中的其他節(jié)點通信 還可以自動向中央服務器 傳輸數(shù)據(jù) 這樣就可以對數(shù)據(jù)進行分析 機器和傳感器數(shù)據(jù)是 來自新興的物聯(lián)網(wǎng) IoT 所產生的主要例子 來自物聯(lián)網(wǎng)的數(shù) 據(jù)可以用于構建分析模型 連續(xù)監(jiān)測預測性行為 如當傳感器 值表示有問題時進行識別 提供規(guī)定的指令 如警示技術人 員在真正出問題之前檢查設備 三 如何區(qū)分三個大數(shù)據(jù)熱門職業(yè) 數(shù)據(jù)科學家 數(shù)據(jù) 工程師 數(shù)據(jù)分析師 隨著大數(shù)據(jù)的愈演愈熱 相關大數(shù)據(jù)的職業(yè)也成為熱門 給人 才發(fā)展帶來帶來了很多機會 數(shù)據(jù)科學家 數(shù)據(jù)工程師 數(shù)據(jù) 分析師已經(jīng)成為大數(shù)據(jù)行業(yè)最熱門的職位 它們是如何定義的 具體是做什么工作的 需要哪些技能 讓我們一起來看看吧 這 3 個職業(yè)具體有什么職責 數(shù)據(jù)科學家的工作職責 數(shù)據(jù)科學家傾向于用探索數(shù)據(jù)的方式 來看待周圍的世界 把大量散亂的數(shù)據(jù)變成結構化的可供分析 的數(shù)據(jù) 還要找出豐富的數(shù)據(jù)源 整合其他可能不完整的數(shù)據(jù) 源 并清理成結果數(shù)據(jù)集 新的競爭環(huán)境中 挑戰(zhàn)不斷地變化 新數(shù)據(jù)不斷地流入 數(shù)據(jù)科學家需要幫助決策者穿梭于各種分 析 從臨時數(shù)據(jù)分析到持續(xù)的數(shù)據(jù)交互分析 當他們有所發(fā)現(xiàn) 便交流他們的發(fā)現(xiàn) 建議新的業(yè)務方向 他們很有創(chuàng)造力的展 示視覺化的信息 也讓找到的模式清晰而有說服力 把蘊含在 數(shù)據(jù)中的規(guī)律建議給 Boss 從而影響產品 流程和決策 數(shù)據(jù)工程師的工作職責 分析歷史 預測未來 優(yōu)化選擇 這 是大數(shù)據(jù)工程師在 玩數(shù)據(jù) 時最重要的三大任務 通過這三 個工作方向 他們幫助企業(yè)做出更好的商業(yè)決策 大數(shù)據(jù)工程師一個很重要的工作 就是通過分析數(shù)據(jù)來找出過 去事件的特征 通過引入關鍵因素 大數(shù)據(jù)工程師可以預測未 來的消費趨勢 在阿里媽媽的營銷平臺上 工程師正試圖通過 引入氣象數(shù)據(jù)來幫助淘寶賣家做生意 比如今年夏天不熱 很 可能某些產品就沒有去年暢銷 除了空調 電扇 背心 游泳 衣等都可能會受其影響 那么我們就會建立氣象數(shù)據(jù)和銷售數(shù) 據(jù)之間的關系 找到與之相關的品類 提前警示賣家周轉庫存 根據(jù)不同企業(yè)的業(yè)務性質 大數(shù)據(jù)工程師可以通過數(shù)據(jù)分析來 達到不同的目的 與傳統(tǒng)的數(shù)據(jù)分析師相比 互聯(lián)網(wǎng)時代的數(shù)據(jù)分析師面臨的不 是數(shù)據(jù)匱乏 而是數(shù)據(jù)過剩 因此 互聯(lián)網(wǎng)時代的數(shù)據(jù)分析師 必須學會借助技術手段進行高效的數(shù)據(jù)處理 更為重要的是 互聯(lián)網(wǎng)時代的數(shù)據(jù)分析師要不斷在數(shù)據(jù)研究的方法論方面進行 創(chuàng)新和突破 就行業(yè)而言 數(shù)據(jù)分析師的價值與此類似 就新聞出版行業(yè)而 言 無論在任何時代 媒體運營者能否準確 詳細和及時地了 解受眾狀況和變化趨勢 都是媒體成敗的關鍵 此外 對于新聞出版等內容產業(yè)來說 更為關鍵的是 數(shù)據(jù)分 析師可以發(fā)揮內容消費者數(shù)據(jù)分析的職能 這是支撐新聞出版 機構改善客戶服務的關鍵職能 大數(shù)據(jù)分析師需要掌握的技能 1 懂業(yè)務 從事數(shù)據(jù)分析工作的前提就會需要懂業(yè)務 即熟悉 行業(yè)知識 公司業(yè)務及流程 最好有自己獨到的見解 若脫離 行業(yè)認知和公司業(yè)務背景 分析的結果只會是脫了線的風箏 沒有太大的使用價值 2 懂管理 一方面是搭建數(shù)據(jù)分析框架的要求 比如確定分析 思路就需要用到營銷 管理等理論知識來指導 如果不熟悉管 理理論 就很難搭建數(shù)據(jù)分析的框架 后續(xù)的數(shù)據(jù)分析也很難 進行 另一方面的作用是針對數(shù)據(jù)分析結論提出有指導意義的 分析建議 3 懂分析 指掌握數(shù)據(jù)分析基本原理與一些有效的數(shù)據(jù)分析方 法 并能靈活運用到實踐工作中 以便有效的開展數(shù)據(jù)分析 基本的分析方法有 對比分析法 分組分析法 交叉分析法 結構分析法 漏斗圖分析法 綜合評價分析法 因素分析法 矩陣關聯(lián)分析法等 高級的分析方法有 相關分析法 回歸分 析法 聚類分析法 判別分析法 主成分分析法 因子分析法 對應分析法 時間序列等 4 懂工具 指掌握數(shù)據(jù)分析相關的常用工具 數(shù)據(jù)分析方法是 理論 而數(shù)據(jù)分析工具就是實現(xiàn)數(shù)據(jù)分析方法理論的工具 面 對越來越龐大的數(shù)據(jù) 我們不能依靠計算器進行分析 必須依 靠強大的數(shù)據(jù)分析工具幫我們完成數(shù)據(jù)分析工作 5 懂設計 懂設計是指運用圖表有效表達數(shù)據(jù)分析師的分析觀 點 使分析結果一目了然 圖表的設計是門大學問 如圖形的 選擇 版式的設計 顏色的搭配等等 都需要掌握一定的設計 原則 四 從菜鳥成為數(shù)據(jù)科學家的 9 步養(yǎng)成方案 首先 各個公司對數(shù)據(jù)科學家的定義各不相同 當前還沒有統(tǒng) 一的定義 但在一般情況下 一個數(shù)據(jù)科學家結合了軟件工程 師與統(tǒng)計學家的技能 并且在他或者她希望工作的領域投入了 大量行業(yè)知識 大約 90 的數(shù)據(jù)科學家至少有大學教育經(jīng)歷 甚至到博士以及 獲得博士學位 當然 他們獲得的學位的領域非常廣泛 一些 招聘者甚至發(fā)現(xiàn)人文專業(yè)的人們有所需的創(chuàng)造力 他們能教別 人一些關鍵技能 因此 排除一個數(shù)據(jù)科學的學位計劃 世界各地的著名大學雨后 春筍般的出現(xiàn)著 你需要采取什么措施 成為一個數(shù)據(jù)科學家 復習你的數(shù)學和統(tǒng)計技能 一個好的數(shù)據(jù)科學家必須能夠理解 數(shù)據(jù)告訴你的內容 做到這一點 你必須有扎實的基本線性代 數(shù) 對算法和統(tǒng)計技能的理解 在某些特定場合可能需要高等 數(shù)學 但這是一個好的開始場合 了解機器學習的概念 機器學習是下一個新興詞 卻和大數(shù)據(jù) 有著千絲萬縷的聯(lián)系 機器學習使用人工智能算法將數(shù)據(jù)轉化 為價值 并且無需顯式編程 學習代碼 數(shù)據(jù)科學家必須知道如何調整代碼 以便告訴計算 機如何分析數(shù)據(jù) 從一個開放源碼的語言如 python 那里開始 吧 了解數(shù)據(jù)庫 數(shù)據(jù)池及分布式存儲 數(shù)據(jù)存儲在數(shù)據(jù)庫 數(shù)據(jù) 池或整個分布式網(wǎng)絡中 以及如何建設這些數(shù)據(jù)的存儲庫取決 于你如何訪問 使用 并分析這些數(shù)據(jù) 如果當你建設你的數(shù) 據(jù)存儲時沒有整體架構或者超前規(guī)劃 那后續(xù)對你的影響將十 分深遠 學習數(shù)據(jù)修改和數(shù)據(jù)清洗技術 數(shù)據(jù)修改是將原始數(shù)據(jù)到另一 種更容易訪問和分析的格式 數(shù)據(jù)清理有助于消除重復和 壞 數(shù)據(jù) 兩者都是數(shù)據(jù)科學家工具箱中的必備工具 了解良好的數(shù)據(jù)可視化和報告的基本知識 你不必成為一個平 面設計師 但你確實需要深諳如何創(chuàng)建數(shù)據(jù)報告 便于外行的 人比如你的經(jīng)理或 CEO 可以理解 添加更多的工具到您的工具箱 一旦你掌握了以上技巧 是時 候擴大你的數(shù)據(jù)科學工具箱了 包括 Hadoop R 語言和 Spark 這些工具的使用經(jīng)驗和知識將讓你處于大量數(shù)據(jù)科學 求職者之上 練習 在你在新的領域有一個工作之前 你如何練習成為數(shù)據(jù) 科學家 使用開源代碼開發(fā)一個你喜歡的項目 參加比賽 成為 網(wǎng)絡工作數(shù)據(jù)科學家 參加訓練營 志愿者或實習生 最好的 數(shù)據(jù)科學家在數(shù)據(jù)領域將擁有經(jīng)驗和直覺 能夠展示自己的作 品 以成為應聘者 成為社區(qū)的一員 跟著同行業(yè)中的思想領袖 閱讀行業(yè)博客和 網(wǎng)站 參與 提出問題 并隨時了解時事新聞和理論 五 從入門到精通 快速學會大數(shù)據(jù)分析 以大數(shù)據(jù)分析師為目標 從數(shù)據(jù)分析基礎 JAVA 語言入門和