大數(shù)據(jù)應(yīng)用案例分析

大數(shù)據(jù)運(yùn)用案例分析目錄大數(shù)據(jù)概念1大數(shù)據(jù)處置方法2大數(shù)據(jù)運(yùn)用案例31大數(shù)據(jù)概念大數(shù)據(jù)時(shí)代到來(lái)隨著智能手機(jī)的普及，網(wǎng)民參與互聯(lián)網(wǎng)產(chǎn)品和運(yùn)用各種手機(jī)運(yùn)用的程度越來(lái)越深，用戶的行為、位置、甚至身體生理等每一點(diǎn)變化都成為了可被記錄和分析的數(shù)據(jù)，數(shù)據(jù)量呈現(xiàn)爆炸式增長(zhǎng)。地球上至今總共的數(shù)據(jù)量：在2006年，個(gè)人用戶才剛剛邁進(jìn)TB時(shí)代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)；據(jù)IDC研討機(jī)構(gòu)預(yù)測(cè)：到2020年，整個(gè)世界的數(shù)據(jù)總量將會(huì)增長(zhǎng)44倍，到達(dá)35.2ZB〔1ZB=10億TB〕！1PB=2^50字節(jié)1EB=2^60字節(jié)1ZB=2^70字節(jié)GB在2021年，這個(gè)數(shù)字到達(dá)了1.8ZB。TBPBEB ZB01大數(shù)據(jù)的構(gòu)成大數(shù)據(jù)=海量數(shù)據(jù)〔買(mǎi)賣數(shù)據(jù)、交互數(shù)據(jù)〕+針對(duì)海量數(shù)據(jù)處置的處理方案海量買(mǎi)賣數(shù)據(jù)：企業(yè)內(nèi)部的運(yùn)營(yíng)買(mǎi)賣信息主要包括聯(lián)機(jī)買(mǎi)賣數(shù)據(jù)和聯(lián)機(jī)分析數(shù)據(jù)，是構(gòu)造化的、經(jīng)過(guò)關(guān)系數(shù)據(jù)庫(kù)進(jìn)展管理和訪問(wèn)的靜態(tài)、歷史數(shù)據(jù)。經(jīng)過(guò)這些數(shù)據(jù)，我們能了解過(guò)去發(fā)生了什么。海量交互數(shù)據(jù)：源于Facebook、Twitter、微博、及其他來(lái)源的社交媒體數(shù)據(jù)構(gòu)成。它包括了呼叫詳細(xì)記錄CDR、設(shè)備和傳感器信息、GPS和地理定位映射數(shù)據(jù)、經(jīng)過(guò)管理文件傳輸ManageFileTransfer協(xié)議傳送的海量圖像文件、Web文本和點(diǎn)擊流數(shù)據(jù)、科學(xué)信息、電子郵件等等。可以告訴我們未來(lái)會(huì)發(fā)生什么。海量數(shù)據(jù)處置：大數(shù)據(jù)的涌現(xiàn)曾經(jīng)催生出了設(shè)計(jì)用于數(shù)據(jù)密集型處置的架構(gòu)。例如具有開(kāi)放源碼、在商品硬件群中運(yùn)轉(zhuǎn)的ApacheHadoop。注：大數(shù)據(jù)不僅僅指的是數(shù)據(jù)量龐大，更為重要的是數(shù)據(jù)類型復(fù)雜想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的特征。02大數(shù)據(jù)4V特征03構(gòu)造化數(shù)據(jù)、半構(gòu)造化數(shù)據(jù)和非構(gòu)造化數(shù)據(jù)如今的數(shù)據(jù)類型早已不是單一的文本方式，網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等，對(duì)數(shù)據(jù)的處置才干提出了更高要求實(shí)時(shí)獲取需求的信息比如：在客戶每次閱讀頁(yè)面，每次下訂單過(guò)程中都會(huì)對(duì)用戶進(jìn)展實(shí)時(shí)的引薦，決策曾經(jīng)變得實(shí)時(shí)數(shù)據(jù)量宏大全球在2021年正式進(jìn)入ZB時(shí)代，IDC估計(jì)到2020年，全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量沙里淘金，價(jià)值密度低雖然數(shù)據(jù)量很大，但是價(jià)值密度較低，如何經(jīng)過(guò)強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)價(jià)值“提純〞，是目前大數(shù)據(jù)亟待處理的難題大數(shù)據(jù)產(chǎn)品市場(chǎng)價(jià)值處理方案轉(zhuǎn)化1.海量〔Volume〕3.速度〔Velocity〕4.價(jià)值〔value〕2.多樣〔Variety〕2大數(shù)據(jù)處置方法用戶畫(huà)像體系01每個(gè)企業(yè)都不可以防止的要對(duì)用戶進(jìn)展畫(huà)像，用戶畫(huà)像的提出，根本上是源于企業(yè)對(duì)用戶認(rèn)知的需求。產(chǎn)品經(jīng)理，需求了解用戶的特征，對(duì)產(chǎn)品進(jìn)展功能的完善。內(nèi)容運(yùn)營(yíng)人員，需求挑選目的用戶，對(duì)內(nèi)容進(jìn)行精準(zhǔn)投放。活潑程度如何？年齡分布、區(qū)域分布是什么樣的？消費(fèi)習(xí)慣和特征是什么？公司在哪？對(duì)什么感興趣？常去的商圈是哪兒？贏利點(diǎn)在哪？職業(yè)是什么？常住地在哪兒？購(gòu)買(mǎi)才干如何？根本特征？用戶畫(huà)像體系02駕駛行為數(shù)據(jù)將構(gòu)建精準(zhǔn)的車險(xiǎn)用戶畫(huà)像性別年齡國(guó)籍地理位置開(kāi)車地點(diǎn)職業(yè)駕照類別開(kāi)車頻率開(kāi)車緣由健庩情況醫(yī)療條件感知力學(xué)習(xí)周期消費(fèi)習(xí)慣民族特征教育程度婚姻形狀共用車輛情況生活方式運(yùn)用藥物情況酒駕閱歷疲勞駕駛收入情況碰撞事故車輛維修犯罪記錄違章駕駛記錄駕駛時(shí)間經(jīng)過(guò)對(duì)用戶不同維度的大數(shù)據(jù)分析，最終得出可執(zhí)行的業(yè)務(wù)決策。根本屬性行為習(xí)慣購(gòu)買(mǎi)才干心思特征社交網(wǎng)絡(luò)興趌喜好基于機(jī)器學(xué)習(xí)的數(shù)據(jù)發(fā)掘及分類根本識(shí)別流程03訓(xùn)練樣本數(shù)據(jù)源分詞特征選擇特征權(quán)重計(jì)算模型訓(xùn)練是模型評(píng)價(jià)能否經(jīng)過(guò)待預(yù)測(cè)類別文本庫(kù)文本打上類別標(biāo)簽否訓(xùn)練及測(cè)試過(guò)程預(yù)測(cè)過(guò)程訓(xùn)練生成的模型訓(xùn)練生成的模型待預(yù)測(cè)類別文本原始庫(kù)數(shù)據(jù)預(yù)處置訓(xùn)練樣本庫(kù)數(shù)據(jù)預(yù)處置a.去除營(yíng)銷博文干擾b.去除提及人的干擾〔@〕c.去除如門(mén)戶的作者的干擾大數(shù)據(jù)的處理04數(shù)據(jù)去重空值處置數(shù)據(jù)去噪格式一致對(duì)齊交融交融信息數(shù)據(jù)庫(kù)交融信息數(shù)據(jù)庫(kù)里程數(shù)據(jù)工況數(shù)據(jù)充電數(shù)據(jù)行駛軌跡車輛信息將空值更改為對(duì)應(yīng)的默許值運(yùn)用UGC算法去除無(wú)用數(shù)據(jù)運(yùn)用基于密度的聚類去除異常數(shù)據(jù)將多源異構(gòu)數(shù)據(jù)轉(zhuǎn)換為一致數(shù)據(jù)表達(dá)方式去除異常的數(shù)據(jù)項(xiàng)會(huì)聚多源異構(gòu)數(shù)據(jù)中的一致部分?jǐn)?shù)據(jù)發(fā)掘分類的過(guò)程3大數(shù)據(jù)運(yùn)用案例大數(shù)據(jù)是做好音樂(lè)平臺(tái)的一把利器01爽歪的麻雀，在電線桿上裸睡削個(gè)椰子皮，他卻TM給個(gè)梨撒米拉帶帶，哇嘎哇嘎哎喲想聽(tīng)的歌記不起名字？？？呀馬大叔與小舅舅四斤大豆，三根皮帶艾薇，莎啦啦，艾瑞噢喔噢喔，手剎多情咱切抱劉繼芬鋼鐵鍋，含眼淚喊修瓢鍋啊瑞寧瑞寧瑞寧瑞寧瑞寧產(chǎn)品競(jìng)爭(zhēng)04*聽(tīng)歌進(jìn)入社交化時(shí)代，聽(tīng)歌單、聽(tīng)歌看評(píng)論成為流行聽(tīng)歌行為；*個(gè)性化引薦已覆蓋多數(shù)聽(tīng)歌用戶，越來(lái)越多用戶經(jīng)過(guò)個(gè)性化引薦發(fā)現(xiàn)好音樂(lè)；*聽(tīng)歌進(jìn)入多元化時(shí)代，民謠、電音、二次元音樂(lè)崛起；*獨(dú)立音樂(lè)人迅速崛起，社交互動(dòng)助推音樂(lè)人漲粉；*90后已成為音樂(lè)消費(fèi)主力人群；*用戶付費(fèi)認(rèn)識(shí)明顯提高，付費(fèi)會(huì)員數(shù)和數(shù)字專輯售賣增長(zhǎng)迅猛；*綜藝影視對(duì)音樂(lè)的影響照舊強(qiáng)大，搶手歌曲中7成來(lái)源于綜藝或影視；*偶像流行樂(lè)堅(jiān)持高熱度，歐美歌曲受眾提升；*音樂(lè)市場(chǎng)正在構(gòu)建一種新的評(píng)價(jià)體系，評(píng)論數(shù)成為歌曲熱度重要評(píng)價(jià)目的；*男歌手受喜歡度高于女歌手，女性歌迷消費(fèi)群體經(jīng)濟(jì)崛起；截至2021年7月呈現(xiàn)2億音樂(lè)用戶聽(tīng)歌行為以及2萬(wàn)音樂(lè)人活潑行為用戶分析05目標(biāo)用戶細(xì)分群體用戶特征需求音樂(lè)消費(fèi)者

學(xué)生年輕，時(shí)間寬裕，喜歡新鮮，愛(ài)評(píng)論愛(ài)分享愛(ài)展示，有個(gè)性1、個(gè)性化推薦音樂(lè)2、對(duì)音樂(lè)有評(píng)論等互動(dòng)行為3、分享展示喜歡的音樂(lè)白領(lǐng)時(shí)間碎片化，有一定壓力，會(huì)關(guān)注娛樂(lè)界動(dòng)態(tài)4、迅速找到喜歡的音樂(lè)5、推薦潮流音樂(lè)6、有明星動(dòng)態(tài)IT從業(yè)者壓力大，需要更多消遣和心理慰藉

時(shí)尚人士熱愛(ài)音樂(lè)和潮流，有個(gè)性7、分享自己的口味主要需求〔音樂(lè)消費(fèi)者〕1、播放音樂(lè)2、發(fā)現(xiàn)音樂(lè)〔喜歡的、特別的、潮流的〕3、展現(xiàn)自我，有基于音樂(lè)的互動(dòng)。—目的用戶：熱愛(ài)音樂(lè)，對(duì)音樂(lè)有較高需求的高素質(zhì)年輕人群。用戶分析05—目的用戶：熱愛(ài)音樂(lè)，對(duì)音樂(lè)有較高需求的高素質(zhì)年輕人群。經(jīng)過(guò)數(shù)據(jù)可以發(fā)現(xiàn)網(wǎng)易云音樂(lè)用戶群中19-30歲年齡段用戶最多，占比到達(dá)48%，整體用戶群偏年輕化。職業(yè)分布：學(xué)生和IT從業(yè)者占據(jù)絕大用戶群，企業(yè)中高層管理人員所占比例最少，另外的專業(yè)任務(wù)人員所占比例區(qū)別不大，用戶群體整體受教育程度普遍較高。05目標(biāo)用戶細(xì)分群體用戶特征需求音樂(lè)內(nèi)容產(chǎn)生者

音樂(lè)人/DJ作品找不到渠道，希望建立個(gè)人品牌，更好的運(yùn)營(yíng)個(gè)人品牌1、傳播自己的音樂(lè)，讓更多的人知道2、與粉絲有互動(dòng)歌手有一定知名度，有粉絲基礎(chǔ)3、進(jìn)一步提高知名度，吸引更多粉絲唱片公司商業(yè)機(jī)構(gòu)，營(yíng)利是最重要的目的。4、提高收入音樂(lè)愛(ài)好者喜歡分享音樂(lè)，評(píng)論音樂(lè)5、希望得到更多展示（專欄）主要需求〔音樂(lè)內(nèi)容產(chǎn)生者〕1、宣傳音樂(lè)〔新歌、特別的口味〕2、宣傳個(gè)人品牌〔演播廳、采訪直播、互動(dòng)等〕3、盈利〔版權(quán)收費(fèi)、會(huì)員收費(fèi)等〕用戶分析—目的用戶：〔內(nèi)容產(chǎn)生者是活潑音樂(lè)社區(qū)的關(guān)鍵〕用戶分析05用戶分析0502引薦歌單—3種引薦維度和2種引薦算法經(jīng)過(guò)微信微博等社區(qū)軟件進(jìn)展傳播分享網(wǎng)易音樂(lè)編輯人員人工引薦的歌單和電臺(tái)。朋友引薦人工引薦經(jīng)過(guò)大數(shù)據(jù)分析計(jì)算后的智能引薦歌單智能引薦以人為本算法以歌為本算法“喜歡這首歌的人，也喜歡XX〞喜歡：點(diǎn)擊“喜歡〞、評(píng)論、下載、收藏到歌單的人所聽(tīng)歌曲的標(biāo)簽在其它歌曲也包含那么引薦該歌曲02計(jì)算公式潛在因子〔LatentFactor〕算法：這種算法是在NetFlix〔沒(méi)錯(cuò)，就是用大數(shù)據(jù)捧火<紙牌屋>的那家公司〕的引薦算法競(jìng)賽中獲獎(jiǎng)的算法，最早被運(yùn)用于電影引薦中。這種算法在實(shí)踐運(yùn)用中比如今排名第一的@邰原朗所引見(jiàn)的算法誤差〔RMSE〕會(huì)小不少，效率更