總體項(xiàng)目電視收視率

1、（一）項(xiàng)目總體需求分析1.項(xiàng)目背景本案例是國(guó)內(nèi)的一家廣電企業(yè)作為非洲的一個(gè)運(yùn)營(yíng)商，以用戶收視行為數(shù)據(jù)作為基礎(chǔ)數(shù)據(jù)，通過對(duì)頻道和的分析，采用度統(tǒng)計(jì)分析的方法挖掘用戶的收視行為特征。用以指導(dǎo)并輔助運(yùn)營(yíng)、用戶增值消費(fèi)導(dǎo)向、投放及和頻道質(zhì)量的把控，提升用戶的粘度提供參考依據(jù)，盧旺達(dá)地區(qū)的收視行為做出了分析，并根據(jù)分析結(jié)果提出了一系列措施來吸引當(dāng)?shù)赜脩?，提高收視率。以下根?jù)單頻道和多頻道作為不同分析角度，利用大數(shù)據(jù)分析平臺(tái)，實(shí)時(shí)分析用戶行為數(shù)據(jù)。單頻道收視分析圖 11 TVR 頻道各收視指標(biāo)時(shí)段走勢(shì)圖圖 12 自辦頻道 STVF2 各收視指標(biāo)時(shí)段走勢(shì)圖從人均日收視時(shí)長(zhǎng)（分鐘）、到達(dá)率、收視率和忠實(shí)度4個(gè)

2、指標(biāo)對(duì)單頻道進(jìn)行收視。全天24小時(shí)按照每隔15分鐘進(jìn)行時(shí)間段劃分，如圖 11和圖 12所示。使用大數(shù)據(jù)平臺(tái)工具，可以任意選擇一天，任意一個(gè)頻道，某個(gè)時(shí)段內(nèi)的收視走勢(shì)。圖 11和圖 12選擇了收視率最高的8月18日全天的收視情況，發(fā)現(xiàn)本地頻道TVR收視較平穩(wěn)，觀眾忠實(shí)度較高，一天之內(nèi)出現(xiàn)兩次收視，一次大的收視出現(xiàn)在19:15-20:44,一次小的出現(xiàn)在14:00-14:30，隨之以后人數(shù)（到達(dá)率衡量）和收視率呈現(xiàn)遞減的趨勢(shì)，說明盧旺達(dá)地區(qū)的用戶在中午休息和晚上期愿意收看本地相關(guān)的頻道，關(guān)注周圍發(fā)生的事情。圖 12顯示的是自辦頻道STVF2在8月18日全天的收視情況，發(fā)現(xiàn)STVF2頻道收視趨勢(shì)可以

3、和本地TVR頻道相媲美，一天之內(nèi)出現(xiàn)3次小，時(shí)間段分別是10:15-11:00,14:45-16:00,和17:00-18:00，這3個(gè)時(shí)間段主要的類型為歐美長(zhǎng)劇，頗受盧旺達(dá)地區(qū)的用戶歡迎?？梢钥吹剑谟篮锽I在任意天的任意分鐘粒度，對(duì)任意頻道做分析，使得分析者能快速，敏銳的發(fā)現(xiàn)用戶的收視數(shù)據(jù)特征，結(jié)合頻道特點(diǎn)做出分析。多頻道收視競(jìng)爭(zhēng)分析我們不僅要知道同類型頻道的收視情況，還需要了解不同類型頻道之間的競(jìng)爭(zhēng)關(guān)系，接下來主要不同類型的頻道進(jìn)行度分析。圖 14 多頻道競(jìng)爭(zhēng)排名分析圖 15 多頻道收視率排名柱狀圖頻道基本維度統(tǒng)計(jì)結(jié)果顯示， 收視 TOP10 的頻道分別是 TVR、KidsCo、Bol

4、lywood 盧旺達(dá)地區(qū)用戶更喜愛看本地頻道、兒童頻道和影道。自辦頻道STVF2、STV MUSIC、STVE2 和 STV Kungfu 排名都很靠前，排在前 27 名，尤其是 STVF2和 STV MUSIC 排名在前 10 左右。表明自辦的這兩個(gè)頻道很受當(dāng)?shù)赜^眾喜愛。在 TOP10頻道中只有 TVR 是清流頻道，剩下 9 個(gè)均為加密頻道。按語種來分類的話，前 10 名頻道中大多數(shù)是法語頻道，占比為 60%，英語頻道占比為 30%。根據(jù)頻道收視內(nèi)容分類的話，觀眾更青睞于頻道及綜合頻道，按照頻道來源分類的話TOP10 頻道TVR 和Citizen頻道是本地頻道，STVF2 和 STV MUS

5、IC 是自辦頻道，其它均為頻道。由此，我們建議調(diào)整自辦頻道的編排來吸引當(dāng)?shù)赜脩?，提高收視率，具體措施如下：1） 建議自辦頻道增加一些與當(dāng)?shù)赜脩絷P(guān)的類型，重點(diǎn)參考盧旺達(dá)當(dāng)?shù)赜脩舴浅Ｏ矏鄣腡VR頻道進(jìn)行編排。2） 盧旺達(dá)地區(qū)用戶喜歡收看英/法雙語頻道，建議加大雙語頻道的比重。3） 建議在自辦頻道STVF2晚上22:00以后增加一些綜合性提高收視率。4） 盧旺達(dá)地區(qū)周末的收視率普遍較高，可考慮調(diào)整自辦頻道編排，在周末多放一些英/法雙語類的、綜合方面的。5） 女人喜歡看纏綿悱惻的愛情劇遠(yuǎn)遠(yuǎn)大于動(dòng)作劇，影視劇受盧旺達(dá)當(dāng)?shù)赜脩粝矏?，收視率和收視時(shí)長(zhǎng)都比較高，可以考慮在包中增加影視劇類型的頻道，考慮增加英文

6、字幕翻譯。6） 法語頻道在當(dāng)?shù)赜幸慌覍?shí)粉絲，因此建議增語頻道在包中的比重，提高收視率。7） 盧旺達(dá)地區(qū)中文收道較差，建議增加雙語字幕，增加的可看性。8） 建議將音樂類的頻道編排在白天，調(diào)整STVE2頻道的編排。同時(shí)建議類的頻道編排在工作日的晚上。大數(shù)據(jù)工程展示：大數(shù)據(jù)技術(shù)特點(diǎn)：歌華有線作為商業(yè)智能平臺(tái)的前端，數(shù)據(jù)展現(xiàn)形式和圖形渲染形式比較多樣，支持比較豐富的動(dòng)態(tài)，相對(duì)于一般的 Dashboard 或者Reporting，用戶可以進(jìn)一步與數(shù)據(jù)互動(dòng)(Interactive) ，過濾(Filter)、鉆取(Drill) 、刷取(Brush) 、關(guān)聯(lián)(Associate)、變換(Transform)

7、等等技術(shù)，讓用戶深入分析商業(yè)信息，以找到準(zhǔn)確的?？偨Y(jié)：數(shù)據(jù)可視化分析工具幫助廣電行業(yè)頻道和收視情況，并利用分析平臺(tái)采用度統(tǒng)計(jì)分析的方法挖掘用戶的收視行為，并利用分析結(jié)果對(duì)今后的工作做出了指導(dǎo)性建議，體現(xiàn)了數(shù)據(jù)分析的價(jià)值。2.項(xiàng)目需求比如在中國(guó)電視中為了便于我們掌握哪個(gè)更受觀眾歡迎以及中的“笑點(diǎn)”和 “尿點(diǎn)”，我們可以通過一些用戶的收視指標(biāo)進(jìn)行監(jiān)測(cè)，比如收視人數(shù)、平均收視人數(shù)、收視率、市場(chǎng)份額、平均到達(dá)人數(shù)、到達(dá)率以及人均收視時(shí)長(zhǎng)等等，我們可以將這些指標(biāo)按天統(tǒng)計(jì)，可以得出每個(gè)收視排名，從而知道那個(gè)更受歡迎；我們也可以將這些指標(biāo)按小時(shí)、甚至按分鐘進(jìn)行統(tǒng)計(jì)，可以精確的知道某個(gè)在那哪一分鐘或者某一段時(shí)

8、間收視最高，從而知道某個(gè)的最的部分，甚至還可以推斷出中收視率高是由哪個(gè)明星帶來的。當(dāng)然我們可以通過用戶的數(shù)據(jù)，還可以掌握其它維度的收視情況，比如頻道、頻道類別、欄目、欄目類別、類別、具體頻道具體等等。3.系統(tǒng)功能主要包括收視概況瀏覽、收視率走勢(shì)分析、收視指標(biāo)對(duì)比、收視數(shù)據(jù)對(duì)比查看。4.開發(fā)步驟第一步：需求：數(shù)據(jù)的輸入和數(shù)據(jù)的產(chǎn)出，大數(shù)據(jù)技術(shù)就好比一臺(tái)榨汁機(jī)，數(shù)據(jù)輸入相當(dāng)于例如蘋果、檸檬等，然后通過榨汁機(jī)產(chǎn)出果汁；第二步：數(shù)據(jù)量、處理效率、可靠性、可維護(hù)性、簡(jiǎn)潔性；第三步：數(shù)據(jù)建模；第四步：架構(gòu)設(shè)計(jì)：數(shù)據(jù)怎么進(jìn)來，輸出怎么展示，最最重要的是處理流出數(shù)據(jù)的架構(gòu)；第五步：再次思考大數(shù)據(jù)系統(tǒng)和企業(yè) I

9、T 系統(tǒng)的交互；第六步：最終確定選擇、規(guī)范等；第七步：基于數(shù)據(jù)建模寫基礎(chǔ)服務(wù)代碼；第八步：正式編寫第一個(gè)模塊；第九步：實(shí)現(xiàn)其它的模塊，并完成測(cè)試和調(diào)試等；第十步：測(cè)試和驗(yàn)收；5.項(xiàng)目難點(diǎn)分析項(xiàng)目需求的維度和指標(biāo)比較多而且比較復(fù)雜，這里我們抽出一個(gè)維度的幾個(gè)指標(biāo)來進(jìn)行分析，本項(xiàng)目我們從的維度，統(tǒng)計(jì)每個(gè)的平均收視人數(shù)、平均到達(dá)人數(shù)、收視率、到達(dá)率和市場(chǎng)份額。我們根據(jù)每天抽樣用戶的收視數(shù)據(jù)，統(tǒng)計(jì)出每個(gè)按天、按小時(shí)、按分鐘的上述 5 個(gè)收視指標(biāo)。（二）項(xiàng)目架構(gòu)設(shè)計(jì)及技術(shù)選型1.項(xiàng)目整體架構(gòu)設(shè)計(jì)2.軟件選型以前準(zhǔn)備考慮用 cdh 系統(tǒng)的，但是害怕牽涉一些協(xié)議，最終選擇的是 apache的系統(tǒng)。hadoo

10、p 用的是 hadoop1.0 版本,apache-flume-1.5.2-bin.tar.gz（三）項(xiàng)目生產(chǎn)環(huán)境及部署1 項(xiàng)目配置經(jīng)理（1 人）需求（3 人）項(xiàng)目經(jīng)理（1 人）項(xiàng)目（1 人）測(cè)試（5 人）開發(fā)（7 人其中大數(shù)據(jù)開發(fā) 3 個(gè)人）2.分布式集群環(huán)境搭建hadoop 安裝（4 臺(tái)）hive 安裝flume 安裝sqoop 安裝Azkaban 安裝php 搭建（四）項(xiàng)目開發(fā)流程1. 2.編寫 MapReduce數(shù)據(jù)、數(shù)據(jù).統(tǒng)計(jì)分析數(shù)據(jù)，結(jié)果HDFS3.使用 Hive 對(duì)每小時(shí)、每天、每月收視率數(shù)據(jù)進(jìn)行統(tǒng)計(jì)234.使用 Sqoop 將 Hive 的分析結(jié)果數(shù)據(jù)導(dǎo)入 MySQL 數(shù)據(jù)庫(kù)5

11、.打通項(xiàng)目的各個(gè)環(huán)節(jié)，整體聯(lián)調(diào) （Azkaban）6.開發(fā) Web 項(xiàng)目實(shí)現(xiàn)收視率、展示系統(tǒng)（五）簡(jiǎn)歷指導(dǎo)1.項(xiàng)目名稱：歌華有線電視項(xiàng)目2.3.項(xiàng)目周期：2014-6 到 2015-24.項(xiàng)目介紹：歌華有線電視項(xiàng)目，用于建立網(wǎng)上終端、線下終端案銷售及相關(guān)輔助功能，包含類目管理、客戶管理、合作商管理、管理、支付平臺(tái)、內(nèi)容管理等，統(tǒng)計(jì)電視質(zhì)量高低好壞的衡量標(biāo)準(zhǔn)包括了收視率的高低，因?yàn)橥ㄟ^對(duì)收視率高低的分析能夠得出至少兩個(gè)方面非常重要的結(jié)論：第一，這檔是否受觀眾喜愛，是否造成了一定的影響力，是否為欄目組、提升了整體形象，簡(jiǎn)單來說就是衡量觀眾緣與責(zé)任度的標(biāo)準(zhǔn)。第二，收視率直接影響了的，而商品廠商付給和

12、贊助商的數(shù)量和品質(zhì)，電視的收入是非常重要費(fèi)用的依據(jù)包括了收視率的高低，收視率越高的費(fèi)用就越高，反之則越低。時(shí)段和當(dāng)然5.項(xiàng)目所用技術(shù)：uhadoop，hive，spoop，flume，spark，AzkabanuSpringmvc,spring,mybatisuMaven,svnuOracle6.開發(fā)環(huán)境uEclipse4.3uJdk1.6umysqluMaven3.0.5uSvn測(cè)試環(huán)境：3-8 臺(tái)服務(wù)器實(shí)際環(huán)境：80-100系統(tǒng)：centos6.4內(nèi)存：64g 或者 128g集群模式：ha 模式（無 secondnamenode）測(cè)試數(shù)據(jù)：測(cè)試 600g 左右，時(shí)間：20min 左右 mr

13、，spark 的話 3-10 分鐘7.開發(fā)工具Eclipse8.項(xiàng)目中的職責(zé)：在項(xiàng)目中主要負(fù)責(zé)模塊開發(fā)，我負(fù)責(zé)的模塊如下：u數(shù)據(jù)收集通過 flumeu寫 MR 進(jìn)行數(shù)據(jù)處理u把數(shù)據(jù)綁定到 hive 上面u根據(jù)經(jīng)理提出的需求調(diào)試各種 sql 語句去實(shí)現(xiàn)目標(biāo)u工作中流程簡(jiǎn)單，復(fù)雜是業(yè)務(wù)邏輯介紹項(xiàng)目的步驟項(xiàng)目中常遇到的問題：1.版本不一致導(dǎo)致一些報(bào)錯(cuò)。2.寫出 sql 語句有時(shí)候和經(jīng)理想實(shí)現(xiàn)的不一致。3.上線的時(shí)候和在本地跑時(shí)候出現(xiàn)各種問題，一定要時(shí)間同步。4.項(xiàng)目中用到了曾經(jīng)沒有用過的技術(shù)，解決方式：用自己的私人時(shí)間主動(dòng)學(xué)習(xí)5.在開發(fā)過程中與測(cè)試產(chǎn)生一些問題，本地環(huán)境 ok 但是測(cè)試環(huán)境有問題，環(huán)境的問題產(chǎn)生的，瀏覽器環(huán)境差異，服務(wù)器之間的差異6.比如我們以前用 flume 收集，發(fā)現(xiàn)量太大。比如我們?nèi)罩疽惶?1T，公司要求我們要保存 8，我們根據(jù)三數(shù)據(jù)做計(jì)算，5數(shù)據(jù) X3，我們研究 flume 源碼，hadoop fs -put。我們每天晚上 12 點(diǎn)定時(shí)上傳任務(wù)，因?yàn)榘滋旆?wù)器流量大，為了避免上傳，期，晚上 12 點(diǎn)鐘為了解決重復(fù)問題，我們模仿 flume 做了一個(gè)臨時(shí)緩存，臨時(shí)緩存把每天收集的數(shù)據(jù)保存都這個(gè)文件夾同時(shí)把保存的文件之前的。一個(gè)文件，遍歷這個(gè)的文件上傳到 hdfs，并且文件是否有 8shell：臨時(shí)變量（這個(gè)） ./upload.sh