電視用戶數據分析

1、電視用戶數據分析文檔修改記錄修改日期修改人修改說明版本號修改頁目 錄1總體描述41.1建設目標41.2整體架構42功能實現(xiàn)62.1數據采集模塊62.1.1數據收集62.1.2數據處理62.2數據分析72.3數據可視化82.4系統(tǒng)管理93初步方案103.1C平臺接口日志分析103.2流水文件分析114技術實現(xiàn)111 總體描述1.1 建設目標互聯(lián)網電視是建立在通信網絡上的互動性視頻服務，可以非常靈活地實現(xiàn)電子菜單、節(jié)目預約、實時快進、快退等操作。通過對OTT用戶的實時數據收集，統(tǒng)計分析，建設實時數據分析系統(tǒng)，對OTT的EPG界面設計、內容運營有著重要意義。系統(tǒng)在通過對OTT業(yè)務運營平臺數據收集的基

2、礎上，實時（定期）獲取用戶行為數據，結合業(yè)務運營平臺數據日志、用戶端APK上報日志等數據，通過大數據處理平臺（如Hadoop），對OTT的各緯度指標進行統(tǒng)計分析，并提供用戶自定義分析功能，進行數據展示，為EPG的界面設計和運營建設提供決策依據。1.2 整體架構l 數據抓取負責整個互聯(lián)網電視運營中心平臺或者分平臺系統(tǒng)的原始基礎數據的獲取，包括2部分內容：（1）平臺日志：結合運營平臺的日志管理模塊，實現(xiàn)獲取并接收用戶的行為數據；（2）APK日志上報。提供數據接口，且支持FTP等傳輸導入。數據抓取用于接入存儲數據，目前分為三部分：（1）C平臺各業(yè)務系統(tǒng)通過AOP方式將各接口調用情況輸出標準日志，由F

3、LUME進行抓??；再通過KAFKA將數據輸送到STORM 中；STORM 將元數據直接存放到HDFS中。（2）各業(yè)務系統(tǒng)的錯誤日志轉換為json后直接存放到ES中，方便查找。（3）將流水文件（需轉換為csv格式）和流水日志（導出txt格式）通過文檔上傳系統(tǒng)上傳到HDFS中，文件所在的文件夾以當天日期命名（減少需處理的文件數量，提高效率）。l 數據分析基于hadoop大數據處理技術，將數據收集獲取到的基礎數據，進行數據預處理、數據統(tǒng)計計算，包括數據排重、數據清洗、結果展示指標計算等，并將原始數據、結果表數據進行存儲和備份。根據多維度的數據展示需求，設計結果表數據，并對其進行實時統(tǒng)計計算，并將結果

4、數據，推送給前端展示平臺。另外還提供用戶自定分析功能，用于對原始數據和結果表數據的自定義查詢和分析功能，便于非數據分析人員對系統(tǒng)進行二次分析。數據分析用于對指定數據進行切割分解為各個維度，給展示系統(tǒng)提供數據支撐：（1）由STORM 對C平臺接口日志進行處理，將處理后的數據存放到ELK中進行展示。（2）由SPARK離線處理HDFS上的流水文件，將處理后的數據保存到mongodb中。（設定時任務每天零點自動開始SPARK任務，對以前一天日期命名的文件夾下的數據進行處理）。l 可視化系統(tǒng)（BI）BI系統(tǒng)負責可視化數據分析模塊建設，將數據分析的數據，在顯示終端進行可視化圖形展示。BI系統(tǒng)是對分析后結果

5、進行展示，用于圖形化展示最終的分析結果：初期是使用ECharts 等圖表插件繪制展示圖形；后期由項目根據傳來的數據和模型自動繪制圖形。l 數據挖掘數據挖掘對離線數據進行分析，形成相關模型，并用模型對數據進行計算分析：使用SPARK Mllib （機器學習）訓練模型，來完成精準推薦和視頻打分等功能。l 元數據管理與數據質量管理系統(tǒng)元數據管理對接入的數據進行管理，數據質量管理是對云平臺上存儲數據進行質量控制，保證數據真實可靠。2 功能實現(xiàn)2.1 數據采集模塊2.1.1 數據收集互聯(lián)網電視運營大數據分析數據來源于各業(yè)務運營平臺，數據分為APK上報數據、業(yè)務平臺后臺日志數據。（1）終端首次開機上電后，

6、主動向運營平臺上報認證信息，終端經過認證后才能激活，認證信息包含了終端的基本信息；（2）獲取到終端開機、心跳、瀏覽訪問、直播、點播、回看、訂購、遙控器按鍵、停留時間等行為數據；（3）獲取到OT終端SN/MAC、軟件版本號；（4）獲取各終端活躍度信息：首次活躍時間，最后活躍時間，活躍總時長等活躍詳情。（5）獲取用戶搜索影視內容關鍵詞信息，包含影視名稱、演員名稱等。（6）獲取用戶點播詳情：開始結束時間、點播內容、點播時長等。（7）獲取用戶訂購信息：訂購時間、訂購金額、退購時間、訂購次數、退購次數等。2.1.2 數據處理（1）將運營平臺上報提交的數據進行收集和預處理；（2）用戶行為原始數據，經由數據

7、標準化處理，支持對日志合并、數據清洗。數據過濾操作，形成統(tǒng)一的數據結構；2.2 數據分析通過對互聯(lián)網電視運營平臺的數據收集，建立OTT用戶行為數據庫，并在此基礎上建立OTT用戶行為分析指標，該指標主要包括以下內容：（1）提供OTT核心指標統(tǒng)計分析，包括日（總）用戶數、日（總）訪問量、視頻播放量、人均停留時間等。實時統(tǒng)計OTT在線用戶數、總活躍用戶數、總點擊用戶數、開機用戶數、視頻播放用戶數、視頻播放轉化率、播放時長等指標；針對各指標展示，提供可視化圖表展示，以及歷史數據查詢功能。（2）提供用戶健康度分析統(tǒng)計OTT總用戶數、當日用戶數、新安裝用戶數、留存率、活躍度等健康度指標，并提供圖形化圖表展

8、示，以及歷史數據查詢功能；（3）提供用戶終端信息統(tǒng)計分析，包括終端型號、MAC地理位置分析按終端盒子廠商、型號為緯度，統(tǒng)計分析OTT的訪問用戶數、播放用戶數、播放量、播放轉化率等指標，并提供可視化圖形展示和歷史數據查詢；按終端軟件版本，統(tǒng)計分析OTT的訪問用戶數、播放用戶數、播放轉化率等指標，并提供可視化圖形展示和歷史數據查詢；按省份、運營商為緯度，統(tǒng)計OTT的訪問用戶數、播放用戶數、播放量、播放轉化率等指標，并提供可視化圖形展示和歷史數據查詢；（4）提供用戶所有頁面的訪問量、人均停留時間分析等統(tǒng)計OTT的各個頁面的訪問量、訪問時間、訪問時長等指標，并提供可視化圖形展示；統(tǒng)計OTT各頁面的來源

9、路徑和流出路徑的用戶量、訪問次數等指標數據，并提供可視化圖形展示；（5）提供節(jié)目內容播放路徑分析按照關鍵路徑分析，統(tǒng)計各核心業(yè)務的轉化率，分析用戶在標準路徑中各步驟的流失情況，并以直觀圖表展現(xiàn)。（6）提供頁面熱力圖分析提供頁面熱力圖功能，用戶可以框選熱力圖區(qū)域，頁面顯示該區(qū)域的用戶量、轉化率、播放內容、次數等數據。（7）提供節(jié)目內容分析，提供按播放類型分析，如點播、專題等；提供按內容分析，包括電視、電影、綜藝、體育等對點播業(yè)務，提供從內容分類到節(jié)目名稱不同緯度的指標統(tǒng)計，統(tǒng)計指標包括訪問量、播放量、播放轉化率、排名等指標；對其他業(yè)務類型，按照節(jié)目內容的不同緯度，提供訪問量、播放量、播放時長、節(jié)

10、目排名等指標統(tǒng)計。（8）提供用戶訂購分析，訂購是否成功、訂購來源、訂購失敗原因、訂購編號、訂購時間等分析。l針對訂購業(yè)務，統(tǒng)計產品的訂購量、取消訂購量、續(xù)訂、訂購總數計費、業(yè)務量排名等指標統(tǒng)計；l統(tǒng)計訂購業(yè)務的結算數據，提供地域、周期、產品名稱等緯度對消費金額、訂購次數的統(tǒng)計；l統(tǒng)計多產品的用戶訂購分布情況。（9）提供用戶興趣分析根據用戶產品包訂購記錄及觀看記錄進行用戶畫像，并對用戶觀看偏好進行分析，建立用戶興趣表。2.3 數據可視化（1）提供大屏數據可視化針對大屏數據展示，進行定制化，實時展示當前在線用戶數、點播用戶數、直播用戶數、回看用戶數等核心指標。（2）提供多種用戶視角，多種指標緯度數

11、據可視化展示針對OTT的各項數據，系統(tǒng)提供基于整體概況、分業(yè)務、地理信息、頁面、路徑、內容、運營等多種緯度，包括訪問量、轉化率、播放量等多項指標的統(tǒng)計，并提供可視化展示。（3）支持用戶自定義分析系統(tǒng)支持用戶自定義查詢，允許用戶根據自身業(yè)務需要，自定義查詢分析系統(tǒng)數據，并支持選擇指標，定制折線圖、餅圖等可視化圖形進行展示，可以將分析結果以EXCEL形式輸出。（4）提供數據導出功能提供將統(tǒng)計結果的數據以EXCEL文件的形式導出，便于相關人員對數據進行二次分析和圖表制作。2.4 系統(tǒng)管理（1）用戶權限管理針對業(yè)務不同層次的需求，提供系統(tǒng)管理員、普通用戶等不同角色的頁面權限管理；（2）提供自定義功能任

12、務管理針對自定義分析，提供任務管理功能，包括任務創(chuàng)建、刪除、狀態(tài)查看、結果查看等功能。（3）元數據管理與數據質量管理元數據管理對接入的數據進行管理，數據質量管理是對云平臺上存儲數據進行質量控制，保證數據真實可靠。3 初步方案3.1 C平臺接口日志分析1、 通過C平臺VOD/OMS/BMS等模塊收集系統(tǒng)日志，F(xiàn)lume是一個分布式、可靠、和高可用的海量日志聚合的系統(tǒng)，支持在系統(tǒng)中定制各類數據發(fā)送方，用于收集數據；同時，F(xiàn)lume提供對數據進行簡單處理，并寫到各種數據接受方（可定制）的能力。2、 采用分布式消息系統(tǒng)kafka中間件，處理用戶行為（登錄、瀏覽、點擊、分享、喜歡）以及系統(tǒng)運行日志（CP

13、U、內存、磁盤、網絡、系統(tǒng)及進程狀態(tài)）。3、 對采集到的數據進行實時分析，采用apache的storm。4、 HDFS分布式文件系統(tǒng)完成海量消息信息的存儲。HDFS 通過一個高效的分布式算法，將數據的訪問和存儲分布在大量服務器之中，在可靠地多備份存儲的同時還能將訪問分布在集群中的各個服務器之上，是傳統(tǒng)存儲構架的一個顛覆性的發(fā)展。5、 采用分布式計算算法，完成數據分析、數據挖掘。3.2 流水文件分析一期：完成數據抓取保存元數據。二期：完成數據分析，完成BI系統(tǒng)。三期：優(yōu)化全套流程，提高性能，用戶可自定義模型，BI系統(tǒng)自動完成對應維度的圖形展示。四期：完成數據挖掘。4 技術實現(xiàn)采用Hadoop處理

14、系統(tǒng)，實現(xiàn)對用戶行為數據的實時處理和統(tǒng)計分析，主要功能如下：（1）采用Hadoop2.X，支持多種平臺組件Hadoop系統(tǒng)最新的版本，并支持HDFS、Hbase、Map/Reduce、YARN、Hive等一系列組件。（2）平臺管理可對平臺的系統(tǒng)服務，硬件進行安裝部署，監(jiān)控告警，方便運維人員對系統(tǒng)進行管理。對所有功能提供基于Web的控制臺操作頁面，并支持良好的UI操作，使得管理員能夠輕松駕馭大數據平臺。對常用的管理功能，如軟件的啟停、軟件中某類服務的啟停、節(jié)點角色配置、高可用設置、負載均衡等，管理系統(tǒng)也將提供一鍵式的操作，降低管理員的工作復雜度，減少管理工作量。（3）監(jiān)控功能提供各組件全面的監(jiān)控功能，對平臺中各個層次的軟硬件狀態(tài)、性能等進行全方位的監(jiān)控，并以直觀的方式加以展現(xiàn)。設備監(jiān)控將提供各服務器節(jié)點、存儲設備、網絡設備的狀態(tài)和運行性能監(jiān)控，以及設備中各部件的基本信息監(jiān)控，如CPU、網卡、硬盤等部件的信息。（4）告警功能對平臺中各軟硬件資源全面監(jiān)控的基礎上，提供健全的告警機制，在故障發(fā)生的第一時間將告警通知給管理員。管理系統(tǒng)提供多種方式的告警探測方式，可以對各種狀態(tài)異常直接進行告警，也可以基于某項監(jiān)控指標設定閾值進行告警，如磁盤空間利用率到90%需告警。（5）調參功能實現(xiàn)大數據平臺內各種軟件的參數修改，自動完成相關參數在各軟件、各服務節(jié)點上