大數(shù)據(jù)運(yùn)營平臺技術(shù)投標(biāo)方案（純方案147頁）

1、目錄 TOC o 1-5 h z HYPERLINK l bookmark257 o Current Document 一、綜述5二、技術(shù)規(guī)范書點(diǎn)對點(diǎn)應(yīng)答6技術(shù)規(guī)格偏離表應(yīng)答6 HYPERLINK l bookmark288 o Current Document 總那么6 HYPERLINK l bookmark290 o Current Document 1規(guī)范定義6 HYPERLINK l bookmark312 o Current Document 2投標(biāo)方所提供的所有系統(tǒng)設(shè)備（包括軟、硬件）應(yīng)滿足以下技術(shù)標(biāo)準(zhǔn)要求7 HYPERLINK l bookmark337 o Current D

2、ocument 3對投標(biāo)方的建議書要求8 HYPERLINK l bookmark0 o Current Document 4配置原那么10 HYPERLINK l bookmark2 o Current Document 5報(bào)價(jià)要求10 HYPERLINK l bookmark25 o Current Document 6其他要求11 HYPERLINK l bookmark69 o Current Document 3工程概述12 HYPERLINK l bookmark71 o Current Document 1工程背景12 HYPERLINK l bookmark73 o Curre

3、nt Document 3.2工程目標(biāo)12 HYPERLINK l bookmark101 o Current Document 4總體技術(shù)要求13 HYPERLINK l bookmark103 o Current Document 1總體要求132系統(tǒng)要求144.2 基本要求14 HYPERLINK l bookmark159 o Current Document 2.1. 1功能性要求15 HYPERLINK l bookmark161 o Current Document 2.1. 2系統(tǒng)應(yīng)具備高可靠性16 HYPERLINK l bookmark163 o Current Docum

4、ent 2.1.3系統(tǒng)應(yīng)具備平安性17 HYPERLINK l bookmark165 o Current Document 開放性要求18 HYPERLINK l bookmark167 o Current Document 2.1. 5系統(tǒng)應(yīng)易于使用18 HYPERLINK l bookmark169 o Current Document 2.1. 6系統(tǒng)可維護(hù)性要求19 HYPERLINK l bookmark171 o Current Document 27. 7系統(tǒng)完備性要求20 HYPERLINK l bookmark173 o Current Document 2.1, 8系統(tǒng)可

5、測試性要求20 HYPERLINK l bookmark175 o Current Document 2.1. 9系統(tǒng)易安裝性要求21 HYPERLINK l bookmark177 o Current Document 2.1. 10設(shè)備其他要求21 HYPERLINK l bookmark179 o Current Document 2.1. 11網(wǎng)管要求21 HYPERLINK l bookmark181 o Current Document 設(shè)備平安性要求22 HYPERLINK l bookmark183 o Current Document 2.1. 13設(shè)備供 也及運(yùn)行環(huán)境23

6、HYPERLINK l bookmark185 o Current Document 5詳細(xì)技術(shù)要求24 HYPERLINK l bookmark187 o Current Document 1技術(shù)要求24 HYPERLINK l bookmark189 o Current Document 5.2方案要求26 HYPERLINK l bookmark191 o Current Document 5. 3平臺要求27 HYPERLINK l bookmark193 o Current Document 大數(shù)據(jù)處理子平臺要求27 HYPERLINK l bookmark243 o Current

7、 Document 數(shù)據(jù)匯聚子平臺要求40 HYPERLINK l bookmark265 o Current Document 外部服務(wù)能力子平臺要求55 HYPERLINK l bookmark275 o Current Document 534信息推送子平臺要求58 HYPERLINK l bookmark298 o Current Document 其他要求677.投標(biāo)方應(yīng)在建議書中列出提供的書面技術(shù)資料詳細(xì)目錄清單。答復(fù)：滿足。配置原那么投標(biāo)方在進(jìn)行系統(tǒng)設(shè)備配置時(shí)應(yīng)遵循以下原那么：(1)投標(biāo)方應(yīng)以技術(shù)先進(jìn)、平安、穩(wěn)定、經(jīng)濟(jì)合理，并有利于今后開展的原 那么進(jìn)行本系統(tǒng)的優(yōu)化和硬件設(shè)備的配

8、置。答復(fù)：滿足。(2)根據(jù)招標(biāo)方的建設(shè)需求，投標(biāo)方應(yīng)向招標(biāo)方提供優(yōu)化的設(shè)計(jì)方案。答復(fù)：滿足。(3)本技術(shù)規(guī)范書應(yīng)視為保證本工程所涉及系統(tǒng)及網(wǎng)絡(luò)平安運(yùn)行所需的最低 要求，如有遺漏，投標(biāo)方應(yīng)予以補(bǔ)充。答復(fù)：滿足。報(bào)價(jià)要求(1)產(chǎn)品報(bào)價(jià)應(yīng)以人民幣為單位，并按軟件或功能模塊類型分別報(bào)出單價(jià)和 總價(jià)。答復(fù)：滿足。(2)報(bào)價(jià)應(yīng)盡量詳細(xì)，軟件應(yīng)報(bào)出各項(xiàng)基本模塊的費(fèi)用。報(bào)價(jià)應(yīng)提供匯總表。 此外還應(yīng)報(bào)出安裝、調(diào)測、培訓(xùn)、資料、折扣等的費(fèi)用，報(bào)價(jià)還必須包含系統(tǒng)集 成工作費(fèi)用(含硬件總集成和軟件總集成)。答復(fù)：滿足。一 顯示HIVE表的信息列表，包含表名和狀態(tài)。 雙擊表名查看該表的字段定義信息。一直接提交SQL查詢

9、語句，并返回執(zhí)行結(jié)果。. HBase組件監(jiān)控HBase組件監(jiān)控內(nèi)容包括：一 顯示HBase表的信息列表，包含表名和狀態(tài)。 雙擊表名查看該表的數(shù)據(jù)域信息，包括數(shù)據(jù)域名稱、部署機(jī)器、起始 鍵值、結(jié)束鍵值、狀態(tài)、分割根、分割。.告警管理平臺提供告警面板功能，可以實(shí)時(shí)監(jiān)測整個(gè)平臺的各種故障信息，告警內(nèi)容 包括：1）節(jié)點(diǎn)磁盤空間缺乏：系統(tǒng)在出現(xiàn)某個(gè)節(jié)點(diǎn)磁盤空間缺乏的情況報(bào)警。2）群集HDFS磁盤缺乏：群集中單個(gè)節(jié)點(diǎn)空間足夠，但群集HDFS磁盤空間不 足時(shí)報(bào)警。3）節(jié)點(diǎn)CPU負(fù)載過高：節(jié)點(diǎn)在CUP負(fù)載異常情況下報(bào)警。4）節(jié)點(diǎn)內(nèi)存缺乏：節(jié)點(diǎn)在內(nèi)存缺乏情況報(bào)警。5）服務(wù)異常告警：監(jiān)測HDFS, HIVE, H

10、BASE, Zookeeper等各個(gè)關(guān)鍵服務(wù)的 運(yùn)行狀態(tài)，如果發(fā)現(xiàn)異常，將輸出告警信息。6）節(jié)點(diǎn)失效故障：當(dāng)名稱節(jié)點(diǎn)與數(shù)據(jù)節(jié)點(diǎn)之間的網(wǎng)絡(luò)異常，超過心跳維持的 時(shí)間，將判定該節(jié)點(diǎn)已經(jīng)失效，退出服務(wù)。7）網(wǎng)絡(luò)故障告警：當(dāng)發(fā)現(xiàn)某些節(jié)點(diǎn)的網(wǎng)絡(luò)連接異常，將輸出網(wǎng)絡(luò)故障信息。平臺發(fā)生故障時(shí)，系統(tǒng)將產(chǎn)生告警，而且輸出告警的信息和告警類型，同時(shí) 包含屢次告警的時(shí)間等，根據(jù)電信維護(hù)流程的要求，需要維護(hù)人員確認(rèn)告警，并 按照流程正確處置告警信息。J.6可視化業(yè)務(wù)管理可視化業(yè)務(wù)管理包括客戶管理、合同管理、基礎(chǔ)產(chǎn)品管理和結(jié)算管理。.客戶管理系統(tǒng)提供圖形化客戶管理功能，包括客戶注冊、登錄、產(chǎn)品訂購、token管 理、服

11、務(wù)申請、服務(wù)開通等。.合同管理系統(tǒng)提供圖形化合同管理功能，包括：1）合同基本信息管理：合同信息錄入、查詢、合同相關(guān)的業(yè)務(wù)信息關(guān)聯(lián)、 合同審批、合同生效時(shí)間、合同終止時(shí)間等。2）合同附件信息管理：合同附件的查詢、上傳、更新、審批等。3）合同執(zhí)行情況管理：合同執(zhí)行狀態(tài)、合同執(zhí)行進(jìn)度、合同執(zhí)行偏差評估 等。合同錄入完成后通過接口直接導(dǎo)入CRM數(shù)據(jù)庫。.基礎(chǔ)產(chǎn)品管理基礎(chǔ)產(chǎn)品配置包括以下產(chǎn)品類別：1）數(shù)據(jù)出售類產(chǎn)品：通過對電信數(shù)據(jù)資源進(jìn)行脫敏、加工、提煉后的數(shù)據(jù) 進(jìn)行出售。這類數(shù)據(jù)產(chǎn)品根據(jù)數(shù)據(jù)所涉及的地理屬性，分為全國性數(shù)據(jù) 和省數(shù)據(jù)。2）數(shù)據(jù)咨詢類產(chǎn)品：通過對數(shù)據(jù)的分析、挖掘，面向不同的行業(yè)提供咨詢

12、類報(bào)告，這些報(bào)告所用的數(shù)據(jù)也分全國性數(shù)據(jù)和省數(shù)據(jù)。3）數(shù)據(jù)能力產(chǎn)品：這類產(chǎn)品通過能力平臺提供實(shí)時(shí)API接口數(shù)據(jù)查詢和大 數(shù)據(jù)作業(yè)服務(wù)。4）解決方案產(chǎn)品：這類產(chǎn)品只面向合作伙伴，因?yàn)榻鉀Q方案類產(chǎn)品需要結(jié) 合行業(yè)合作伙伴，整合自有數(shù)據(jù)、自有渠道、合作伙伴渠道等提供行業(yè) 解決方案。.結(jié)算管理結(jié)算管理應(yīng)涵蓋以下功能：1）外部結(jié)算管理對合作伙伴的結(jié)算管理，根據(jù)合同，收入完成情況等要素對合作伙伴進(jìn)行費(fèi)用結(jié)算。2）內(nèi)部結(jié)算依據(jù)考核計(jì)劃、考核結(jié)果、關(guān)聯(lián)收入完成情況、數(shù)據(jù)使用情況 等進(jìn)行收入結(jié)算。3）結(jié)算包括現(xiàn)金結(jié)算、轉(zhuǎn)賬結(jié)算、結(jié)算公式管理、結(jié)算期限管理等。結(jié)算的費(fèi)用種類包括了兩大類：大數(shù)據(jù)平臺查詢服務(wù)費(fèi)用結(jié)算

13、和大數(shù)據(jù)平臺 資源使用費(fèi)用結(jié)算。A大數(shù)據(jù)平臺的查詢服務(wù)可按照查詢次數(shù)或者包月服務(wù)來計(jì)費(fèi)；A大數(shù)據(jù)平臺的資源使用包括了存儲、運(yùn)算和數(shù)據(jù)三類，其中數(shù)據(jù)資源根據(jù)字 段和使用記錄數(shù)來計(jì)費(fèi)，存儲和運(yùn)算資源那么可以采用租費(fèi)的結(jié)算方式。4. 2. 2標(biāo)簽服務(wù)4. 2. 2.1同步標(biāo)簽服務(wù)寬帶DPI數(shù)據(jù)流經(jīng)過實(shí)時(shí)數(shù)據(jù)處理后，支持多個(gè)同步標(biāo)簽的服務(wù)程序。同步標(biāo)簽數(shù)據(jù)處理支持優(yōu)先級設(shè)置，通過優(yōu)先級決定同步標(biāo)簽服務(wù)程序的執(zhí)行順序，可以支持并發(fā)執(zhí)行和順序執(zhí)行；可以通過數(shù)據(jù)的URL、關(guān)鍵字、關(guān)鍵字段設(shè)置數(shù)據(jù)處理的范圍，從而滿足 不同的同步標(biāo)簽處理要求。4. 2. 2.2離線標(biāo)簽服務(wù)寬帶DPI文件和3GDPI文件經(jīng)過數(shù)據(jù)

14、處理后，支持多個(gè)離線標(biāo)簽的服務(wù)程 序。離線標(biāo)簽數(shù)據(jù)處理可靈活設(shè)置各廠商作業(yè)執(zhí)行時(shí)間。通過字段級Token控制，實(shí)現(xiàn)離線標(biāo)簽數(shù)據(jù)處理可以訪問的字段類型，從 而實(shí)現(xiàn)靈活的數(shù)據(jù)訪問控制功能。離線標(biāo)簽提供廠商性能優(yōu)化功能，以保證各廠商作業(yè)在規(guī)定的時(shí)間內(nèi)完成。4. 3數(shù)據(jù)匯聚子平臺4. 3.1寬帶DPI數(shù)據(jù)采集清洗浙江電信11個(gè)地市的寬帶DPI數(shù)據(jù)通過CN2網(wǎng)絡(luò)匯聚到大數(shù)據(jù)平臺。如下列圖所示:大數(shù)據(jù)平臺不僅支持寬帶DPI文件匯聚，同時(shí)支持寬帶DPI數(shù)據(jù)流實(shí)時(shí)匯 聚。 寬帶DPI數(shù)據(jù)流實(shí)時(shí)匯聚大數(shù)據(jù)平臺實(shí)時(shí)采集清洗寬帶DPI數(shù)據(jù)流，處理流程如下列圖所示：消息分發(fā) KafkaDPI數(shù)據(jù)實(shí)時(shí)入庫 Storm同

15、步標(biāo)簽 Storm離線標(biāo)簽Kettle處理流程說明如下：. Kafka消息系統(tǒng)實(shí)時(shí)接收前端寬帶DPI數(shù)據(jù)流;. Kafka消息系統(tǒng)將接收到的寬帶DPI數(shù)據(jù)流分發(fā)至同步標(biāo)簽和實(shí)時(shí)入庫兩個(gè)模塊；.同步標(biāo)簽?zāi)K采用Storm組件實(shí)時(shí)處理寬帶DPI數(shù)據(jù)流，為寬帶DPI數(shù)據(jù)流打上標(biāo)簽。.實(shí)時(shí)入庫模塊采用Storm組件將寬帶DPI數(shù)據(jù)流以文件形式寫入云平臺 HDFS,后續(xù)可以對寬帶DPI文件進(jìn)行離線標(biāo)簽處理。 寬帶DPI數(shù)據(jù)清洗寬帶DPI數(shù)據(jù)清洗主要是針對兩類流量進(jìn)行清洗： 一類是非瀏覽器發(fā)起的 請求；另一類是瀏覽器發(fā)起的非用戶點(diǎn)擊請求；最終清洗后留下的url為用戶的真實(shí)點(diǎn)擊；寬帶DPI數(shù)據(jù)清洗規(guī)那么要求

16、如下：可以實(shí)現(xiàn)“用戶有效點(diǎn)擊”的 Get的實(shí)時(shí)提取。（此處“用戶有效點(diǎn) 擊”的定義為：用戶在瀏覽器輸入的有效網(wǎng)址，點(diǎn)擊瀏覽器書簽，用戶在網(wǎng)頁中 發(fā)起的任意主動點(diǎn)擊行為）。通過清洗規(guī)那么的設(shè)定，實(shí)現(xiàn)“用戶有效點(diǎn)擊”的 Get的實(shí)時(shí)提取。規(guī)那么庫1:.根據(jù)后綴過濾圖片、腳本等針對單條url的規(guī)那么。.對應(yīng)現(xiàn)象：圖片、腳本等頁面元素。規(guī)那么描述：一般非頁面資源的文件后綴名有一定規(guī)那么可循，后綴滿足匹 配指定字串，那么被識別為非頁面請求而被過濾去除。特征字符串可配置添加，例如如下：redis-cIi sadd bIockedurIpatterns2.js? . jpg . jpeg . png . g

17、i f . css . swt規(guī)那么庫2:過濾帶有指定特征字符串的url針對單條url的規(guī)那么。.對應(yīng)現(xiàn)象：廣告、框架、廣告聯(lián)盟。規(guī)那么描述：一般廣告、圖片服務(wù)或框架頁面會帶有固定的特征字串，選 擇可靠的字串可以排除大量的非頁面請求URLo 如下規(guī)那么可配置添加：red is-cI/ sadd b/ockedur I pat ternsa/ lyes, comcpro. ba/du. comncache, google, com admaster. com. onrr i frame n cjhq. ba /du. com/quotenew 規(guī)那么庫3:過濾重復(fù)包針對多條URL請求的規(guī)那么對應(yīng)

18、現(xiàn)象：一個(gè)緩沖區(qū)域長度內(nèi)的重復(fù)包。規(guī)那么描述：在緩沖內(nèi)判斷是否有重復(fù)請求出現(xiàn)，如有那么只提取第一個(gè)規(guī)那么庫4:識別非頁面類型請求（包含Js發(fā)出的請求）針對單條URL的規(guī)那么對應(yīng)現(xiàn)象：瀏覽器與Js腳本發(fā)出非頁面類型的請求。規(guī)那么描述：瀏覽器與Js腳本發(fā)出的非頁面類型請求有一定特征，其中主 要是Accept字段值，一般非頁面的請求，如圖片請求那么會包含“image/ 字串，這類請求一般不屬于頁面類型。當(dāng) Accept 字段值中不包含“text/html 或 app I i cat i on/xhtm I +xm I v 子串并不能識別該請求是不是頁面請求，因此而保存下來。規(guī)那么庫5:保存白名單中的

19、請求針對單條URL的規(guī)那么對應(yīng)現(xiàn)象：有些URL的特征設(shè)定為白名單項(xiàng)規(guī)那么描述：設(shè)置白名單直接放行已明確需要的URL請求，這樣就不會浪 費(fèi)實(shí)時(shí)計(jì)算資源而做進(jìn)一步判斷，提高了系統(tǒng)的吞吐量。白名單可以配置，例如如下：red is-d i sadd a 11 owedur I patterns :/ baidu. com/s? :/cn. bing. com/search? w. google. com. hk/search?114. 3. 23G DPI數(shù)據(jù)采集清洗系統(tǒng)通過FTP方式采集3G DPI文件，3G DPI數(shù)據(jù)采集清洗網(wǎng)絡(luò)架構(gòu)如下:外部環(huán)境3G DPI數(shù)據(jù)采集清洗軟件3G DPI接口服務(wù)器

20、千兆千兆交換機(jī)超髭3G DPI接口服務(wù)器千兆千兆Hadoop大數(shù)據(jù)平臺3G DPI文件清洗流程如下：將3G DPI文件的zip壓縮格式轉(zhuǎn)成gz壓縮格式。對3G DPI文件進(jìn)行數(shù)據(jù)清洗，包括加協(xié)議號，過濾重復(fù)的記錄，文件加 密。輸出正常文件和重單文件寫入HDFS。4. 3. 3AAA數(shù)據(jù)采集清洗城域網(wǎng)中獲取到 GET報(bào)文數(shù)據(jù)中用戶標(biāo)識是IP地址，由于每次用戶登 錄撥號IP地址均可能不同，在進(jìn)行用戶分析時(shí)用戶的標(biāo)識應(yīng)該為AD帳號。需要 獲取Radius數(shù)據(jù)，將用戶上網(wǎng)撥號AAA過程中IP和AD信息的導(dǎo)入，匹配用戶 上網(wǎng)行為記錄中的IP地址和AD賬號的數(shù)據(jù)原始信息，完成用戶上網(wǎng)記錄身份的 辨識。實(shí)現(xiàn)

21、獨(dú)立運(yùn)行的AAA radius解報(bào)文模塊，實(shí)時(shí)提取AAA報(bào)文中的Attribute Va I ue Pairs 中的對應(yīng)報(bào)文段，將其 User-Name Framed-1 P-Address Acct-Status-Type并組合當(dāng)前的系統(tǒng)時(shí)間戳形成一條完整的用戶身份配對的撥 號上下線狀態(tài)數(shù)據(jù)的記錄，用于與偽CDR數(shù)據(jù)進(jìn)行匹配。4. 3. 40IDD數(shù)據(jù)采集清洗系統(tǒng)通過FTP方式采集0IDD文件。0IDD數(shù)據(jù)采集清洗網(wǎng)絡(luò)架構(gòu)如下:外部環(huán)境OIDD數(shù)據(jù)采集清洗軟件start_t imestr i ngNonebase_stat i onstr i ngNonepower_fIagstr i ng

22、None碼)（用戶號（開始時(shí)間）（基站）（上電標(biāo)記）# Part i t i on # col_nameInformat i ondata_typecommentdate IabeIstr i ngNoneIoadstampstr i ngNoneOIDD文件通過分布式ETL工具Kett Ie寫入HDFS。 OIDD數(shù)據(jù)接口OIDD數(shù)據(jù)表一,： sada_t icket,表結(jié)構(gòu)如下: h i ve desc formatted sada_t i cket;OKcol_name data_type comment prod_i nst_num str i ng NoneDeta iIed Tab

23、 Ie Informat i on Database:o i ddOIDD數(shù)據(jù)表二：sada_oidd_day,表結(jié)構(gòu)如下:h i ve desc formatted sada_o i dd_day;OK# co I namedata_typecommentprod_i nst_num start_t ime base_stat i on sector power_fIagstr i ngNone（用戶號碼）str i ngNone（開始時(shí)間）str i ngNone（基站）str i ngNone（扇區(qū)）str i ngNone（上電標(biāo)記）# Partition# col_nameInfor

24、mat i ondata_typecommentdate IabeIstr i ngNoneIoadstampstr i ngNone# Deta iIed Tab Ie Informat i onDatabase:oidd4. 3. 50DS數(shù)據(jù)采集清洗系統(tǒng)通過FTP方式采集ODS文件,ODS數(shù)據(jù)采集清洗網(wǎng)絡(luò)架構(gòu)如下:外部環(huán)境ODS數(shù)據(jù)采集清洗軟件ODS設(shè)備千兆ODS接口服務(wù)器千兆交換機(jī)千兆ODS接口服務(wù)器千兆Hadoop大數(shù)據(jù)平臺ODS文件通過分布式ETL工具Kettle寫入HDFS 0DS數(shù)據(jù)接口ODS 數(shù)據(jù)表：rpt_te Iecom_user_info,表結(jié)構(gòu)如下: hive des

25、c formatted rpt_teIecom_user_i nfo;OK# col_namedata_typecommentwb_i sp_acnt_numstr i ngNone（帳號加密）user_agestr i ngNone（用戶年齡）user_sexstr i ngNone（用戶性別）user_typestr i ngNone（用戶類型）a_connect_coI lege agrmnt_const_exp_dtcommentNoneNone None None None None None None None None None None None None Noneuserar

26、ea desc_cost wb_access_tp act_op_rate prom_group guangwang_fIag ba Iancep i_sub_stat_tp update_status Ist_update_tmpI atIngPart i t i oncol_namedate IabeIstr i ng str i ng str i ng str i ng str i ng str i ng str i ngstr i ng str i ng str i ng str i ng str i ng str i ng str i ngInformat i ondata_type

27、str i ng（用戶所屬區(qū)域） （費(fèi)用范圍描述） （寬帶訪問類型） （活躍操作頻度） （套餐類型）（是否光釬標(biāo)記） （）（協(xié)議有效日期）（余額）（是否在用） （更新狀態(tài)）（最后更新日期） （緯度）（經(jīng)度）# Deta iIedTab Ie Informat i onDatabase:ods4. 3. 6數(shù)據(jù)脫敏數(shù)據(jù)脫敏也被稱為數(shù)據(jù)混淆、數(shù)據(jù)保密、數(shù)據(jù)消毒、數(shù)據(jù)擾頻、數(shù)據(jù)匿名 化和數(shù)據(jù)認(rèn)證。采用數(shù)據(jù)脫敏技術(shù)，可以幫助大數(shù)據(jù)平臺提高平安性和保密等 級，以防止其數(shù)據(jù)被濫用，同時(shí)滿足集團(tuán)對數(shù)據(jù)平安性的規(guī)范要求，以及由管 理/審計(jì)機(jī)關(guān)所要求的隱私標(biāo)準(zhǔn)。從實(shí)現(xiàn)手段上看，針對不同的數(shù)據(jù)內(nèi)容，會有多種數(shù)據(jù)脫

28、敏方式。在Hadoop 平臺上，利用采集清洗及流處理的功能，可以實(shí)現(xiàn)對各個(gè)字段，針對性的脫敏 處理，并且保證在數(shù)據(jù)進(jìn)入hadoop之前已經(jīng)是脫敏之后的數(shù)據(jù)。另外針對AD的脫敏尤為關(guān)鍵，AD是唯一能將DPI數(shù)據(jù)關(guān)聯(lián)到ODS客戶數(shù) 據(jù)的字段，我們對所有進(jìn)入大數(shù)據(jù)平臺的AD都統(tǒng)一采用sha-1的加密方式， 轉(zhuǎn)換成只有大數(shù)據(jù)平臺能夠認(rèn)識的客戶唯一標(biāo)示。需要進(jìn)行脫敏處理的信息如下:(3)投標(biāo)方應(yīng)承諾當(dāng)本工程所購置功能模塊、license數(shù)量發(fā)生變化時(shí)，保證 所提供的價(jià)格折扣水平、技術(shù)服務(wù)等方面的各種優(yōu)惠條件不變。答復(fù)：滿足。(4)投標(biāo)方提供的所有軟硬件必須是最新開發(fā)的全新成熟產(chǎn)品。所有必須組 件都應(yīng)包括

29、在報(bào)價(jià)中。投標(biāo)方應(yīng)提供所有軟硬件系統(tǒng)的數(shù)量和配置說明，且應(yīng)保 證軟、硬件的品種、數(shù)量準(zhǔn)確無誤。答復(fù)：滿足。(5)本技術(shù)規(guī)范書應(yīng)視為保證系統(tǒng)運(yùn)行所需的最低要求，如有遺漏，投標(biāo)方 應(yīng)予以補(bǔ)充，否那么一旦中標(biāo)將認(rèn)為投標(biāo)方認(rèn)同遺漏局部并免費(fèi)提供。答復(fù)：滿足。(6)投標(biāo)方應(yīng)承諾在工程終驗(yàn)后五年內(nèi)，買方在后續(xù)工程及相應(yīng)產(chǎn)品的備品 備件的設(shè)備定貨時(shí)，同一類型的軟、硬件設(shè)備價(jià)格至少不高于本次合同的價(jià)格。答復(fù)：滿足。2.6其他要求(1)買方在任何時(shí)候保存和擁有對本文件的解釋權(quán)和修改權(quán)。買方有權(quán)在簽 定合同前，根據(jù)需要修改和補(bǔ)充本技術(shù)規(guī)范書，修改補(bǔ)充后的最終技術(shù)規(guī)范書將 作為合同的附件。答復(fù)：滿足。(2)投標(biāo)方除

30、以下情況外，非經(jīng)中國電信股份浙江分公司書面許可, 不得將本文件的任何內(nèi)容透露給除中國電信股份浙江分公司以外的第 三方。經(jīng)中國電信股份浙江分公司書面許可，應(yīng)標(biāo)商才允許將本文(限 于必要局部)透露給其合作伙伴，并保證其合作伙伴不將本文透露給其它人。未 經(jīng)書面許可將本文件透露給第三方的應(yīng)標(biāo)商，將被剝奪中標(biāo)資格。需脫敏字段描述脫敏前脫敏后Ad寬帶設(shè)備號實(shí)際adsha加密結(jié)果（該算法不可反解）user_age用戶年齡實(shí)際年齡年齡段信息，如5年一段，取起始 數(shù)值顯示，如25表示25-29address用戶地址實(shí)際地址，精確到戶小區(qū)、樓盤或商圈信息，如武林商 圈1at&lng位置經(jīng)緯度實(shí)際經(jīng)緯度精確到0.0

31、01,約1000平方米， 注：I ng* I at =0. 001*0.001 （度）二約 95. 18 米*111.32 米u(yù)ser_name用戶姓名實(shí)際姓名僅保存用戶姓氏desc_cost用戶消費(fèi)情況實(shí)際消費(fèi)金額每150元一檔：0 （表示0749）, 150, 3004. 3. 7數(shù)據(jù)加密大數(shù)據(jù)平臺以HDFS為基礎(chǔ)，利用HDFS驅(qū)動提供的Format功能，實(shí)現(xiàn) hadoop云平臺系統(tǒng)級、業(yè)務(wù)級數(shù)據(jù)加密。HDFS數(shù)據(jù)加密原理圖如下：數(shù)據(jù)加密不修改HDFS內(nèi)核，不影響將來HDFS的升級維護(hù)。數(shù)據(jù)加密后，保證HDFS數(shù)據(jù)透明訪問，同時(shí)支持SQL查詢服務(wù)。3. 8數(shù)據(jù)ETL處理平臺采用ETL工具實(shí)

32、現(xiàn)高速ETL處理，處理效率強(qiáng)。功能包括：ETL作業(yè)GUI設(shè)計(jì)器的功能。ETL作業(yè)自動調(diào)度器的功能。ETL作業(yè)多路并發(fā)提取的功能。ETL作業(yè)多路并發(fā)轉(zhuǎn)換的功能。ETL作業(yè)多路并發(fā)加載的功能。ETL作業(yè)管理功能。ETL作業(yè)日志管理功能。3. 9作業(yè)智能排隊(duì)調(diào)度.作業(yè)靈活調(diào)度系統(tǒng)可以制定作業(yè)調(diào)度計(jì)劃進(jìn)行作業(yè)調(diào)度。對于臨時(shí)出現(xiàn)的需要緊急運(yùn)行的作業(yè)，可以靈活調(diào)整作業(yè)調(diào)度計(jì)劃保證緊急 任務(wù)優(yōu)先執(zhí)行。.資源智能調(diào)整系統(tǒng)保證每個(gè)作業(yè)都能獲得相應(yīng)的系統(tǒng)資源，同時(shí)對于臨時(shí)出現(xiàn)的需要緊急 運(yùn)行的作業(yè)，可以靈活調(diào)整資源配置保證緊急任務(wù)優(yōu)先執(zhí)行。當(dāng)一個(gè)隊(duì)列空閑，其系統(tǒng)資源可以被其他隊(duì)列搶占使用。一旦空閑隊(duì)列有作 業(yè)提交

33、時(shí)，會返回該隊(duì)列的系統(tǒng)資源，直到滿足該隊(duì)列最低配置，甚至搶占其他 隊(duì)列資源。系統(tǒng)可以動態(tài)增加隊(duì)列，并且新提交的隊(duì)列會慢慢滿足最低資源配置，甚至搶占其他隊(duì)列資源。4. 4外部服務(wù)能力子平臺4. 4.1標(biāo)簽查詢服務(wù)分布式K-V數(shù)據(jù)庫采用分布式K-V數(shù)據(jù)庫，主要用于存放標(biāo)簽結(jié)果數(shù)據(jù)，并支持以下基礎(chǔ)功能:.數(shù)據(jù)查詢接口以API的方式提供通用的根據(jù)key查詢value的高速查詢接口。.數(shù)據(jù)加載支持?jǐn)?shù)據(jù)直接以文件或者分布式文件系統(tǒng)批量導(dǎo)入的方式，并提供導(dǎo)入的API 接口。另外除了數(shù)據(jù)追加的方式，還需要支持?jǐn)?shù)據(jù)的刪除或修改功能。.分布式模式數(shù)據(jù)存儲采用類似HDFS的分布式存儲模型，另外計(jì)算資源也需要采用分布

34、 式集群調(diào)用的方式以此來保證數(shù)據(jù)的可靠性和系統(tǒng)的可擴(kuò)展性。.統(tǒng)一的元數(shù)據(jù)管理對元數(shù)據(jù)進(jìn)行統(tǒng)一的存儲和管理。并提供訪問API供業(yè)務(wù)管理平臺調(diào)用。.系統(tǒng)管理提供集群監(jiān)控、服務(wù)管理、日志管理、監(jiān)控報(bào)警等一整套系統(tǒng)管理功能。高并發(fā)查詢服務(wù)該模塊基于nginx+Apache MINA的框架開發(fā)。其中nginx提供高并發(fā)的對外 服務(wù)，而Apache MINA是一個(gè)高性能和高可用性的網(wǎng)絡(luò)應(yīng)用框架?？梢酝瓿梢韵?功能：.基于token的用戶平安認(rèn)證采用基于Token （令牌）的用戶身份驗(yàn)證機(jī)制，使用戶在訪問受保護(hù)的服 務(wù)資源時(shí)僅需提供Token,而不需要提供用戶名和密碼。Token是包含用戶名、 有效期和某些

35、專有信息并通過共享密鑰加密的信息字符串。對于通過Web Appl ication訪問查詢服務(wù)的用戶來說，這種認(rèn)證方式可以有 效防止服務(wù)器的用戶賬戶泄露。對于已經(jīng)授權(quán)訪問服務(wù)的用戶，獲取和使用Token的總體流程：1）用戶憑借自身的賬戶向電信申請和獲取Tokeno2）攜帶已獲取的Token查詢有權(quán)限的數(shù)據(jù)標(biāo)簽Token的生成除了需要獲取Token時(shí)用戶輸入的信息外，還需要服務(wù)器端指 定的加密密鑰。系統(tǒng)管理員可以對生成Token的加密密鑰進(jìn)行配置。.用戶訪問權(quán)限控制基于K-V數(shù)據(jù)庫的元數(shù)據(jù)管理，增加用戶對元數(shù)據(jù)的權(quán)限信息，查詢訪問的 時(shí)候首先進(jìn)行用戶識別，然后根據(jù)用戶的元數(shù)據(jù)權(quán)限信息進(jìn)行訪問控制。

36、.高并發(fā)低延時(shí)的查詢接口采用web服務(wù)的方式封裝K-V數(shù)據(jù)庫的高速查詢接口，并提供短連接和長連 接兩種方式。需要支持對K-V數(shù)據(jù)庫的接口分發(fā)功能。.查詢緩存服務(wù)對一些訪問熱度較高的數(shù)據(jù)或表通過緩存的方式提高查詢響應(yīng)效率，并減少 FI ash卡訪問頻率，增加壽命。4. 2DSP廠商程序接入系統(tǒng)允許每個(gè)廠商程序?qū)氇?dú)立的Cache。系統(tǒng)支持多個(gè)廠商程序算法模型 加載和數(shù)據(jù)訪問。系統(tǒng)支持多租戶作業(yè)的統(tǒng)一任務(wù)調(diào)度。用戶提交業(yè)務(wù)應(yīng)用作業(yè) 申請，云平臺統(tǒng)一封裝各業(yè)務(wù)應(yīng)用作業(yè)。如果用戶網(wǎng)絡(luò)時(shí)延較大，可以有以下兩種方式實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)查詢：1）羽1 K/V內(nèi)存數(shù)據(jù)庫安裝于用戶端。2）系統(tǒng)進(jìn)行數(shù)據(jù)分發(fā)。4. 3廠商

37、作業(yè)性能優(yōu)化3.1SQL語句優(yōu)化系統(tǒng)支持SQL語句優(yōu)化，可以解決數(shù)據(jù)傾斜的問題。系統(tǒng)提供MapReduce定制服務(wù)，當(dāng)SQL語句效率不高時(shí)，可以將SQL語句轉(zhuǎn) 化成高效的MapReduce作業(yè)直接執(zhí)行。4. 3. 2MapReduce 定制服務(wù)我們提供MapReduce定制服務(wù)，當(dāng)SQL語句效率不高時(shí)，可以將SQL語句轉(zhuǎn) 化成高效的MapReduce作業(yè)直接執(zhí)行。SQL語句會產(chǎn)生大量的中間數(shù)據(jù)，從而影響作業(yè)執(zhí)行效率。MapReduce不產(chǎn) 生中間數(shù)據(jù)。MapReduce作業(yè)和SQL語句相比擬，作業(yè)執(zhí)行效率可以提高37倍。4. 4交互式SQL查詢用戶可以通過圖形化界面定義查詢參數(shù)，執(zhí)行自己的查詢

38、任務(wù)。系統(tǒng)接口如下：系統(tǒng)兼容標(biāo)準(zhǔn)的SQL語法，可以通過SQL語句訪問查詢。系統(tǒng)支持JDBC連接方式，適合JAVA應(yīng)用。系統(tǒng)支持ODBC連接方式，適合WIN應(yīng)用。系統(tǒng)提供CLI命令接口，適合UNIX應(yīng)用。系統(tǒng)支持Corba協(xié)議，適合IDL服務(wù)對象接口。系統(tǒng)支持SOAP協(xié)議，適合遠(yuǎn)程RPC調(diào)用。4. 5在線報(bào)表系統(tǒng)提供豐富的報(bào)表展現(xiàn)形式，支持表格、餅圖、柱狀圖、折線圖，用戶可 以自由選擇報(bào)表展現(xiàn)形式。報(bào)表的定義和配置都要求可視化的靈活操作，要求可見即可得，且結(jié)果能夠 靈活導(dǎo)出。生成的報(bào)表可輸出各種文件格式，如EXCEL、HTML、XML、RTF等。信息推送子平臺流量分發(fā)模塊可以控制流量的轉(zhuǎn)發(fā)，判斷

39、流量能否進(jìn)行廣告投放，可以精確控制符合業(yè)務(wù) 需要的流量，轉(zhuǎn)發(fā)到服務(wù)器上，啟動廣告投放計(jì)劃。具體的流量控制轉(zhuǎn)發(fā)規(guī)那么可 以靈活的配置。流量分發(fā)規(guī)那么系統(tǒng)提供統(tǒng)一的規(guī)那么配置，根據(jù)廣告投放的策略可以靈活的修改。支持的流量分發(fā)規(guī)那么包括：域名、URL規(guī)那么設(shè)置能控制流量只轉(zhuǎn)發(fā)到指定的域名或者URL的報(bào)文。控制流量分發(fā)總量可以控制轉(zhuǎn)發(fā)流量的總流量大小。譬如對搜狗流量，我們可以控制其搜索的 流量只轉(zhuǎn)發(fā)多個(gè)個(gè)CPM到指定的服務(wù)器上。3、頻次控制可以設(shè)置對用戶廣告推送的頻次控制，每個(gè)用戶與其IP地址、ADSL賬戶關(guān) 聯(lián)。通過限制IP、ADSL的頻次控制用戶流量轉(zhuǎn)發(fā)到服務(wù)器的頻次。4、地域定向規(guī)那么可以根據(jù)I

40、P地址判斷用戶所在地區(qū)，可以只將特定地區(qū)的用戶流量進(jìn)行分發(fā)。如武漢某企業(yè)用戶可能只希望了解湖北地區(qū)的網(wǎng)民搜索、訪問行為，可以對 地域設(shè)置只轉(zhuǎn)發(fā)武漢的流量到企業(yè)的服務(wù)器上進(jìn)行數(shù)據(jù)分析，一方面減輕了下游 企業(yè)的服務(wù)器壓力，另一方面最大限度保護(hù)了其他地區(qū)的用戶隱私，降低運(yùn)營商 數(shù)據(jù)的流量浪費(fèi)。5、黑名單控制對一些特定的群體投放廣告會產(chǎn)生各種風(fēng)險(xiǎn)問題的，系統(tǒng)提供黑白名單控 制，將具體對象的IP或者ADSL賬戶設(shè)置為黑名單。禁止向這些用戶推送廣告。 以此提升用戶整體的體驗(yàn)效果，降低用戶的投訴。廣告提單管理廣告主賬戶信息管理系統(tǒng)提供對廣告主賬戶信息的管理，可以分級授權(quán)，超級管理員可以管理系 統(tǒng)中所有的廣告

41、，通過系統(tǒng)配置授權(quán)給廣告主，這些廣告主可以獲取賬戶和密碼 登錄系統(tǒng)對個(gè)人的廣告策略進(jìn)行管理。網(wǎng)址充值付費(fèi) :/開通平臺沒有賬號的廣告主需要在官網(wǎng)點(diǎn)擊右上角“注冊”按鈕，填寫相關(guān)信息申請 注冊。首頁動念定IRJ洞察產(chǎn)品案例提供數(shù)據(jù)技術(shù)關(guān)于我們提交申請專業(yè)咨詢郵箱 I郵箱作為賬戶名聯(lián)系人：聯(lián)系人姓名手機(jī)j手機(jī)號碼QQQ竭碼驗(yàn)證碼 fcW 青不清也可通過廣告平臺登陸頁面的“新用戶注冊”按鈕到官網(wǎng)申請注冊。用戶名f I用戶名密碼:密碼登錄首頁新用戶注冊密碼找回動態(tài)定向洞察產(chǎn)品案例提供數(shù)據(jù)技術(shù)關(guān)于我們4.1.3. 2.廣告提單投放管理在投放管理模塊，可上傳創(chuàng)意，對通過審核的創(chuàng)意組建立推廣單元進(jìn)行廣告投放

42、。創(chuàng)意組管理通過投放管理一創(chuàng)意組管理，進(jìn)入創(chuàng)意組管理頁面。創(chuàng)意組列表顯示的信息 包括序號、創(chuàng)意組名稱、所選模板、尺寸（已上傳尺寸數(shù)和未上傳尺寸數(shù)）和審核狀態(tài)，可按創(chuàng)意組名稱和審核狀態(tài)查詢。創(chuàng)目組名稱|市核狀態(tài)| 座號創(chuàng)意組名稱所選模板尺寸市核狀態(tài)掾作1隼支新宣傳默認(rèn)模板已上傳：2未上, 2個(gè)尺寸局部通過局部通過設(shè)查|鹿涔|弄求投球單元2然事8默認(rèn)模板已上傳：10未上傳：21未通過汾置|刪除3集M宣傳默認(rèn)模板已上傳：1未上傳：30局部通過金置|刪除|奪建投球單元4式3組A默認(rèn)模板已上傳:6未上傳:25局部通過設(shè)置|刪除|拜理扮成單元當(dāng)麗第1頁.每頁皇示10條，共4條下一頁上一頁 1在創(chuàng)意組列表可

43、點(diǎn)擊創(chuàng)意組名稱可查看該創(chuàng)意組信息；將鼠標(biāo)放到指定創(chuàng)意 組的審核狀態(tài)上，顯示該創(chuàng)意組創(chuàng)意審核情況；點(diǎn)擊指定創(chuàng)意組右側(cè)的“設(shè)置” 按鈕進(jìn)行創(chuàng)意組設(shè)置；點(diǎn)擊指定創(chuàng)意組右側(cè)的“刪除”按鈕刪除該創(chuàng)意組，如果 正在投放的創(chuàng)意組被刪除，該創(chuàng)意組對應(yīng)的推廣單元變?yōu)闀和顟B(tài)；對于已經(jīng)通 過審核的創(chuàng)意組，可點(diǎn)擊該創(chuàng)意組右側(cè)的“新建投放單元”進(jìn)入新建推廣單元頁面對該創(chuàng)意組新建推廣單元設(shè)置投放策略。投放管理通過投放管理-投放管理，進(jìn)入投放管理頁面。在投放管理頁面可按時(shí)間維 度查看到推廣單元趨勢圖和推廣單元列表，時(shí)間維度包括今天、昨天、本周、上 周、本月、上月和近30天，也可點(diǎn)擊時(shí)間對話框通過時(shí)間控件點(diǎn)擊指定日期自定義

44、查看單元列表信息。2014-12-15 - 2014-12-17楨 JS本月 上月從 2014-12-15從 2014-12-15到 2014-12-17十二月 2014 )周日周一周二周三周四周五周六十二月 2014 )周日周一周二周三周四周五周六30714 212841813222952916233063101724317411182518512192629十二月2014 )周日周一周二周三周四周1周六3012345678910111213141516K31819202122232425262728293031123456789106132027 310推廣單元趨勢圖可通過下拉框選擇全部推

45、廣計(jì)劃或者指定某個(gè)推廣單元，還 可定義趨勢圖表展示的指標(biāo)，包括花費(fèi)、展現(xiàn)數(shù)、點(diǎn)擊數(shù)、平均點(diǎn)擊率和平均點(diǎn)擊本錢。推廣單元列表展示該指定時(shí)間內(nèi)的所有推廣計(jì)劃，包括推廣單元名稱、狀態(tài)、上月 1622014-11-23 - 2014-12-22趙勞國表指示：碼 C展現(xiàn)數(shù)O點(diǎn)擊數(shù)。平均點(diǎn)擊至。平均點(diǎn)擊本錢推廣單元列表推廣單元：全部卷廣單元本周 上周 本月有效期、每日預(yù)算、展現(xiàn)數(shù)、點(diǎn)擊數(shù)、點(diǎn)擊率、總費(fèi)用、平均本錢、本頁總計(jì)和 全部總計(jì)，可輸入指定推廣計(jì)劃名稱進(jìn)行查詢。鼠標(biāo)放到推廣單元名稱上，點(diǎn)擊 出現(xiàn)的“鉛筆”圖標(biāo)可在彈出的對話框中修改推廣單元名稱和出價(jià)；點(diǎn)擊推廣單 元名稱可查看該投放單元對應(yīng)的創(chuàng)意組創(chuàng)意

46、列表，也可對該創(chuàng)意組進(jìn)行編輯；點(diǎn)擊某個(gè)屬性右側(cè)的上下列圖標(biāo)使推廣單元列表按照該指標(biāo)的升序或者降序進(jìn)行排 列。1新增廣單元ifi百推廣單元良制推廣單元啟用日子SS請輸入推廣華速稱S3 推廣單元有效期默認(rèn)出價(jià)每H演算展現(xiàn)數(shù)點(diǎn)擊數(shù)點(diǎn)擊率總費(fèi)用平均點(diǎn)擊本錢Io默認(rèn)的單元沒育今曰排期2014-12-20-2014-12-311.5030.003825.26%0.010.01O1219測試地域投放用戶音停2014-12-19形5束時(shí)間2.00100000-0 00-o1219玩一玩用戶智停2014-12-19無結(jié)束時(shí)間22.003.0000-0.00-O1220測試標(biāo)及投放用戶暫停2014-12-20形5

47、束時(shí)間3 0010 0000-0 00-1220測試標(biāo)筌投放_用戶暫停20141220穆東時(shí)間1.005.0000-0.00-O1220測H式 CPC用戶暫停2014-12-20穆束時(shí)間1 005 0000-0 00-12201555CPC 新測試CPC12201606設(shè)置小額點(diǎn)用戶暫停2014.12-20根束時(shí)間1.005.0000-0.00-O擊壟價(jià)用戶暫停2014-12-20穆束時(shí)間0 605 0000-0 00-本頁息計(jì)全部總計(jì)-38926235.26%0.010.010.01-在該推廣單元列表中，可對推廣單元進(jìn)行新增、設(shè)置、復(fù)急I、啟用、暫停和刪除歸檔操作,還可點(diǎn)擊列表下方的“查看已

48、歸檔的推廣計(jì)劃”按鈕查看已歸檔的推廣計(jì)劃。4.1.3. 3.數(shù)據(jù)統(tǒng)計(jì)報(bào)表可在首頁，或者通過進(jìn)入“數(shù)據(jù)中心-投放統(tǒng)計(jì)”查詢廣告投放統(tǒng)計(jì)報(bào)告。 可通過“昨天”、“本周”、“上月”和“本月”按鈕快捷查詢對應(yīng)時(shí)間范圍內(nèi) 的數(shù)據(jù)報(bào)表，也可按自定義時(shí)間維度查詢廣告投放數(shù)據(jù)報(bào)表。自定義時(shí)間需點(diǎn)擊 時(shí)間對話框，選擇起止時(shí)間后點(diǎn)擊確定即可。能查看的數(shù)據(jù)指標(biāo)包括：展現(xiàn)數(shù)、點(diǎn)擊數(shù)、平均點(diǎn)擊率、平均點(diǎn)擊單價(jià)、總花 費(fèi)、勝出率、到達(dá)率、注冊數(shù)、平均注冊單價(jià)（CPA）和注冊轉(zhuǎn)化率。答復(fù)：滿足。(3)在技術(shù)談判的各個(gè)階段，買方將要求投標(biāo)方對有關(guān)問題進(jìn)行進(jìn)一步的技 術(shù)澄清，投標(biāo)方應(yīng)給予應(yīng)答。答復(fù)：滿足。3工程概述3. 1工程

49、背景隨著移動互聯(lián)網(wǎng)、云計(jì)算、物聯(lián)網(wǎng)技術(shù)和業(yè)務(wù)的開展，數(shù)據(jù)呈爆炸性增長， 全球進(jìn)入數(shù)據(jù)ZB時(shí)代，2010年全球數(shù)據(jù)量到達(dá)1.2 ZB, 2011年全球數(shù)據(jù)量達(dá) 到1.8ZB,到2020年，將到達(dá)35 ZB。電信運(yùn)營商與互聯(lián)網(wǎng)公司等產(chǎn)業(yè)上下游 企業(yè)激烈競合，產(chǎn)業(yè)格局正在重塑，傳統(tǒng)電信運(yùn)營商面臨低值化、管道化，在新 的產(chǎn)業(yè)鏈中需要謀求新突破。為了應(yīng)對移動互聯(lián)網(wǎng)時(shí)代的挑戰(zhàn)，中國電信正在向 “智能管道的主導(dǎo)者、綜合平臺的提供者、內(nèi)容和應(yīng)用的參與者”的新三者戰(zhàn)略 轉(zhuǎn)型。根據(jù)集團(tuán)大數(shù)據(jù)業(yè)務(wù)規(guī)劃，大數(shù)據(jù)運(yùn)營以“一點(diǎn)管控、集約運(yùn)營”為原那么， 通過大數(shù)據(jù)的挖掘分析，一方面可形成對內(nèi)數(shù)據(jù)運(yùn)營，為精確管理和精確營銷

50、提 供服務(wù)，另一方面可形成對外數(shù)據(jù)運(yùn)營，直接向外部合作伙伴提供大數(shù)據(jù)服務(wù)， 進(jìn)一步挖掘數(shù)據(jù)資產(chǎn)的商業(yè)價(jià)值，探索基于大數(shù)據(jù)的新型應(yīng)用與商業(yè)模式，實(shí)現(xiàn) 企業(yè)數(shù)據(jù)價(jià)值變現(xiàn)答復(fù)：滿足。3.2工程目標(biāo)構(gòu)建大數(shù)據(jù)運(yùn)營平臺，實(shí)現(xiàn)數(shù)據(jù)價(jià)值變現(xiàn)：平臺可支撐向行業(yè)用戶、外部合 作伙伴提供數(shù)據(jù)出售、數(shù)據(jù)咨詢、數(shù)據(jù)能力和數(shù)據(jù)解決方案等四種業(yè)務(wù)形態(tài)的數(shù) 據(jù)服務(wù)。通過對外合作的模式，可融合合作伙伴的數(shù)據(jù)內(nèi)容，根據(jù)合作伙伴和客 戶的需求，將電信的數(shù)據(jù)資產(chǎn)進(jìn)行包裝，向合作伙伴提供數(shù)據(jù)服務(wù)。2014-10-27-2014-11-02昨天 本周上周 本月上月321 、一.十月 2014 _ 寸I解贈!哥特1|C32829I 30

51、12345678910111213I 141516171192620 2/*222923302431212345678從到2014-10-282014-10-28價(jià)拜2852930123467891011131415161712223242129303113456781219262統(tǒng)計(jì)報(bào)表提供六種查看方式，點(diǎn)擊即可切換查看，報(bào)表以圖形和表格形式展 現(xiàn)，圖形報(bào)表包括柱狀和線狀，可選擇柱狀和線狀代表的指標(biāo)通過圖形報(bào)表直觀 展示特定指標(biāo)數(shù)據(jù)趨勢；圖形報(bào)表按照指定的查看方式（6種之一）羅列具體數(shù)據(jù)。媒，果總覽定向效果總覽創(chuàng)意效果總覽關(guān)鍵詞效果總覽柱狀指標(biāo)：展現(xiàn)數(shù)表格形式展現(xiàn)的數(shù)據(jù)，可通過點(diǎn)擊對應(yīng)指標(biāo)右

52、側(cè)的上下箭頭按鈕按照該指標(biāo) 的上升或者下降順序進(jìn)行排序。的單元展現(xiàn)數(shù)點(diǎn)擊數(shù)平均點(diǎn)擊率平均點(diǎn)擊單價(jià)總花費(fèi)注冊數(shù)CPAaffluxgj360-IT2-C779373790.486%0.45171 465254%0 000%0融360視頻2-C789683720.471%0.48178.785.727%0.000%0融360-汽車1-C735593720.506%0.47173.993.590%0.000%0-圖形報(bào)表支持更改展示形式，可通過點(diǎn)擊右上角按鈕設(shè)置為數(shù)據(jù)展示、雙線 形展示、雙柱狀展示、還原，還可點(diǎn)擊最后一個(gè)按鈕進(jìn)行圖形報(bào)表截圖。BI區(qū)位CO數(shù)據(jù)總覽直觀顯示廣告主按時(shí)間篩選查詢后，當(dāng)前投放

53、所花費(fèi)的金額、點(diǎn)擊價(jià)格、注 冊數(shù)、CPA、注冊轉(zhuǎn)化率，讓廣告主對目前的投放狀況一目了然融360融360總花費(fèi)平均點(diǎn)擊價(jià)格注冊數(shù)CPA注冊轉(zhuǎn)化率263.250.32 ：0推廣效果總覽按投放單元查看數(shù)據(jù)，便于比照各不同投放單元的效果。推廣單元取現(xiàn)數(shù)點(diǎn)擊數(shù)平均點(diǎn)擊率平均點(diǎn)擊單價(jià)總花費(fèi)CPA注冊轉(zhuǎn)化率8J360-IT2-C1608138200.510%0.48395.677 031%0.000%0-融3602頻 2C1912918100.423%0.59 474.547.509%0.000%0-融3604 區(qū) 1C1626008010493%0 52417667 865%0 000%0-廣告投放統(tǒng)計(jì)報(bào)

54、表下載點(diǎn)擊“報(bào)表下載”按鈕,即可將當(dāng)前按照時(shí)間、和六種查看方式查詢出來的數(shù)據(jù)結(jié)果導(dǎo)出excel到本地。文件- 受保護(hù)的視圖-Microsoft Excel開始 播入頁囹布局公式 數(shù)君 五閱 視圖ABCDEFGHIK12創(chuàng)意名稱展示效點(diǎn)擊數(shù)平均點(diǎn)擊率平均點(diǎn)擊單價(jià)總花費(fèi)跳出率到達(dá)率注冊數(shù)CPA注冊轉(zhuǎn)化率34527%0.08274.018.448%0.000%-4酷狗繁星四373%0.08271.818.591%0.000%-5酷狗繁星三643%0.07269.448.632%0.000%-6酷狗繁星一圖142608360

55、52.528%0.08271.688 757%0.000%-7淺多多114239535462.490%008271 078 623%0.000%.8福特移動banne505%0 08270 148 724%0 000%-9好借好還二期2)114216438292 693%0 07270 698 712%0.000%-10慈格-中秋節(jié)114216138242.690%0.07270 048712%0.000%-11好借好還2版30492%0.08268.388.689%0.000%-12HRS_南橋綠地出520479571.839%0.1094

56、.697.635%0.000%-0 受保護(hù)的視圖 此文件源自Internet位置,可能不安至.請單壬查看詳?shù)腟息.啟用編事(E)A1廣告引導(dǎo)管理通過對接DPI底層數(shù)據(jù)，可以獲取用戶上網(wǎng)請求的 GET報(bào)文，對報(bào)文 進(jìn)行分析，在分析的同時(shí)，在請求中，添加JS代碼，置換到原有請求中的JS代 碼。新的請求會連同報(bào)文發(fā)送到客戶端，客戶端會解析執(zhí)行JS代碼，這個(gè)時(shí)候 會觸發(fā)推送平臺的后端策略控制，匹配與用戶興趣相匹配的廣告計(jì)劃，將正確的 廣告素材推送到用戶面向進(jìn)行展示。整個(gè)業(yè)務(wù)流程中，系統(tǒng)會根據(jù)配置規(guī)那么，對JS代碼會進(jìn)行策略性的添加和執(zhí) 行。系統(tǒng)提供面向用戶的黑白名單配置規(guī)那么，可以配置面向用戶推送廣告

57、的頻 率，可以根據(jù)用戶的IP與ADSL賬戶等控制對用戶的流量的引導(dǎo)。除面向用戶做策略配置外，可以針對一些特別的媒體網(wǎng)站做策略性的JS代碼 置換，譬如一些企業(yè)門戶網(wǎng)站、政府國家機(jī)關(guān)網(wǎng)站等。可以限制在這些網(wǎng)站上做 廣告的投放。廣告計(jì)劃檢索廣告選擇廣告計(jì)劃檢索，可以對廣告推送平臺中的所有的廣告計(jì)劃資源建立檢索機(jī) 制。并能時(shí)時(shí)更新。廣告計(jì)劃創(chuàng)立后，會建立各種創(chuàng)意組，形成不同的廣告執(zhí)行策略，包括廣告 投放的排期、時(shí)間段、地域、廣告狀態(tài)及展現(xiàn)的形式等。在用戶發(fā)起訪問請求， 觸發(fā)廣告投放機(jī)制時(shí)，系統(tǒng)提供的檢索機(jī)制能根據(jù)設(shè)置好的各種規(guī)那么，層層過濾。 將合適的廣告在合適的時(shí)間投放給合適的人。2.人群標(biāo)簽管理人

58、群標(biāo)簽管理支持私有人群（訪客找回）的管理，包括查詢、新建和編輯操 作。提供人群標(biāo)簽的導(dǎo)入接口，能對接外部標(biāo)簽數(shù)據(jù)。執(zhí)行廣告計(jì)劃前會啟動人 群標(biāo)簽數(shù)據(jù)的匹配機(jī)制，完成廣告投放人群策略的匹配檢索。人群列表進(jìn)入人群標(biāo)簽庫一人群列表頁面，人群列表顯示的信息包括人群名稱、年齡、 規(guī)模、熱門度、地域、偏好等。可在搜索框輸入人群名稱進(jìn)行搜索。點(diǎn)擊指定人群右側(cè)“編輯”按鈕可對該人群進(jìn)行編輯操作。新建人群在人群標(biāo)簽列表點(diǎn)擊“新建人群”或者從右側(cè)菜單人群標(biāo)簽庫一新建人群進(jìn) 入新建人群頁面，填寫人群標(biāo)簽庫名稱和人群標(biāo)簽描述，定義訪客行為：多少天 內(nèi)訪問過（或未訪問過）模糊匹配（或者完全匹配）某個(gè)url的人群，選擇“

59、或“ 或者“和”條件再點(diǎn)擊“添加另一個(gè)人群篩選條件”為人群添加多個(gè)篩選條件。 設(shè)置完成點(diǎn)擊“提交”完成私有人群的新建。人群*人群庫用途：重走向群庫名稱：|訪客行為：訪客行為：認(rèn)群庫描述：l天內(nèi)訪問過y 模糊匹配7O或Cffl添加另t人群蕊選條件提交取至內(nèi)部業(yè)務(wù)支撐推送平臺除了面向外界提供廣告推送投放服務(wù)，還可以支持運(yùn)營商內(nèi)部的業(yè) 務(wù)營銷。內(nèi)部業(yè)務(wù)支撐，主要在兩方面：1、可以為用戶提供時(shí)時(shí)的提醒服務(wù)，提升客戶的服務(wù)體驗(yàn)用戶在使用各種流量套餐包的過程中，在使用瀏覽器上網(wǎng)過程中，當(dāng)用戶剩 余流量低于閥值或?qū)⒂帽M時(shí)，推送平臺可以Toolbar,彈窗等各種形式提醒用戶?？梢耘渲玫牧髁堪扑鸵?guī)那么包括：

60、不含流量套餐用戶提醒當(dāng)客戶使用的套餐包中不包括任何流量業(yè)務(wù)優(yōu)惠包的時(shí)候，平臺會給客戶推 送各類上網(wǎng)資費(fèi)標(biāo)準(zhǔn)及套餐的信息。便于用戶直接選擇訂購。套餐使用信息提醒當(dāng)用戶在使用流量套餐的過程中，根據(jù)后臺用戶流量使用數(shù)據(jù)，平臺可以時(shí) 時(shí)推送流量消耗的各種信息，如流量剩余量、套餐流量預(yù)警、套餐使用完等。2、個(gè)性化套餐分析推送：結(jié)合用戶流量套餐使用歷史數(shù)據(jù)與當(dāng)前使用情況。 對數(shù)據(jù)展開分析統(tǒng)計(jì)，對用戶的消費(fèi)偏好做統(tǒng)計(jì)分析。在合適的時(shí)候給用戶推送 合適的套餐業(yè)務(wù)。四、產(chǎn)品配置清單1、大數(shù)據(jù)處理子平臺大數(shù)據(jù)處理子平臺產(chǎn)品配置清單如下:編號產(chǎn)品名稱產(chǎn)品描述1寬帶DPI數(shù)據(jù)采集清洗支持文件方式和數(shù)據(jù)流實(shí)時(shí)處理方 式