廣電大數(shù)據(jù)智能推薦系統(tǒng)總體設(shè)計(jì)

廣^大數(shù)據(jù)智能推薦系統(tǒng)體設(shè)計(jì)TOC\o"1-5"\h\z. 項(xiàng)目概述 3項(xiàng)目背景 3\o"CurrentDocument"建設(shè)原則 3\o"CurrentDocument". 總體需求 4.總體設(shè)計(jì) 4設(shè)計(jì)理念 4\o"CurrentDocument"設(shè)計(jì)原則 4.功能需求 5數(shù)據(jù)平臺(tái) 5\o"CurrentDocument"數(shù)據(jù)管理 6\o"CurrentDocument"流程管理/任務(wù)調(diào)度 6\o"CurrentDocument"用戶分析 6\o"CurrentDocument"內(nèi)容分析 7用戶行為分析 7\o"CurrentDocument"智能配置引擎 8\o"CurrentDocument"推送管理 8\o"CurrentDocument"個(gè)性化引擎 9\o"CurrentDocument"定向推送 9\o"CurrentDocument"管理界面 10\o"CurrentDocument"性能需求 10\o"CurrentDocument"公有云資源部署需求 10.項(xiàng)目概述項(xiàng)目背景新聞客戶端通過對(duì)電視、報(bào)紙、網(wǎng)站、社交媒體等多媒體形態(tài)內(nèi)容的整合，以"快速、貼近、個(gè)性”為定位，以電臺(tái)云平臺(tái)為依托，通過優(yōu)質(zhì)的內(nèi)容規(guī)劃、快速的本地資訊、真實(shí)的新聞現(xiàn)場(chǎng)、實(shí)用的維權(quán)服務(wù)以及簡(jiǎn)潔的設(shè)計(jì)和良好的用戶體驗(yàn)，讓用戶通過"新聞”能夠在縱覽全國(guó)全世界資訊的同時(shí)，精確定位，關(guān)注身邊事。新聞在為用戶提供圖文資訊與視聽新聞的基礎(chǔ)上，著力于“融合創(chuàng)新"，進(jìn)一步推動(dòng)深度融合、臺(tái)網(wǎng)一體化運(yùn)作，開發(fā)一系列符合互聯(lián)網(wǎng)傳播特征、利于用戶互動(dòng)的產(chǎn)品組合，帶動(dòng)新聞生產(chǎn)由電視媒介為主向多媒體平臺(tái)的變革，建成統(tǒng)一的新聞采集、聚合、分發(fā)、推薦平臺(tái)，使新聞成為新媒體領(lǐng)域具備強(qiáng)大輿論引導(dǎo)力和話語(yǔ)權(quán)的一流主流媒體。大數(shù)據(jù)智能推薦系統(tǒng)的建成，使得新聞不僅是內(nèi)容的集合者，發(fā)布者，更是用戶互動(dòng)通道的創(chuàng)造者。智能推薦系統(tǒng)建成后，新聞與云平臺(tái)彼此高度融合，全方位覆蓋用戶的各類使用場(chǎng)景，能夠結(jié)合新聞特征實(shí)現(xiàn)智能分發(fā)，實(shí)時(shí)推薦。將更多最新最熱的資訊提供給讀者。建設(shè)原則大數(shù)據(jù)智能推薦系統(tǒng)建設(shè)以“高效率、高協(xié)同、高管控"為原則充分體現(xiàn)“科學(xué)發(fā)展”和“以人為本"思想，注重系統(tǒng)的科學(xué)性、設(shè)備的先進(jìn)性、流程的合理性、功能的實(shí)用性、使用的可靠性、維護(hù)的方便性、接口的開放性。高效率：大數(shù)據(jù)智能推薦系統(tǒng)的建設(shè)，要以提高融合媒體的制作效率為目標(biāo)。開放性：各個(gè)服務(wù)模塊要符合云平臺(tái)標(biāo)準(zhǔn)接口規(guī)范，可互相調(diào)用。易用性：系統(tǒng)的推薦算法要不斷適應(yīng)需求變化，通過快速迭代的方式加以完善。可擴(kuò)充性：通過云平臺(tái)架構(gòu)提供充分的彈性擴(kuò)展能力，滿足新聞面向媒體融合、事業(yè)發(fā)展、產(chǎn)業(yè)運(yùn)營(yíng)及技術(shù)發(fā)展的需求。可管理性：可采用多種手段實(shí)現(xiàn)設(shè)備管理、故障管理、流程監(jiān)控等，能夠?qū)φ麄€(gè)平臺(tái)進(jìn)行全面和完善的管理。安全可靠：平臺(tái)采用可靠的結(jié)構(gòu)、性能穩(wěn)定的設(shè)備、完善的安全管理和防護(hù)手段及冗余備份措施，符合國(guó)家信息安全等保要求。.總體需求1）本項(xiàng)目為新聞提供多種算法推薦、基于用戶行為、社交關(guān)系、內(nèi)容、標(biāo)簽、熱度、地理位置等的內(nèi)容推薦系統(tǒng)；支持內(nèi)容和廣告的智能推薦；具備和網(wǎng)站、移動(dòng)App、OTT快速交互能力。*具備豐富的互聯(lián)網(wǎng)用戶數(shù)據(jù)，結(jié)合臺(tái)內(nèi)云平臺(tái)用戶數(shù)據(jù)，整合用戶關(guān)注信息，進(jìn)行精準(zhǔn)化推薦和定向推送；通過與推送子系統(tǒng)的整合為用戶提供個(gè)性化資訊內(nèi)容推送服務(wù)，以提高用戶使用的黏性。3）建設(shè)智能學(xué)習(xí)分析模塊，通過智能化系統(tǒng)學(xué)習(xí)分析，挖掘新聞內(nèi)容的內(nèi)在關(guān)聯(lián)屬性，建立智能學(xué)習(xí)算法，為新聞"融合創(chuàng)新”提供有效的基礎(chǔ)。4）推薦系統(tǒng)應(yīng)用和服務(wù)的建立均依托于云三層架構(gòu)、應(yīng)遵循云相關(guān)接口定義規(guī)范，并提供標(biāo)準(zhǔn)化API接口服務(wù)方案，可調(diào)用現(xiàn)有工具集，并為各類融合媒體業(yè)務(wù)提供能力服務(wù)。.總體設(shè)計(jì)設(shè)計(jì)理念支撐層要建設(shè)數(shù)據(jù)支撐平臺(tái)、通用計(jì)算支撐平臺(tái)，根據(jù)業(yè)務(wù)需要實(shí)現(xiàn)數(shù)據(jù)的離線、在線計(jì)算分析。數(shù)據(jù)層實(shí)現(xiàn)數(shù)據(jù)的導(dǎo)入（支持周邊系統(tǒng)導(dǎo)入結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)）、清洗、管理。功能層對(duì)推送內(nèi)容進(jìn)行管理，進(jìn)行任務(wù)流程的調(diào)度；對(duì)數(shù)據(jù)從用戶、內(nèi)容、行為維度進(jìn)行分析；通過規(guī)則的配置，利用智能引擎得到智能推薦的結(jié)果。服務(wù)層利用服務(wù)接口為內(nèi)部系統(tǒng)間提供智能推薦結(jié)果的服務(wù)利用個(gè)性化引擎收集用戶個(gè)性化數(shù)據(jù)，同時(shí)提供針對(duì)用戶的個(gè)性化推薦接口；結(jié)合智能推薦的結(jié)果，利用推送系統(tǒng)將內(nèi)容定向推送給目標(biāo)用戶；管理門戶將提供管理人員統(tǒng)一的維護(hù)管理功能。設(shè)計(jì)原則全局性系統(tǒng)建設(shè)從全局出發(fā)，綜合考慮平臺(tái)建設(shè)的階段性，做好總體設(shè)計(jì)與功能擴(kuò)展規(guī)劃，適應(yīng)廣電云平臺(tái)分步建設(shè)實(shí)施的過程。標(biāo)準(zhǔn)化平臺(tái)建設(shè)應(yīng)盡可能采用標(biāo)準(zhǔn)技術(shù)與協(xié)議，形成標(biāo)準(zhǔn)開放接口，對(duì)外提供可開發(fā)環(huán)境，并能夠與第三方廠商保持良好的對(duì)接。高安全云平臺(tái)一方面要求系統(tǒng)的安全可靠，無(wú)論是公用云平臺(tái)、私有云平臺(tái)、網(wǎng)絡(luò)交互、鏈路安全、冗余備份等，要求達(dá)到99.999%的電信級(jí)可靠性；另一方面，要求采用多種技術(shù)手段，確保訪問安全、業(yè)務(wù)安全、數(shù)據(jù)安全。保證用戶信息不能泄露。高性能云平臺(tái)要能夠提供優(yōu)秀的網(wǎng)絡(luò)性能、計(jì)算性能、存儲(chǔ)能力、流程引擎、服務(wù)能力，為業(yè)務(wù)提供優(yōu)良的性能支持?？蓴U(kuò)展具有良好擴(kuò)展性與可伸縮性，可以按需提供資源服務(wù)支撐，部署服務(wù)器虛機(jī)資源、存儲(chǔ)資源等；使得能力可以不斷擴(kuò)展，可以不斷通過新業(yè)務(wù)上線，使業(yè)務(wù)功能不斷擴(kuò)展。易用性要求平臺(tái)具備良好的易用性，用戶界面的友好，使用方便快捷，面向軟件的性能及用戶需求變化，具備不斷優(yōu)化快速迭代更新的能力。.功能需求數(shù)據(jù)平臺(tái)?建設(shè)分布式數(shù)據(jù)平臺(tái)，用于大規(guī)模數(shù)據(jù)分析、處理和存儲(chǔ)。?建設(shè)管理數(shù)據(jù)管理平臺(tái)。?建設(shè)對(duì)外提供高速訪問的個(gè)性化數(shù)據(jù)平臺(tái)。數(shù)據(jù)管理提供外部互聯(lián)網(wǎng)用戶數(shù)據(jù)與新聞相關(guān)的用戶數(shù)據(jù)、內(nèi)容數(shù)據(jù)和行為數(shù)據(jù)集成功能模塊。提供支持結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)的導(dǎo)入功能。根據(jù)業(yè)務(wù)需求，提供以抓取方式實(shí)時(shí)流式導(dǎo)入和批量導(dǎo)入功能。支持?jǐn)?shù)據(jù)的一致性檢查，以保證數(shù)據(jù)的完整性。根據(jù)業(yè)務(wù)需求將抓取的數(shù)據(jù)進(jìn)行過濾、去重、提取、轉(zhuǎn)換。支持外部數(shù)據(jù)標(biāo)準(zhǔn)化轉(zhuǎn)換，存儲(chǔ)入分布式數(shù)據(jù)庫(kù)。提供對(duì)于數(shù)據(jù)平臺(tái)中的數(shù)據(jù)瀏覽，統(tǒng)計(jì)，導(dǎo)入導(dǎo)出，刪除，備份等管理功能。流程管理/任務(wù)調(diào)度在數(shù)據(jù)平臺(tái)上進(jìn)行分析的工作需要支撐數(shù)據(jù)導(dǎo)入/數(shù)據(jù)清洗任務(wù)、分布式處理任務(wù)、數(shù)據(jù)挖掘任務(wù)、數(shù)據(jù)查詢?nèi)蝿?wù)、數(shù)據(jù)輸出等任務(wù)。任務(wù)調(diào)度管理模塊要提供統(tǒng)一的規(guī)劃、集中管理和按周期調(diào)度，建立全局任務(wù)之間必要的依賴關(guān)系。實(shí)現(xiàn)任務(wù)執(zhí)行的監(jiān)控，使得整個(gè)平臺(tái)運(yùn)行更加直觀、可控和穩(wěn)健。提供任務(wù)定義功能。提供靈活的流程配置功能。支持多個(gè)應(yīng)用分析程序的多級(jí)依賴。?支持定時(shí)、手動(dòng)、立即、條件等多種程序調(diào)度方式，可根據(jù)應(yīng)用程序的需求進(jìn)行靈活選擇。用戶分析根據(jù)用戶信息、用戶社交信息、用戶互動(dòng)信息、用戶地理位置信息以及用戶行為信息進(jìn)行挖掘和分析，得出對(duì)用戶的新聞閱讀有意義的用戶標(biāo)簽。提供訓(xùn)練并維護(hù)相應(yīng)標(biāo)簽的處理模型，并依據(jù)這些模型處理用戶相關(guān)數(shù)據(jù)，得到用戶標(biāo)簽。提供用戶的靜態(tài)標(biāo)簽，主要包括年齡、性別、職業(yè)、家庭等。提供數(shù)據(jù)與標(biāo)簽的自動(dòng)匹配功能。提供用戶的動(dòng)態(tài)標(biāo)簽，主要包括興趣標(biāo)簽、瀏覽習(xí)慣標(biāo)簽、用戶質(zhì)量標(biāo)簽等。支持用戶的新聞閱讀行為的長(zhǎng)期與短期體系的區(qū)分。內(nèi)容分析根據(jù)新聞的元數(shù)據(jù)、內(nèi)容以及與內(nèi)容相關(guān)的行為綜合進(jìn)行分析。提供不同的語(yǔ)義處理模型的訓(xùn)練功能，對(duì)新聞進(jìn)行自動(dòng)處理，形成新聞的類型、標(biāo)簽、主題等新聞要素。提供新聞的相關(guān)行為的分析，得出指定新聞在特定時(shí)間和特定地域的流行度。提供新聞及當(dāng)期網(wǎng)絡(luò)上新聞的分析，形成新聞的流行性模型，并通過該模型自動(dòng)發(fā)現(xiàn)當(dāng)前特定領(lǐng)域熱門話題。提供對(duì)新聞文本及其元數(shù)據(jù)的多維度分析，得出新聞之間的關(guān)聯(lián)性和相似性。提供新聞自動(dòng)分類功能。提供新聞關(guān)鍵詞提取功能。提供新聞標(biāo)簽挖掘功能，包括人物標(biāo)簽、地域標(biāo)簽、常用機(jī)構(gòu)標(biāo)簽等。提供新聞熱點(diǎn)話題的識(shí)別及分析功能。提供新聞的熱點(diǎn)追蹤功能。提供新聞的相關(guān)性推薦功能。用戶行為分析*對(duì)用戶使用新聞客戶端的行為進(jìn)行分析，包括用戶的使用行為、瀏覽行為、播放行為、互動(dòng)行為、地理位置等。提供實(shí)時(shí)匯總內(nèi)容的排行功能。7提供典型用戶群體的使用習(xí)慣分析幫助優(yōu)化新聞導(dǎo)航架構(gòu)和新聞發(fā)布策略以便有針對(duì)性的優(yōu)化用戶體驗(yàn)。提供用戶對(duì)內(nèi)容的偏好分析。?提供新聞的流行度分析。智能配置弓I擎提供數(shù)據(jù)處理規(guī)則的編輯、管理功能。針對(duì)不同的分析內(nèi)容，面向數(shù)據(jù)處理訓(xùn)練可以配置不同的算法。提供算法的參數(shù)配置功能。提供多類別的推薦新聞列表。針對(duì)不同類別的推薦新聞列表提供配置權(quán)重的功能靈活控制推薦新聞列表內(nèi)容。經(jīng)過數(shù)據(jù)規(guī)則、算法配置和結(jié)構(gòu)配置后的推薦數(shù)據(jù)需要完成存儲(chǔ)。推薦結(jié)果要以合理有效的方式組織，并且提供接口供后續(xù)服務(wù)模塊調(diào)用。提供根據(jù)用戶瀏覽推薦內(nèi)容的反饋行為，評(píng)估推薦效果，方便調(diào)整推薦規(guī)則。推送管理?提供推送應(yīng)用管理，針對(duì)多客戶端多系統(tǒng)平臺(tái)進(jìn)行應(yīng)用的注冊(cè)、接入。提供針對(duì)不同的移動(dòng)平臺(tái)進(jìn)行推送屬性的配置。提供推送設(shè)備管理，實(shí)現(xiàn)消息推送目標(biāo)和數(shù)據(jù)統(tǒng)計(jì)平臺(tái)的關(guān)聯(lián)。提供推送記錄管理，按照條件檢索推送記錄，并可對(duì)檢索結(jié)果進(jìn)行操作，如編輯、刪除、詳情等。提供消息管理，可編輯維護(hù)通知、消息、富媒體類型的消息。提供多種展示方式的消息推送。提供針對(duì)推送目標(biāo)的單播、組播、廣播的模式。提供推送范圍的選擇。提供推送時(shí)間可的選擇，立刻推送、定時(shí)推送等。提供推送定時(shí)管理。8提供推送標(biāo)簽群組管理。提供對(duì)用戶標(biāo)簽組進(jìn)行管理。提供推送統(tǒng)計(jì)管理，如到達(dá)數(shù)、推送數(shù)、刪除數(shù)、跳轉(zhuǎn)率等。提供消息審核管理。提供終端推送的SDK封裝，可繼承到多個(gè)終端。個(gè)性化引擎提供終端推送的SDK封裝，可繼承到多個(gè)終端。個(gè)性化引擎，即封裝各類推薦和搜索接口，提供高并發(fā)、高可用的數(shù)據(jù)訪問，返回適應(yīng)用戶個(gè)性化需求的內(nèi)容列表。提供欄目訂閱功能。提供主題訂閱功能。提供標(biāo)簽訂閱功能。提供為您推薦功能。提供用戶個(gè)人訂閱信息記錄管功能。提供標(biāo)簽管理功能。提供主題管理功能。提供基于內(nèi)容、用戶、行為的用戶個(gè)性化推薦新聞內(nèi)容的數(shù)據(jù)。提供高并發(fā)高可用的數(shù)據(jù)訪問。定向推送提供iOS、Android消息推送功能。支持平衡負(fù)載器，可針對(duì)于應(yīng)用的具體策略進(jìn)行分發(fā)平衡負(fù)載。提供失敗消息重發(fā)機(jī)制。提供離線消息機(jī)制。提供消息優(yōu)先級(jí)機(jī)制。9支持消息定向、定時(shí)、分類推送。提供消息反饋機(jī)制。提供斷網(wǎng)重連機(jī)制。提供智能心跳功能，保證長(zhǎng)連接的有效性。提供進(jìn)程看護(hù)功能，保證長(zhǎng)連接鏈路的穩(wěn)定性。提供運(yùn)營(yíng)管理