系統(tǒng)架構(gòu)設(shè)計

1、；技術(shù)架構(gòu)技術(shù)架構(gòu)總覽業(yè)務框架技術(shù)方案運營監(jiān)控治理安全防范接入層流量切換Https接入前后臺分離動靜分離預處理業(yè)務量監(jiān)控接口層服務網(wǎng)關(guān)，路由分發(fā)黑白名單業(yè)務鏈微服務/組件MQAPI SLA灰度訂單服務層Oauth認證產(chǎn)品異步/離線MapReduce日志收集隔離/降級Hystrix熔斷資源SSOAI調(diào)用棧供應商安全巡檢DB水平擴充/HDFS服務器狀況身份認證讀寫分離數(shù)據(jù)層動態(tài)規(guī)劃數(shù)據(jù)存儲IP限制分布式緩存NoSQL網(wǎng)絡(luò)狀況.技術(shù)方案前臺技術(shù)架構(gòu)根據(jù)用戶設(shè)備及瀏覽器尺寸路由PCPADMobile其它智能設(shè)備頁面自適應、最小寬度頁面自適應頁面自適應element-ui + vuejs + Echar

2、tsvuejs + muijsvuejs + muijs金豆云CMS配置編譯發(fā)布自自系統(tǒng)構(gòu)建：Webpack , Gulp基礎(chǔ)組件庫定定義義JSCSSResourceHtml5組樣件式*.js，*.vue*.sass，*.cssFont，ImgFont，Img基礎(chǔ)樣式庫技術(shù)方案微服務架構(gòu)結(jié)合現(xiàn)實情況，平臺服務計劃分二個階段完成，先完成服務化，后續(xù)在服務化的基礎(chǔ)上重構(gòu)成微服務第一步：服務化第二步：微服務Load Balancer服務注冊中心 zookeeper服務監(jiān)控基礎(chǔ)服務框架服務提供者服務提供者服務提供者spring bootWebServerWebServer業(yè)務代碼業(yè)務代碼業(yè)務代碼報警分

3、布式RPC服務框架dubbo異構(gòu)服務提供者服務提供者服務提供者實時數(shù)據(jù)語言服務注冊中心監(jiān)控Proxy業(yè)務代碼業(yè)務代碼業(yè)務代碼zookeeper集群暫停用戶訂單商品服務發(fā)布容器服務提供者服務提供者服務提供者恢復服務服務服務docker下線業(yè)務代碼業(yè)務代碼業(yè)務代碼持續(xù)集成工具服務治理jenkins用戶訂單商品服務依賴調(diào)用鏈路服務流量性能瓶頸SLA分析歷史信息關(guān)系分析追蹤控制分析統(tǒng)計DBDBDBDB技術(shù)方案動靜分離 - CDN 靜態(tài)資源訪問加速靜態(tài)資源文件（html，css，js，img等） 靜態(tài)數(shù)據(jù)返回業(yè)務靜態(tài)圖片用戶 用戶動態(tài)動態(tài)數(shù)據(jù)用戶靜態(tài)請求數(shù)據(jù)結(jié)果返回數(shù)據(jù)請求回源請求抓取數(shù)據(jù)靜態(tài)腳本附件W

4、eb程序數(shù)據(jù)庫內(nèi)網(wǎng)訪問，圖片視頻音頻數(shù)據(jù)更新維護ECS（服務器）OSS（云存儲服務） 智能壓縮對靜態(tài)資源進行壓縮，減少傳輸大小，加速分發(fā)效果 可視化監(jiān)控可通過視化監(jiān)控管理，查看監(jiān)控日志和統(tǒng)計分析制定合適的緩存策略，并可通過從源站刷新緩存等手段主動維護高訪問資源的緩存技術(shù)方案負載均衡 + 彈性擴展 流量調(diào)度多臺云服務器自動進行流量分發(fā)，獲得更高水平的容錯性能 擴展性支持云服務器動態(tài)擴展，實現(xiàn)無縫伸縮，伸縮過程不用更換任何設(shè)備，對相關(guān)調(diào)用和訪問者零影響 安全四層DDoS攻擊防護，支持應用防火墻和CC防護，提供防護統(tǒng)計頁面，實時抵御網(wǎng)絡(luò)攻擊前期方案云服務器ECS負載均衡云服務器ECS后期根據(jù)業(yè)務擴展

5、增強負載均衡云服務器ECS云服務器ECS負載均衡云服務器ECS云服務器ECS技術(shù)方案消息系統(tǒng)消息隊列采用阿里云MQ消息發(fā)送/發(fā)布方消息接收/訂閱方TCPUDP HTTP SOAP 消息接收器消息發(fā)送器消息持久消息狀態(tài)流入路由器流出路由器元數(shù)據(jù)攔截器消息內(nèi)部服務攔截器轉(zhuǎn)換器組件調(diào)用事務管理故障恢復組件容器技術(shù)方案推薦引擎基于阿里云的RecEng（推薦引擎）和MaxCompute（大數(shù)據(jù)計算服務）搭建金豆云推薦引擎，實現(xiàn)千人千面基本推薦流程客戶接入數(shù)據(jù)特征提取計算用戶/物品評分用戶/物品用戶/物品的原始特征評分矩陣用戶/物品用戶/物品關(guān)系計算的耦合特征相關(guān)性計算+鄰近計算用戶的候選推薦集/物品相似

6、物品集推薦建模流程客戶效果數(shù)推薦請求API據(jù)OTS物品實模型樣本時修正表推薦處理線OTS離線計程算結(jié)果表基于業(yè)務目標OTS用戶實的監(jiān)督學習時修正表針對業(yè)務目標的API返回Ranking ModelOTS離線計算結(jié)果表離線計算在線計算技術(shù)方案用戶認證 SSO + OAuth2內(nèi)部系統(tǒng)內(nèi)部系統(tǒng)采單點登陸方式進行管理供應系統(tǒng)資源系統(tǒng)人脈系統(tǒng)微店系統(tǒng)金豆云認證系統(tǒng)用戶信息外部系統(tǒng)外部系統(tǒng)連接主要分為2種方式：1. 通過ROP平臺實現(xiàn)數(shù)據(jù)交互2. 金豆云提供OAuth2認證機制給第三方，實現(xiàn)頁面與數(shù)據(jù)的交互Request User Url跳轉(zhuǎn)用戶授權(quán)生成Auth Code請求Access TokenRe

7、quest Access Url生成Access Token請求用戶OpenIDRequest Info Url生成OpenID獲取用戶資源通過token、openId及API技術(shù)方案分析平臺JSONEcharts | CuBIREST API報表Spring，SpringMVC，JMS，Sqoop事件監(jiān)聽定時任務數(shù)據(jù)導入SparkAPI接口數(shù)據(jù)分析數(shù)據(jù)融合MQ消息隊列HBaseHadoop HDFS 分析平臺基于業(yè)務數(shù)據(jù)進行數(shù)據(jù)映射與融合 整體架構(gòu)基于大數(shù)據(jù)分析框架設(shè)計，并通過模塊化設(shè)計進行內(nèi)部解耦，將數(shù)據(jù)收集，導入及分析功能圍繞分析模型系統(tǒng)處理 業(yè)務數(shù)據(jù)收集工作通過異步消息及定時導入方式實

8、現(xiàn) 底層技術(shù)實現(xiàn) 前端主要提供REST API供產(chǎn)品平臺進行數(shù)據(jù)獲取。同時采用Echarts或CuBI進行報表展現(xiàn) 中臺服務邏輯層使用Spring，SpringMVC作為應用構(gòu)建及對外接口發(fā)布，配合MQ隊列機制處理異步消息。Spark作為核心數(shù)據(jù)處理引擎，進行MapReduce處理 持久層主要采用HBase進行大數(shù)據(jù)存儲，同時使用Hadoop HDFS支持分布式存儲技術(shù)方案數(shù)據(jù)庫設(shè)計原則1統(tǒng)一數(shù)據(jù)視圖保證數(shù)據(jù)的及時性、一致 性、準確性、完整性2數(shù)據(jù)應用分離應用系統(tǒng)只依賴邏輯數(shù)據(jù)庫應用系統(tǒng)不直接訪問其它宿 主的數(shù)據(jù)庫，只能通過服務 訪問3數(shù)據(jù)讀寫分離訪問量大的數(shù)據(jù)庫做讀寫分離數(shù)據(jù)量大的數(shù)據(jù)庫做分

9、庫分表不同業(yè)務域數(shù)據(jù)庫做分區(qū)隔離重要數(shù)據(jù)配置備庫；MongoMongo業(yè)務DBDB業(yè)務MasterSlave數(shù)據(jù)庫數(shù)據(jù)庫(Master)(Slave)報表數(shù)據(jù)RedisRedisMasterSlave庫HBaseHadoop HDFSDocDocDoc合理使用緩存產(chǎn)品平臺數(shù)據(jù)庫設(shè)計方案采用二級緩存機制4 一級緩存使用Redis副本集，對頻繁訪問數(shù)據(jù)進行緩存。同時圍繞Redis單線程機制，針對大量并發(fā)場景設(shè)計了同一用戶的并發(fā)鎖策略。 二級緩存使用MongoDB副本集，對結(jié)構(gòu)化數(shù)據(jù)及頻繁更新數(shù)據(jù)進行文檔化數(shù)據(jù)存儲業(yè)務數(shù)據(jù)庫使用MySQL集群方案分析平臺基于大數(shù)據(jù)架構(gòu)設(shè)計方案，數(shù)據(jù)庫使用區(qū)域HBas

10、e部署策略，同時采用Hadoop HDFS進行分布式文件存儲技術(shù)架構(gòu) 運營監(jiān)控流量控制水平 擴展應用：集群，無狀態(tài)，提高訪問量數(shù)據(jù)：讀寫分離，提高性能業(yè)務分區(qū)應用：按業(yè)務域劃分成不同子系統(tǒng)數(shù)據(jù)：數(shù)據(jù)分區(qū)1. 分流分片應用：不同業(yè)務類型分片數(shù)據(jù)：分庫分表，提高數(shù)據(jù)容量動靜分離應用：分層，功能與非功能分開數(shù)據(jù)：冷熱數(shù)據(jù)分離無法緩解大流量頁面降級1.動態(tài)頁面降級到靜態(tài)2.整體降級到其他頁面Nginx前端限制3.頁面部分內(nèi)容業(yè)務功能降級舍棄一些非關(guān)鍵業(yè)務，應用系統(tǒng)限流2. 降級如購物車庫存狀態(tài)3. 限流客戶端限流應用系統(tǒng)降級降級一些下游系統(tǒng)，無法緩解如一次拆分暫停服務端限流大流量數(shù)據(jù)降級遠程服務降機到

11、本數(shù)據(jù)庫限流地緩存技術(shù)架構(gòu) 運營監(jiān)控SLA數(shù)據(jù)持久性數(shù)據(jù)可銷毀性不低于99.9999999%數(shù)據(jù)無法恢復數(shù)據(jù)可遷移性數(shù)據(jù)私密性遷入遷出網(wǎng)絡(luò)層訪問控制技術(shù)實現(xiàn)對不同用戶資源的隔離服務可用性數(shù)據(jù)知情權(quán)不低于99.95%對于數(shù)據(jù)、備份數(shù)據(jù)所在數(shù)據(jù)中心地理位置、數(shù)據(jù)備份數(shù)量具有知情權(quán)故障恢復能力服務資源調(diào)配能力7×24小時的運行維護用戶可在10分鐘內(nèi)啟用或釋放100臺云服務器，或在5分鐘內(nèi)完成停機升級CPU和內(nèi)存，并支網(wǎng)絡(luò)接入性能持在線實時升級公網(wǎng)帶寬多線接入，0Mbps200Mbps服務提供方SLA服務消費方技術(shù)架構(gòu) 治理灰度發(fā)布老系統(tǒng)老系統(tǒng)DB部分請求到舊系統(tǒng)上，另一部分請求到了新的灰度系統(tǒng)上走到Client轉(zhuǎn)發(fā)舊系統(tǒng)的請求，還是照原樣處理走到了新版灰度系統(tǒng)的請求，需要同時將請求轉(zhuǎn)發(fā)給舊系統(tǒng)上來對應的接口上修改舊系統(tǒng)的數(shù)據(jù)如果走到新系統(tǒng)的請求查不到該用戶的數(shù)據(jù)，還需要首先同步一份來新系統(tǒng)上新系統(tǒng)新系統(tǒng)DBClient請求首先走到了新版本需要灰度的服務上，在經(jīng)過該服務處理后，給請求打上了tag，由于帶上了tag，后續(xù)訪問的都是配套灰度的A服務新版A服務服務Tag AB服務B服務Tag AC服務新版C服務技術(shù)架構(gòu) 安全安全策略1Https接入數(shù)據(jù)傳輸入過來加密，防止傳輸過程中數(shù)據(jù)被篡改、安全級別更高2黑白名單設(shè)置黑名單，使