系統(tǒng)架構(gòu)設(shè)計(jì)

1、；技術(shù)架構(gòu)技術(shù)架構(gòu)總覽業(yè)務(wù)框架技術(shù)方案運(yùn)營(yíng)監(jiān)控治理安全防范接入層流量切換Https接入前后臺(tái)分離動(dòng)靜分離預(yù)處理業(yè)務(wù)量監(jiān)控接口層服務(wù)網(wǎng)關(guān)，路由分發(fā)黑白名單業(yè)務(wù)鏈微服務(wù)/組件MQAPI SLA灰度訂單服務(wù)層Oauth認(rèn)證產(chǎn)品異步/離線MapReduce日志收集隔離/降級(jí)Hystrix熔斷資源SSOAI調(diào)用棧供應(yīng)商安全巡檢DB水平擴(kuò)充/HDFS服務(wù)器狀況身份認(rèn)證讀寫分離數(shù)據(jù)層動(dòng)態(tài)規(guī)劃數(shù)據(jù)存儲(chǔ)IP限制分布式緩存NoSQL網(wǎng)絡(luò)狀況.技術(shù)方案前臺(tái)技術(shù)架構(gòu)根據(jù)用戶設(shè)備及瀏覽器尺寸路由PCPADMobile其它智能設(shè)備頁(yè)面自適應(yīng)、最小寬度頁(yè)面自適應(yīng)頁(yè)面自適應(yīng)element-ui + vuejs + Echar

2、tsvuejs + muijsvuejs + muijs金豆云CMS配置編譯發(fā)布自自系統(tǒng)構(gòu)建：Webpack , Gulp基礎(chǔ)組件庫(kù)定定義義JSCSSResourceHtml5組樣件式*.js，*.vue*.sass，*.cssFont，ImgFont，Img基礎(chǔ)樣式庫(kù)技術(shù)方案微服務(wù)架構(gòu)結(jié)合現(xiàn)實(shí)情況，平臺(tái)服務(wù)計(jì)劃分二個(gè)階段完成，先完成服務(wù)化，后續(xù)在服務(wù)化的基礎(chǔ)上重構(gòu)成微服務(wù)第一步：服務(wù)化第二步：微服務(wù)Load Balancer服務(wù)注冊(cè)中心 zookeeper服務(wù)監(jiān)控基礎(chǔ)服務(wù)框架服務(wù)提供者服務(wù)提供者服務(wù)提供者spring bootWebServerWebServer業(yè)務(wù)代碼業(yè)務(wù)代碼業(yè)務(wù)代碼報(bào)警分

3、布式RPC服務(wù)框架dubbo異構(gòu)服務(wù)提供者服務(wù)提供者服務(wù)提供者實(shí)時(shí)數(shù)據(jù)語(yǔ)言服務(wù)注冊(cè)中心監(jiān)控Proxy業(yè)務(wù)代碼業(yè)務(wù)代碼業(yè)務(wù)代碼zookeeper集群暫停用戶訂單商品服務(wù)發(fā)布容器服務(wù)提供者服務(wù)提供者服務(wù)提供者恢復(fù)服務(wù)服務(wù)服務(wù)docker下線業(yè)務(wù)代碼業(yè)務(wù)代碼業(yè)務(wù)代碼持續(xù)集成工具服務(wù)治理jenkins用戶訂單商品服務(wù)依賴調(diào)用鏈路服務(wù)流量性能瓶頸SLA分析歷史信息關(guān)系分析追蹤控制分析統(tǒng)計(jì)DBDBDBDB技術(shù)方案動(dòng)靜分離 - CDN 靜態(tài)資源訪問(wèn)加速靜態(tài)資源文件（html，css，js，img等） 靜態(tài)數(shù)據(jù)返回業(yè)務(wù)靜態(tài)圖片用戶 用戶動(dòng)態(tài)動(dòng)態(tài)數(shù)據(jù)用戶靜態(tài)請(qǐng)求數(shù)據(jù)結(jié)果返回?cái)?shù)據(jù)請(qǐng)求回源請(qǐng)求抓取數(shù)據(jù)靜態(tài)腳本附件W

4、eb程序數(shù)據(jù)庫(kù)內(nèi)網(wǎng)訪問(wèn)，圖片視頻音頻數(shù)據(jù)更新維護(hù)ECS（服務(wù)器）OSS（云存儲(chǔ)服務(wù)） 智能壓縮對(duì)靜態(tài)資源進(jìn)行壓縮，減少傳輸大小，加速分發(fā)效果 可視化監(jiān)控可通過(guò)視化監(jiān)控管理，查看監(jiān)控日志和統(tǒng)計(jì)分析制定合適的緩存策略，并可通過(guò)從源站刷新緩存等手段主動(dòng)維護(hù)高訪問(wèn)資源的緩存技術(shù)方案負(fù)載均衡 + 彈性擴(kuò)展 流量調(diào)度多臺(tái)云服務(wù)器自動(dòng)進(jìn)行流量分發(fā)，獲得更高水平的容錯(cuò)性能 擴(kuò)展性支持云服務(wù)器動(dòng)態(tài)擴(kuò)展，實(shí)現(xiàn)無(wú)縫伸縮，伸縮過(guò)程不用更換任何設(shè)備，對(duì)相關(guān)調(diào)用和訪問(wèn)者零影響 安全四層DDoS攻擊防護(hù)，支持應(yīng)用防火墻和CC防護(hù)，提供防護(hù)統(tǒng)計(jì)頁(yè)面，實(shí)時(shí)抵御網(wǎng)絡(luò)攻擊前期方案云服務(wù)器ECS負(fù)載均衡云服務(wù)器ECS后期根據(jù)業(yè)務(wù)擴(kuò)展

5、增強(qiáng)負(fù)載均衡云服務(wù)器ECS云服務(wù)器ECS負(fù)載均衡云服務(wù)器ECS云服務(wù)器ECS技術(shù)方案消息系統(tǒng)消息隊(duì)列采用阿里云MQ消息發(fā)送/發(fā)布方消息接收/訂閱方TCPUDP HTTP SOAP 消息接收器消息發(fā)送器消息持久消息狀態(tài)流入路由器流出路由器元數(shù)據(jù)攔截器消息內(nèi)部服務(wù)攔截器轉(zhuǎn)換器組件調(diào)用事務(wù)管理故障恢復(fù)組件容器技術(shù)方案推薦引擎基于阿里云的RecEng（推薦引擎）和MaxCompute（大數(shù)據(jù)計(jì)算服務(wù)）搭建金豆云推薦引擎，實(shí)現(xiàn)千人千面基本推薦流程客戶接入數(shù)據(jù)特征提取計(jì)算用戶/物品評(píng)分用戶/物品用戶/物品的原始特征評(píng)分矩陣用戶/物品用戶/物品關(guān)系計(jì)算的耦合特征相關(guān)性計(jì)算+鄰近計(jì)算用戶的候選推薦集/物品相似

6、物品集推薦建模流程客戶效果數(shù)推薦請(qǐng)求API據(jù)OTS物品實(shí)模型樣本時(shí)修正表推薦處理線OTS離線計(jì)程算結(jié)果表基于業(yè)務(wù)目標(biāo)OTS用戶實(shí)的監(jiān)督學(xué)習(xí)時(shí)修正表針對(duì)業(yè)務(wù)目標(biāo)的API返回Ranking ModelOTS離線計(jì)算結(jié)果表離線計(jì)算在線計(jì)算技術(shù)方案用戶認(rèn)證 SSO + OAuth2內(nèi)部系統(tǒng)內(nèi)部系統(tǒng)采單點(diǎn)登陸方式進(jìn)行管理供應(yīng)系統(tǒng)資源系統(tǒng)人脈系統(tǒng)微店系統(tǒng)金豆云認(rèn)證系統(tǒng)用戶信息外部系統(tǒng)外部系統(tǒng)連接主要分為2種方式：1. 通過(guò)ROP平臺(tái)實(shí)現(xiàn)數(shù)據(jù)交互2. 金豆云提供OAuth2認(rèn)證機(jī)制給第三方，實(shí)現(xiàn)頁(yè)面與數(shù)據(jù)的交互Request User Url跳轉(zhuǎn)用戶授權(quán)生成Auth Code請(qǐng)求Access TokenRe

7、quest Access Url生成Access Token請(qǐng)求用戶OpenIDRequest Info Url生成OpenID獲取用戶資源通過(guò)token、openId及API技術(shù)方案分析平臺(tái)JSONEcharts | CuBIREST API報(bào)表Spring，SpringMVC，JMS，Sqoop事件監(jiān)聽(tīng)定時(shí)任務(wù)數(shù)據(jù)導(dǎo)入SparkAPI接口數(shù)據(jù)分析數(shù)據(jù)融合MQ消息隊(duì)列HBaseHadoop HDFS 分析平臺(tái)基于業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)映射與融合 整體架構(gòu)基于大數(shù)據(jù)分析框架設(shè)計(jì)，并通過(guò)模塊化設(shè)計(jì)進(jìn)行內(nèi)部解耦，將數(shù)據(jù)收集，導(dǎo)入及分析功能圍繞分析模型系統(tǒng)處理 業(yè)務(wù)數(shù)據(jù)收集工作通過(guò)異步消息及定時(shí)導(dǎo)入方式實(shí)

8、現(xiàn) 底層技術(shù)實(shí)現(xiàn) 前端主要提供REST API供產(chǎn)品平臺(tái)進(jìn)行數(shù)據(jù)獲取。同時(shí)采用Echarts或CuBI進(jìn)行報(bào)表展現(xiàn) 中臺(tái)服務(wù)邏輯層使用Spring，SpringMVC作為應(yīng)用構(gòu)建及對(duì)外接口發(fā)布，配合MQ隊(duì)列機(jī)制處理異步消息。Spark作為核心數(shù)據(jù)處理引擎，進(jìn)行MapReduce處理 持久層主要采用HBase進(jìn)行大數(shù)據(jù)存儲(chǔ)，同時(shí)使用Hadoop HDFS支持分布式存儲(chǔ)技術(shù)方案數(shù)據(jù)庫(kù)設(shè)計(jì)原則1統(tǒng)一數(shù)據(jù)視圖保證數(shù)據(jù)的及時(shí)性、一致 性、準(zhǔn)確性、完整性2數(shù)據(jù)應(yīng)用分離應(yīng)用系統(tǒng)只依賴邏輯數(shù)據(jù)庫(kù)應(yīng)用系統(tǒng)不直接訪問(wèn)其它宿 主的數(shù)據(jù)庫(kù)，只能通過(guò)服務(wù) 訪問(wèn)3數(shù)據(jù)讀寫分離訪問(wèn)量大的數(shù)據(jù)庫(kù)做讀寫分離數(shù)據(jù)量大的數(shù)據(jù)庫(kù)做分

9、庫(kù)分表不同業(yè)務(wù)域數(shù)據(jù)庫(kù)做分區(qū)隔離重要數(shù)據(jù)配置備庫(kù)；MongoMongo業(yè)務(wù)DBDB業(yè)務(wù)MasterSlave數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù)(Master)(Slave)報(bào)表數(shù)據(jù)RedisRedisMasterSlave庫(kù)HBaseHadoop HDFSDocDocDoc合理使用緩存產(chǎn)品平臺(tái)數(shù)據(jù)庫(kù)設(shè)計(jì)方案采用二級(jí)緩存機(jī)制4 一級(jí)緩存使用Redis副本集，對(duì)頻繁訪問(wèn)數(shù)據(jù)進(jìn)行緩存。同時(shí)圍繞Redis單線程機(jī)制，針對(duì)大量并發(fā)場(chǎng)景設(shè)計(jì)了同一用戶的并發(fā)鎖策略。 二級(jí)緩存使用MongoDB副本集，對(duì)結(jié)構(gòu)化數(shù)據(jù)及頻繁更新數(shù)據(jù)進(jìn)行文檔化數(shù)據(jù)存儲(chǔ)業(yè)務(wù)數(shù)據(jù)庫(kù)使用MySQL集群方案分析平臺(tái)基于大數(shù)據(jù)架構(gòu)設(shè)計(jì)方案，數(shù)據(jù)庫(kù)使用區(qū)域HBas

10、e部署策略，同時(shí)采用Hadoop HDFS進(jìn)行分布式文件存儲(chǔ)技術(shù)架構(gòu) 運(yùn)營(yíng)監(jiān)控流量控制水平 擴(kuò)展應(yīng)用：集群，無(wú)狀態(tài)，提高訪問(wèn)量數(shù)據(jù)：讀寫分離，提高性能業(yè)務(wù)分區(qū)應(yīng)用：按業(yè)務(wù)域劃分成不同子系統(tǒng)數(shù)據(jù)：數(shù)據(jù)分區(qū)1. 分流分片應(yīng)用：不同業(yè)務(wù)類型分片數(shù)據(jù)：分庫(kù)分表，提高數(shù)據(jù)容量動(dòng)靜分離應(yīng)用：分層，功能與非功能分開(kāi)數(shù)據(jù)：冷熱數(shù)據(jù)分離無(wú)法緩解大流量頁(yè)面降級(jí)1.動(dòng)態(tài)頁(yè)面降級(jí)到靜態(tài)2.整體降級(jí)到其他頁(yè)面Nginx前端限制3.頁(yè)面部分內(nèi)容業(yè)務(wù)功能降級(jí)舍棄一些非關(guān)鍵業(yè)務(wù)，應(yīng)用系統(tǒng)限流2. 降級(jí)如購(gòu)物車庫(kù)存狀態(tài)3. 限流客戶端限流應(yīng)用系統(tǒng)降級(jí)降級(jí)一些下游系統(tǒng)，無(wú)法緩解如一次拆分暫停服務(wù)端限流大流量數(shù)據(jù)降級(jí)遠(yuǎn)程服務(wù)降機(jī)到

11、本數(shù)據(jù)庫(kù)限流地緩存技術(shù)架構(gòu) 運(yùn)營(yíng)監(jiān)控SLA數(shù)據(jù)持久性數(shù)據(jù)可銷毀性不低于99.9999999%數(shù)據(jù)無(wú)法恢復(fù)數(shù)據(jù)可遷移性數(shù)據(jù)私密性遷入遷出網(wǎng)絡(luò)層訪問(wèn)控制技術(shù)實(shí)現(xiàn)對(duì)不同用戶資源的隔離服務(wù)可用性數(shù)據(jù)知情權(quán)不低于99.95%對(duì)于數(shù)據(jù)、備份數(shù)據(jù)所在數(shù)據(jù)中心地理位置、數(shù)據(jù)備份數(shù)量具有知情權(quán)故障恢復(fù)能力服務(wù)資源調(diào)配能力7×24小時(shí)的運(yùn)行維護(hù)用戶可在10分鐘內(nèi)啟用或釋放100臺(tái)云服務(wù)器，或在5分鐘內(nèi)完成停機(jī)升級(jí)CPU和內(nèi)存，并支網(wǎng)絡(luò)接入性能持在線實(shí)時(shí)升級(jí)公網(wǎng)帶寬多線接入，0Mbps200Mbps服務(wù)提供方SLA服務(wù)消費(fèi)方技術(shù)架構(gòu) 治理灰度發(fā)布老系統(tǒng)老系統(tǒng)DB部分請(qǐng)求到舊系統(tǒng)上，另一部分請(qǐng)求到了新的灰度系統(tǒng)上走到Client轉(zhuǎn)發(fā)舊系統(tǒng)的請(qǐng)求，還是照原樣處理走到了新版灰度系統(tǒng)的請(qǐng)求，需要同時(shí)將請(qǐng)求轉(zhuǎn)發(fā)給舊系統(tǒng)上來(lái)對(duì)應(yīng)的接口上修改舊系統(tǒng)的數(shù)據(jù)如果走到新系統(tǒng)的請(qǐng)求查不到該用戶的數(shù)據(jù)，還需要首先同步一份來(lái)新系統(tǒng)上新系統(tǒng)新系統(tǒng)DBClient請(qǐng)求首先走到了新版本需要灰度的服務(wù)上，在經(jīng)過(guò)該服務(wù)處理后，給請(qǐng)求打上了tag，由于帶上了tag，后續(xù)訪問(wèn)的都是配套灰度的A服務(wù)新版A服務(wù)服務(wù)Tag AB服務(wù)B服務(wù)Tag AC服務(wù)新版C服務(wù)技術(shù)架構(gòu) 安全安全策略1Https接入數(shù)據(jù)傳輸入過(guò)來(lái)加密，防止傳輸過(guò)程中數(shù)據(jù)被篡改、安全級(jí)別更高2黑白名單設(shè)置黑名單，使