2024 云棲大會(huì)微服務(wù)和網(wǎng)關(guān)相關(guān)演講材料

從云原生到AI原生，謝吉寶（唐三）阿里云智能集團(tuán)資深技術(shù)專家、云原生產(chǎn)品線中間件負(fù)責(zé)人單體架構(gòu)垂直架構(gòu)單體架構(gòu)垂直架構(gòu)SOA架構(gòu)微服務(wù)架構(gòu)云原生架構(gòu)AI原生架構(gòu)按量使用極致彈性服務(wù)管理實(shí)現(xiàn)快維護(hù)成本高模塊化負(fù)載均衡高密度部署原子、自治KubernetesRuntime?按量使用極致彈性服務(wù)管理實(shí)現(xiàn)快維護(hù)成本高模塊化負(fù)載均衡高密度部署原子、自治KubernetesRuntime?高延時(shí)長連接大帶寬API多AI原生應(yīng)用架構(gòu)高延時(shí)長連接大帶寬API多AI原生應(yīng)用架構(gòu)Websocket和SSE協(xié)議決定，長連接比例很高，要求網(wǎng)關(guān)更新配置操作對長連接Websocket和SSE協(xié)議決定，長連接比例很高，要求網(wǎng)關(guān)更新配置操作對長連接AI應(yīng)用Agent、輕量AI時(shí)代會(huì)以輕量的AI智能體做為主流，所有的系統(tǒng)交互全由API進(jìn)行通信。API會(huì)成為AI原生的一等公民。結(jié)合LLM上下文來回傳輸、高延時(shí)特性，AI場景對帶寬的消耗遠(yuǎn)超普通應(yīng)用，網(wǎng)關(guān)如果沒有實(shí)現(xiàn)較好的流式處理和內(nèi)存回收機(jī)制，容易導(dǎo)致內(nèi)存快速上漲。LLMLLM大語言模型AI網(wǎng)關(guān)接入網(wǎng)關(guān)業(yè)務(wù)網(wǎng)關(guān)接入網(wǎng)關(guān)業(yè)務(wù)網(wǎng)關(guān)安全網(wǎng)關(guān)流量網(wǎng)關(guān)安全網(wǎng)關(guān)流量網(wǎng)關(guān)微服務(wù)API管理?長鏈接AI網(wǎng)關(guān)協(xié)議轉(zhuǎn)換大帶寬高延時(shí)微服務(wù)API管理?長鏈接AI網(wǎng)關(guān)協(xié)議轉(zhuǎn)換大帶寬高延時(shí)路由服務(wù)發(fā)現(xiàn)智能穩(wěn)定安全性能智能穩(wěn)定安全性能集成集成智能化云原生高集成智能化云原生云產(chǎn)品：云原生API網(wǎng)關(guān)新一代網(wǎng)關(guān)模式業(yè)務(wù)請求安全防護(hù)流量防護(hù)開放平臺(tái)服務(wù)發(fā)現(xiàn)云產(chǎn)品：云原生API網(wǎng)關(guān)新一代網(wǎng)關(guān)模式業(yè)務(wù)請求安全防護(hù)流量防護(hù)開放平臺(tái)服務(wù)發(fā)現(xiàn)服務(wù)治理后端服務(wù)流量網(wǎng)關(guān)IngressAPI網(wǎng)關(guān)傳統(tǒng)網(wǎng)關(guān)模式掃碼加入客戶群掃碼加入客戶群免費(fèi)試用不限購、不限時(shí)、不限是否首次購買01高集成：零代碼構(gòu)建AI應(yīng)用03高性能：軟硬一體加速響應(yīng)體驗(yàn)04高可用：服務(wù)治理無損變更AI開發(fā)插件集LLM緩存提示詞請求/響應(yīng)轉(zhuǎn)換向量檢索AI安全防護(hù)內(nèi)容審核插件Token限流插件g過Token配額插件多模型適配協(xié)議轉(zhuǎn)換AI開發(fā)插件集LLM緩存提示詞請求/響應(yīng)轉(zhuǎn)換向量檢索AI安全防護(hù)內(nèi)容審核插件Token限流插件g過Token配額插件多模型適配協(xié)議轉(zhuǎn)換AI重試Fallback代理插件API可觀測AI統(tǒng)計(jì)插件LLM訪問日志Token消費(fèi)觀測可用性告警請求終端插件開發(fā)工具插件代碼WebIDE插件編程AI助手月之暗面Gemini智譜清言通義千問OpenAI向量數(shù)據(jù)庫向量數(shù)據(jù)庫AIAI內(nèi)容審核第三方SaaS服務(wù)阿里云內(nèi)容安全APIFirst（前后端分離并發(fā)開發(fā)）/API防護(hù)（默認(rèn)安全/高可用）/API貨幣化（擴(kuò)大生態(tài)做營收）APP管理權(quán)限管理API計(jì)量APP管理權(quán)限管理API計(jì)量API計(jì)費(fèi)額度管理API貨幣化（開放平臺(tái)）?AI輔助API設(shè)計(jì)?AI?AI輔助API設(shè)計(jì)?AIMock數(shù)據(jù)?AI生成端代碼?AI測試/診斷智能化?內(nèi)置10+系統(tǒng)策略?支持30+插件策略策略豐富?支持Swagger（OAS標(biāo)準(zhǔn)）?支持Ingress/GatewayAPI?開源Higress無廠商鎖定開源開放API防護(hù)（策略管理）安全防護(hù)安全防護(hù)流控跨域超時(shí)重試重寫APIAPI設(shè)計(jì)API文檔APIMock端代碼生成API測試靈活定義自己擴(kuò)展組件（多語言/實(shí)時(shí)熱更新/在線IDEA/AI輔助生成）插件市場網(wǎng)關(guān)控制臺(tái)生網(wǎng)關(guān)配置Istiod云原生API網(wǎng)關(guān)-控制面插件市場網(wǎng)關(guān)控制臺(tái)生網(wǎng)關(guān)配置Istiod云原生API網(wǎng)關(guān)-控制面用戶VPC業(yè)務(wù)終端安裝與配置插件業(yè)務(wù)終端AuthAuthFiltersRatelimitFiltersPre-BuiltFiltersCustomFiltersCluster認(rèn)證鑒權(quán)支持JWT/OIDC/自定義多種認(rèn)證登錄&退出機(jī)制集成IDaaS對接支付寶，淘寶等三放認(rèn)證云原生API網(wǎng)關(guān)內(nèi)容過濾插件（中小客戶低成本）集成在AI入口守住安全認(rèn)證鑒權(quán)支持JWT/OIDC/自定義多種認(rèn)證登錄&退出機(jī)制集成IDaaS對接支付寶，淘寶等三放認(rèn)證云原生API網(wǎng)關(guān)內(nèi)容過濾插件（中小客戶低成本）集成安全防護(hù)支持WAF插件（中小客戶低成本）流量防護(hù)集成Sentinel支持Token/API/服務(wù)級別流控1、流式傳輸高出約90%網(wǎng)關(guān)規(guī)格：16C32G*4節(jié)點(diǎn)ECS型號(hào)：七代機(jī)（ecs.c7.8xlarge）3、硬件加速壓縮/解壓縮提升1、流式傳輸高出約90%網(wǎng)關(guān)規(guī)格：16C32G*4節(jié)點(diǎn)ECS型號(hào)：七代機(jī)（ecs.c7.8xlarge）3、硬件加速壓縮/解壓縮提升300%網(wǎng)關(guān)規(guī)格：2C4G*1節(jié)點(diǎn)ECS型號(hào)：八代機(jī)2、硬件加速HTTPSQPS提升約112%，RT下降50%加速前加速后注：測試采用HTTPS短連接且關(guān)閉sessionticket復(fù)用。4、結(jié)合阿里大規(guī)模生產(chǎn)經(jīng)驗(yàn)從操作系統(tǒng)/網(wǎng)絡(luò)/內(nèi)核深度調(diào)優(yōu)，性能提升4、結(jié)合阿里大規(guī)模生產(chǎn)經(jīng)驗(yàn)從操作系統(tǒng)/網(wǎng)絡(luò)/內(nèi)核深度調(diào)優(yōu)，性能提升40%熱更新路由/策略更熱更新證書熱更新插件熱更新灰度支持灰度，且支持全鏈路灰度熱更新路由/策略更熱更新證書熱更新插件熱更新灰度支持灰度，且支持全鏈路灰度支持藍(lán)綠支持灰度觀測能力優(yōu)雅上下線服務(wù)下線前提前隔離流量，再停應(yīng)用服務(wù)上線打10%流量預(yù)熱健康檢查隔離異常節(jié)點(diǎn)手機(jī)APPHigressK8s生態(tài)安全防護(hù)WAF防護(hù)認(rèn)證鑒權(quán)黑白名單流量防護(hù)服務(wù)限流API-Server手機(jī)APPHigressK8s生態(tài)安全防護(hù)WAF防護(hù)認(rèn)證鑒權(quán)黑白名單流量防護(hù)服務(wù)限流API-ServerAPP（不健康）APP（運(yùn)行中）APP（下線中）APP（上線中）APP（健康）BrowserBrowserIOT微服務(wù)生態(tài)微服務(wù)生態(tài)規(guī)則熱更新/多語言插件擴(kuò)展規(guī)則熱更新/多語言插件擴(kuò)展路由規(guī)則-熱更新策略–熱更新優(yōu)雅下線/服務(wù)預(yù)熱主動(dòng)健康檢查10%流量-預(yù)熱90%流量灰度（全鏈路灰度）/藍(lán)綠優(yōu)雅下線/服務(wù)預(yù)熱主動(dòng)健康檢查10%流量-預(yù)熱90%流量主動(dòng)隔離異主動(dòng)隔離異多可用區(qū)/多K8s容災(zāi)/MSHA異地容災(zāi)可用區(qū)1可用區(qū)2API網(wǎng)關(guān)云原生API網(wǎng)關(guān)云原生API網(wǎng)關(guān)云原生API網(wǎng)關(guān)云原生API網(wǎng)關(guān)業(yè)務(wù)節(jié)點(diǎn)業(yè)務(wù)節(jié)點(diǎn)業(yè)務(wù)節(jié)點(diǎn)業(yè)務(wù)節(jié)點(diǎn)通義App!通義App! 業(yè)務(wù)Server業(yè)務(wù)ServerHigress作為流量網(wǎng)關(guān)，白屏操作支持長連接SSE/WebSocket，熱更新對長連接流量無損支持流式傳輸，滿足AI大帶寬/高延時(shí)特性訴求支持多種安全認(rèn)證與限流防護(hù)AI應(yīng)用! 使用Ingress配置路由，通過Ingress集成PAI的管控支持1W+超大路由/域名規(guī)模場景，多租共享集群模式，切換到Higress后路由配置生效RT從原10分鐘降到30秒內(nèi)構(gòu)建完善可觀測體系A(chǔ)I模型! 業(yè)務(wù)網(wǎng)關(guān)業(yè)務(wù)網(wǎng)關(guān)Higress作為流量網(wǎng)關(guān)，白屏操作支持長連接SSE/WebSocket，熱更新對長連接流量無損支持流式傳輸，滿足AI大帶寬/高延時(shí)特性訴求AI模型服務(wù)平臺(tái)在入口建立安全&高可用防線&Serverless存儲(chǔ)&配置Nacos（Prompt模版）Nacos（Prompt模版）異步解耦RocketMQRocketMQ!AI模型端&生態(tài)AIAgentPrompt/微調(diào)/RAGAI模型端&生態(tài)AIAgentPrompt/微調(diào)/RAGLangChain/SpringAI/LlamaIndex手機(jī)APPIOTAI云市場限流重試負(fù)載均衡限流重試負(fù)載均衡模型灰度安全身份通義OpenChat長鏈接/大報(bào)文OpenChatSSE/WSWAF/Sentinel模型…Prompt/綠網(wǎng)/RAG/Cache模型…OTOTAgentAI觀測DataSetbenchmark DashboardLLMDataSetbenchmark震坤行工業(yè)超市是一家數(shù)字化的工業(yè)用品服務(wù)平臺(tái)，為客戶提供一站式的工業(yè)用品采購與管理服務(wù)。核心優(yōu)勢AI配置與緩存核心優(yōu)勢向量數(shù)據(jù)庫向量數(shù)據(jù)庫ZKH大模型云原生API網(wǎng)關(guān)ZKH大模型應(yīng)用AI插件微調(diào)模型?應(yīng)用AI插件微調(diào)模型AI管家緩存插件AI管家緩存插件提示詞插件?生產(chǎn)級可用AI助手AI-Proxy（協(xié)議轉(zhuǎn)換/重試/FallBackAI助手AI-Proxy（協(xié)議轉(zhuǎn)換/重試/FallBack）通義模型AI采購WAF插件Token限流綠網(wǎng)插件AI采購WAF插件Token限流綠網(wǎng)插件其他模型其他模型?安全零信任OTOTAgent?一鍵診斷分析AI觀測與診斷DataSetDataSetbenchmarkLLMObservabilityhttps://higress.io/AI先行者國內(nèi)首發(fā)AI插件集，幫助用戶低代碼構(gòu)建AI應(yīng)用插件涵蓋PromptTemplate、RAG、AIProxy、內(nèi)容審核、Token限流等多個(gè)AI主流場景阿里云內(nèi)部PAI、百煉、通義已經(jīng)全部接入Higress生態(tài)豐富AI領(lǐng)域AIProxy對接了20+大模型廠商微服務(wù)領(lǐng)域集成Dubbo/Nacos/Skywalking/Prometheus等，容器領(lǐng)域集成K8s/OpenKruise/Knative/Ingress/GatewayAPI等安全領(lǐng)域集成OWASPCRS開源Waf規(guī)則社區(qū)活躍2022.11開源以來累計(jì)發(fā)布版本35+，F(xiàn)orks400+,Issues1100+,PR600+,Contributors90+易于擴(kuò)展國內(nèi)首發(fā)Wasm插件市場，支持C++/Rust/Go/AssemblyScript等多語言開發(fā)插件即將發(fā)布Web插件編輯器，內(nèi)置AI插件編程助手插件變更支持熱更新，流量無損，滿足AI場景訴求開源&商業(yè)一體開源&商業(yè)化協(xié)同發(fā)展，大廠背書，持續(xù)發(fā)展才是硬需求AI插件快速上手AIGC/快速開發(fā)AI插件AI應(yīng)用場景利用大模型、AI應(yīng)用場景利用大模型、RAG等技術(shù)模擬人利用大模型對外部環(huán)境進(jìn)行理利用大模型優(yōu)化傳統(tǒng)應(yīng)用SOP，內(nèi)置網(wǎng)關(guān)插件大語言模型內(nèi)置網(wǎng)關(guān)插件大語言模型ChatBotChatBot安全防護(hù)……AIAgent傳統(tǒng)應(yīng)用模型代理Fallback……可觀測……安全防護(hù)……AIAgent傳統(tǒng)應(yīng)用模型代理Fallback……可觀測……功能增強(qiáng)……定制網(wǎng)關(guān)插件定制網(wǎng)關(guān)插件……AI時(shí)代：從SpringCloudAlibaba到SpringAIAlibaba李艷林阿里云智能集團(tuán)云原生開源負(fù)責(zé)人、SpringAIAlibaba發(fā)起人從SpringCloudAlibaba到Spring應(yīng)用框架發(fā)展趨勢AI框架落地&實(shí)踐應(yīng)用框架發(fā)展趨勢AI框架落地&實(shí)踐01AI時(shí)代：應(yīng)用架構(gòu)演進(jìn)趨勢02AIAgent框架發(fā)展趨勢03SpringAIAlibaba重磅發(fā)布手機(jī)APP手機(jī)APP手機(jī)手機(jī)APP生態(tài)生態(tài)微服務(wù)1微服務(wù)1微服務(wù)2微服務(wù)3MySQL/Redis/OSS云原生應(yīng)用架構(gòu)AgentAgent1Agent2Agent3向量數(shù)據(jù)庫AI原生應(yīng)用架構(gòu)大模型（通義…）面對國內(nèi)最多Java開發(fā)者，我們的選擇是？AIGC邁過拐點(diǎn)LangChain（提示詞+RAG）AIGC突破多模態(tài)AIGC邁過拐點(diǎn)LangChain（提示詞+RAG）AIGC突破多模態(tài)LlamaIndex(智能體+工作流)AIGC爆發(fā)？模型無關(guān)/語言無關(guān)的（生態(tài)）數(shù)據(jù)來源：《2023CSDN中國開發(fā)者報(bào)告》API管理Token限流/WAF綠網(wǎng)/敏感信息過濾Cache/RAGAPI管理Token限流/WAF綠網(wǎng)/敏感信息過濾Cache/RAGAIAgentSpringAIAlibabaWorkFlow/Agent/Tools/EvaluationPromptTemplateMemoryChatMemory…ImageModelDocumentReaderDocumentTransformerEmbeddingModelVectorStoreAI觀測即刻體驗(yàn)核心優(yōu)勢：核心優(yōu)勢：?阿里內(nèi)部大規(guī)模驗(yàn)證，通義/PAI/百煉長期打磨。?具備完整的生態(tài)和組件，覆蓋應(yīng)用開發(fā)的主鏈路。?支持主流大模型，低代碼、甚至無代碼構(gòu)建企業(yè)級AI應(yīng)用。?深度集成阿里云百煉、云原生應(yīng)APIAPI月之暗面Gein月之暗面GeiniGoogleGemini智譜清言通義千問OpenAI阿里云DashVector阿里云LindormAI內(nèi)容審核第三方AI開發(fā)插件集LLM緩存提示詞請求/響應(yīng)轉(zhuǎn)換向量檢索AI統(tǒng)計(jì)插件Token消費(fèi)觀測插件開發(fā)工具插件代碼WebIDE內(nèi)容審核插件Token限流插件Token配額插件AI安全防護(hù)插件編程AI助手多模型適配LLM訪問日志AI代理插件可用性告警可觀測協(xié)議轉(zhuǎn)換Fallback重試阿里云阿里云ARMS可觀測鏈路追蹤OpenTelemetry版OpenTelemetryGenAI語義約定持續(xù)剖析穩(wěn)定性?循序最新OpenTelemetry社區(qū)GenAI語義約定?支持常見的AI框架和AI模型，包括LLamaIndex/Langchain/通義千問2/OpenAI/PromptFlow?相比社區(qū)規(guī)范提供更加精細(xì)化的埋點(diǎn)和屬性?支持在不同的調(diào)用鏈中傳播會(huì)話信息為GenAI應(yīng)用可觀測而生?提示詞輸入、輸出?Token消耗大模型應(yīng)用專屬分析視圖權(quán)重調(diào)整權(quán)重調(diào)整算法動(dòng)態(tài)調(diào)整算法動(dòng)態(tài)調(diào)整特征選擇批大小批大小脫敏規(guī)則脫敏規(guī)則數(shù)據(jù)源數(shù)據(jù)源加密算法加密算法流控流控學(xué)習(xí)率學(xué)習(xí)率合規(guī)規(guī)則合規(guī)規(guī)則訪問控制密鑰管理密鑰管理版本管理（A/B）版本管理（A/B）推理動(dòng)態(tài)調(diào)優(yōu)推理動(dòng)態(tài)調(diào)優(yōu)安全合規(guī)安全合規(guī)穩(wěn)定性穩(wěn)定性LangchainLangchainLlamaindexSpringSpring-AI-Alibaba其他框架其他框架Go/Nodejs/C系列等JavaJavaAI應(yīng)用客戶端AI應(yīng)用客戶端Question流式輸出AnswerPrompt+ContextReadcontext交易事件業(yè)務(wù)存儲(chǔ)支付事件傳感器數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)攝入離線Embedding航班動(dòng)態(tài)實(shí)時(shí)數(shù)據(jù)同步實(shí)時(shí)Embedding向量數(shù)據(jù)庫車聯(lián)網(wǎng)數(shù)據(jù)Prompt+ContextReadcontext交易事件業(yè)務(wù)存儲(chǔ)支付事件傳感器數(shù)據(jù)實(shí)時(shí)數(shù)據(jù)攝入離線Embedding航班動(dòng)態(tài)實(shí)時(shí)數(shù)據(jù)同步實(shí)時(shí)Embedding向量數(shù)據(jù)庫車聯(lián)網(wǎng)數(shù)據(jù)AI應(yīng)用服務(wù)實(shí)時(shí)流數(shù)據(jù)私有數(shù)據(jù)增強(qiáng)請求異步化實(shí)時(shí)流數(shù)據(jù)私有數(shù)據(jù)增強(qiáng)ApsaraMQ模型推理負(fù)載均衡存儲(chǔ)CDC模型推理負(fù)載均衡存儲(chǔ)CDC大模型服務(wù)模型服務(wù)實(shí)例1模型服務(wù)實(shí)例2模型服務(wù)實(shí)例N………容錯(cuò)性高+結(jié)構(gòu)化強(qiáng)高（娛樂+游戲）+結(jié)構(gòu)性強(qiáng)（答疑+SQL+Code）AI應(yīng)用（場景/數(shù)據(jù)/反饋）大模型（英大模型（英文/中文）RAG最廣泛應(yīng)用AI答疑專家實(shí)踐釘釘機(jī)器人云原生API網(wǎng)關(guān)安全&合規(guī)端釘釘機(jī)器人云原生API網(wǎng)關(guān)安全&合規(guī)端Spring-AI-AlibabaChat-Admin百煉夸克搜索夸克搜索數(shù)據(jù)中心數(shù)據(jù)中心提升20%流量，降低20%人工，準(zhǔn)確率90%+11文檔1反饋機(jī)制文檔2博客2博客2訂正數(shù)據(jù)AI專家3私域數(shù)據(jù)電子書AI專家3私域數(shù)據(jù)電子書3新增文檔4知識(shí)庫4知識(shí)庫4構(gòu)建工具安全合規(guī)私域數(shù)據(jù)安全合規(guī)微調(diào)微調(diào)讓Java開發(fā)者一步邁入AI原生時(shí)代！讓Java開發(fā)者更方便的構(gòu)建云原生AI劉軍阿里云技術(shù)專家2024/09/1901初識(shí)SpringAIAlibaba開源項(xiàng)目介紹項(xiàng)目開源背景、定位、現(xiàn)狀與生態(tài)02SpringAIAlibaba深入理解學(xué)習(xí)SpringAIAlibaba的核心功能與使用方法演示如何使用SpringAIAlibaba開發(fā)一個(gè)智能機(jī)票助手04SpringAIAlibaba未來規(guī)劃介紹項(xiàng)目開源背景、定位、現(xiàn)狀與生態(tài)/alibaba/spring-ai-alibaba++專屬Spring開發(fā)者的專屬Spring開發(fā)者的AI框架基于SpringAI官方開源項(xiàng)AI能力。阿里云大模型與云原生最佳實(shí)踐通義系列AI模型驅(qū)動(dòng)，深度serverless、可觀測等云原生應(yīng)用基礎(chǔ)設(shè)施。ModeL,Prompt,RAG,Tools兼具提示詞模板、函數(shù)調(diào)用、格式化輸出等低層次抽象與RAG、智能體、對話記憶等高層次抽象。SpringCloudAlibaba的社區(qū)合作模式與成功經(jīng)驗(yàn)6年積累，SpringCloudAlibaba開源在中國微服務(wù)領(lǐng)域得到廣泛應(yīng)用，取得巨大成功！NacosConfigRocketMQ分布式配置負(fù)載均衡路由安全斷路器分布式追蹤NacosConfigRocketMQ分布式配置負(fù)載均衡路由安全斷路器分布式追蹤Schedulex分布式消息OSSSidecarSpringCloudSentinelSeataSpringCloudAlibaba阿里云平臺(tái)服務(wù)集成SpringCloud?阿里云通過與SpringCloud官方合作，在微服務(wù)領(lǐng)域開創(chuàng)了SpringCloudAlibaba開源品牌，在微服務(wù)方向得到廣泛采?SpringCloudAlibaba自2019年開源至今，在GitHub已經(jīng)有28k的star，整體生態(tài)超100Kstar。SpringSpringCloud標(biāo)準(zhǔn)實(shí)現(xiàn)開源產(chǎn)品SpringCloud&SpringCloudAlibaba的關(guān)系SpringAIAlibaba開源項(xiàng)目基于SpringAI構(gòu)建，是阿里云通義系列模型及服務(wù)在JavaAI應(yīng)用開發(fā)領(lǐng)域的最佳實(shí)踐，提供高層次的AIAPI抽象與云原生基礎(chǔ)設(shè)施集成方案，幫助開發(fā)者快速構(gòu)建AI應(yīng)用。SpringAISpringAIAlibabaSpringAItPromp模板管理網(wǎng)關(guān)限流CallingOutputVectorStore低代碼Sidecar部署模式RAGMemorySpringAIAgent可觀測Tool深入了解springaialibaba的核心功能與使用方法GenGenAIModelGenAIModelGenAIModelGenAIModelPutprompttemplateintoafileandloaddirectly：ConvertConverttexttoStructuredoutputProvideProvideformatinstructionsFunctiondefinitionFunctiondefinitionTransformerWriterTransformerWriterVectorVectorStrore1.添加依賴2.perties指定API-KEY3.應(yīng)用入口4.聲明ChatClient為標(biāo)準(zhǔn)SpringBean演示如何使用spring-ai-alibaba開發(fā)一個(gè)智能機(jī)票預(yù)定助手UserUserInterface我們將基于SpringAIAlibaba框架開發(fā)一個(gè)智能機(jī)票助手，它能夠自助幫助顧客完成：機(jī)票預(yù)定、問題解答、機(jī)票改簽、該智能助手能夠：?基于AI大模型與用戶對話?支持多輪連續(xù)對話?理解機(jī)票操作相關(guān)的術(shù)語與規(guī)范，并嚴(yán)格遵守?在必要時(shí)可調(diào)用工具輔助完成任務(wù)SpringAIAlibaba提供的核心抽象?PromptTemplate?FunctionCalling?ConversationMemory了解springaialibabSpringAIAlibaba開源項(xiàng)目基于SpringAI構(gòu)建，是阿里云通義系列模型及服務(wù)在JavaAI應(yīng)用開發(fā)領(lǐng)域的最佳實(shí)踐，提供高層次的AIAPI抽象與云原生基礎(chǔ)設(shè)施集成方案，幫助開發(fā)者快速構(gòu)建AI應(yīng)用。/alibaba/spring-ai-alibaba打造通用的企業(yè)級微服務(wù)架構(gòu)邢學(xué)超阿里云智能集團(tuán)高級技術(shù)專家01微服務(wù)技術(shù)趨勢以及挑戰(zhàn)總結(jié)微服務(wù)發(fā)展歷程，以及當(dāng)前發(fā)展趨勢，分析后續(xù)的發(fā)展挑戰(zhàn)02MASE微服務(wù)引擎打造通用企業(yè)級微服務(wù)架構(gòu)03MSE擁抱開源堅(jiān)持開放MSE堅(jiān)定擁抱開源,總結(jié)過去共建開源的心得,以及后續(xù)發(fā)展方向開源標(biāo)準(zhǔn)化、跨語言架構(gòu)、高可用成為企業(yè)標(biāo)準(zhǔn)訴求微服務(wù)進(jìn)入成熟發(fā)展階段微服務(wù)進(jìn)入成熟發(fā)展階段-標(biāo)準(zhǔn)化RocketMQ5.0、Dubbo3.3SpringCloud2023微服務(wù)全景圖隨著業(yè)務(wù)多樣階段隨著業(yè)務(wù)多樣階段-多語言化JAVA、Golang穩(wěn)定性穩(wěn)定性-高可用化研發(fā)態(tài)、運(yùn)行態(tài)、變更態(tài)追求系統(tǒng)化高可用面相未來微服務(wù)架構(gòu)發(fā)展趨勢，有三“高”挑戰(zhàn)開源使用普遍，規(guī)模變大、開源發(fā)展和企業(yè)訴求匹配問題，性能運(yùn)維貼近企業(yè)的能力隨著各種新興業(yè)務(wù)模式增多落地各種語言復(fù)雜度暴露隨著業(yè)務(wù)的容災(zāi)訴求強(qiáng)烈但改造迭代代價(jià)大需要低成本，不改代碼的容災(zāi)能力01微服務(wù)技術(shù)趨勢以及挑戰(zhàn)總結(jié)微服務(wù)發(fā)展歷程,以及當(dāng)前發(fā)展趨勢,分析后續(xù)的發(fā)展挑戰(zhàn)02MSE微服務(wù)引擎打造通用企業(yè)級微服務(wù)架構(gòu)MSE作為微服務(wù)引擎發(fā)布5.0架構(gòu)，目標(biāo)打造通用的、低成本接入的企業(yè)級架構(gòu)能力03MSE擁抱開源堅(jiān)持開放MSE堅(jiān)定擁抱開源,總結(jié)過去共建開源的心得,以及后續(xù)發(fā)展方向WEB入口網(wǎng)關(guān)流量-云原生API網(wǎng)關(guān)兼容K8sIngress協(xié)議可默認(rèn)集成ACK、ACS等云產(chǎn)品WEB入口網(wǎng)關(guān)流量-云原生API網(wǎng)關(guān)兼容K8sIngress協(xié)議可默認(rèn)集成ACK、ACS等云產(chǎn)品新一代網(wǎng)關(guān)模式系統(tǒng)監(jiān)控?cái)?shù)據(jù)同步異步數(shù)據(jù)處理系統(tǒng)監(jiān)控?cái)?shù)據(jù)同步任務(wù)調(diào)度流量-SchedulerX任務(wù)調(diào)度流量-SchedulerX定時(shí)調(diào)度微服務(wù)架構(gòu)中，任務(wù)調(diào)度是非常重要的流量入口，應(yīng)對多方面自發(fā)調(diào)度異步數(shù)據(jù)處理：比如先將訂單入庫，每分鐘掃描未支付的訂單做批處理。自動(dòng)化運(yùn)維：比如每小時(shí)清理一次數(shù)據(jù)庫的歷史記錄。系統(tǒng)監(jiān)控：比如每分鐘掃描監(jiān)控指標(biāo)，如果超出閾值，進(jìn)行報(bào)警。數(shù)據(jù)同步：比如每天凌晨1點(diǎn)把MySQL中的數(shù)據(jù)同步到大數(shù)據(jù)平臺(tái)中。0代碼改造，平滑遷移到任務(wù)調(diào)度XXL-Job版，更穩(wěn)定、更安全、更高性能100%兼容開源，更穩(wěn)定、更安全、更快、更強(qiáng)100%兼容開源，更穩(wěn)定、更安全、更快、更強(qiáng)服務(wù)端調(diào)度客戶端端執(zhí)行任務(wù)運(yùn)維實(shí)例管理應(yīng)用管理任務(wù)管理服務(wù)端調(diào)度客戶端端執(zhí)行任務(wù)運(yùn)維實(shí)例管理應(yīng)用管理任務(wù)管理執(zhí)行列表調(diào)度事件運(yùn)行日志監(jiān)控報(bào)警權(quán)限管控全兼容全版本兼容升級用戶0改動(dòng)開源維護(hù)突破性能瓶頸任務(wù)量不堆積SchedulerX為內(nèi)核SchedulerX為內(nèi)核XXL-Job協(xié)議多語言SDK支持開源生態(tài)多語言XXL-Job協(xié)議多語言SDK支持開源生態(tài)多語言SDK跨語言架構(gòu)100%兼容XXL-Job開源協(xié)議XXL-JobXXL-JobXXL-JobXXL-Job高可用默認(rèn)高可用限流控制高可用數(shù)據(jù)多備份支持任務(wù)級別和應(yīng)用級別同城多機(jī)房容災(zāi)的限流控制通用微服務(wù)架構(gòu)，內(nèi)部RPC流量，通過注冊中心進(jìn)行尋址，通過配置中心管理集群自動(dòng)化運(yùn)維有狀態(tài)集群安全增強(qiáng)開源維護(hù)入口網(wǎng)關(guān)流量-Higress云原生API網(wǎng)關(guān)自動(dòng)化運(yùn)維有狀態(tài)集群安全增強(qiáng)開源維護(hù)入口網(wǎng)關(guān)流量-Higress云原生API網(wǎng)關(guān)企業(yè)級安全防護(hù)全自動(dòng)化運(yùn)維支持不重啟風(fēng)險(xiǎn)修復(fù)全自動(dòng)化運(yùn)維 任務(wù)調(diào)度SchedulerX跨語言互通支持跨語言，跨框架服務(wù)發(fā)現(xiàn)、配置管理跨語言架構(gòu)跨語言互通支持跨語言，跨框架服務(wù)發(fā)現(xiàn)、配置管理跨語言架構(gòu)注冊配置中心Nacos/Eureka/Zookeeper默認(rèn)高可用多級緩存架構(gòu)同城多機(jī)房容災(zāi)反脆弱自動(dòng)化風(fēng)險(xiǎn)識(shí)別、管理、自愈100%兼容開源協(xié)議注冊配置中心Nacos/Eureka/Zookeeper默認(rèn)高可用多級緩存架構(gòu)同城多機(jī)房容災(zāi)反脆弱自動(dòng)化風(fēng)險(xiǎn)識(shí)別、管理、自愈100%兼容開源產(chǎn)品協(xié)議、可默認(rèn)集成服務(wù)完備可觀測能力無感修復(fù)幾十種專屬監(jiān)控項(xiàng)、巡檢項(xiàng)、報(bào)警項(xiàng)，保證引擎流程可觀自動(dòng)化運(yùn)維能力基于自動(dòng)化運(yùn)維平臺(tái)，保證運(yùn)維操作標(biāo)準(zhǔn)化、變更可預(yù)期高可用專業(yè)的管控能力高可用體系的管理和控制平臺(tái)，輔助實(shí)例的全生命周期管理通用微服務(wù)架構(gòu)，微服務(wù)治理管理業(yè)務(wù)應(yīng)用，增強(qiáng)業(yè)務(wù)高可用能力全局高可用（開發(fā)、變更、運(yùn)行）三態(tài)全局高可用（開發(fā)、變更、運(yùn)行）三態(tài)默認(rèn)幫用戶提升全局高可用服務(wù)測試開發(fā)環(huán)境隔離流量防護(hù)服務(wù)鑒權(quán)服務(wù)測試開發(fā)環(huán)境隔離流量防護(hù)服務(wù)鑒權(quán)微服務(wù)可信無損上線全鏈路灰度無損下線金絲雀發(fā)布開發(fā)態(tài)運(yùn)行態(tài)變更態(tài)開發(fā)態(tài)運(yùn)行態(tài)無侵入5分鐘接入不改變現(xiàn)有架構(gòu)無侵入5分鐘接入不改變現(xiàn)有架構(gòu)服務(wù)治理中心治理規(guī)則配置中心注冊中心元數(shù)據(jù)中心AgentAgentAgentAgent消費(fèi)者提供者消費(fèi)者M(jìn)SE發(fā)布Golang治理能力，整合Golang和Java應(yīng)用服務(wù)框架，進(jìn)行跨語言、跨框架全局服務(wù)治理多語言Proxyless模式 Dubbo/SCA——Java/Go/Python/Rust/Nodejs/…Dubbo/SCAAgentDubbo/SCAAgentGolangGolangAgent模式GinGin/GRPC/Go-zero/kratosAgent服務(wù)發(fā)現(xiàn)、流量管控等治理數(shù)據(jù)流MSE微服務(wù)治理控制面MSE微服務(wù)治理控制面IstioAdminZookeeperIstioAdmin過載保護(hù)接口流控服務(wù)熔斷服務(wù)契約過載保護(hù)接口流控服務(wù)熔斷服務(wù)契約應(yīng)用管理環(huán)境隔離觀測分析全鏈路灰度應(yīng)用管理環(huán)境隔離觀測分析全鏈路灰度通用微服務(wù)架構(gòu)，微服務(wù)治理管理業(yè)務(wù)應(yīng)用，增強(qiáng)業(yè)務(wù)高可用能力全局高可用（開發(fā)、變更、運(yùn)行）三態(tài)全局高可用（開發(fā)、變更、運(yùn)行）三態(tài)默認(rèn)幫用戶提升全局高可用服務(wù)測試開發(fā)環(huán)境隔離流量防護(hù)服務(wù)鑒權(quán)服務(wù)測試開發(fā)環(huán)境隔離流量防護(hù)服務(wù)鑒權(quán)微服務(wù)可信無損上線全鏈路灰度無損下線金絲雀發(fā)布開發(fā)態(tài)運(yùn)行態(tài)變更態(tài)開發(fā)態(tài)運(yùn)行態(tài)無侵入5分鐘接入不改變現(xiàn)有架構(gòu)無侵入5分鐘接入不改變現(xiàn)有架構(gòu)服務(wù)治理中心治理規(guī)則配置中心注冊中心元數(shù)據(jù)中心AgentAgentAgentAgent消費(fèi)者提供者消費(fèi)者SLA:99.95%云原生API網(wǎng)關(guān)Higress產(chǎn)品兼容容器K8sIngress協(xié)議、可默認(rèn)集成ACKSLA:99.95%云原生API網(wǎng)關(guān)Higress產(chǎn)品兼容容器K8sIngress協(xié)議、可默認(rèn)集成ACK、ACS等云產(chǎn)品Dubbo服務(wù)應(yīng)用Gin服務(wù)應(yīng)用等SpringCloud應(yīng)用gRPC服務(wù)應(yīng)用等主流多語言應(yīng)用服務(wù)治理無侵入接入，兼容Java、Golang開源比自建性能翻倍競爭力主流服務(wù)框架競爭力信通院最高安全評級注冊配置中心任務(wù)調(diào)度比自建效率提升10倍兼容Nacos信通院最高安全評級注冊配置中心任務(wù)調(diào)度比自建效率提升10倍兼容Nacos/ZooKeeper/EurekaSchedulerX兼容XXL-Job協(xié)議兼容標(biāo)準(zhǔn)開源服務(wù)，并且在全局產(chǎn)品做到高可用、安全零信任、性能翻倍優(yōu)勢默認(rèn)高可用默認(rèn)安全零信任默認(rèn)性能翻倍??應(yīng)用高可用-全域灰度升級?容災(zāi)高可用-同城多活?軟硬件結(jié)合，加速計(jì)算?結(jié)合系統(tǒng)深度調(diào)優(yōu)參數(shù)、優(yōu)化推送引擎?企業(yè)級安全零信任?無感安全增強(qiáng)更新能力灰度流量從前端到后端，同步到異步，從配置到任務(wù)，從監(jiān)控到報(bào)警灰度流量前端資源灰度應(yīng)用灰度配置灰度任務(wù)灰度消息灰度灰度的用戶只有灰度的流量，應(yīng)用讓灰度的應(yīng)用節(jié)點(diǎn)讓灰度的節(jié)點(diǎn)讓灰度消息做看到新頁面發(fā)布的灰度節(jié)點(diǎn)獲取灰度配置執(zhí)行灰度任務(wù)灰度的應(yīng)用消費(fèi)SchedulerXSchedulerX灰度獨(dú)立可觀測灰度獨(dú)立可觀測客戶端ABAgentGolangA0AndroidBGolangAA(gray)AMessage前端靜態(tài)文件靜態(tài)文件MessageAgent客戶端ABAgentGolangA0AndroidBGolangAA(gray)AMessage前端靜態(tài)文件靜態(tài)文件MessageAgentMessagefilter同城多活容災(zāi)架構(gòu)同城多活容災(zāi)架構(gòu)可用區(qū)1可用區(qū)2MSEMSE云原生網(wǎng)關(guān)（雙可用區(qū)容災(zāi)）MSE服務(wù)治理-同AZ優(yōu)先MSE服務(wù)治理-同AZ優(yōu)先MSE服務(wù)治理-同AZ優(yōu)先業(yè)務(wù)應(yīng)用B業(yè)務(wù)應(yīng)用A業(yè)務(wù)應(yīng)用B業(yè)務(wù)應(yīng)用A業(yè)務(wù)應(yīng)用B業(yè)務(wù)應(yīng)用A業(yè)務(wù)應(yīng)用B業(yè)務(wù)應(yīng)用A默認(rèn)三可用區(qū)容災(zāi)MSE注冊配置中心（Nacos、默認(rèn)三可用區(qū)容災(zāi)MSE注冊配置中心（Nacos、Eureka、Zookeeper）MSE任務(wù)調(diào)度流量全局自動(dòng)切換快速幫助應(yīng)用容災(zāi)進(jìn)行恢復(fù)網(wǎng)關(guān)多可用區(qū)容災(zāi)可用區(qū)內(nèi)優(yōu)先，可容災(zāi)AZ應(yīng)用服務(wù)默認(rèn)AZ優(yōu)先、動(dòng)態(tài)無損容災(zāi)切換基礎(chǔ)組件多可用區(qū)容災(zāi)可以容災(zāi)任意可用區(qū)，保證默認(rèn)高可用全鏈路TLS零信任加密能力，企業(yè)級安全加固，0代碼改造配置加密ClientWEBWEBWAF3.0認(rèn)證鑒權(quán)WAFWASM插件消費(fèi)者鑒權(quán)DubboWAF3.0認(rèn)證鑒權(quán)WAFWASM插件消費(fèi)者鑒權(quán)Dubbo3.0企業(yè)級認(rèn)證鑒權(quán)傳輸加密TLS雙向認(rèn)證雙向認(rèn)證mTLSDubboDubbo3.0應(yīng)用訪問Token輪轉(zhuǎn)敏感信息（數(shù)據(jù)庫密碼等）全鏈路TLS傳輸加密0代碼改造配置加密0代碼改造配置加密MSE注冊配置中心（Nacos、Zookeeper）口處集中解決安全漏洞建立安全防線身份認(rèn)證與鑒權(quán)的挑戰(zhàn)：統(tǒng)一認(rèn)證鑒權(quán)，在入口處解決身份識(shí)別問題應(yīng)用訪問傳輸安全：支持TLS進(jìn)行密文傳輸數(shù)據(jù)（傳輸加密TLS）應(yīng)用訪問權(quán)限控制：身份認(rèn)證管理對權(quán)限細(xì)粒度控制（認(rèn)證鑒權(quán)）應(yīng)用服務(wù)配置安全：敏感信息支持加密存儲(chǔ)（0改造配置加密）默認(rèn)安全最佳實(shí)踐按照領(lǐng)域的安全最佳實(shí)踐；全面風(fēng)險(xiǎn)識(shí)別可以通過多方面識(shí)別風(fēng)險(xiǎn)；默認(rèn)安全最佳實(shí)踐按照領(lǐng)域的安全最佳實(shí)踐；全面風(fēng)險(xiǎn)識(shí)別可以通過多方面識(shí)別風(fēng)險(xiǎn)；應(yīng)用無感，無需重啟安全風(fēng)險(xiǎn)自愈通過熱更新機(jī)制，可以幫助用戶自愈；權(quán)威修復(fù)方案無感安全增強(qiáng)權(quán)威修復(fù)方案無感安全增強(qiáng)SCA應(yīng)用Dubbo應(yīng)用使用默認(rèn)安全的引擎服務(wù)熱更新熱更新安全加固微服務(wù)引擎識(shí)別安全風(fēng)險(xiǎn)識(shí)別安全風(fēng)險(xiǎn)MSE產(chǎn)品整體性能全面提升，性能翻倍，相對開源產(chǎn)品提升1至3倍MSEMSEHigress性能比Nginx提升1倍：倍,基于8代ECSHTTPS+GZIP性能最高提升3倍Dubbo3.3比傳統(tǒng)Rest提升2倍：MSENacos比開源Nacos性能提升1-3倍：升3倍性能MSEXXL-Job比開源XXL-Job性能提升1倍：內(nèi)核調(diào)度算法優(yōu)化升級，在性能、容量提升一倍云原生API網(wǎng)關(guān)SpringCloud云原生API網(wǎng)關(guān)SpringCloud——任務(wù)調(diào)度XXL-Job注冊配置中心Nacos打造全開源標(biāo)準(zhǔn)、跨語言生態(tài)、默認(rèn)高可用的通用企業(yè)級微服務(wù)產(chǎn)品。MSE服務(wù)治理MSE服務(wù)治理MSE定時(shí)調(diào)度MSE定時(shí)調(diào)度SchedulerXMSE分布式協(xié)調(diào)ZookeeperMSE分布式協(xié)調(diào)Zookeeper默認(rèn)高可用全產(chǎn)品默認(rèn)高可用全產(chǎn)品開源標(biāo)準(zhǔn)??開源協(xié)議全兼容?服務(wù)免運(yùn)維?默認(rèn)開源性能翻倍??領(lǐng)域默認(rèn)高可用?全鏈路灰度升級?0改造同城多活?無侵入Java、GO治理?跨語言互通01微服務(wù)技術(shù)趨勢以及挑戰(zhàn)總結(jié)微服務(wù)發(fā)展歷程,以及當(dāng)前發(fā)展趨勢,分析后續(xù)的發(fā)展挑戰(zhàn)02MASE微服務(wù)引擎打造通用企業(yè)級微服務(wù)架構(gòu)03MSE擁抱開源堅(jiān)持開放MSE堅(jiān)定擁抱開源，總結(jié)過去共建開源的心得，以及后續(xù)發(fā)展方向從云原生到AI原生引領(lǐng)國內(nèi)微服務(wù)架構(gòu)相關(guān)開源產(chǎn)品有60%市場份額觸達(dá)百萬級開發(fā)者StarsContributors微服務(wù)全景圖SpringAI引領(lǐng)國內(nèi)微服務(wù)架構(gòu)相關(guān)開源產(chǎn)品有60%市場份額觸達(dá)百萬級開發(fā)者StarsContributors微服務(wù)全景圖SpringAIAlibaba快速構(gòu)建SpringAI標(biāo)準(zhǔn)應(yīng)用，在AI場景中最佳實(shí)踐通過云原生讓應(yīng)用場景更多注入AI，通過AI原生讓更多云原生應(yīng)用賦予智能服務(wù)注冊與發(fā)現(xiàn)11服務(wù)注冊與發(fā)現(xiàn)11動(dòng)態(tài)模版管理2分布式動(dòng)態(tài)配置AI原生2分布式動(dòng)態(tài)配置AI原生SpringAIAlibaba3SpringAIAlibaba3SpringCloudAlibaba安全網(wǎng)關(guān)安全網(wǎng)關(guān)4444路由RPC路由RPC項(xiàng)良云原生應(yīng)用平臺(tái)-Serverless&微服務(wù)專家組-解決方案架構(gòu)師2024/09/01阿里巴巴核心電商架構(gòu)演進(jìn)及穩(wěn)定性體系建設(shè)02阿里巴巴容災(zāi)架構(gòu)最佳實(shí)踐03云上應(yīng)用容災(zāi)架構(gòu)最佳實(shí)踐開發(fā)模式轉(zhuǎn)變應(yīng)用架構(gòu)轉(zhuǎn)變部署方式轉(zhuǎn)變基礎(chǔ)架構(gòu)轉(zhuǎn)變加速上線迭代提升架構(gòu)先進(jìn)性靈活動(dòng)態(tài)伸縮提升架構(gòu)先進(jìn)性靈活動(dòng)態(tài)伸縮效率與自動(dòng)化效率與自動(dòng)化云原生技術(shù)架構(gòu)具備極致彈性和跨平臺(tái)、跨區(qū)域規(guī)模復(fù)制能力，滿足應(yīng)用的敏捷開發(fā)、快速交付、降低試錯(cuò)成本、高效需求響應(yīng)、增強(qiáng)用戶體驗(yàn)、自主創(chuàng)新等需求。5.0–云化時(shí)代4.0–單元化時(shí)代規(guī)模、成本規(guī)模、擴(kuò)展3.0–大型分布式JAVA時(shí)代規(guī)模、擴(kuò)展2.0–單體JAVA2.0–單體JAVA應(yīng)用時(shí)代單體PHP、功能面向失敗的架構(gòu)設(shè)計(jì)解決確定性的架構(gòu)設(shè)計(jì)問題面向風(fēng)險(xiǎn)的運(yùn)維處置面向失敗的架構(gòu)設(shè)計(jì)解決確定性的架構(gòu)設(shè)計(jì)問題面向風(fēng)險(xiǎn)的運(yùn)維處置解決不確定性風(fēng)險(xiǎn)事件面向精細(xì)化的運(yùn)維管控解決不確定性的運(yùn)維管控問題架構(gòu)設(shè)計(jì)原則變更執(zhí)行原則應(yīng)急處理原則容錯(cuò)（點(diǎn)）1分鐘發(fā)現(xiàn)容量（線）5容錯(cuò)（點(diǎn)）1分鐘發(fā)現(xiàn)容量（線）5分鐘響應(yīng)可灰度可觀測可觀測10分鐘恢復(fù)10分鐘恢復(fù)容災(zāi)（面）可回滾混沌工程容災(zāi)演練紅藍(lán)攻防混沌工程容災(zāi)演練紅藍(lán)攻防數(shù)據(jù)中心A同城數(shù)據(jù)中心B寫讀數(shù)據(jù)同步復(fù)制數(shù)據(jù)熱備；應(yīng)用分擔(dān)；數(shù)據(jù)可讀；同城部署；無法做到跨省機(jī)房間的無縫切換。X城數(shù)據(jù)中心AX城數(shù)據(jù)Y城數(shù)據(jù)中心Y城數(shù)據(jù)中心統(tǒng)一路由訪問數(shù)據(jù)同步復(fù)制異地多活實(shí)現(xiàn)單元化的業(yè)務(wù)跨省機(jī)房的無縫數(shù)據(jù)中心A同城數(shù)據(jù)中心B寫讀數(shù)據(jù)同步復(fù)制數(shù)據(jù)熱備；應(yīng)用分擔(dān)；數(shù)據(jù)可讀；同城部署；無法做到跨省機(jī)房間的無縫切換。X城數(shù)據(jù)中心AX城數(shù)據(jù)Y城數(shù)據(jù)中心Y城數(shù)據(jù)中心統(tǒng)一路由訪問數(shù)據(jù)同步復(fù)制異地多活實(shí)現(xiàn)單元化的業(yè)務(wù)跨省機(jī)房的無縫切換；部署層面單元化，多個(gè)單元之間無訪問；調(diào)度層面切換禁寫局部化、入口引流統(tǒng)一化；數(shù)據(jù)層面局部化，基于數(shù)據(jù)時(shí)間戳局部同步；數(shù)據(jù)修復(fù)后項(xiàng)化，禁寫后的后向數(shù)數(shù)據(jù)中心A數(shù)據(jù)中心A數(shù)據(jù)中心B數(shù)據(jù)異步復(fù)制異地冷備簡單，對于業(yè)務(wù)侵入較少；數(shù)據(jù)異步復(fù)制異地冷備應(yīng)用和數(shù)據(jù)庫均是冷備；支持異地部署；發(fā)生故障時(shí)難以保證切換可靠性，且備份全站成本非常高。數(shù)據(jù)中心A同城數(shù)據(jù)中心B業(yè)務(wù)侵入少，建設(shè)速度快；數(shù)據(jù)中心A同城數(shù)據(jù)中心B寫讀同城范圍有效地保證了數(shù)據(jù)的安全性和業(yè)務(wù)系統(tǒng)；寫讀數(shù)據(jù)同步復(fù)制數(shù)據(jù)異步復(fù)制數(shù)據(jù)異步復(fù)制同城數(shù)據(jù)中心C冷備中心成本浪費(fèi)；數(shù)據(jù)同步復(fù)制數(shù)據(jù)異步復(fù)制數(shù)據(jù)異步復(fù)制同城數(shù)據(jù)中心C數(shù)據(jù)單點(diǎn)寫存在瓶頸。兩地三中心杭州太熱了杭州太熱了統(tǒng)一路由訪問X城數(shù)據(jù)X城數(shù)據(jù)中心AX城數(shù)據(jù)Y城數(shù)據(jù)中心Y城Y城數(shù)據(jù)中心Y城數(shù)據(jù)中心數(shù)據(jù)同步復(fù)制異地多活??全部業(yè)務(wù)都具備多活能力?數(shù)據(jù)中心無限水平復(fù)制?無實(shí)時(shí)性限制，業(yè)務(wù)均可在數(shù)據(jù)中心內(nèi)自閉環(huán)?按用戶分片，訪問不同數(shù)據(jù)中心，任意用戶任意切換設(shè)計(jì)誤區(qū)11數(shù)據(jù)多維買家：進(jìn)行淘寶商品購買下單的消費(fèi)者2業(yè)務(wù)復(fù)雜業(yè)務(wù)太多，應(yīng)用之間依賴關(guān)系錯(cuò)綜復(fù)雜一次業(yè)務(wù)調(diào)用對應(yīng)上百次原子調(diào)用2業(yè)務(wù)復(fù)雜業(yè)務(wù)太多，應(yīng)用之間依賴關(guān)系錯(cuò)綜復(fù)雜一次業(yè)務(wù)調(diào)用對應(yīng)上百次原子調(diào)用3實(shí)時(shí)性要求高交易、秒殺場景，實(shí)時(shí)要求高201X年淘寶核心鏈路應(yīng)用拓?fù)鋱D按買家維度來進(jìn)行數(shù)據(jù)切片按買家維度來進(jìn)行數(shù)據(jù)切片單元內(nèi)最大限度的封閉只取與買家鏈路相關(guān)的業(yè)務(wù)只取與買家鏈路相關(guān)的業(yè)務(wù)（單元）做“多活”無法接受數(shù)據(jù)最終一致的跨單元單點(diǎn)寫核心業(yè)務(wù)單元核心業(yè)務(wù)單元化核心業(yè)務(wù)盡量自包含（調(diào)用封閉）共享業(yè)務(wù)單元被核心業(yè)務(wù)高頻訪問與核心業(yè)務(wù)單元部署在一起，統(tǒng)稱為“單元”全局單元（中心單元）全局依賴業(yè)務(wù)的強(qiáng)中心業(yè)務(wù)非核心應(yīng)用和數(shù)據(jù)（長尾）核心業(yè)務(wù)單元核心業(yè)務(wù)單元化核心業(yè)務(wù)盡量自包含（調(diào)用封閉）共享業(yè)務(wù)單元被核心業(yè)務(wù)高頻訪問與核心業(yè)務(wù)單元部署在一起，統(tǒng)稱為“單元”全局單元（中心單元）全局依賴業(yè)務(wù)的強(qiáng)中心業(yè)務(wù)非核心應(yīng)用和數(shù)據(jù)（長尾）全局單元 強(qiáng)中心業(yè)務(wù)長尾業(yè)務(wù)單元1核心業(yè)務(wù)單元全局單元 強(qiáng)中心業(yè)務(wù)長尾業(yè)務(wù)單元1核心業(yè)務(wù)單元共享業(yè)務(wù)單元單元N核心業(yè)務(wù)單元共享業(yè)務(wù)單元各種“單元”示意圖單元N+1單元N+1核心業(yè)務(wù)單元共享業(yè)務(wù)單元單元2單元2核心業(yè)務(wù)單元共享業(yè)務(wù)單元中心應(yīng)用全量買家數(shù)據(jù)中心應(yīng)用全量買家數(shù)據(jù)全面賣家數(shù)據(jù)業(yè)務(wù)單元N單元應(yīng)用本單元買家數(shù)據(jù)全量賣家數(shù)據(jù)單元應(yīng)用本單元買家數(shù)據(jù)全量賣家數(shù)據(jù)業(yè)務(wù)單元1業(yè)務(wù)單元業(yè)務(wù)單元業(yè)務(wù)單元2統(tǒng)一入口網(wǎng)關(guān)業(yè)務(wù)單元N微服務(wù)、消息業(yè)務(wù)單元3數(shù)據(jù)層中心服務(wù)統(tǒng)一入口網(wǎng)關(guān)微服務(wù)、消息數(shù)據(jù)層業(yè)務(wù)單元2統(tǒng)一入口網(wǎng)關(guān)業(yè)務(wù)單元N微服務(wù)、消息業(yè)務(wù)單元3數(shù)據(jù)層中心服務(wù)統(tǒng)一入口網(wǎng)關(guān)微服務(wù)、消息數(shù)據(jù)層接入層（將請求路由至正確的單元）接入層（將請求路由至正確的單元）過配置解析規(guī)則調(diào)整流量置路由，一般配置為隨機(jī)③統(tǒng)一接入網(wǎng)關(guān)：接入網(wǎng)關(guān)->應(yīng)用：根據(jù)單元化路由規(guī)則計(jì)算路由目標(biāo)應(yīng)用層（跨單元路由）④RPC路由：由RPC框架根據(jù)路由規(guī)則自動(dòng)調(diào)用動(dòng)實(shí)現(xiàn)消息的復(fù)制和消息投遞數(shù)據(jù)層⑥數(shù)據(jù)訪問：數(shù)據(jù)由中心單元和其他單元以星型拓?fù)涞姆绞诫p向按需同步單元化路由規(guī)則管理路由規(guī)則下發(fā)路由規(guī)則下發(fā)路由規(guī)則下發(fā)1.城市、機(jī)房、單元單元化路由規(guī)則管理路由規(guī)則下發(fā)路由規(guī)則下發(fā)路由規(guī)則下發(fā)1.城市、機(jī)房、單元拓?fù)浣Y(jié)構(gòu)2.流量劃分規(guī)則↓統(tǒng)一接入網(wǎng)關(guān)業(yè)務(wù)業(yè)務(wù)應(yīng)用應(yīng)用單元02單元0275-9975-99機(jī)房3城市2業(yè)務(wù)應(yīng)用單元01業(yè)務(wù)應(yīng)用中心單元業(yè)務(wù)應(yīng)用中心單元45625-49單元db2業(yè)務(wù)應(yīng)用單元01業(yè)務(wù)應(yīng)用中心單元業(yè)務(wù)應(yīng)用中心單元45625-49單元db2 統(tǒng)一接入網(wǎng)關(guān)統(tǒng)一接入網(wǎng)關(guān)業(yè)務(wù)業(yè)務(wù)應(yīng)用單元01中心中心DB機(jī)房1機(jī)房2城市1業(yè)務(wù)單元2統(tǒng)一入口網(wǎng)關(guān)業(yè)務(wù)單元N容量問題站點(diǎn)級彈性、一鍵建站、快上快下業(yè)務(wù)單元3數(shù)據(jù)層意外收獲單元化發(fā)展歷程2013：杭州同城兩個(gè)POC驗(yàn)證業(yè)務(wù)單元2統(tǒng)一入口網(wǎng)關(guān)業(yè)務(wù)單元N容量問題站點(diǎn)級彈性、一鍵建站、快上快下業(yè)務(wù)單元3數(shù)據(jù)層意外收獲單元化發(fā)展歷程2013：杭州同城兩個(gè)POC驗(yàn)證2014：杭州、上海近距離兩個(gè)單元2015：千里之外的三地四單元架構(gòu)2016：三地五單元混合云2017：三地七單元混部混合云…微服務(wù)、消息2容災(zāi)問題爆炸半徑確定、秒級切換中心服務(wù)成為技術(shù)創(chuàng)新的實(shí)驗(yàn)田動(dòng)態(tài)服務(wù)發(fā)現(xiàn)動(dòng)態(tài)服務(wù)發(fā)現(xiàn)云原生云原生API網(wǎng)關(guān)按比例:50%微服務(wù)A微服務(wù)B注冊中心（三可用區(qū)部署）節(jié)點(diǎn)4云數(shù)據(jù)庫（多可用區(qū)主備）雙向同步微服務(wù)A微服務(wù)B節(jié)點(diǎn)3節(jié)點(diǎn)1節(jié)點(diǎn)2按比例:50%備主!!接入層（將請求路由至正確的單元）接入層（將請求路由至正確的單元）云原生API網(wǎng)關(guān)，雙可用區(qū)容災(zāi)部署，可實(shí)現(xiàn)跨可用區(qū)的多個(gè)業(yè)務(wù)集群間的全局負(fù)載均衡和秒級故障轉(zhuǎn)移。應(yīng)用多活，在多個(gè)集群中對等部署。注冊中心注冊中心三可用區(qū)容災(zāi)部署，可實(shí)現(xiàn)秒級故障轉(zhuǎn)移。云數(shù)據(jù)庫，雙可用區(qū)主備部署，主備之間雙向同步數(shù)據(jù)，提供代理數(shù)據(jù)源，可實(shí)現(xiàn)讀寫分享和災(zāi)難場景下秒級切換。動(dòng)態(tài)服務(wù)發(fā)現(xiàn)微服務(wù)治理控制面運(yùn)行態(tài)穩(wěn)定性治理變更態(tài)服務(wù)治理無損上/下線定時(shí)任務(wù)灰度消息灰度同步灰度熔斷安全微服務(wù)治理控制面運(yùn)行態(tài)穩(wěn)定性治理變更態(tài)服務(wù)治理無損上/下線定時(shí)任務(wù)灰度消息灰度同步灰度熔斷安全云原生云原生API網(wǎng)關(guān)按比例:50%微服務(wù)Aagent微服務(wù)Bagent注冊中心（三可用區(qū)部署）節(jié)點(diǎn)4云數(shù)據(jù)庫（多可用區(qū)主備）雙向同步微服務(wù)Aagent微服務(wù)Bagent節(jié)點(diǎn)1節(jié)點(diǎn)3節(jié)點(diǎn)2按比例:50%備主!!云原生API網(wǎng)關(guān)，雙可用區(qū)容災(zāi)部署，可實(shí)現(xiàn)跨可用區(qū)的多個(gè)業(yè)務(wù)集群間的全局負(fù)載均衡和秒級故障轉(zhuǎn)移。應(yīng)用多活，在多個(gè)集群中對等部署。注冊中心注冊中心三可用區(qū)容災(zāi)部署，可實(shí)現(xiàn)秒級故障轉(zhuǎn)移。服務(wù)治理可實(shí)現(xiàn)微服務(wù)流量的單元內(nèi)閉環(huán)。云數(shù)據(jù)庫，雙可用區(qū)主備部署，主備之間雙向同步數(shù)據(jù)，提供代理數(shù)據(jù)源，可實(shí)現(xiàn)讀寫分離和災(zāi)難場景下秒級切換。多種健康探測協(xié)議云原生網(wǎng)關(guān)多種健康探測協(xié)議云原生網(wǎng)關(guān)服務(wù)健康探測服務(wù)健康探測主動(dòng)探測應(yīng)用節(jié)點(diǎn)2應(yīng)用A節(jié)點(diǎn)1應(yīng)用A節(jié)點(diǎn)1應(yīng)用A節(jié)點(diǎn)2主動(dòng)探測主動(dòng)探測主動(dòng)探測AZ2AZ2K8S服務(wù)來源AZ1K8S服務(wù)來源自研Distro協(xié)議-高可用自研Distro協(xié)議-高可用每個(gè)節(jié)點(diǎn)平等處理讀寫請求，新寫入數(shù)據(jù)實(shí)時(shí)同步到其它節(jié)點(diǎn)。每個(gè)節(jié)點(diǎn)可獲取全量數(shù)據(jù)，可獨(dú)立處理讀請求。節(jié)點(diǎn)間定期發(fā)送心跳，做元信息校驗(yàn)，數(shù)據(jù)不一致，全量拉取補(bǔ)齊數(shù)據(jù)長連接心跳檢測自動(dòng)剔除失聯(lián)節(jié)點(diǎn)同每個(gè)節(jié)