EMC_備份恢復整體解決方案課件

1、EMCEMC備份恢復整體解決方案備份恢復整體解決方案 EMC技術(shù)顧問 劉慶豐 目前我們備份中所面臨的問題目前我們備份中所面臨的問題 1.數(shù)據(jù)量越來越大，備份窗口不滿足要求，備份時間太長 2.備份所需要的空間不斷增加，對成本和管理帶來很大的負擔 3.備份的數(shù)據(jù)不可見，不知道是否備份成功，更沒有做過數(shù)據(jù)恢復 4.數(shù)據(jù)恢復時間太長，業(yè)務中斷時間不可接受 EMCEMC備份恢復解決方案整體描述備份恢復解決方案整體描述 Backup Backup SoftwareSoftware Storage Storage SystemSystem 重復數(shù)據(jù)刪除-源端 AvamarAvamar 重復數(shù)據(jù)刪除-目標端

2、NetWorker or 3NetWorker or 3rd rd Party Party 持續(xù)數(shù)據(jù)保護 RecoverpointRecoverpoint AvamarAvamarData DomainData DomainEMC or 3rd PartyEMC or 3rd Party EMC Avamar EMC Avamar 數(shù)據(jù)源重復數(shù)據(jù)消除備份的市場領導者 有效降低對網(wǎng)絡帶寬的占用 幫助客戶縮短備份窗口 VMware, 分支機構(gòu),NAS文件服務器,應用系統(tǒng) B2D EMC RecoverpointEMC Recoverpoint 持續(xù)數(shù)據(jù)備份和恢復解決方案 恢復到任意時間點 即時備份

3、、即時恢復 備份數(shù)據(jù)可用 EMC NetWorkerEMC NetWorker 集中的備份解決,最廣泛的客戶環(huán)境和設備支持 傳統(tǒng)備份與新一代備份的結(jié)合 可與Avamar, EDL, Data Domain集成 EMC Data DomainEMC Data Domain 存儲設備端的重復數(shù)據(jù)消除市場領導者 方便地與各種的備份軟件相結(jié)合 AvamarAvamarData DomainData DomainRecoverpointRecoverpoint Data Protection AdvisorData Protection Advisor 備份監(jiān)控、故障排查 分析警報和報告 構(gòu)建多層次備份

4、體系構(gòu)建多層次備份體系 第一層：采用快照或持續(xù)數(shù)據(jù)保護第一層：采用快照或持續(xù)數(shù)據(jù)保護 第二層：采用備份到磁盤實現(xiàn)快速備份第二層：采用備份到磁盤實現(xiàn)快速備份 第三層：采用備份到磁帶實現(xiàn)歸檔備份第三層：采用備份到磁帶實現(xiàn)歸檔備份 Legato NetworkerLegato Networker EMC NetworkerEMC Networker 文件系統(tǒng)文件系統(tǒng) 服務器服務器 恢復恢復 高級高級 應用支持應用支持 虛擬化虛擬化 遠端站點遠端站點 數(shù)據(jù)中心數(shù)據(jù)中心 遠程站點遠程站點 快照快照, CDP, and CRR 重復數(shù)據(jù)刪除重復數(shù)據(jù)刪除 應用應用 SAP Oracle MSFT Dedup

5、lication DeduplicationDeduplication NetWorker Deduplication 磁帶磁帶 云云 集中管理集中管理 Scheduling, Policies, Reporting RecoverpointRecoverpoint RecoverPoint RecoverPoint 系列系列 RecoverPoint RecoverPoint 系列概述系列概述 在同步和異步復制之間動態(tài)切換 支持流行的操作系統(tǒng) 基于主機、CLARiiON 或結(jié)構(gòu)的拆分器 RecoverPoint/SE：僅適用于 CLARiiON； 復制容量高達 32 TB RecoverPo

6、int：EMC 和非 EMC 存儲； 復制容量高達 150 TB CDPCDP： 本地保護本地保護 CRRCRR： 遠程保護遠程保護 CLRCLR：并行本地：并行本地 和遠程保護和遠程保護 數(shù)據(jù)保護、復制和災難恢復解決方案數(shù)據(jù)保護、復制和災難恢復解決方案 用于本地和遠程站點的單一產(chǎn)品 提供比同類產(chǎn)品更快的時間點恢復 降低站點之間租用線路成本 獨一無二的帶寬節(jié)約和壓縮技術(shù) 網(wǎng)絡利用率提高 5 至 10 倍 數(shù)據(jù)備份數(shù)據(jù)備份- -持續(xù)數(shù)據(jù)保護（原理）持續(xù)數(shù)據(jù)保護（原理） 備份磁盤陣列備份磁盤陣列- -副本卷副本卷 日志卷日志卷 00：00-生產(chǎn)卷中有數(shù)據(jù)1、2、3、4；副本卷同時復制為1、2、3、

7、4 1234 01：03-生產(chǎn)卷中有數(shù)據(jù)2被改寫為5；副本卷將2改寫為5 01：03-數(shù)據(jù)2被復制到日志卷，并標記書簽 5 01：05-生產(chǎn)卷中數(shù)據(jù)4被刪除，同時副本卷中4被刪除 01：05-數(shù)據(jù)4被復制到日志卷，并標記書簽 生產(chǎn)磁盤陣列生產(chǎn)磁盤陣列- -生產(chǎn)卷生產(chǎn)卷 12345 數(shù)據(jù)備份數(shù)據(jù)備份/ /恢復恢復- -持續(xù)數(shù)據(jù)保護（流程）持續(xù)數(shù)據(jù)保護（流程） / A/ C / B r Ar C r B 1. 1. 數(shù)據(jù)被數(shù)據(jù)被“拆分拆分”，然后用兩，然后用兩 種方法之一發(fā)送到種方法之一發(fā)送到 RecoverPoint RecoverPoint 應用應用 裝置裝置 4.4.應用裝置把數(shù)據(jù)寫入日志卷

8、，同時附應用裝置把數(shù)據(jù)寫入日志卷，同時附 帶時間戳和特定于應用程序的書簽帶時間戳和特定于應用程序的書簽 5.5.寫操作順序一致的數(shù)據(jù)被分發(fā)到副本卷寫操作順序一致的數(shù)據(jù)被分發(fā)到副本卷 生產(chǎn)卷生產(chǎn)卷副本卷副本卷日志卷日志卷/備份卷備份卷 2a.2a.主機拆分器主機拆分器 3.3.RecoverPoint RecoverPoint 應用裝置返回應用裝置返回 寫操作確認寫操作確認 2b.2b. 智能智能 結(jié)構(gòu)拆分器結(jié)構(gòu)拆分器 持續(xù)數(shù)據(jù)保護：優(yōu)勢持續(xù)數(shù)據(jù)保護：優(yōu)勢 不存在備份窗口，無窗口壓力；不存在備份窗口，無窗口壓力； 無需恢復，備份數(shù)據(jù)即時可用；無需恢復，備份數(shù)據(jù)即時可用； 可恢復至任意一個時間點；

9、可恢復至任意一個時間點； 管理簡單、清晰，易于操作；管理簡單、清晰，易于操作； 占用備份空間小，節(jié)約容量成本；占用備份空間小，節(jié)約容量成本； 按照容量收費，計費方式簡單；按照容量收費，計費方式簡單； 生產(chǎn)站點生產(chǎn)站點 災難恢復災難恢復 （遠程）站點（遠程）站點 災難恢復災難恢復 UNIXWindows SAN UNIXWindows SAN 初始同步 更新 更新更新 CRR 目標陣列目標陣列 目標目標 CG3 目標目標 CG2 目標目標 CG1 WAN RecoverPoint 應用裝置應用裝置 RecoverPoint 應用裝置應用裝置 源陣列源陣列 源源 CG3 源源 CG2 源源 CG1

10、 災難恢復災難恢復 生產(chǎn)故障 將故障切換到 CRR LUN 更新 CRR LUN 災難災難 生產(chǎn)站點生產(chǎn)站點 UNIXWindows SAN 災難恢復災難恢復 （遠程）站點（遠程）站點 UNIXWindows SAN CRR 目標陣列目標陣列源陣列源陣列 WAN RecoverPoint 應用裝置應用裝置 RecoverPoint 應用裝置應用裝置 源源 CG3 源源 CG2 源源 CG1 源源 VDM 源源 iSCSI LUN 源源 文件系統(tǒng)文件系統(tǒng) 目標目標 CG3 目標目標 CG2 目標目標 CG1 更新更新 災難恢復災難恢復 （遠程）站點（遠程）站點 災難恢復災難恢復 恢復 重新同步

11、LUN 回切到生產(chǎn) 恢復恢復 UNIXWindows SAN UNIXWindows SAN CRR 目標陣列目標陣列源陣列源陣列 RecoverPoint 應用裝置應用裝置 RecoverPoint 應用裝置應用裝置 CRR 源陣列源陣列目標陣列目標陣列 WAN 源源 VDM 源源 iSCSI LUN 源源 文件系統(tǒng)文件系統(tǒng) 源源 VDM 源源 iSCSI LUN 源源 文件系統(tǒng)文件系統(tǒng) 源源 CG3 源源 CG2 源源 CG1 源源 CG3 源源 CG2 CRR 源源 CG1 目標目標 CG3 目標目標 CG2 目標目標 CG1 更新更新 生產(chǎn)站點生產(chǎn)站點 RecoverPoint案例 A

12、VAMARAVAMAR源端重復數(shù)據(jù)刪除源端重復數(shù)據(jù)刪除 AvamarAvamar：工作機制：工作機制 在源位置在源位置 在通過網(wǎng)絡傳輸數(shù)據(jù)之前進行重復數(shù)據(jù)消除 在目標位置二次計算在目標位置二次計算不同地點、不同服務器的數(shù)據(jù)，如果出現(xiàn)相同，再次處理 細粒度細粒度 微小、長度可變的子文件數(shù)據(jù)段可確保最有效地執(zhí)行重復數(shù)據(jù)消除 同一原子結(jié)構(gòu)僅發(fā)送 和存儲一次 Avamar 備份存儲庫 將數(shù)據(jù)拆分為原子結(jié)構(gòu) （子文件、可變長度的數(shù)據(jù)段） OH O HH O HH O HH O HH O HH 遠程遠程 站點站點 2 修改的實例修改的實例 數(shù)據(jù)數(shù)據(jù) 中心中心 僅備份具有唯一性 的數(shù)據(jù)段 第一個實例第一個實

13、例 識別并備份新的 數(shù)據(jù)段 AvamarAvamar：工作機制：工作機制 遠程站點遠程站點 1 重復實例重復實例 數(shù)據(jù)已備份， 所以只存儲 具有唯一性的 ID（20 字節(jié) 的指針） 重復數(shù)據(jù)消除服務器重復數(shù)據(jù)消除服務器 （存儲的備份數(shù)據(jù)）（存儲的備份數(shù)據(jù)） ABCD A B C D E E Network Create AB CD Duplicate AB CD E ModifyAB C Backup E D C B A Backup DCBAE 移除冗余數(shù)據(jù) 單個文件內(nèi) 一臺服務器內(nèi) 跨多臺服務器 僅傳輸唯一的數(shù)據(jù) 客戶端上的元數(shù)據(jù) 保存唯一的數(shù)據(jù) 永遠增量 縮短備份窗口 立即數(shù)據(jù)可用 直接

14、用戶訪問 完整鏡像訪問 一致性 合成的 Client Avamar Avamar 技術(shù)特點技術(shù)特點 Avamar Avamar 針對針對 VMware Infrastructure VMware Infrastructure 優(yōu)化的備份優(yōu)化的備份 最多最多. 移動數(shù)據(jù)量減少 95% 備份時間縮短 90% 磁盤影響減少 50% 網(wǎng)卡使用率降低 95% CPU 使用率降低 80% 內(nèi)存使用率降低 50% 將所有備份存儲為將所有備份存儲為“虛擬完整備份虛擬完整備份”， 可即時恢復可即時恢復 支持更高的服務器整合率，而不過度支持更高的服務器整合率，而不過度 增加增加 CPU 利用率利用率 Avamar

15、 備份每周移動約備份每周移動約 2% 傳統(tǒng)備份每周移動約傳統(tǒng)備份每周移動約 200% 資源池資源池 VMware 虛擬化層虛擬化層 x86 體系結(jié)構(gòu)體系結(jié)構(gòu) 資源池資源池 VMware 虛擬化層虛擬化層 x86 體系結(jié)構(gòu)體系結(jié)構(gòu) 部署方式部署方式 Avamar Software AgentA WAN 加密傳輸加密傳輸 小型分支小型分支 Avamar agent only on primary systems A (加密傳輸加密傳輸) 大型分支機構(gòu)大型分支機構(gòu) Primary systems A Avamar server 數(shù)據(jù)中心數(shù)據(jù)中心 Primary systems A Avamar se

16、rver External storage (加密傳輸加密傳輸) 遠程災備站點遠程災備站點 Primary systems A Tape Vault Avamar server External storage 加密傳輸加密傳輸 Avamar Avamar 的創(chuàng)新體系結(jié)構(gòu)的創(chuàng)新體系結(jié)構(gòu) 獨立節(jié)點冗余陣列 (RAIN) 體系結(jié)構(gòu) 每一個服務器節(jié)點都有內(nèi)部磁盤存儲和 CPU 提供跨節(jié)點高可用性和容錯功能 網(wǎng)格體系結(jié)構(gòu)允許在線擴展并提高了性能 每天檢查 Avamar 服務器的完整性和數(shù)據(jù) 可恢復性 針對磁盤故障的 RAID 保護 可用于 Avamar 軟件和 Avamar Data Store 每個

17、DataStore存儲節(jié)點采用1TB/2TB/3.3TB的可 用空間； 可最多擴展至512TB的可用存儲空間； Avamar 服務器服務器 經(jīng)驗證的經(jīng)驗證的 檢查點檢查點 設施和設施和 備用節(jié)點備用節(jié)點 跨存儲節(jié)點的跨存儲節(jié)點的 奇偶校驗奇偶校驗 Avamar Avamar 的集中化管理的集中化管理 集中管理多個 Avamar 系統(tǒng) 直觀、基于 Web 的界面 控制板一目了然 容量報告和警報 為 “一次設置，永久使用”部署提供便 利 提高遠程辦公室/分支辦公室中的效率并 簡化管理 基于現(xiàn)有網(wǎng)絡帶寬實現(xiàn)基于策略的基于現(xiàn)有網(wǎng)絡帶寬實現(xiàn)基于策略的 多站點管理多站點管理 AvamarAvamar解決方

18、案的總體優(yōu)勢解決方案的總體優(yōu)勢 備份和恢復的過程 完全基于磁盤完全基于磁盤 冗余數(shù)據(jù)的刪除工作 在數(shù)據(jù)源進行在數(shù)據(jù)源進行 可升級的服務器架構(gòu)可升級的服務器架構(gòu) 網(wǎng)格計算架構(gòu)提供了強大的升級能力 低帶寬需求低帶寬需求 在客戶端和服務器之間 定時的自動復制定時的自動復制 為更高級的備份容災提供了完全的解決方案 集中的 基于策略基于策略 的管理 Avamar Avamar 案例案例 DataDomainDataDomain目標端重復數(shù)據(jù)刪除目標端重復數(shù)據(jù)刪除 目標位置重復數(shù)據(jù)消除目標位置重復數(shù)據(jù)消除源位置重復數(shù)據(jù)消除源位置重復數(shù)據(jù)消除 單一方式難以適應所有環(huán)境單一方式難以適應所有環(huán)境 Avamar

19、客戶端軟件代理找出源位置重復出現(xiàn)的 子文件數(shù)據(jù)段 備份應用程序只將唯一的新數(shù)據(jù)段通過 網(wǎng)絡發(fā)送到存儲設備 優(yōu)點 縮短的備份窗口 減輕了虛擬基礎架構(gòu)壓力 降低了備份客戶端與服務器之間的帶寬 Data Domain 備份應用程序?qū)⒈緳C數(shù)據(jù)發(fā)送到目標存儲設備 數(shù)據(jù)到達目標時消除重復數(shù)據(jù) 優(yōu)點 與現(xiàn)有備份軟件之間實現(xiàn)了即插即用 高吞吐量，可用于大型數(shù)據(jù)集和復制到磁帶 協(xié)議獨立：虛擬磁帶庫 (VTL)、NAS、 NetBackup OpenStorage 選項 網(wǎng)絡網(wǎng)絡 網(wǎng)絡網(wǎng)絡 線內(nèi)高速重復數(shù)據(jù)消除系統(tǒng)線內(nèi)高速重復數(shù)據(jù)消除系統(tǒng) DD140DD610DD630DD660DD690DD880 Global

20、 Deduplication Array DDX Array 速度速度450 GB/小時675 GB/小時1.1 TB/小時2.0 TB/小時2.7 TB/小時5.4 TB/小時12.8 TB/小時86.4 TB/小時 邏輯容量邏輯容量1743 TB75195 TB165420 TB0.5201.31 PB0.710-1.7 PB2.87.1 PB5.714 .2 PB45.6114 PB 原始容量原始容量1.5 TB最多 6 TB最多 12 TB最多 36 TB最多 48 TB最多 192 TB最多 384 TB最多 3.07 PB 可用容量可用容量0.86 TB最多 3.98 TB最多 8

21、.4 TB最多 26.1 TB最多 35.3 TB最多 142.5 TB最多 285 TB最多 2.28 PB DDX Array 系列系列 軟件：軟件： DD Virtual Tape Library、 DD Replicator、Retention Lock 和和 DD Encryption DD140 虛擬磁盤庫虛擬磁盤庫 DD610 虛擬磁盤庫虛擬磁盤庫 DD880 虛擬磁盤庫虛擬磁盤庫 Global Deduplication Array DD630 虛擬磁盤庫虛擬磁盤庫 DD660 虛擬磁盤庫虛擬磁盤庫 DataDomainDataDomain的架構(gòu)的架構(gòu) VMware Micro

22、soft Microsoft SharePoint Oracle SAP BackupMidrange and Mainframe Partners LaserVault Luminex Archive NAS, SAN, DAS EMC Symantec CommVault CA HP Vizioncore Backup Applications F5 Symantec CommVault Archive Applications Data Domain Deduplication Storage SimplyContinuous Cisco Disaster Recovery IBM Ti

23、voli Atempo Bakbone Primary Storage Replication over WAN Network 第二周星期五完整備份第二周星期五完整備份 BCDEFLGH 重復數(shù)據(jù)消除：容量計算重復數(shù)據(jù)消除：容量計算 A B C D E F G H I J 星期五完整備份星期五完整備份 ABCDAEFG 星期一增量備份星期一增量備份 ABH 星期二增量備份星期二增量備份 CBI 星期四增量備份星期四增量備份 ACK 星期三增量備份星期三增量備份 EGJ 備份備份邏輯容量邏輯容量 預估預估物理容量物理容量 數(shù)據(jù)數(shù)據(jù) 縮減量縮減量 星期一增量備份星期一增量備份100 GB710

24、倍倍 10 GB 星期二增量備份星期二增量備份100 GB710 倍倍 10 GB K L 星期三增量備份星期三增量備份100 GB710 倍倍 10 GB 星期四增量備份星期四增量備份100 GB710 倍倍 10 GB 第二周星期五完整備份第二周星期五完整備份 1 TB5060 倍倍 18 GB 總計總計 2.4 TB7.8 倍倍 308 GB 星期五完整備份星期五完整備份 1 TB24 倍倍 250 GB 重復數(shù)據(jù)消除：容量計算重復數(shù)據(jù)消除：容量計算 第一周第一周 備份備份累計累計預估預估物理容量物理容量 數(shù)據(jù)數(shù)據(jù)邏輯容量邏輯容量縮減量縮減量 4 月月 14 日日3.8 TB10 倍倍3

25、66 GB 4 月月 21 日日5.2 TB12 倍倍424 GB 4 月月 28 日日6.6 TB14 倍倍482 GB 5 月月 31 日日12.2 TB17 倍倍714 GB 6 月月 30 日日17.8 TB19 倍倍946 GB 總計總計23.4 TB20 倍倍1,178 GB 4 月月 7 日日2.4 TB8 倍倍308 GB 第二周第二周 第三周第三周 第一個月第一個月 第二個月第二個月 第三個月第三個月 第四個月第四個月 7 月月 31 日日23.4 TB20 倍倍1,178 GB 第一次完整備份第一次完整備份 1 TB4 倍倍250 GB Data DomainData Do

26、main創(chuàng)新性創(chuàng)新性 重復數(shù)據(jù)消除存儲系統(tǒng) 已安裝 12,000 多套系統(tǒng) 超過 4,300 名客戶 全球有逾 2,600 PB 數(shù)據(jù)受到 Data Domain 保護 “業(yè)界第一”歷史記錄 第一個重復數(shù)據(jù)消除第一個重復數(shù)據(jù)消除 NAS 第一個實現(xiàn)重復數(shù)據(jù)消除第一個實現(xiàn)重復數(shù)據(jù)消除 卷復制卷復制 最大的重復數(shù)據(jù)最大的重復數(shù)據(jù) 消除消除 陣列陣列 第一個實現(xiàn)重復數(shù)據(jù)消除第一個實現(xiàn)重復數(shù)據(jù)消除 目錄復制目錄復制 第一個重復數(shù)據(jù)消除虛第一個重復數(shù)據(jù)消除虛 擬磁帶庫擬磁帶庫 第一個實現(xiàn)重復數(shù)據(jù)消除第一個實現(xiàn)重復數(shù)據(jù)消除 近線存儲近線存儲 最快的備份最快的備份 控制器控制器 級聯(lián)復制級聯(lián)復制 20032

27、004200520062007200820092010 第一個實現(xiàn)第一個實現(xiàn) 重復數(shù)據(jù)重復數(shù)據(jù) 消除加密消除加密 Data Domain Data Domain 基本信息基本信息 復制復制 CIFS、NFS、 NDMP、OpenStorage 以太網(wǎng)以太網(wǎng) 虛擬磁帶虛擬磁帶 庫庫 (VTL) （通過光纖通道）（通過光纖通道） DD880 裝置裝置 控制層控制層 目標層目標層災難恢復層災難恢復層 4U 2 到 6 個端口 10 和 1 千兆位以太網(wǎng)；4 Gb/s 光纖通道 RAID 6 5.4 TB 到 142.5 TB 可用容量（帶盤架） 盤架中有 1 TB 或 500 GB 的 7.2k r

28、pm SATA 硬盤 文件系統(tǒng) NVRAM N+1 風扇和冗余熱插拔電源 DD880 裝置裝置 備份和歸檔備份和歸檔 應用程序應用程序 數(shù)據(jù)復制數(shù)據(jù)復制 源：遠程站點源：遠程站點 目標目標: 數(shù)據(jù)中心樞紐數(shù)據(jù)中心樞紐 支持數(shù)百個 遠程站點 15% 15% 15% 歸檔數(shù)據(jù)歸檔數(shù)據(jù) 備份數(shù)據(jù)備份數(shù)據(jù) 帶有帶有 DD880 的的 Data Domain DDX Array Data Domain 系統(tǒng)系統(tǒng) 靈活的復制靈活的復制 一對多 多對一 雙向 系統(tǒng)對系統(tǒng) 級聯(lián) 主目錄主目錄 DB 廣域網(wǎng)廣域網(wǎng) 主目錄主目錄 目錄目錄 A 跨站點帶寬使用減少跨站點帶寬使用減少 9599% Data Domai

29、n 系統(tǒng)系統(tǒng) Data Domain 系統(tǒng)系統(tǒng) DataDomain成功案例 備份數(shù)據(jù)流 光纖交換機 FC SAN DS4700DS4700 EMC DD630EMC DD630 數(shù)據(jù)復制數(shù)據(jù)復制 NetworkerNetworker 備份服務器備份服務器 馬鞍山馬鞍山南京南京 AIXAIX internetinternet SSL VPNSSL VPNSSL VPNSSL VPN NS-480NS-480 刀片刀片 AIXAIX P520P520 恢復數(shù)據(jù)流 DPADPA（Data Protection AdvisorData Protection Advisor） EMC DPAEMC DPA備份監(jiān)控軟件備份監(jiān)控軟件 降低成本降低成本 通過深入了解提高效率 減少風險減少風險 可以滿足服務級別協(xié)議 最大限度地降低復雜性最大限度地降低復雜性 提供了單個集成視圖 備份應用程序備份應用程序/客戶端客戶端 復制復制 重復數(shù)據(jù)消除重復數(shù)據(jù)消除/VTL/磁帶磁帶 NAS 和和 SAN 業(yè)務應用程序業(yè)務應用程序 監(jiān)視監(jiān)視 報警報警 故障排查故障排查 優(yōu)化優(yōu)化 報告報告 容量規(guī)劃容量規(guī)劃 虛擬環(huán)境虛擬環(huán)境 數(shù)據(jù)挖掘分析引擎 監(jiān)視和警報監(jiān)視和警報 通過阻止正在發(fā)展變化的問題轉(zhuǎn)變?yōu)?更大的問題保持領先一