vmware-軟件定義存儲(chǔ)(VSAN)整體介紹

VMwareVirtualSAN6.0

討論材料存儲(chǔ)業(yè)務(wù)部門2015年1月2021/5/91目錄存儲(chǔ)方面的挑戰(zhàn)和難題

[3]軟件定義的存儲(chǔ)和新出現(xiàn)的存儲(chǔ)體系結(jié)構(gòu)

[4]VirtualSAN概述

[9]VirtualSAN：深入了解

[19]客戶案例快照

[40]其他資源

[44]備注：若要跳轉(zhuǎn)鏈接生效，請(qǐng)?jiān)谘菔灸Ｊ较虏榭?021/5/92客戶目前在存儲(chǔ)方面面臨著一些挑戰(zhàn)以設(shè)備為中心的孤立小環(huán)境靜態(tài)服務(wù)等級(jí)僵化的調(diào)配缺乏精確控制頻繁的數(shù)據(jù)遷移耗時(shí)的流程自動(dòng)化程度低對(duì)請(qǐng)求響應(yīng)慢復(fù)雜的流程非商用利用率低超額配置昂貴的專用硬件2021/5/93需要一種全新的方法：軟件定義的存儲(chǔ)全新控制層從以硬件為中心轉(zhuǎn)向以應(yīng)用為中心全新數(shù)據(jù)層從專用硬件轉(zhuǎn)向行業(yè)標(biāo)準(zhǔn)硬件軟件定義的存儲(chǔ)目前的存儲(chǔ)

策略驅(qū)動(dòng)的自動(dòng)化跨陣列的通用性動(dòng)態(tài)控制Server

SAN經(jīng)過閃存加速分布式2021/5/94虛擬化管理程序在實(shí)現(xiàn)軟件定義的存儲(chǔ)轉(zhuǎn)型方面擁有得天獨(dú)厚的優(yōu)勢(shì)(1)GartnerMarketTrends:x86ServerVirtualization,Worldwide,2013選擇虛擬化管理程序的原因：超過70%的x86服務(wù)器工作負(fù)載實(shí)施了虛擬化1本身可支持應(yīng)用剛好位于I/O路徑中可提供底層存儲(chǔ)資源的全局視圖它與硬件無關(guān)vSphere2021/5/95VMware?vSphere?

基于存儲(chǔ)策略的管理以應(yīng)用為中心的存儲(chǔ)自動(dòng)化跨異構(gòu)陣列的通用管理VMware?VirtualSAN?聚合了虛擬化管理程序的體系結(jié)構(gòu)虛擬化管理程序提供的數(shù)據(jù)持久性VMware軟件定義的存儲(chǔ)愿景以服務(wù)器虛擬化轉(zhuǎn)變計(jì)算的方式來對(duì)存儲(chǔ)進(jìn)行轉(zhuǎn)型vSphere2021/5/96vSphereVirtualVolumes可將軟件定義的存儲(chǔ)的控制層延展至VMware體系VMware軟件定義的存儲(chǔ)vSphere基于存儲(chǔ)策略的管理vSpherevSphereVirtualSAN基于存儲(chǔ)策略的管理支持VVOL的陣列VMware軟件定義的存儲(chǔ)vSphereVirtualVolumes2021/5/97存儲(chǔ)合作伙伴體系可以為VirtualSAN和VirtualVolumes提供支持vSphereVirtualSAN基于存儲(chǔ)策略的管理支持VVOL的陣列VMware軟件定義的存儲(chǔ)vSphereVirtualVolumes2021/5/98VMwareVirtualSAN6.0聚合了虛擬化管理程序的極其簡(jiǎn)單的虛擬機(jī)存儲(chǔ)2021/5/99VMwareVirtualSAN6.0聚合了虛擬化管理程序的極其簡(jiǎn)單的虛擬機(jī)存儲(chǔ)

vSphere+VirtualSAN...軟件定義的存儲(chǔ)針對(duì)虛擬機(jī)進(jìn)行了優(yōu)化聚合了虛擬化管理程序的體系結(jié)構(gòu)可在任何標(biāo)準(zhǔn)x86服務(wù)器上運(yùn)行將HDD/SSD池化為共享數(shù)據(jù)存儲(chǔ)提供企業(yè)級(jí)的可擴(kuò)展性和性能通過按虛擬機(jī)設(shè)置的存儲(chǔ)策略進(jìn)行管理與VMware產(chǎn)品體系深度集成概述硬盤SSD硬盤SSD硬盤SSDVirtualSAN數(shù)據(jù)存儲(chǔ)2021/5/910VirtualSAN可以使用分層混合或全閃存體系結(jié)構(gòu)部署混合全閃存每個(gè)主機(jī)40KIOPS每個(gè)主機(jī)90KIOPS+亞毫秒級(jí)延遲新功能！緩存讀寫緩存寫入內(nèi)容會(huì)首先進(jìn)行緩存，

而讀取內(nèi)容會(huì)直接進(jìn)入容量層容量層SAS/NLSAS/SATA/直連式JBOD容量層閃存設(shè)備讀取內(nèi)容會(huì)直接進(jìn)入容量層數(shù)據(jù)持久性VirtualSANSSDPCIeUltraDIMMSSDPCIeUltraDIMM2021/5/911VirtualSAN聚合了虛擬化管理程序VirtualSAN已嵌入vSphere內(nèi)核CPU占用少于10%便于管理無需安裝和管理單獨(dú)的虛擬設(shè)備無單點(diǎn)故障提供最短的I/O路徑與vSphere和VMware產(chǎn)品體系無縫集成vSphereVirtualSAN已嵌入

虛擬機(jī)內(nèi)核虛擬存儲(chǔ)設(shè)備...+2021/5/912VirtualSAN6.0的新功能特性4倍的性能，

2倍的規(guī)模每個(gè)主機(jī)90KIOPS（提高4.5倍）擴(kuò)展到64個(gè)節(jié)點(diǎn)（提高2倍）每個(gè)主機(jī)200個(gè)虛擬機(jī)

（提高2倍）虛擬磁盤大小

最大62TB企業(yè)級(jí)數(shù)據(jù)服務(wù)全新的高性能快照和克隆可容忍機(jī)架故障的機(jī)架感知基于硬件的校驗(yàn)和與加密更廣泛的硬件支持使用直連式JBOD提高刀片的可擴(kuò)展性

經(jīng)擴(kuò)展的HCL和更多就緒

節(jié)點(diǎn)全閃存體系結(jié)構(gòu)SSD上的數(shù)據(jù)持久性智能緩存和雙層體系結(jié)構(gòu)2021/5/913VirtualSAN6.0現(xiàn)在可支持關(guān)鍵業(yè)務(wù)應(yīng)用VDIDR測(cè)試/開發(fā)虛擬基礎(chǔ)架構(gòu)適用于虛擬機(jī)的最佳存儲(chǔ)針對(duì)虛擬基礎(chǔ)架構(gòu)進(jìn)行了優(yōu)化企業(yè)級(jí)可支持關(guān)鍵業(yè)務(wù)應(yīng)用關(guān)鍵業(yè)務(wù)應(yīng)用2021/5/914VirtualSAN屢獲殊榮！“截至2017年，將有三分之一的中端市場(chǎng)組織至少會(huì)為其總存儲(chǔ)容量的30%部署VirtualSAN...”BestofInterop—存儲(chǔ)類(2014)獲獎(jiǎng)產(chǎn)品BestofInterop—客戶選擇獎(jiǎng)獲獎(jiǎng)產(chǎn)品(2014)BestofTechEd獎(jiǎng)獲獎(jiǎng)產(chǎn)品北美2014InfoWorld—年度技術(shù)獎(jiǎng)(2015)InfoWorld—編輯選擇獎(jiǎng)(2014)2021/5/915客戶的發(fā)展勢(shì)頭前所未有

“實(shí)際性能真的與

宣傳的完全一致…事實(shí)上，

我能夠?qū)ζ溥M(jìn)行設(shè)置，

用起來非常輕松，

我都忘了它非常大了！1000+個(gè)客戶

（最初

9個(gè)月內(nèi)）“據(jù)我的經(jīng)驗(yàn)來看，VMware的解決方案非常可靠…我們已準(zhǔn)備好將VirtualSAN部署的規(guī)模擴(kuò)大將近兩倍2021/5/916客戶為什么會(huì)喜愛VirtualSAN？單擊兩下即可安裝單一窗口策略驅(qū)動(dòng)

自調(diào)節(jié)

與

VMware

產(chǎn)品體系集成極其簡(jiǎn)單閃存加速和SSD持久性一致的IOPS，亞毫秒級(jí)的響應(yīng)時(shí)間無中斷的線性擴(kuò)展

嵌入在vSphere內(nèi)核中通過彈性擴(kuò)展能力實(shí)現(xiàn)

可預(yù)測(cè)的高性能

較低的TCO服務(wù)器端經(jīng)濟(jì)優(yōu)勢(shì)無需大量前期投資可隨增長(zhǎng)擴(kuò)展借助強(qiáng)大的自動(dòng)化實(shí)現(xiàn)輕松的

運(yùn)營(yíng)無需專業(yè)技能2021/5/917VirtualSAN客戶能夠獲得什么…管理存儲(chǔ)的時(shí)間減少90%存儲(chǔ)延遲可減少到低于

1毫秒存儲(chǔ)成本

減少60%2021/5/918VirtualSAN6—深入了解2021/5/919VirtualSAN體系結(jié)構(gòu)采用集群配置，至少3臺(tái)主機(jī)3臺(tái)主機(jī)都必須

提供存儲(chǔ)建議主機(jī)都配置類似的硬件主機(jī)：最多可擴(kuò)展為64臺(tái)磁盤：本地連接的磁盤混合：磁盤和閃存設(shè)備全閃存：僅有閃存設(shè)備網(wǎng)絡(luò)1GB以太網(wǎng)或10千兆以太網(wǎng)（首選）在可用性決策期間，“見證”組件（僅限元數(shù)據(jù)）充當(dāng)仲裁esxi-01esxi-02esxi-03VirtualSAN網(wǎng)絡(luò)vSphere集群副本-1副本-2VirtualSAN數(shù)據(jù)存儲(chǔ)2021/5/920VirtualSAN全閃存體系結(jié)構(gòu)性能與可預(yù)測(cè)延遲vSphere+VirtualSAN...用于緩存和數(shù)據(jù)持久性的閃存設(shè)備經(jīng)濟(jì)高效的全閃存2層模式：緩存為100%寫入：使用更高級(jí)的寫入密集型閃存設(shè)備（SSD、PCIe、UltraDIMM）持久層：可以利用成本較低的讀取密集型SSD最多每個(gè)主機(jī)90KIOPS始終如一的性能，亞毫秒級(jí)的延遲VirtualSAN全閃存VirtualSAN全閃存數(shù)據(jù)存儲(chǔ)固態(tài)磁盤固態(tài)磁盤固態(tài)磁盤2021/5/921單擊兩下即可完成部署！VirtualSAN可簡(jiǎn)化存儲(chǔ)如果您知道怎樣使用vSphere，也就知道怎樣使用VirtualSAN2021/5/922VirtualSANHealthServices旨在提供有關(guān)VirtualSAN子系統(tǒng)的故障排除和運(yùn)行狀況報(bào)告集群運(yùn)行狀況網(wǎng)絡(luò)運(yùn)行狀況數(shù)據(jù)狀況限制運(yùn)行狀況物理磁盤運(yùn)行狀況2021/5/923VirtualSAN與VMware產(chǎn)品體系深度集成非常適合VMware環(huán)境vMotionvSphereHADRSStoragevMotionvSphereVMwareView虛擬桌面vCenterOperationsManagervCloudAutomationCenterIaaS云環(huán)境運(yùn)維和自動(dòng)化SiteRecoveryManager災(zāi)難恢復(fù)站點(diǎn)A站點(diǎn)B基于存儲(chǔ)策略的管理快照鏈接克隆vSphereDataProtectionvSphereReplication數(shù)據(jù)保護(hù)2021/5/924VirtualSAN可簡(jiǎn)化并自動(dòng)執(zhí)行存儲(chǔ)管理

從單個(gè)自調(diào)節(jié)的數(shù)據(jù)存儲(chǔ)滿足每個(gè)虛擬機(jī)的存儲(chǔ)服務(wù)級(jí)別要求基于存儲(chǔ)策略的管理VirtualSAN共享數(shù)據(jù)存儲(chǔ)vSphere+VirtualSANSLA軟件自動(dòng)

控制服務(wù)級(jí)別不再需要LUN/卷！基于應(yīng)用需求的

策略集容量性能可用性按虛擬機(jī)

設(shè)置的存儲(chǔ)策略2021/5/925VirtualSAN可以為機(jī)架、主機(jī)、網(wǎng)絡(luò)和磁盤提供故障恢復(fù)能力機(jī)架A機(jī)架B通過虛擬機(jī)級(jí)別的策略實(shí)現(xiàn)自動(dòng)化和控制即使發(fā)生硬件故障，也不會(huì)造成停機(jī)和數(shù)據(jù)丟失：磁盤主機(jī)網(wǎng)絡(luò)機(jī)架可與vSphereHA和維護(hù)模式互操作VirtualSAN數(shù)據(jù)存儲(chǔ)新增2021/5/926縱向擴(kuò)展添加更多磁盤IOPS容量10TB100TB8.8PB橫向擴(kuò)展添加更多節(jié)點(diǎn)富有彈性

按需增長(zhǎng)或縮減精細(xì)

添加單個(gè)節(jié)點(diǎn)或磁盤無中斷

不會(huì)導(dǎo)致應(yīng)用停止運(yùn)行VirtualSAN可實(shí)現(xiàn)富有彈性的性能和容量擴(kuò)展沒有更多復(fù)雜的預(yù)測(cè)和大量的前期投入“通過VirtualSAN，我們可以在需要時(shí)購(gòu)買所需的東西。借助無中斷的擴(kuò)展，我們可以隨時(shí)添加容量或提高性能，而無需中斷我們的運(yùn)營(yíng)?！薄狢hrisReynolds高級(jí)系統(tǒng)工程師2021/5/927VirtualSAN6.0—支持企業(yè)級(jí)應(yīng)用VirtualSAN5.5VirtualSAN6.0混合VirtualSAN6.0

全閃存每個(gè)集群的主機(jī)數(shù)326464每個(gè)主機(jī)的虛擬機(jī)數(shù)100200200每個(gè)主機(jī)的IOPS20K40K90K快照深度

按虛擬機(jī)數(shù)量23232虛擬磁盤大小2TB62TB62TB2021/5/928VirtualSAN6可提供全新的高性能快照和克隆全新的寫入重定向快照更大的快照深度（每個(gè)對(duì)象最多

32

個(gè)快照）最小的性能降級(jí)從基礎(chǔ)看，最低2%2021/5/929通過線性和彈性擴(kuò)展能力實(shí)現(xiàn)高性能備注：基于IOMeter100%讀取基準(zhǔn)測(cè)試在64個(gè)節(jié)點(diǎn)的集群中IOPS高達(dá)7M“現(xiàn)在，環(huán)境可以根據(jù)我們的需求逐步增長(zhǎng)或縮減…以非常線性的方式擴(kuò)展。通過它，我們可以按照自己希望的方法來擴(kuò)展部署，不受限制。這是實(shí)施存儲(chǔ)的正確方式，真的是這樣！”—AlanSprague

系統(tǒng)管理員

俄勒岡州立大學(xué)商學(xué)院2021/5/930VirtualSAN提供企業(yè)級(jí)擴(kuò)展7MIOPS6,000虛擬機(jī)8.8

PB每個(gè)VirtualSAN集群可實(shí)現(xiàn)最大擴(kuò)展能力64主機(jī)“我希望節(jié)約成本、提高效率，并且能夠在需要時(shí)快速擴(kuò)展。而這款VirtualSAN產(chǎn)品使我們?cè)谒星闆r下都能夠做到這一切。

您知道嗎，對(duì)TheDoeFund而言，它就像是存儲(chǔ)界的圣杯。”—RyanHoenleTheDOEFund,Inc.IT主管備注：基于IOMeter100%讀取基準(zhǔn)測(cè)試2021/5/931VirtualSAN獨(dú)立于硬件基于組件…使用VMwareVirtualSAN

兼容性指南(VCG)(1)選擇各個(gè)組件...固態(tài)磁盤或PCIeSAS/NL-SAS/SATA硬盤vSphere硬件兼容性列表上的任何服務(wù)器HBA/RAID控制器準(zhǔn)備就緒可使用VirtualSAN的節(jié)點(diǎn)40種經(jīng)OEM廠商驗(yàn)證的服務(wù)器配置

可用于

VirtualSAN部署(2)注意：1)必須從VirtualSANHCL中選擇組件，不支持使用任何其他組件-請(qǐng)參見VirtualSANVMware兼容性指南頁(yè)面

2)VMware會(huì)不斷更新/增加可用就緒節(jié)點(diǎn)列表的內(nèi)容，請(qǐng)參見VirtualSANVMware兼容性指南頁(yè)面，查看最新列表

3)2014年下半年EVO:RAIL的可用性。確切日期會(huì)因具體的EVO:RAIL合作伙伴而異最高程度的靈活性最高程度的易用性超融合基礎(chǔ)架構(gòu)適用于SDDC的超融合基礎(chǔ)

架構(gòu)虛擬設(shè)備(HCIA)每個(gè)EVO:RAILHCIA都在

符合條件且經(jīng)過優(yōu)化的

2U/4節(jié)點(diǎn)服務(wù)器平臺(tái)上進(jìn)行預(yù)構(gòu)建。由合格的EVO:RAIL合作伙伴通過單個(gè)SKU（產(chǎn)品部件號(hào)）銷售(3)

硬件+軟件

VMwareEVO:RAIL2021/5/932支持僅刀片直連式JBOD2015年和2016年存儲(chǔ)刀片刀片服務(wù)器SAS連接在機(jī)箱中管理磁盤

通過向只有少量本地磁盤或沒有本地磁盤的刀片服務(wù)器添加更多存儲(chǔ)容量，使VirtualSAN能夠擴(kuò)展刀片服務(wù)器

在服務(wù)器或子系統(tǒng)中提供閃存加速在VirtualSAN5.5和6.0上均受支持例如：

IBMFlexSENx240刀片系列帶第12代控制器的DellFX2直連計(jì)算：存儲(chǔ)1:12021/5/933靈活配置您的節(jié)點(diǎn)VirtualSAN硬件速查指南適用于以下類型的不同服務(wù)器和VDI配置文件混合、全閃存、VDI配置不同的性能/容量請(qǐng)?jiān)诖颂巺㈤喿钚掳姹?021/5/934VirtualSAN規(guī)模調(diào)整和配置工具此工具可提供硬件大小調(diào)整和總體擁有成本方面的指導(dǎo)2021/5/935適用于軟件定義的數(shù)據(jù)中心的災(zāi)難恢復(fù)以虛擬機(jī)為中心且獨(dú)立于存儲(chǔ)的復(fù)制可簡(jiǎn)化保護(hù)流程靈活的存儲(chǔ)拓?fù)洌◤耐獠康絍irtualSAN或vCloudAir）vSphereReplication生產(chǎn)站點(diǎn)恢復(fù)站點(diǎn)vSphereSiteRecoveryManagervSphereReplicationVDPA備份復(fù)制VDPA

備份數(shù)據(jù)存儲(chǔ)VirtualSANVirtualSAN外部存儲(chǔ)備份數(shù)據(jù)存儲(chǔ)vSpherevSphereReplication存儲(chǔ)效率較高的重復(fù)數(shù)據(jù)消除可減少存儲(chǔ)投資能高效利用WAN的備份數(shù)據(jù)復(fù)制可支持基本災(zāi)難恢復(fù)vSphereDataProtectionAdvanced服務(wù)器端的經(jīng)濟(jì)性可降低存儲(chǔ)成本x86平臺(tái)上的超融合可減少災(zāi)難恢復(fù)占用空間VirtualSAN面向數(shù)千個(gè)虛擬機(jī)制定的集中式恢復(fù)計(jì)劃支持災(zāi)難恢復(fù)擴(kuò)展災(zāi)難恢復(fù)工作流自動(dòng)化可減少災(zāi)難恢復(fù)管理方面的OPEXSiteRecoveryManager從災(zāi)難恢復(fù)即服務(wù)到vCloudAir可使災(zāi)難恢復(fù)投資從CAPEX轉(zhuǎn)變?yōu)镺PEX完全由VMware提供并支持vCloudAirDisasterRecoverySiteRecoveryManager2021/5/936VirtualSAN為何有助于降低TCO資金開銷服務(wù)器端經(jīng)濟(jì)優(yōu)勢(shì)減少前期投資精確的擴(kuò)展利用存儲(chǔ)硬件成本趨勢(shì)提高資源利用率線性可預(yù)測(cè)成本曲線運(yùn)營(yíng)開銷提高管理員的工作效率簡(jiǎn)化預(yù)算無需專業(yè)技能低至

0.50美元/GB2低至

0.25美元/IOPSOPEX降至

原來的

1/5-1/24TCO最多

降低50%5每個(gè)桌面低至50美元11.完整克隆

2.可用容量3.根據(jù)2013年市場(chǎng)定價(jià)估算的資金開銷（包括存儲(chǔ)硬件+軟件許可證成本）4.資料來源：TanejaGroup5.與傳統(tǒng)的共享存儲(chǔ)解決方案相比較2021/5/937謝謝！可選聯(lián)系信息2021/5/938使用案例與案例研究2021/5/939客戶案例研究：俄勒岡州立大學(xué)通過預(yù)算合理的擴(kuò)展為VDI提供高性能挑戰(zhàn)VDI工作負(fù)載使存儲(chǔ)負(fù)擔(dān)過重在高峰時(shí)段，用戶登錄時(shí)間超過20分鐘以前，重構(gòu)VDI環(huán)境要花費(fèi)十幾個(gè)小時(shí)手動(dòng)平衡資源不是長(zhǎng)久之計(jì)存儲(chǔ)預(yù)算有限解決方案在Dell服務(wù)器上部署VirtualSAN成效性能大幅提高：用戶登錄時(shí)間從20分鐘減少到1分鐘VDI規(guī)模增加：現(xiàn)有的服務(wù)器/網(wǎng)絡(luò)可以額外支持170多個(gè)

用戶管理獲得簡(jiǎn)化：重置虛擬桌面的時(shí)間從10個(gè)小時(shí)減少到低于2個(gè)小時(shí)成本降低，可擴(kuò)展性增加：購(gòu)置成本降低了75%，并且可以更輕松地針對(duì)未來的需求進(jìn)行擴(kuò)展“在采用VirtualSAN之前，我們無法實(shí)現(xiàn)擴(kuò)展?，F(xiàn)在...一切都輕而易舉；在需要增加額外容量時(shí)，我只要增加一臺(tái)服務(wù)器即可。我不用擔(dān)心我的SAN是否還能擴(kuò)展。”AlanSprague，

系統(tǒng)管理員俄勒岡州立大學(xué)俄勒岡州科瓦利斯學(xué)術(shù)機(jī)構(gòu)

26,000名學(xué)生案例研究：俄勒岡州立大學(xué)視頻：俄勒岡州立大學(xué)的

VirtualSAN2021/5/940客戶案例研究：PeterCremer（全球化學(xué)品制造商）在輔助數(shù)據(jù)中心中實(shí)現(xiàn)存儲(chǔ)轉(zhuǎn)型挑戰(zhàn)快速的業(yè)務(wù)增長(zhǎng)使存儲(chǔ)資源不堪重負(fù)IT基礎(chǔ)架構(gòu)老化，導(dǎo)致系統(tǒng)崩潰，由此發(fā)生的故障損失嚴(yán)重客戶需要防故障業(yè)務(wù)連續(xù)性解決方案在Dell服務(wù)器上部署VirtualSANvSphereReplication和vSphereDataProtection對(duì)應(yīng)用進(jìn)行虛擬化：MicrosoftDynamicsERP、MicrosoftSharePoint、TargitBusinessIntelligence、質(zhì)量控制軟件成效數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用獲得了更高的性能：之前查詢需要花費(fèi)15分鐘，現(xiàn)在只需不到15秒存儲(chǔ)資源可快速翻倍：對(duì)公司進(jìn)行了定位，它可以在飛速發(fā)展的業(yè)務(wù)中快速擴(kuò)展存儲(chǔ)系統(tǒng)正常運(yùn)行時(shí)間得到了保證：提高了數(shù)據(jù)保護(hù)能力，并且能夠快速恢復(fù)任何故障“我們能夠在現(xiàn)場(chǎng)維護(hù)關(guān)鍵任務(wù)制造、ERP、數(shù)據(jù)倉(cāng)庫(kù)……以前，我們從風(fēng)險(xiǎn)管理的角度開始項(xiàng)目，但是，我們很快意識(shí)到，它實(shí)際是一個(gè)競(jìng)爭(zhēng)優(yōu)勢(shì)。現(xiàn)在，我們的IT基礎(chǔ)架構(gòu)是吸引客戶的一個(gè)重要因素?！盨teveTaylor，

IT經(jīng)理PeterCremer,NA俄亥俄州辛辛那提全球化學(xué)品制造商案例研究：PeterCremer,N.A.2021/5/94