已閱讀5頁,還剩52頁未讀, 繼續(xù)免費(fèi)閱讀
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
HC13081,云計(jì)算,V1R5,1.0,李扶洋,2016-08,Fly,新開發(fā),網(wǎng)絡(luò)設(shè)計(jì),本節(jié)介紹傳統(tǒng)網(wǎng)絡(luò)向虛擬網(wǎng)絡(luò),VxLAN及SDN發(fā)展的驅(qū)動力,并為理解其概念及含義提供了學(xué)習(xí)知識以華為FusionSphere介紹云數(shù)據(jù)中心的SDN方案實(shí)例化認(rèn)識SDN數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì),主要從虛擬網(wǎng)絡(luò)平面隔離,SDN方案集成等講解學(xué)習(xí),學(xué)完本課程后,您將能夠:了解虛擬網(wǎng)絡(luò),VxLAN及SDN的產(chǎn)生背景和解決的問題熟悉FusionSphereSDN解決方案理解數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)比傳統(tǒng)網(wǎng)絡(luò)設(shè)計(jì)更廣泛的范疇更廣,如何著手等,網(wǎng)絡(luò)虛擬化介紹VxLANSDN數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì),為什么要虛擬網(wǎng)絡(luò),傳統(tǒng)數(shù)據(jù)中心特點(diǎn):一個(gè)物理網(wǎng)絡(luò)端口對應(yīng)一臺唯一的計(jì)算機(jī)計(jì)算機(jī)與網(wǎng)絡(luò)關(guān)系固定,很少變動云計(jì)算數(shù)據(jù)中心帶來的變化:一個(gè)物理網(wǎng)絡(luò)端口會對應(yīng)對應(yīng)數(shù)量不固定的虛擬機(jī)虛擬機(jī)會頻繁的進(jìn)行跨主機(jī)的遷移,與網(wǎng)絡(luò)間關(guān)系不再固定傳統(tǒng)南北流向?yàn)橹鞯臄?shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)不滿足未來IT發(fā)展的需求熱遷移使得計(jì)算能力不再固定在具體物理位置,傳統(tǒng)網(wǎng)絡(luò)無法靈活的滿足云計(jì)算的訴求,虛擬網(wǎng)絡(luò)的產(chǎn)生,虛擬化技術(shù)從服務(wù)器虛擬化延伸到網(wǎng)絡(luò)虛擬化通過網(wǎng)絡(luò)虛擬化,基于同一物理網(wǎng)絡(luò),虛擬機(jī)認(rèn)為運(yùn)行于不同的虛擬網(wǎng)絡(luò)服務(wù)器虛擬化使得虛擬機(jī)按需可得,網(wǎng)絡(luò)虛擬化使得虛擬網(wǎng)絡(luò)靈活配置,虛擬網(wǎng)絡(luò)A,虛擬網(wǎng)絡(luò)B,物理網(wǎng)絡(luò),服務(wù)器虛擬化多個(gè)虛擬機(jī)運(yùn)行在一個(gè)物理服務(wù)器上每個(gè)虛擬機(jī)相互獨(dú)立,互不干擾,網(wǎng)絡(luò)虛擬化多個(gè)虛擬網(wǎng)絡(luò)承載在一個(gè)物理網(wǎng)絡(luò)上每個(gè)虛擬網(wǎng)絡(luò)相互獨(dú)立,互不干擾,虛擬網(wǎng)絡(luò),與服務(wù)器虛擬化類似,網(wǎng)絡(luò)虛擬化可以在很短的時(shí)間(秒級)創(chuàng)建L2、L3到L7的網(wǎng)絡(luò)服務(wù),如交換,路由,防火墻和負(fù)載均衡等。虛擬網(wǎng)絡(luò)獨(dú)立于底層網(wǎng)絡(luò)硬件,可以按照業(yè)務(wù)需求配置、修改、保存、刪除,而無需重新配置底層物理硬件或拓?fù)洹_@種網(wǎng)絡(luò)技術(shù)的革新為實(shí)現(xiàn)軟件定義的數(shù)據(jù)中心奠定了基礎(chǔ),云計(jì)算環(huán)境下的虛擬網(wǎng)絡(luò),兩層獨(dú)立發(fā)展軟件定義網(wǎng)絡(luò)VM跨網(wǎng)遷移底層硬件維護(hù)高共享資源池,云計(jì)算網(wǎng)絡(luò)虛擬化的特點(diǎn),隔離性不同租戶的流量,相互之間不能訪問不同租戶的IP/MAC地址可以獨(dú)立規(guī)劃,甚至可以相互重疊,可移動性虛擬機(jī)可以跨二層/三層遷移,甚至可以跨廣域網(wǎng)進(jìn)行遷移邏輯網(wǎng)絡(luò)和物理網(wǎng)絡(luò)解耦,不受物理網(wǎng)絡(luò)限制邏輯網(wǎng)絡(luò)可以跨越二層/三層物理網(wǎng)絡(luò)可擴(kuò)展性邏輯網(wǎng)絡(luò)規(guī)??蓴U(kuò)展邏輯網(wǎng)絡(luò)數(shù)量可擴(kuò)展,網(wǎng)絡(luò)虛擬化的層次,第一部分是服務(wù)器內(nèi)部:IO虛擬化第二部分是服務(wù)器內(nèi)部:虛擬接入識別不同虛擬機(jī)的網(wǎng)絡(luò)包第三部分是服務(wù)器到網(wǎng)絡(luò)的連接:網(wǎng)絡(luò)連接第四部分是網(wǎng)絡(luò)交換:需要將物理網(wǎng)絡(luò)和邏輯網(wǎng)絡(luò)有效的分離,另外網(wǎng)絡(luò)設(shè)備如交換機(jī)、路由器等需要具備1:N和N:1的虛擬化能力,端到端的技術(shù),網(wǎng)絡(luò)IO虛擬化(1),虛擬交換現(xiàn)狀,分布式虛擬交換實(shí)現(xiàn)方式,虛擬交換機(jī)可以在三個(gè)層次實(shí)現(xiàn):基于服務(wù)器CPU:以軟件形式運(yùn)行在服務(wù)器上,實(shí)現(xiàn)虛擬交換功能基于物理網(wǎng)卡:某些物理網(wǎng)卡支持硬件虛擬化功能,通過硬件本身提供的虛擬化功能實(shí)現(xiàn)虛擬交換基于物理交換機(jī):某些物理交換機(jī)可通過特殊協(xié)議,感知虛擬機(jī)的存在,在交換機(jī)層實(shí)現(xiàn)虛擬交換,基于CPU實(shí)現(xiàn)的虛擬交換,在服務(wù)器的CPU中實(shí)現(xiàn)完整的虛擬交換的功能,虛擬機(jī)的虛擬網(wǎng)卡對應(yīng)虛擬交換的一個(gè)虛擬端口,服務(wù)器的物理網(wǎng)卡作為虛擬交換的上行鏈路接入物理接入層交換機(jī)虛擬機(jī)的報(bào)文接收流程如下:虛擬交換機(jī)首先從虛擬端口/物理端口接收以太網(wǎng)報(bào)文,之后根據(jù)虛擬機(jī)MAC、VLAN,查找二層轉(zhuǎn)發(fā)表,找到對應(yīng)的虛擬端口/物理端口,然后按照具體的端口,轉(zhuǎn)發(fā)報(bào)文如圖所示,同一主機(jī)中的虛擬機(jī)VM1和VM2之間的數(shù)據(jù)交換由本地虛擬交換機(jī)完成,而VM1與VM3通信時(shí),數(shù)據(jù)交換有兩個(gè)虛擬交換機(jī)及物理交換機(jī)共同完成,基于CPU實(shí)現(xiàn)的虛擬交換的特點(diǎn),服務(wù)器內(nèi)部的通信性能同一服務(wù)器上的虛擬機(jī)間報(bào)文轉(zhuǎn)發(fā)性能好,時(shí)延低虛擬交換機(jī)實(shí)現(xiàn)虛擬機(jī)之間報(bào)文的二層軟件轉(zhuǎn)發(fā)報(bào)文不出服務(wù)器,轉(zhuǎn)發(fā)路徑短,性能高跨服務(wù)器通信性能需要經(jīng)物理交換機(jī)進(jìn)行轉(zhuǎn)發(fā),相比物理交換機(jī)實(shí)現(xiàn)虛擬交換,由于虛擬交換模塊的消耗,性能稍低于物理交換機(jī)實(shí)現(xiàn)虛擬交換擴(kuò)展靈活由于采用純軟件實(shí)現(xiàn),相比采用L3芯片的物理交換機(jī),功能擴(kuò)展靈活、快速,可以更好的滿足云計(jì)算的網(wǎng)絡(luò)需求擴(kuò)展規(guī)格容量大服務(wù)器內(nèi)存大,相比物理交換機(jī),在L2交換容量、ACL容量等,遠(yuǎn)大于物理交換機(jī),SR-IOV技術(shù),SR-IOV(SingleRootI/OVirtualization)技術(shù)基于硬件的虛擬化解決方案允許在虛擬機(jī)之間高效共享PCIe設(shè)備,并且在硬件中實(shí)現(xiàn)的,可以獲得能夠與本機(jī)性能媲美的I/O性能下面先介紹軟件共享方案的架構(gòu)及不足,再分析SR-IOV實(shí)現(xiàn)的硬件共享方案,軟件IO共享結(jié)構(gòu),以軟件為基礎(chǔ)的IO共享利用仿真技術(shù)為每個(gè)VM提供邏輯的硬件設(shè)備,仿真層位于VM的OS和實(shí)際物理設(shè)備之間虛擬設(shè)備可以解析IO命令、完成VM地址到主機(jī)物理地址的翻譯。軟件必須解決多個(gè)VM的并行IO操作到單個(gè)IO數(shù)據(jù)流的合并操作,由虛擬軟件橋(SoftwareVirtualSwitch)完成軟件共享IO的優(yōu)勢在于利用軟件仿真可以支持多種物理設(shè)備。但軟件仿真只能實(shí)現(xiàn)物理設(shè)備的功能子集,可能無法利用物理設(shè)備所提供的高級功能VMM所實(shí)現(xiàn)的虛擬橋在物理設(shè)備和多個(gè)VM之間實(shí)現(xiàn)進(jìn)行數(shù)據(jù)包路由會帶來一定的CPU開銷,會導(dǎo)致IO設(shè)備的吞吐量下降,例如10Gbps的物理網(wǎng)卡在軟件共享模式下其吞吐量可能只有4.5-6.5Gbps,SR-IOV硬件共享架構(gòu),SR-IOV架構(gòu)設(shè)備允許一個(gè)物理設(shè)備支持多個(gè)虛擬功能,SR-IOV引入了兩個(gè)新的功能類型:物理功能(PF):用于支持SR-IOV功能的PCI功能,PF包含SR-IOV功能結(jié)構(gòu),用于管理SR-IOV功能。PF可以像其他PCIe設(shè)備一樣進(jìn)行發(fā)現(xiàn)、管理。PF擁有完全配置資源,可以用于配置或控制PCIe設(shè)備虛擬功能(VF):VF是一種輕量級PCIe功能,可與物理功能以及與同一物理功能關(guān)聯(lián)的其他VF共享一個(gè)或多個(gè)物理資源。VF僅允許擁有用于其自身行為的配置資源具有SR-IOV功能的設(shè)備通過設(shè)置可以在配置空間出現(xiàn)多個(gè)功能,其支持的獨(dú)立VF數(shù)量是可以配置的,每個(gè)功能擁有自己的配置空間。VMM通過配置空間匹配可以為一個(gè)VM指定一個(gè)或多個(gè)VFSR-IOV技術(shù)使VM和物理設(shè)備VFn之間實(shí)現(xiàn)直接的DMA傳輸,無需軟件的干預(yù),SR-IOV重要組件,SR-IOV重要組件(1),PF驅(qū)動Hypervisor使用PF驅(qū)動管理SR-IOV設(shè)備的全局功能PF可以被Hypervisor用作一個(gè)具有普通I/O功能的設(shè)備,如圖中PF作為一個(gè)普通的網(wǎng)卡連接到虛擬交換機(jī)上Hypervisor調(diào)用PF驅(qū)動配置虛擬設(shè)備VF,SR-IOV重要組件(2),VF驅(qū)動半虛擬化驅(qū)動,安裝在GuestOS中GuestOS用VF驅(qū)動來同物理網(wǎng)卡中的VF進(jìn)行通信傳輸數(shù)據(jù),SR-IOV重要組件(3),PF(PhysicalFunction)一個(gè)PF可以被看做一個(gè)完整的I/O設(shè)備,功能相當(dāng)于一個(gè)完整的物理網(wǎng)卡PF有單獨(dú)的寄存器BARs(BaseAddressRegisters),用來保存當(dāng)前數(shù)據(jù)傳輸?shù)臓顟B(tài)PF有單獨(dú)的傳輸隊(duì)列,包含發(fā)送隊(duì)列和接收隊(duì)列PF擁有完全配置資源,可以用于配置或控制PCIe設(shè)備,可用于管理VF,SR-IOV重要組件(4),VF(VirtualFunction)VF是一種輕量級PCIe功能,可以與物理功能以及與同一物理功能關(guān)聯(lián)的其他VF共享一個(gè)或多個(gè)物理資源。VF僅允許擁有用于其自身行為的配置資源。VF有單獨(dú)的寄存器BARs(BaseAddressRegisters),用來保存當(dāng)前數(shù)據(jù)傳輸?shù)臓顟B(tài)VF有單獨(dú)的傳輸隊(duì)列,包含發(fā)送隊(duì)列和接收隊(duì)列,SR-IOV重要組件(5),內(nèi)部網(wǎng)橋及分類器BridgeandClassifier所有的PF的傳輸隊(duì)列及VF的傳輸隊(duì)列都連接到內(nèi)部網(wǎng)橋及分類器內(nèi)部網(wǎng)橋Bridge用于同一個(gè)物理機(jī)內(nèi)部虛擬機(jī)之間的交互分類器Classifier用于接收數(shù)據(jù)的時(shí)候,根據(jù)MAC地址查看,包是發(fā)送給哪個(gè)虛擬機(jī)的,則放到相應(yīng)的VF的接收隊(duì)列中,SR-IOV網(wǎng)卡的數(shù)據(jù)發(fā)送過程,虛擬機(jī)將以太網(wǎng)報(bào)文放入VF驅(qū)動,發(fā)送中斷開始傳輸數(shù)據(jù)中斷到達(dá)VMM,VMM通知VF取數(shù)據(jù)初始化DMA操作,其中DMA操作的內(nèi)存地址已經(jīng)由VF驅(qū)動配制完成DMA操作到達(dá)芯片,InterVT-d技術(shù)實(shí)現(xiàn)DMA地址從虛擬的主機(jī)地址到實(shí)現(xiàn)的物理主機(jī)地址之間轉(zhuǎn)換,DMA操作完成后,報(bào)文從VM的內(nèi)存空間到達(dá)VF的內(nèi)存空間,放入隊(duì)列報(bào)文從隊(duì)列到達(dá)網(wǎng)橋網(wǎng)橋根據(jù)MAC或VLAN將報(bào)文在本機(jī)轉(zhuǎn)發(fā)到其他VF或者轉(zhuǎn)發(fā)到物理網(wǎng)口物理網(wǎng)口將數(shù)據(jù)發(fā)送到物理網(wǎng)絡(luò),SR-IOV網(wǎng)卡的數(shù)據(jù)接收過程,以太網(wǎng)報(bào)文到達(dá)物理網(wǎng)卡報(bào)文被發(fā)送到分類器分類器根據(jù)MAC或VLAN將報(bào)文放置到目標(biāo)VF對應(yīng)的接收隊(duì)列初始化DMA操作,其中DMA操作的目標(biāo)內(nèi)存地址已經(jīng)由VF驅(qū)動配制完成DMA操作到達(dá)芯片,InterVT-d技術(shù)實(shí)現(xiàn)DMA地址從虛擬的主機(jī)地址到實(shí)現(xiàn)的物理主機(jī)地址之間轉(zhuǎn)換,DMA操作完成后,報(bào)文到達(dá)VM的內(nèi)存空間物理網(wǎng)卡產(chǎn)生中斷,表明數(shù)據(jù)已經(jīng)到達(dá),由VMM負(fù)責(zé)處理這個(gè)中斷VMM對VM產(chǎn)生一個(gè)虛擬的中斷,通知VM數(shù)據(jù)包已經(jīng)到達(dá),物理網(wǎng)卡實(shí)現(xiàn)虛擬交換的特點(diǎn),相對于虛擬交換機(jī)(軟件VEB),減少了CPU占用率,采用網(wǎng)卡實(shí)現(xiàn)交換的功能,不再需要CPU參與虛擬交換處理對于物理網(wǎng)卡實(shí)現(xiàn)虛擬直通功能時(shí),由于實(shí)現(xiàn)了虛擬機(jī)對PCIe設(shè)備的直接訪問和操作,顯著降低了從虛擬機(jī)到物理網(wǎng)卡的報(bào)文處理延時(shí)傳統(tǒng)商業(yè)網(wǎng)卡無法支持熱遷移、同時(shí)功能簡單,無法支持靈活的安全隔離等特性,且功能擴(kuò)展困難華為自研iNIC智能網(wǎng)卡硬件,實(shí)現(xiàn)了虛擬機(jī)虛擬網(wǎng)卡與iNIC智能網(wǎng)卡虛擬的虛擬隊(duì)列直接相連,同時(shí)支持熱遷移、安全隔離功能,網(wǎng)絡(luò)虛擬化介紹VxLANSDN數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì),VxLAN技術(shù),VxLAN背景現(xiàn)有VLAN只有4094個(gè)虛擬網(wǎng)絡(luò)標(biāo)識可用在VLAN網(wǎng)絡(luò)下,虛擬機(jī)只能在二層網(wǎng)絡(luò)下遷移VxLAN(VirtualeXtensibleLocalAreaNetwork,全稱虛擬擴(kuò)展局域網(wǎng))是一種進(jìn)行大二層虛擬網(wǎng)絡(luò)擴(kuò)展的隧道封裝技術(shù),解決了上面的問題VxLAN引入一個(gè)UDP格式的外層隧道,作為數(shù)據(jù)的鏈路層,而原有數(shù)據(jù)報(bào)文內(nèi)容作為隧道凈荷來傳輸,VxLAN報(bào)文結(jié)構(gòu),VxLAN報(bào)文格式如下,包括VXLAN外層封裝和內(nèi)層的原始凈荷,其中:Flags(8bits)其中I必須被設(shè)置為1,才是有效的。其他7位(R)為保留字段,必須設(shè)置為0VxLANSegmentID/VxLANNetworkIdentifier(VNI)為24bit,是虛擬網(wǎng)絡(luò)的標(biāo)識Reservedfields(24bitsand8bits)必須被設(shè)置為0VxLAN外層隧道的目的端口號為4789,為專為VxLAN分配的端口號,VxLAN重要組件,VNI:VxLANNetworkIdentifier,24位虛擬網(wǎng)絡(luò)標(biāo)識,可支持16M虛擬網(wǎng)絡(luò)VTEP:VxLANTunnelEndPoint,完成VxLAN報(bào)文的封裝和解封裝,VTEP與物理網(wǎng)絡(luò)相連,分配有物理網(wǎng)絡(luò)的IP地址,該地址與虛擬網(wǎng)絡(luò)無關(guān),VxLAN網(wǎng)關(guān),為了讓VxLAN虛擬網(wǎng)絡(luò)之間以及虛擬網(wǎng)絡(luò)與物理網(wǎng)絡(luò)之間能夠進(jìn)行通信,VxLAN標(biāo)準(zhǔn)還定義了一個(gè)VxLAN網(wǎng)關(guān)實(shí)體,VxLAN通信過程(1),VM發(fā)送ARP廣播報(bào)文,到達(dá)VTEP后,VTEP將廣播報(bào)文封裝為組播報(bào)文發(fā)送到L3網(wǎng)絡(luò)中VTEP2收到組播報(bào)文后,首先學(xué)習(xí)VM1-VTEP1之間的映射關(guān)系,并把組播報(bào)文轉(zhuǎn)發(fā)給本地的VM3,VxLAN通信過程(2),VM3進(jìn)行單播的應(yīng)答VTEP2封裝VXLAN隧道,并根據(jù)學(xué)習(xí)到的映射表,封裝成VTEP1的外層地址,單播發(fā)送給VTEP1VTEP1收到應(yīng)答后,學(xué)習(xí)VM3-VTEP2之間的地址映射,并去掉隧道轉(zhuǎn)發(fā)報(bào)文給VM1后續(xù)VM1與VM3之間就可以按照單播進(jìn)行正常的隧道報(bào)文通信了,虛擬機(jī)遷移對網(wǎng)絡(luò)的要求,建議的網(wǎng)絡(luò):將一個(gè)專用的千兆以太網(wǎng)適配器用于虛擬機(jī)遷移通過VLAN將虛擬機(jī)的業(yè)務(wù)流量和管理流量劃分到另外的網(wǎng)絡(luò)適配器上由于網(wǎng)絡(luò)流量未加密,應(yīng)選用安全的專用網(wǎng)絡(luò),僅供遷移使用確保虛擬機(jī)在源主機(jī)和目標(biāo)主機(jī)上可以訪問相同的子網(wǎng),網(wǎng)絡(luò)虛擬化介紹VxLANSDN數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì),傳統(tǒng)網(wǎng)絡(luò)面臨的問題,分布式最短路徑算法帶來的網(wǎng)絡(luò)擁塞問題,各廠家的網(wǎng)絡(luò)設(shè)備都太復(fù)雜了,如果您準(zhǔn)備成為IP骨灰級專家,您需要閱讀網(wǎng)絡(luò)設(shè)備相關(guān)RFC2500篇,一天閱讀一篇也需要6年多,而這只是整個(gè)RFC的1/3,其數(shù)量還在增加如果您準(zhǔn)備成為某個(gè)設(shè)備商設(shè)備的百事通,需要掌握的命令行超過10000條,而其數(shù)量還在增加,傳統(tǒng)網(wǎng)絡(luò)協(xié)議眾多,網(wǎng)絡(luò)管理運(yùn)維困難,網(wǎng)絡(luò)創(chuàng)新業(yè)務(wù)的部署速度太慢,系統(tǒng)性的解決以上問題-SDN,SDN網(wǎng)絡(luò)架構(gòu),南北向業(yè)務(wù)互訪:基于TORNVEOverlay的互訪流程東西向業(yè)務(wù)互訪:基于TORNVEOverlay的互訪流程,包括對異構(gòu)資源池的互訪,華為FusionSphere6.0DC內(nèi)業(yè)務(wù)轉(zhuǎn)發(fā)流程,FSO6.0對接SDN特性能力,層次化Overlay原理,層次化Overlay介紹,OVS作為NVE是VXLAN的普遍用法,在這種應(yīng)用情景下,OVS需要用到Host的內(nèi)核協(xié)議棧的VXLAN封裝與解封裝能力,使用內(nèi)核協(xié)議棧的VXLAN封裝與解封裝能力,使得數(shù)據(jù)面的轉(zhuǎn)發(fā)性能很低,業(yè)界開始思考VXLAN卸載方案,涌現(xiàn)出了幾個(gè)常見方案:1.以IT產(chǎn)品線芯片開發(fā)部的Hi1822的網(wǎng)卡卸載方案2.以ToR做NVE的交換機(jī)硬件卸載方案。FusionSphere6.0采用業(yè)界常見的方案2支持VXLAN卸載,需要支持ToR做NVE的場景,ToR做NVE的場景,計(jì)算節(jié)點(diǎn)上OVS做虛擬化接入,提供VLAN能力來隔離租戶,Juno版本的neutron,po
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024年上海個(gè)人租房協(xié)議書范本及租客信用評估體系3篇
- 2024年少兒托管班安全管理及服務(wù)合同3篇
- 2024年某影樓與攝影師個(gè)人合作合同
- 2024年船舶通風(fēng)安全協(xié)議書標(biāo)準(zhǔn)范本3篇
- 2024年生物科技公司研究合作協(xié)議
- 2024年太陽能發(fā)電項(xiàng)目投資風(fēng)險(xiǎn)評估與咨詢合同3篇
- 2024版大型工程車輛運(yùn)輸及設(shè)備安裝服務(wù)合同范本2篇
- 2024塔吊設(shè)備銷售、安裝及維修合同范本3篇
- 2024年度涂料原料進(jìn)口與分銷合同3篇
- 2024年高新技術(shù)企業(yè)搬遷項(xiàng)目合同范本2篇
- 中軟統(tǒng)一終端安全管理平臺v90使用手冊
- 護(hù)理質(zhì)量管理PPT通用課件
- 氨水崗位應(yīng)知應(yīng)會手冊.docx
- AQ-C1-19 安全教育記錄表(三級)
- 廣東飼料項(xiàng)目建議書(參考范文)
- 鋁單板、玻璃幕墻建筑施工完整方案
- 六年級數(shù)學(xué)簡便計(jì)算易錯(cuò)題
- 工程造價(jià)咨詢公司質(zhì)量控制制度
- 《常用醫(yī)學(xué)檢查》PPT課件.ppt
- 《發(fā)展經(jīng)濟(jì)學(xué)派》PPT課件.ppt
- 雙層罐技術(shù)要求內(nèi)容
評論
0/150
提交評論