




下載本文檔
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
1、Linux負(fù)載均衡一、LVS 既述及原理LVS 是一個(gè)開源的軟件, 由畢業(yè)于國防科技大學(xué)的章文嵩博士于 1998 年 5 月創(chuàng)立,可以實(shí)現(xiàn) LINUX 平臺(tái)下的簡單負(fù)載均衡。LVS 是 LinuxVirtualServer 的縮寫,意思是Linux 虛擬服務(wù)器。LVS 集群采用 IP 負(fù)載均衡技術(shù)和基于內(nèi)容請(qǐng)求分發(fā)技術(shù)。調(diào)度器具有很好的吞吐率,將請(qǐng)求均衡地轉(zhuǎn)移到不同的服務(wù)器上執(zhí)行,且調(diào)度器自動(dòng)屏蔽掉服務(wù)器的故障,從而將一組服務(wù)器構(gòu)成一個(gè)高性能的、高可用的虛擬服務(wù)器。整個(gè)服務(wù)器集群的結(jié)構(gòu)對(duì)客戶是透明的,而且無需修改客戶端和服務(wù)器端的程序。為此,在設(shè)計(jì)時(shí)需要考慮系統(tǒng)的透明性、可伸縮性、高可用性和易
2、管理性。一般來說,LVS 集群采用三層結(jié)構(gòu),其主要組成部分為:1)負(fù)載調(diào)度器(loadbalancer),它是整個(gè)集群對(duì)外面的前端機(jī),負(fù)責(zé)將客戶的請(qǐng)求發(fā)送到一組服務(wù)器上執(zhí)行, 而客戶認(rèn)為服務(wù)是來自一個(gè) IP 地址(我們可稱之為虛擬 IP 地址)上的。2)服務(wù)器池(serverpool),是一組真正執(zhí)行客戶請(qǐng)求的服務(wù)器,執(zhí)行的服務(wù)有WERMAIL、FTP 和 DNS 等。3)共享存儲(chǔ)(sharedstorage),它為服務(wù)器池提供一個(gè)共享的存儲(chǔ)區(qū),這樣很容易使得服務(wù)器池?fù)碛邢嗤膬?nèi)容,提供相同的服務(wù)。調(diào)度器是服務(wù)器集群系統(tǒng)的唯一入口點(diǎn)(SingleEntryPoint),它可以采用 IP 負(fù)載均
3、衡技術(shù)、基于內(nèi)容請(qǐng)求分發(fā)技術(shù)或者兩者相結(jié)合。在 IP 負(fù)載均衡技術(shù)中,需要服務(wù)器池?fù)碛邢嗤膬?nèi)容提供相同的服務(wù)。當(dāng)客戶請(qǐng)求到達(dá)時(shí),調(diào)度器只根據(jù)服務(wù)器負(fù)載情況和設(shè)定的調(diào)度算法從服務(wù)器池中選出一個(gè)服務(wù)器,將該請(qǐng)求轉(zhuǎn)發(fā)到選出的服務(wù)器,并記錄這個(gè)調(diào)度;當(dāng)這個(gè)請(qǐng)求的其他報(bào)文到達(dá),也會(huì)被轉(zhuǎn)發(fā)到前面選出的服務(wù)器。在基于內(nèi)容請(qǐng)求分發(fā)技術(shù)中,服務(wù)器可以提供不同的服務(wù),當(dāng)客戶請(qǐng)求到達(dá)時(shí),調(diào)度器可根據(jù)請(qǐng)求的內(nèi)容選擇服務(wù)器執(zhí)行請(qǐng)求。因?yàn)樗械牟僮鞫际窃?Linux 操作系統(tǒng)核心空間中將完成的,它的調(diào)度開銷很小,所以它具有很高的吞吐率。服務(wù)器池的結(jié)點(diǎn)數(shù)目是可變的。當(dāng)整個(gè)系統(tǒng)收到的負(fù)載超過目前所有結(jié)點(diǎn)的處理能力時(shí),可以在
4、服務(wù)器池中增加服務(wù)器來滿足不斷增長的請(qǐng)求負(fù)載。對(duì)大多數(shù)網(wǎng)絡(luò)服務(wù)來說,請(qǐng)求問不存在很強(qiáng)的相關(guān)性,請(qǐng)求可以在不同的結(jié)點(diǎn)上并行執(zhí)行,所以整個(gè)系統(tǒng)的性能基本上可以隨著服務(wù)器池的結(jié)點(diǎn)數(shù)目增加而線性增長。共享存儲(chǔ)通常是數(shù)據(jù)庫、網(wǎng)絡(luò)文件系統(tǒng)或者分布式文件系統(tǒng)。|服務(wù)器結(jié)點(diǎn)需要?jiǎng)討B(tài)更新的數(shù)據(jù)一般存儲(chǔ)在數(shù)據(jù)庫系統(tǒng)中,同時(shí)數(shù)據(jù)庫會(huì)保證并發(fā)訪問時(shí)數(shù)據(jù)的一致性。靜態(tài)的數(shù)據(jù)可以存儲(chǔ)在網(wǎng)絡(luò)文件系統(tǒng)(如 NFS/CIFS 中,但網(wǎng)絡(luò)文件系統(tǒng)的伸縮能力有限,一般來說,NFS/CIFSK 務(wù)器只能支持 36 個(gè)繁忙的服務(wù)器結(jié)點(diǎn)。對(duì)于規(guī)模較大的集群系統(tǒng),可以考慮用分布式文件系統(tǒng),如 AFSGFSCoda 和Intermezzo
5、等。分布式文件系統(tǒng)可為各服務(wù)器提供共享的存儲(chǔ)區(qū),它們?cè)L問分布式文件系統(tǒng)就像訪問本地文件系統(tǒng)一樣,同時(shí)分布式文件系統(tǒng)可提供良好的伸縮性和可用性。此外,當(dāng)不同服務(wù)器上的應(yīng)用程序同時(shí)讀寫訪問分布式文件系統(tǒng)上同一資源時(shí),應(yīng)用程序的訪問沖突需要消解才能使得資源處于一致狀態(tài)。這需要一個(gè)分布式鎖管理器(DistributedLockManager-),它可能是分布式文件系統(tǒng)內(nèi)部提供的, 也可能是外部的。開發(fā)者在寫應(yīng)用程序時(shí),可以使用分布式鎖管理器來保證應(yīng)用程序在不同結(jié)點(diǎn)上并發(fā)訪問的一致性。負(fù)載調(diào)度器、服務(wù)器池和共享存儲(chǔ)系統(tǒng)通過高速網(wǎng)絡(luò)相連接,如 100Mbps 交換網(wǎng)絡(luò)、Myrinet 和 Gigabit
6、網(wǎng)絡(luò)等。使用高速的網(wǎng)絡(luò),主要為避免當(dāng)系統(tǒng)規(guī)模擴(kuò)大時(shí)互聯(lián)網(wǎng)絡(luò)成為整個(gè)系統(tǒng)的瓶頸。GraphicMonitor 是為系統(tǒng)管理員提供整個(gè)集群系統(tǒng)的監(jiān)視器,它可以監(jiān)視系統(tǒng)的狀態(tài)。GraphicMonitor 是基于瀏覽器的,所以無論管理員在本地還是異地都可以監(jiān)測(cè)系統(tǒng)的狀況。為了安全的原因,瀏覽器要通過 HTTPS(SecureHTTP 協(xié)議和身份認(rèn)證后,才能進(jìn)行系統(tǒng)監(jiān)測(cè),并進(jìn)行系統(tǒng)的配置和管理??缮炜s網(wǎng)絡(luò)服務(wù)的幾種結(jié)構(gòu),它們都需要一個(gè)前端的負(fù)載調(diào)度器(或者多個(gè)進(jìn)行主從備份)。我們先分析實(shí)現(xiàn)虛擬網(wǎng)絡(luò)服務(wù)的主要技術(shù),指出 IP 負(fù)載均衡技術(shù)是在負(fù)載調(diào)度器的實(shí)現(xiàn)技術(shù)中效率最高的。在已有的 IP 負(fù)載均衡技術(shù)
7、中,主要有通過網(wǎng)絡(luò)地址轉(zhuǎn)換(NetworkAddressTranslation)將一組服務(wù)器構(gòu)成一個(gè)高性能的、高可用的虛擬服務(wù)器,我們稱之為 VS/NAT 技術(shù)(VirtualServerviaNetworkAddressTranslation)。在分析 VS/NAT 的缺點(diǎn)和網(wǎng)絡(luò)服務(wù)的非對(duì)稱性的基礎(chǔ)上, 我們提出了通過 IP 隧道實(shí)現(xiàn)虛擬服務(wù)器的方法 VS/TUN (VirtualServerviaIPTunneling,和通過直接路由實(shí)現(xiàn)虛擬服務(wù)器的方法 VS/DR(VirtualServerviaDirectRoutin。,它們可以極大地提高系統(tǒng)的伸縮性。VS/NATVS/NAT、VS/
8、TUNVS/TUN 和 VS/DRVS/DR 技術(shù)是 LVSLVS 集群中實(shí)現(xiàn)的三種 IPIP 負(fù)載均衡技術(shù)。1)使用 VS/NAT 方法:客戶通過 VirtualIPAddress(虛擬服務(wù)的 IP 地址)訪問網(wǎng)絡(luò)服務(wù)時(shí),請(qǐng)求報(bào)文到達(dá)調(diào)度器,調(diào)度器根據(jù)連接調(diào)度算法從一組真實(shí)服務(wù)器中選出一臺(tái)服務(wù)器,將報(bào)文的目標(biāo)地址 VirtualIPAddress 改寫成選定服務(wù)器的地址,報(bào)文的目標(biāo)端口改寫成選定服務(wù)器的相應(yīng)端口,最后將修改后的報(bào)文發(fā)送給選出的服務(wù)器。同時(shí),調(diào)度器在連接 Hash 表中記錄這個(gè)連接,當(dāng)這個(gè)連接的下一個(gè)報(bào)文到達(dá)時(shí),從連接 Hash 表中可以得到原選定服務(wù)器的地址和端口,進(jìn)行同樣的
9、改寫操作,并將報(bào)文傳給原選定的服務(wù)器。當(dāng)來自真實(shí)服務(wù)器的響應(yīng)報(bào)文經(jīng)過調(diào)度器時(shí),調(diào)度器將報(bào)文的源地址和源端口改為VirtualIPAddress 和相應(yīng)的端口,再把報(bào)文發(fā)給用戶。當(dāng)使用 VS/NAT 方法時(shí),如果有大量的響應(yīng)數(shù)據(jù)經(jīng)過調(diào)度器,調(diào)度器將成為整個(gè)集群的瓶頸。2)使用 VS/TUN 方法:VS/TUN 的連接調(diào)度和管理與 VS/NAT 中的一樣,只是它的報(bào)文轉(zhuǎn)發(fā)方法不同。調(diào)度器根據(jù)各個(gè)服務(wù)器的負(fù)載情況,動(dòng)態(tài)地選擇一臺(tái)服務(wù)器,將請(qǐng)求報(bào)文封裝在另一個(gè) IP 報(bào)文中,再將封裝后的 IP 報(bào)文轉(zhuǎn)發(fā)給選出的服務(wù)器;服務(wù)器收到報(bào)文后,先將報(bào)文解封獲得原來目標(biāo)地址為 VIP 的報(bào)文,服務(wù)器發(fā)現(xiàn) VIP
10、 地址被配置在本地的 IP 隧道設(shè)備上,所以就處理這個(gè)請(qǐng)求,然后根據(jù)路由表將響應(yīng)報(bào)文直接返回給客戶。3)使用 VS/DR 方法:調(diào)度器和服務(wù)器組都必須在物理上有一個(gè)網(wǎng)卡通過不分?jǐn)嗟木钟蚓W(wǎng)相連,如通過交換機(jī)或者高速的 HUB 相連。VIP 地址為調(diào)度器和服務(wù)器組共享,調(diào)度器配置的 VIP 地址是對(duì)外可見的,用于接收虛擬服務(wù)的請(qǐng)求報(bào)文;所有的服務(wù)器把VIP 地址配置在各自的 Non-ARP 網(wǎng)絡(luò)設(shè)備上,它對(duì)外面是不可見的,只是用于處理目標(biāo)地址為 VIP 的網(wǎng)絡(luò)請(qǐng)求。在 VS/DR 中,調(diào)度器根據(jù)各個(gè)服務(wù)器的負(fù)載情況,動(dòng)態(tài)地選擇一臺(tái)服務(wù)器,不修改也不封裝 IP 報(bào)文,而是將數(shù)據(jù)幀的 MAC 地址改為
11、選出服務(wù)器的 MAC 地址,再將修改后的數(shù)據(jù)幀在與服務(wù)器組的局域網(wǎng)上發(fā)送。因?yàn)閿?shù)據(jù)幀的 MAC 地址是選出的服務(wù)器,所以服務(wù)器肯定可以收到這個(gè)數(shù)據(jù)幀,從中可以獲得該 IP 報(bào)文。當(dāng)服務(wù)器發(fā)現(xiàn)報(bào)文的目標(biāo)地址 VIP 是在本地的網(wǎng)絡(luò)設(shè)備上,服務(wù)器處理這個(gè)報(bào)文,然后根據(jù)路由表將響應(yīng)報(bào)文直接返回給客戶。LVS 負(fù)載平衡器調(diào)度后臺(tái)真實(shí)服務(wù)器的方法有八種,分別如下:1)RoundRobin 輪叫法2)WeightedRoundRobin 加權(quán)輪叫3)LeastConnections 最少鏈接4)WeightedLeastConnections 力口權(quán)最少鏈接5)Locality-BasedLeastCon
12、nections 基于局部性的最少鏈接6)Locality-BasedLeastConnectionswithReplication 帶復(fù)制的基于局部性最少鏈接7)DestinationHashing 目標(biāo)地址散列8)SourceHashing 源地址散列二、實(shí)現(xiàn) LVS 負(fù)載平衡下面以實(shí)驗(yàn)的形式來說明 LVS 負(fù)載平衡的功能(本例是使用 LVSDR 模式, 調(diào)度方法為輪循呼叫),實(shí)驗(yàn)拓?fù)鋱D如下所示:分析:上圖中 0/16 為負(fù)載平衡器(實(shí)現(xiàn) LVS)而 0/16、0/16 為兩臺(tái) web 服務(wù)器。客戶端訪問負(fù)載平衡器的虛擬 IP 時(shí)
13、,由負(fù)載平衡器調(diào)度使用輪叫法調(diào)度兩臺(tái) web 服務(wù)器。1.初始化各服務(wù)器如下圖所示:(1)負(fù)載平衡器初始化(設(shè)置 IP 地址、計(jì)算機(jī)名稱、hosts 文件)如下圖所示:/etc/sysconfig/network-scripts/ifcfg-eth0 配置如下:BOOTPROT0-stdljc川DDR-fiO:OC:29UniONBOOT=yesI?IDDR-17221.0.30/etc/sysconfig/network 文件配置如下:KTUORkiXG_IPK=yesimssxwil=nIbmaslL,exampleci/etc/hosts 文件配置如下所示:n1hmasterlocaIh
14、ost*localdomainlocalho1ucaIhusl6.lucaldumtii(16luca1hub16為了能夠順利的看到實(shí)驗(yàn)效果,禁用 selinux,/etc/sysconfig/selinux 文件配置如下:二Thrfi1cront:-n1sihrrIntc?ofS|J】mironthr,$1.WSELINUX=contakeoneofthesethreevalues:二cnttJiCing-SL1.inuxsecuritjpolicyi&enforced,=pernissiveSELinuprintswarningsinsLeadofenforcing.-disabl
15、ed-SELinuxisfullydisabled,SEL1KIX二場(chǎng)ablqdlCLJ1T、TTTX1U*FnlA事ViL1-4-KJ!d1K一 0111no0,iC4說明:上述內(nèi)容設(shè)置完畢后必須重新啟動(dòng)計(jì)算機(jī)讓其生效。(2)使用上述相同方法設(shè)置兩臺(tái) web 服務(wù)器的 IP 地址、計(jì)算機(jī)名、hosts 文件、及禁用selinux 并重啟計(jì)算機(jī)。配置負(fù)載平衡器(LVS 莊機(jī)(1)為了不受防火墻的影響,在實(shí)驗(yàn)前關(guān)閉防火墻,如下圖所示:11門nt1hmas1(?r=servirciptablessti)p清除防火堵規(guī)則:確定把ins設(shè)置為ACCEPT策略:Tiller用毛正在卸載Iiptables
16、模塊:I確定1IroutujnIbmcLitci,,|二Irc-otnIbmastcr|mcunL/hJc/tnntmounttblockdevice/dev/hdeisnrile-ptLtccIcd.mountinpread-onlyrootAnlbmaster產(chǎn)cd/rnnt/Clustor蔡元紀(jì)制作Irootan1bmalcrC1uJStci|一口mithiDsadm1.二工-8+1.jW6.r口m-warning:ipvsadn14248*1*i386.rpm-HeaderV3DSAsignature:米爪”、keyD37017186Preparingi.(100K*MMOK=.Mm.
17、MKJ=JBM.WBV*KAHHLMKTHTJiBM*XB-d-KUMS*1!KMMM.aI1I1f1L1LIlFQ1ipvsadm(6X=|100(2)在負(fù)載平衡器上手工建立 LVS 調(diào)度腳本,如下圖所示:rooton1boiasterClustervim/etc/init.d/vip.sh127,0.0Jytt;117202.LVS 調(diào)度腳本的內(nèi)容如下圖所示:=h;n/hash;ifconfigethOiO172*24.0.100broadcast55netmask235uprouteadd-lir-ILL_JJ19Jex燈LhG;ip5adm門-1L_,2L、,1。
18、:$0msadrn說明:首先將 LVS 虛擬 IP00 綁定至 ij 本地的 eth0:0 設(shè)備上,設(shè)置本地計(jì)算機(jī)要到達(dá)00 的數(shù)據(jù)需要使用 eth0:0 設(shè)備;ipvsadmC代表清除以前的 ipvsadm 設(shè)置;ipvsadm-A 代表在內(nèi)核的虛擬服務(wù)器表中添加一條新的虛擬服務(wù)器記錄,也就是增加一臺(tái)新的虛擬服務(wù)器;-a 代表在內(nèi)核虛擬服務(wù)器表的一條記錄里添加一條新的真實(shí)服務(wù)器記錄,也就是在一個(gè)虛擬服務(wù)器中增加一臺(tái)新的真實(shí)服務(wù)器;-t-tcp-serviceservice-address 說明虛擬服務(wù)器提供的是 tcp 的服務(wù);-s 代表使用的調(diào)度算法
19、,有這樣幾個(gè)選項(xiàng) rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,其中 rr 為輪叫法;-g 指定 LVS 的工作模式為直接路由模式(也是 LVS 默認(rèn)的模式)(3)為 LVS 調(diào)度腳本添加相關(guān)的執(zhí)行權(quán)限,然后執(zhí)行調(diào)度腳本,并設(shè)置系統(tǒng)開機(jī)后自動(dòng)執(zhí)行該腳本,如下圖所示::0:httpf172.24.0,IO:httpFjrarJHeightctiCcnnnrtctConnRoute10RouteI3.設(shè)置 0/16Web01 服務(wù)器(1)在服務(wù)器 web01 上首先關(guān)閉防火墻,服務(wù),最后建立 web01 主頁如下圖所示:然后安裝
20、 httpd 的 apache 軟件包,并啟動(dòng) apachel:httpd7fH:二二二=二二匚二二二二二二二二二二二二|100uI|roDtcvcbOScier|scrvicchttpdstart啟動(dòng)httcxh南定IrootdwcbOlServer|zechoh1111111111/var/wwi*/html/1ndex+htmlIrcnt(iweb01Serverl=(2)為了讓 web01 綁定群集虛擬 IP,并忽略 ARP 請(qǐng)求包,需要建立腳本文件完成,如下圖所示:iGiwehOlServerLIE/t?tc/1n11,d,sh|腳本文件的內(nèi)容如下圖所示:#!/bin/bashiif
21、configla:0172240100broadcast172,24*255,255netmask253255*255*255uP蔡元紀(jì)制作routeadd-E11-t172.21,0*10deloin1/proc/sys/rift/ipi-1/conr/lu/arp_ignore:_/proc/byb/nt;l/ip4/conf/1o/arp_annunceec?-1/proc/sys/net/ipv4/conf/all/arp_ignorc2/proc/sys/nct/ipv4Aonf/a11/arpannouncessc110說明: 上圖中首先將00的虛擬IP綁定到本
22、機(jī)網(wǎng)卡的lo環(huán)回接口上,然后告訴本地計(jì)算機(jī):到達(dá) 00 的數(shù)據(jù)需要使用設(shè)備 lo:0;然后設(shè)置忽略本地 ARP 請(qǐng)求, 最后使用 sysctlR 使之生效。(3)為腳本文件添加相關(guān)執(zhí)行權(quán)限,然后執(zhí)行腳本,并設(shè)置該腳本系統(tǒng)開機(jī)時(shí)自動(dòng)啟動(dòng),如下圖所示:rootfivcbOl=5crviceiptablesstop清除防火墻規(guī)則:把chains設(shè)置為CCLPT策略:filter正在酬載liptabitb模塊;Ir*.?ub01|二IiJuLCwebOl|二muuni/dz/hdc/mntmonntJblockdcicc/Jcv/hdcisnritc-pr.levied,nioun
23、iing1rootctycbOlcd/mntrootlebOlrnnt=cd5uccrootOwebOlServer注ncnr*vhhttD,I】1.廣口電確定確定1就定rcadonlywarnin&ihttpd-2,2,3-6.e151386,rowHeaderV3DSAsisnatureiXOKY,keyID3蔡元紀(jì)制作(icm!1001Lliiepdring.rootawebOlServerJ1?chmoda+x/etc/initd/webOlshIrootatwcbOlScrcr|-IrootcowcbOlServer/ctcin11.d/webO1,shnet*ipv4ip_
24、irward=0netipv4.conf.defau11.rp_li1ter-1net,ip4.mnf,defau:Itseeept_,soijrcc_rnule=0ketrie1*syjiiq=0ketnel.coveruse_pid-1netHp4.tcp_syricookits=1_kernel.msgmnb-65S36禁兀紀(jì)制作kernel.rtibgniax-63336kernel.shmmax=4294987295kernel,5hna1I=2(i8435436rnotCwcbOlServer?roottwcbOlServereqhQ./tr/imt.d/rebOl*:sh*/elr/u-l”aI4.設(shè)置 0/16web02 服務(wù)器(1)在服務(wù)器 web02 上首先關(guān)閉防火墻,然后安裝 httpd 的 apache 軟件包,并啟動(dòng) apache 服務(wù),最后建立 web02 主頁如下圖所示:說明:為了更明顯的看到實(shí)驗(yàn)效果,我們?cè)趦膳_(tái) web 服務(wù)器上建立不相同的主頁內(nèi)容建立。(2)在 web02 的/etc/
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025合同范本聯(lián)合經(jīng)營合同協(xié)議參考
- 2025汽車銷售合同電子范文
- 2025合同范本租賃合同(寫字樓)示例
- 2025年湖北醫(yī)療器械采購協(xié)議書(標(biāo)準(zhǔn)版)
- 供應(yīng)室年終總結(jié)(19篇)
- 2025年勞動(dòng)合同中的勞動(dòng)者權(quán)益問題研究
- 2025新合同法修訂內(nèi)容
- 現(xiàn)代漢語語言學(xué)理論與實(shí)踐試卷集
- 童話故事之森林里的冒險(xiǎn)15篇
- 大學(xué)生心理健康教育的目的是
- 1kV交聯(lián)鎧裝電力電纜主要技術(shù)參數(shù)及載流量表
- 婚介所個(gè)人資料登記表格
- 注冊(cè)安全工程師安全生產(chǎn)技術(shù)培訓(xùn)課件
- 電商倉庫流程及診斷
- 施工場(chǎng)地平整施工方案
- SCB系列干式變壓器使用說明書
- 202x檢察院工作總結(jié)匯報(bào)、述職報(bào)告PPT模板
- YYT 1182-2020 核酸擴(kuò)增檢測(cè)用試劑(盒)
- GB∕T 33212-2016 錘上鋼質(zhì)自由鍛件 通用技術(shù)條件
- 高效液相色譜法分析(三聚氰胺)原始記錄1
- 匯川伺服追剪控制指導(dǎo)說明完整版
評(píng)論
0/150
提交評(píng)論