![NeoceanI網(wǎng)絡存儲產(chǎn)品開局指導書_第1頁](http://file4.renrendoc.com/view/13fac09dfb2a70c9756a31a32698f24b/13fac09dfb2a70c9756a31a32698f24b1.gif)
![NeoceanI網(wǎng)絡存儲產(chǎn)品開局指導書_第2頁](http://file4.renrendoc.com/view/13fac09dfb2a70c9756a31a32698f24b/13fac09dfb2a70c9756a31a32698f24b2.gif)
![NeoceanI網(wǎng)絡存儲產(chǎn)品開局指導書_第3頁](http://file4.renrendoc.com/view/13fac09dfb2a70c9756a31a32698f24b/13fac09dfb2a70c9756a31a32698f24b3.gif)
![NeoceanI網(wǎng)絡存儲產(chǎn)品開局指導書_第4頁](http://file4.renrendoc.com/view/13fac09dfb2a70c9756a31a32698f24b/13fac09dfb2a70c9756a31a32698f24b4.gif)
![NeoceanI網(wǎng)絡存儲產(chǎn)品開局指導書_第5頁](http://file4.renrendoc.com/view/13fac09dfb2a70c9756a31a32698f24b/13fac09dfb2a70c9756a31a32698f24b5.gif)
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
NeoceanI網(wǎng)絡存儲產(chǎn)品開局指導書Ltd.文檔編號DocumentNo.產(chǎn)品版本密級秘密產(chǎn)品名稱:ProductName:IX1000共89頁 日期修訂版本描述Description作者Author初稿完成Initialdraft李艷修改完成李艷修改完成,修改客戶端部分,聚合部分李艷產(chǎn)品總體介紹.................................................整機外觀....................................................背視圖....................................................電源系統(tǒng)....................................................散熱系統(tǒng)....................................................指示燈......................................................系統(tǒng)結(jié)構(gòu)介紹...................................................系統(tǒng)特性....................................................硬件結(jié)構(gòu)框圖和實現(xiàn)機制......................................軟件總體架構(gòu)................................................關(guān)鍵的軟件功能模塊和規(guī)格介紹................................2業(yè)務配置.........................................................典型組網(wǎng)業(yè)務配置...............................................組網(wǎng)方式一..................................................組網(wǎng)方式二..................................................3存儲初始配置.....................................................周邊系統(tǒng)初始配置...............................................設備上電....................................................超級終端登陸方式............................................安裝和啟動H3CNeoceanNeoStor控制臺.......................系統(tǒng)配置.......................................................系統(tǒng)配置檢查................................................陣列配置檢查................................................H3CNeoceanNeoStor控制臺對陣列的檢測和虛擬化..............SAN資源創(chuàng)建................................................NAS資源創(chuàng)建................................................復制配置....................................................聚合配置....................................................DiskSafe應用配置..............................................典型組網(wǎng)....................................................安裝配套說明................................................主要配置....................................................客戶端配置.....................................................Windows客戶端..............................................Redhat......................................................存儲設備配置路由(三層網(wǎng)絡).....................................與其他設備、系統(tǒng)、版本的配置關(guān)系...............................4目前還存在的問題及注意的事項.....................................IE地址欄里輸入NeoStor服務器地址,不能下載....................問題現(xiàn)象1..................................................規(guī)避辦法....................................................問題現(xiàn)象2..................................................規(guī)避辦法....................................................NeoStor長時間停留在登錄界面,不能中止登錄過程.................問題現(xiàn)象....................................................規(guī)避辦法1..................................................規(guī)避辦法2..................................................NeoStor提示無法正常啟動程序,登陸不上界面.....................問題現(xiàn)象....................................................規(guī)避辦法....................................................開始復制后,修改系統(tǒng)的主機名,會導致復制的資源不可用...........問題現(xiàn)象....................................................規(guī)避辦法....................................................NeoStor不能識別大于2TB的陣列.................................問題現(xiàn)象....................................................規(guī)避辦法....................................................創(chuàng)建NAS資源時修改NAS資源的格式化選項會導致資源不可用.........問題現(xiàn)象....................................................規(guī)避辦法....................................................對SAN資源執(zhí)行復制過程中,建立快照資源時失敗...................規(guī)避辦法系統(tǒng)有壞盤時,啟動系統(tǒng)存在驅(qū)動掛死,陣列不可用規(guī)避辦法刪除NAS資源,導致neostor系統(tǒng)無法進入,必須斷電重起設備規(guī)避辦法一pc客戶機無法同時登陸不同產(chǎn)品界面規(guī)避辦法5信息收集.........................................................6版本組合特性與參數(shù)設置...........................................7升級指導.........................................................8安裝部分.........................................................9參考資料清單Listofreference....................................表目錄開局指導書縮略語英文全稱中文全稱高級技術(shù)附加裝置公共因特網(wǎng)文件系統(tǒng)直接附加存儲容災Internet小型計算機系統(tǒng)接口網(wǎng)絡附加存儲網(wǎng)絡文件系統(tǒng)獨立磁盤冗余陣列存儲區(qū)域網(wǎng)絡串行連接SCSI串行ATA小型計算機系統(tǒng)接口(1)電源模塊1(可(2)電源模塊2(可(3)SAS端口熱插拔)熱插拔)排列)指示燈指示燈圖1-3DE1116后視圖1.1.4散熱系統(tǒng)IX1500存儲產(chǎn)品從機箱前部進風,后部出風。風扇位于磁盤與主板之間,對于主板為吹風散熱,磁盤為抽風散熱。指示燈顏色狀態(tài)描述磁盤電源/定位/Active指示燈綠色熄滅表示磁盤未上電常亮表示磁盤狀態(tài)正常固定2Hz頻率閃爍表示從RAID管理界面進行磁盤/陣列定位非固定頻率閃爍表示磁盤正在進行讀寫指示燈顏色狀態(tài)描述磁盤故障/陣列狀態(tài)指示燈黃色熄滅表示磁盤正常常亮表示磁盤故障固定1Hz頻率閃爍表示磁盤所在的陣列正在進行數(shù)據(jù)同步或重建電源指示燈綠色熄滅表示未接AC電源固定1Hz頻率閃爍表示AC電源已經(jīng)接入,但系統(tǒng)還未開機常亮表示系統(tǒng)已開機定位指示燈藍色熄滅表示未定位常亮表示從管理控制臺進行設備定位告警指示燈黃色熄滅表示系統(tǒng)硬件正常常亮表示系統(tǒng)硬件故障指示燈顏色狀態(tài)描述SAS接口指示燈綠色熄滅表示未連接常亮表示4個通道都已經(jīng)連接且無數(shù)據(jù)收發(fā)快速閃爍表示4個通道都已經(jīng)連接且有數(shù)據(jù)收發(fā)1Hz閃爍表示線路中有1~3個通道已經(jīng)連接擴展柜機箱前面每個磁盤有兩個指示燈:磁盤電源/定位/Active指示燈和磁盤故障/陣列狀態(tài)指示燈;機箱后面有電源指示燈、定位指示燈、告警指示燈、心跳指示燈和SAS接口指示燈。指示燈顏色狀態(tài)描述磁盤電源/定位/Active指示燈綠色熄滅表示磁盤未上電常亮表示磁盤狀態(tài)正常固定2Hz頻率閃爍表示從RAID控制臺進行的磁盤/陣列定位非固定頻率閃爍表示磁盤正在進行讀寫磁盤故障/陣列狀態(tài)指示燈黃色熄滅表示磁盤正常常亮表示磁盤故障固定1Hz頻率閃爍表示磁盤所在的陣列正在進行數(shù)據(jù)同步或重建電源指示燈綠色熄滅表示未接AC電源常亮表示表示本控制器已開機指示燈顏色狀態(tài)描述心跳指示燈綠色固定1Hz頻率閃爍表示本控制器工作正常其他狀態(tài)表示本控制器工作不正常定位指示燈藍色熄滅表示未定位常亮表示從管理控制臺進行設備定位告警指示燈黃色熄滅表示本控制器工作正常常亮表示本控制器出現(xiàn)嚴重告警閃爍表示本控制器出現(xiàn)一般告警指示燈顏色狀態(tài)描述SAS接口指示燈綠色熄滅表示未連接常亮表示4個通道都已經(jīng)連接且無數(shù)據(jù)收發(fā)快速閃爍表示4個通道都已經(jīng)連接且有數(shù)據(jù)收發(fā)1Hz閃爍表示線路中有1~3個通道已經(jīng)連接應用服務器可以通過iSCSIHBA適配器連接到IX1500,或者使用iSCSIIX1500提供4個千兆位GE業(yè)務口,用于與服務器或PC機通信,在物理上保證了業(yè)務口的冗余;1個百兆位FE管理口進行管理軟件、8個免費的SANClient;其它NAS、Mirror、單框可以配置1-16個SATA硬盤,單框存儲容量最大可達12TB(根據(jù)磁盤容量判定,此處按照750G大小磁盤計算),支持3個DEU框,最大可支持64個磁盤數(shù);能)等;系統(tǒng)規(guī)格限制限制系統(tǒng)支持最大陣列數(shù)系統(tǒng)支持的最大NAS資源數(shù)系統(tǒng)支持的最大SAN資源數(shù)系統(tǒng)支持的最大SAN客戶端數(shù)8+(根據(jù)License的限每個SAN客戶端下建議創(chuàng)建的最大Target數(shù)4系統(tǒng)支持的iSCSI會話最大數(shù)建議每個會話的iSCSI最大連接數(shù)4系統(tǒng)支持的每個資源最大容量(TB)2說明:系統(tǒng)資源數(shù)=SAN資源+NAS資源+Snapshot資源;IX1500的硬件主要由3部分組成:存儲控制器、冗余電源模塊、背板。存儲控制器:支持最多1個64bitCoreCPU,最大4GB內(nèi)存,支持SATA,SAS磁盤;對外提供4個GE業(yè)務接口和1個FE管理接口,2個串口和2個USB接口,支持DEU擴展,支持Cache電池備份;存儲控制器的功能是從GE接口接收應用服務器或者PC機對邏輯卷或者共享文件的訪問(基于iSCSI或者NFS/CIFS協(xié)議);并將此來自應用服務器或者PC機的訪問轉(zhuǎn)換為對本地磁盤的I0訪問發(fā)送到本地磁盤上;相當于在對本地點快照、遠程復制等的功能。管理PC可通過存儲控制器的串口1接入IX1500系統(tǒng)進行命令行方式的管理(僅用于技術(shù)支持人員使用),也可通過FE管理接口接入IX1500系統(tǒng)進行GUI方式的管理(技術(shù)支持和用戶使用);存儲控制器的串口冗余電源模塊:兩個700W冗余電源模塊,支持熱拔插,為系背板支持16個熱拔插的SATA/SAS硬盤,防止硬盤電源短路(可以有效保護硬盤和系統(tǒng));IX1500采用的是分層管理的體系架構(gòu),從上而下依次是系統(tǒng)管理NeoStor控制臺)。H3CNeoceanNeoStor控制臺的功能非常強大,建議對系統(tǒng)的所有靈活方便的邏輯存儲資源管理功能:通過RAIDConsole按照用戶的需求創(chuàng)建各種類型的陣列(RAID0、1、3、5、6、10),然后通過H3CNeoceanNeoStor控制臺在這些陣列上創(chuàng)實時日志記錄和顯示:可以通過查看日志了解對系統(tǒng)每一個操強大的報告功能:可以根據(jù)實際情況創(chuàng)建各種報告,例如資源使用率、資源的讀寫狀況等.2.存儲資源管理陣列,系統(tǒng)識別到RAID陣列,再在NeoStor管理界面把其虛擬化為虛擬設圖1-5磁盤到邏輯資源的虛擬過程圖(1)磁盤管理磁盤由磁盤控制器通過SATA/SAS接口進行識別和管理;磁盤本身對Linux操作系統(tǒng)不可見,操作系統(tǒng)只能識別RAID陣列;操作系統(tǒng)識別磁盤控制器為SCSI設備,然后通過SATA/SAS芯片發(fā)現(xiàn)RAID陣列,因此RAID陣列在操作(2)陣列管理RAID6、RAID10;陣列信息記錄在磁盤上,同一陣列的注意:當一個陣列對應的虛擬設備上還存在邏輯存儲資源時,請勿(3)虛擬設備管理器,可以識別陣列,然后對陣列進行虛擬化操作,即選擇VirtualDevice。VirtualDevice是做完虛擬化操作后的設備,完成虛擬化動作后,存儲資源上的數(shù)據(jù)完全消失;用戶可以對虛擬化后的資源進行(4)邏輯資源管理邏輯存儲資源的Mirror功能邏輯存儲資源Mirror功能讓用戶可以創(chuàng)建實時的,同步邏輯存儲資源的Mirror不同于RAID。RAID是基于磁盤級別的拷貝,而邏輯存儲資源的Mirror是邏輯存儲資源一級別的。而且邏輯存儲資源Mirror可以在采用不同策略的邏輯存儲資源之間進行。例如:可以為一個采用RAID10邏輯存儲資源Mirror功能在實際中有很大的用途。例如要更換磁盤時,可以將邏輯存儲資源Mirror到別的磁盤上,從而保證了部件更換操作不會中斷業(yè)務的運行。邏輯存儲資源Mirror還可以進行promote操作資源建立一個或者多個Mirror,然后將Mirror盤promote成新的邏輯存儲型的應用是Mirror邏輯存儲資源來備份:先做一個Mirror邏輯存儲資源,邏輯存儲資源的TimeMark/TimeView功能Snapshotresource的空間,但SnapshotresourceTimeMark:給數(shù)據(jù)加上歷史時間標記,并且該時間標記之數(shù)據(jù)是完整的。時間標記最多可達255個。InstantRecovery:當漸變式災難發(fā)生時,用戶可以回滾TimeView:可以查看任何TimeMark點的數(shù)據(jù),以便于用對用戶而言是一個邏輯存儲資源,可以在上面生成系統(tǒng)測試,開發(fā)數(shù)據(jù),而不影響原資源的數(shù)據(jù),也不會影響占用空間:時間標記是邏輯上的,對存儲容量的占有很小,如60個TimeMark,額外容量占用為數(shù)據(jù)容量的資源的Snapshotresource被破壞,那么該資源所有Snapshot功能皆不可用;因此建議為Snapshotresource創(chuàng)建一個不要在TimeView上copy太多的數(shù)據(jù),這樣會導致SnapshotReplication通過與Snapshotagent功能相結(jié)合,可以保證相互數(shù)據(jù)的完"硬"錯誤發(fā)生時的快速恢復"軟"錯誤發(fā)生時的快速恢復對于采用冗余策略建立的虛擬磁盤,如果其中的一個磁盤失效,那么系統(tǒng)采用指定的磁盤頂替失效磁盤,進行Mirror數(shù)據(jù)重構(gòu),這種機制稱之為磁盤熱式,給陣列提供多重保護,提高了陣列的安全性。IX1500支持三種類型的磁盤熱備方式:適用范圍指定冗余陣列所有冗余陣列所有冗余陣列特點某陣列專有僅在使用時才占用實際的物理磁盤空間其spare空間分布在指定的磁盤上所有陣列共有僅在使用時才占用實際的物理磁盤空間其spare空間分布在所有陣列共有僅在使用時才占用實際的物理磁盤空間其spare空間分布在指定的磁盤上僅在””為開指定的磁盤上情況下,且不存在LocalSpare,GlobalSpare熱備盤,未使用磁盤才能作為備用盤使用節(jié)省磁盤空間節(jié)省磁盤空間節(jié)省磁盤空間缺點僅為磁盤組中的所有冗余陣列專有,如果該磁盤所需則使用該Spare失敗如果該磁盤夠所需則使用該Spare失敗如果該磁盤FreeSpare不夠所需則Unused磁盤不會作為熱備盤推薦使用不推薦推薦不推薦IX1500的四個GE口可以一起聚合為一個虛擬網(wǎng)絡地址,兩個虛擬網(wǎng)絡地址,以實現(xiàn)負載均衡和冗余;任何一個GE口故障都不會影響由于網(wǎng)口聚合會造成額外的網(wǎng)絡開銷,因此,如果是進行性能的測試,推薦不使用聚合方式;如果進行故障切換或冗余功能時,使用iSCSITargetInitiatoriSCSIInitiato2業(yè)務配置2.1典型組網(wǎng)業(yè)務配置2.1.1組網(wǎng)方式一4個獨立的網(wǎng)口都有自己獨立的IP地址,如圖2-1示,存儲設備IX1540的4個千兆網(wǎng)口分別。2.此組網(wǎng)方式圖未顯示存在DEU框連接情況,如需要連接DEU框,請參照《H3CNeoceanDE1116磁盤柜安裝手冊》。3.存儲設備網(wǎng)口具體配置方式祥見本文第3節(jié)存儲初始配置。圖2-1不使用網(wǎng)口聚合功能組網(wǎng)圖2.1.2組網(wǎng)方式二幾個網(wǎng)口綁定在一起,形成一個虛擬網(wǎng)口,使用一個虛擬的IP地址;說明:綁定在一起的網(wǎng)口使用一個相同的虛擬網(wǎng)口地址,所有屬于這個虛擬網(wǎng)口的物理網(wǎng)口之間可以failover,既當有一個或者幾個中斷,其它的還可以繼續(xù)工作,只是會造成帶寬下降。注意:采用兩組兩個網(wǎng)口進行聚合時,物理網(wǎng)口是固定的,就是GE1/eth1和虛擬IP的網(wǎng)關(guān)不能與虛擬IP在同一個網(wǎng)段;否則兩臺IX1500(1)使用兩組兩個網(wǎng)口進行聚合的GE1/eth1、GE3/eth3聚合;圖2-24個網(wǎng)口兩兩聚合組網(wǎng)圖圖2-34個網(wǎng)口聚合為一個網(wǎng)口組網(wǎng)圖3存儲初始配置3.1周邊系統(tǒng)初始配置3.1.1設備上電按用戶要求把IX1500接入到用戶網(wǎng)絡環(huán)境中,即可進行設備上電。如果配置使用串口1,設置波特率為115200,其他設置默認,即可通過串口查看系統(tǒng)和圖3-2所示;b.安裝完成后,在Web瀏覽器地址欄中再次輸入NeoStor服務器的IP地址,機上,如果管理PC上沒有安裝java虛擬機,那么在下載H3C(3)在H3CNeoceanNeoStor控制臺上添加服務器地址;使用超級在NeoStor控制臺目錄樹中,鼠標右鍵單擊現(xiàn)有的NeoStor服務器(如中的“h3c-1”),從彈出的快捷菜單中選擇[Connect]菜單項,系統(tǒng)彈出[NeoStorUserLogin]對話框,輸入用戶名和密碼即可連接到該服務器。圖3-4連接到現(xiàn)有的NeoStor服務器連接到未在列表中顯示的NeoStor服務器在NeoStor控制臺目錄樹中,鼠標右鍵單擊“NeoceanNeoStorServers”,從彈出的快捷菜單中選擇[Add]菜單項,系統(tǒng)彈出[NeoStorUserLogin]對話框,如所示,輸入NeoStor服務器名稱或IP地址、用戶名和密碼。圖3-5登錄對話框(4)成功登錄系統(tǒng)后按系統(tǒng)提示添加license、配置系統(tǒng)的網(wǎng)絡地址和修改系統(tǒng)的hostname,如圖3-6所示;添加license:把用戶購買的相應功能的license添加到系統(tǒng)中;成功登陸后會出現(xiàn)下面的界面,按Next開始添加license,網(wǎng)絡配置和修改主機名圖3-6提示配置界面單擊<Add>按鈕,系統(tǒng)彈出對話框,如圖3-7所示,輸入license號,單擊配置系統(tǒng)的網(wǎng)絡地址:把IX1500的網(wǎng)絡地址按用戶的使置完系統(tǒng)的網(wǎng)絡地址后,系統(tǒng)會重啟網(wǎng)絡,此時系統(tǒng)會與H3CNeoceanNeoStor控制臺斷開連接,屬正常情況;隨框,如圖3-8所示,可以進行網(wǎng)絡配置。修改服務器名:把IX1500的服務器名修改為用戶期望的名字,這個名字就是IX1500的標識,在啟動業(yè)務后,不軟件會重新啟動,屬正常情況,2分鐘后可重新登錄系統(tǒng).網(wǎng)絡配置完成后,單擊<Next>按鈕,系統(tǒng)彈出對話框,如圖3-9所示,輸入NeoStor服務器的主機名,單擊<0K>按警告:在系統(tǒng)開始使用后不要修改系統(tǒng)的主機名,否則會導致一些不可預見的錯誤;修改主機名只能通過3CNeoceanNeoStor控制臺來進行修改,絕對不能在CLI下修改,否則會導致系統(tǒng)不可用!(5)使用新配置的網(wǎng)絡地址或主機名登錄系統(tǒng);創(chuàng)建管理員帳戶,鼠標右鍵單擊該NeoStor服務器,從彈出的快捷菜單中選擇[Administrators]菜單項,系統(tǒng)彈出對話框,如圖3-10所戶端驗證,管理員名稱欄必須與客戶端主機名稱匹如果客戶端主機名稱為ABC,則管理員名稱欄必須是ABC。議登錄驗證(從iSCSIInitiator機器),沒有控制臺訪問權(quán)1.通過串口1接入系統(tǒng);連接存儲服務器,點擊NeoStor控制臺右下角,如下圖3-124.雙擊時間彈出對話框,如下圖3-13所示,進行時間修改即可:3.2系統(tǒng)配置以下的相關(guān)操作請參考《H3CNeoceanIX1500系列網(wǎng)絡存儲管理軟件用戶手冊》。配置完成后需對以下配置項進行檢查:3.2.1系統(tǒng)配置檢查(1)通過串口接入系統(tǒng),使用超級用戶root,缺省密碼passwd登錄系統(tǒng);輸入命令"neostorstatus"查看各個模塊是否正常運行,如圖3-14所示;圖3-14超級終端顯示圖(2)在H3CNeoceanNeoStor控制臺的界面上查看主機名、IP地址是否已作修改;查看host能否ping通IX1500;(3)按照用戶需求對系統(tǒng)進行配置:配置H3CNeoceanNeoStor控制臺的屬性;制臺》Warning,實際情況根據(jù)用戶需求。將信息發(fā)送到網(wǎng)管軟件。注意:保存的配置文件主要用于恢復系統(tǒng)的配置,如SAN已被刪除,恢復配置文件后會看到離線的邏輯資源;因此恢復選擇的"EnableAutoSaveConfiguration"頁簽,輸入自動保存NeoStor系統(tǒng)配置的信息,如圖3-15所示,以在"FtpPort"文本框中輸入FTP端口號21;的目錄。在此處輸入的目錄名稱(如Config)是FTP服務器上框中分別輸入用戶名、密碼和確認密碼。其中,用戶名是用戶登錄系統(tǒng)的身份,必須先在FTP站點上創(chuàng)建此用戶,并且它必須對此處命名的目錄具有讀/寫權(quán)限;在"Interval"文本框中,設置復制配置的頻率。根據(jù)用戶更改NeoStor配置的頻率,設置相應的周期。如果需要,用戶始終可以在復制間隔進行手動保存。在"NumberofCopies"對話框中,輸入要保留的最大副本數(shù)。隨著添加新副本,最舊的副本將被刪除。單擊<0K>按鈕,設置生效。單擊<Cancel>按鈕,退出具體操作方法請參見NeoStor服務器》3.2.2陣列配置檢查(1)登錄RAID管理頁面右鍵點擊“NeoStor服務器名”,選擇“RAIDManagement”,啟動RAID管理后,查看磁盤的在位信息,如所示,初始狀態(tài)磁盤界面全部顯示察看DEU框磁盤在位情況,單擊如Enclosure初始磁盤狀態(tài)正常(綠色U字樣)。如出現(xiàn)其余顏色字樣,請察看《H3CNeoceanIX1500系列網(wǎng)絡存儲管理軟件用戶手冊(2)創(chuàng)建磁盤組應的陣列,以下以建立一個基于7個磁盤創(chuàng)建2T大小RAID5陣列為例,如圖3-17所示,創(chuàng)建一個包括7個磁盤的磁盤組,選擇左部”RAID1.可以基于一個磁盤組創(chuàng)建多個陣列,陣列類型可以多樣,推薦2.陣列的創(chuàng)建需要基于磁盤組,磁盤組所包含的磁盤數(shù)量大于等于2個。3.存在DEU框情況下,察看DEU框內(nèi)磁盤狀態(tài),選擇某DEU (3)創(chuàng)建陣列如下圖3-18所示:圖3-18創(chuàng)建陣列1.創(chuàng)建陣列對話框中”Advanced0ption”中可以選2.如果創(chuàng)建的冗余陣列的容量比較大,則同步需要比較長的時3.按照默認配置創(chuàng)建陣列,陣列緩存打開,陣列處于背景初始化,不影響上層業(yè)務(如邏輯資源的創(chuàng)建)。4.陣列一般推薦創(chuàng)建RAID5等冗余陣列,陣列創(chuàng)建方式一般選擇7+1或15+1(15個磁盤創(chuàng)建一個磁盤組,基于此磁盤組創(chuàng)建陣列,1個磁盤作為熱備盤)。5.RAID6冗余陣列,可以允許一個磁盤或壞掉兩塊盤情況,其冗余保護性高。根據(jù)用戶需要,此陣列適用于對數(shù)據(jù)完整性高的應7.目前在RAIDConsole上可以創(chuàng)建大于2TB的陣列,但是H3CNeoceanNeoStor系統(tǒng)不能識別大于2TB的存儲資源,因此創(chuàng)建陣列時不要創(chuàng)建大于2TB容量的陣列。8.目前支持的陣列為RAIDO、1、3、5、6、10。(4)磁盤/磁盤組/陣列/DEU框定位功能磁盤定位,如下圖3-19所示,通過左邊導航樹”RAIDManagement"->”HardDisks"進入磁盤管理界面,選定某個磁盤,點擊按鈕”Identify”,彈出確認框,選擇”Confirm”,執(zhí)行成功后,可以看到Identify一欄,由”off“狀態(tài)修改為”on”狀態(tài),對應機柜上的磁盤則會綠色光閃爍。圖3-19創(chuàng)建陣列1.磁盤組定位,陣列定位方式相同,不再祥述,通過左側(cè)導航樹”RAIDManagement”->”DiskGroups"進入磁盤組管理頁面,”RAIDManagement"-2.磁盤,磁盤組,陣列之間的定位屬于互斥關(guān)系,只能對其中一DEU框定位,如下圖3-20所示,在頁面正上方選擇”SwitchMode”按鈕進圖3-20創(chuàng)建陣列如下圖3-21所示:(5)磁盤緩存,陣列緩存確認目,察看詳細信息,主要觀察"DiskCacheStatus"狀態(tài),如果為”O(jiān)N”,表明磁盤緩存為開,如下圖3-22所示:圖3-22創(chuàng)建陣列1.默認情況下,磁盤緩存為關(guān)閉狀態(tài),陣列緩存為開啟狀態(tài),陣列創(chuàng)建完成后,需確認磁盤/陣列緩存是否為打開狀態(tài)。2.不推薦打開磁盤緩存,當系統(tǒng)斷電時易導致數(shù)據(jù)丟失。3.如果需要修改磁盤緩存為on,在"HardDisks"界面選擇某個磁盤,再選擇”Modify"按鈕打開磁盤緩存。4.當磁盤為unused狀態(tài),已經(jīng)將磁盤緩存打開,基于此磁盤創(chuàng)建磁盤組后,會自動將磁盤緩存關(guān)閉,如需要打開磁盤緩存,再在”DiskGroups“頁面中選擇磁盤組,點擊按鈕”Modify”修改緩存即可。(6)察看日志通過導航樹"EventManagement”->”Log"可以查看RAID日志,其RAID日志信息已經(jīng)合并在X-RAY中,此處只需關(guān)心當前時(1)陣列創(chuàng)建成功后,在H3CNeoceanNeoStor控制臺上執(zhí)行選擇目錄樹中的NeoStor服務器名,鼠標右鍵單擊“PhysicalResources”,從彈出的快捷菜單中選擇已創(chuàng)建陣列數(shù)的范圍確定)。單擊<0K>按鈕,執(zhí)行識別物選擇目錄樹中的NeoStor服務器名,鼠標右鍵單擊"PhysicalDevice"下的某個物理設備,從彈出的快捷菜單中選擇[Properties]菜單項,如所示,系統(tǒng)彈出設在中的"DeviceCategory"下拉列表框中選擇合適的設(1)在虛擬化設備(VirtualDevice)上創(chuàng)建SAN資源;Resources"旁的圖標,鼠標右鍵單擊“SANResources”,從彈出的快捷菜單中選擇[New]菜單項,系統(tǒng)彈出創(chuàng)建SAN圖3-27創(chuàng)建SAN資源(一)b.單擊<Next>按鈕,窗口進入下一步,創(chuàng)建虛擬設備,如所示,圖3-28創(chuàng)建SAN資源(三)自定義方式(Custom):用戶選擇要使用的物批處理方式(Batch):用戶可以一次創(chuàng)建多個大小相同根據(jù)以上3種方式設置SAN資源所需的物理設備,操作分別若在中采用自定義方式,則選擇“Custom”前的單選按鈕,再單擊<Next>按鈕,窗口進入下一步,如所示。選擇要使用的物理設備,單擊<下一步>按鈕,設置從該設備分配的空間大小,設置完成后如圖3-30所示。圖3-29自定義創(chuàng)建SAN資源(一)圖3-30自定義創(chuàng)建SAN資源(二)若在中采用快速方式,則選擇“快速”前的單選按鈕,在3-28中的文本框中指定分配的空間大小。若在中采用批處理方式,則選擇"批處理"前的單選按鈕,再單擊<下一步>按鈕,窗口進入下一步,如所示;選擇要使用的物理設備,單擊<下一步>按鈕,如所示,設置圖3-31批處理創(chuàng)建SAN資源(一)圖3-32批處理創(chuàng)建SAN資源(二)源前綴和起始號碼共同組成。在圖3-32中,可以取消選中“Use若采用自定義方式或快速方式,窗口如所示,在“SANResourcePrefix"文本框中可以修改SAN資源名,單擊<Next>按鈕,系統(tǒng)顯示所作的設置信息,確認無誤后,單圖3-33創(chuàng)建SAN資源(四)(自定義或快速方式)若采用批處理方式,窗口如所示,系統(tǒng)顯示所作的設置信圖3-34創(chuàng)建SAN資源(四)(批處理方式)端,如所示。若單擊<Yes>按鈕,系統(tǒng)將啟動分配SAN資需細化操作步驟:具體操作方法請參見《NeoceanIX1500使用指南-07邏輯資源》鼠標右鍵單擊目錄樹中的NeoStor服務器名。從彈出的快捷菜單中選擇[Options/EnableiSCSI]菜單項,系統(tǒng)彈出啟用iSCSI協(xié)議對話框,如下圖3-36所示。單擊<OK>按鈕,完成啟用iSCSI協(xié)議操作。成功啟用后a.選擇目錄樹中的NeoStor服務器名,鼠標右鍵單擊“SANClients”,從彈出的快捷菜單中選擇[Add]菜單項,系統(tǒng)彈出添加SAN客戶端向?qū)В缢?。b.單擊<Next>按鈕,窗口進入下一步,如所示,輸入客戶端名稱創(chuàng)建客戶端時,確認客戶端類型,默認顯示W(wǎng)indows,其Clientc.單擊<Next>按鈕,窗口進入下一步,如所示,選擇是否使能永圖3-39添加SAN客戶端(三)圖3-40添加SAN客戶端(四)圖3-41添加SAN客戶端(五)fortheClient"前的復選框,則需要進行認證設置。單若選擇“Allowunauthmenticatedaccess”前的復選圖3-42添加SAN客戶端(六)g.單擊<Next>按鈕,進入設置QoS選項,再單擊<Next>按鈕,系統(tǒng)顯示所作的設置,確認無誤后,單擊<Finish按鈕,完成iSCSI協(xié)議的SAN客戶端使用Initiator/Target模式實現(xiàn)與創(chuàng)建一個或多個Target,推薦一個客戶端下最多創(chuàng)建8個的圖標,再打開某個SAN客戶端旁的圖標,鼠標右鍵某個協(xié)議名,從彈出的快捷菜單中選擇[CreateTarget]菜配給該SAN客戶端。圖3-45創(chuàng)建Target(二)圖3-46創(chuàng)建Target(三)具體操作方法請參見《NeoceanIX1500用戶手冊-08-客戶端》(5)使用initiator與系統(tǒng)建立連接,查看client端系統(tǒng)是否可以檢測到分配的資源;(關(guān)于initiator的)(6)在windowshost端進入計算機管理,查看系統(tǒng)獲得的IX1500的存儲資源——表現(xiàn)為一塊裸磁盤,并按用戶需求進行使用;(7)在linuxhost端,輸入命令fdisk-l,查看系統(tǒng)獲得的IX1500的存儲資源——表現(xiàn)為一塊裸磁盤,并按用戶需求進行(8)雙機模式下存儲側(cè)配置分配2個SAN資源,確保這2個資源在同一Target下,且為非獨占a.按照步驟1創(chuàng)建兩個SAN資源;b.按照步驟3創(chuàng)建兩個客戶端,在客戶端1下“CreateTarget”,設置讀寫方式為”Read/WriteNon-Exclusive”,分配兩個SAN資源在此Target下,如下圖圖3-47非獨占式讀寫c.選擇客戶端2名,右鍵選擇”Assgin”,將客戶端1下創(chuàng)建圖3-49啟用NAS(二)b.在中選擇“ShareMode”前的單選按鈕,單擊<Next>按c.單擊<Next>按鈕,窗口進入下一步,如所示,輸入備注信息。圖3-51啟用NAS(二)(共享模式)d.單擊<Next>按鈕,窗口進入下一步,如所示,選擇如何保圖3-52啟用NAS(三)(共享模式)自動選擇(AutoSelection):讓用戶可以設置最大UID數(shù)手動選擇(ManualSelection):讓用戶可以選擇要使用的范圍。選擇可用的UID范圍,并指定UID的起始點(不能低于1000)和結(jié)束點。2.當使用手動選擇時,如所示,選擇<添加>按鈕,從彈出的對話框中設置UID的起始點(不能低于1000)和結(jié)束點。圖3-53手動選擇保留的UID范圍e.單擊<Next>按鈕,系統(tǒng)顯示所作的設置,確認無誤后,單a.在host端(windows操作系統(tǒng))”我的電腦”或者在”開始"->"運行"輸入IX1500系統(tǒng)的業(yè)務口地址(或管理口地址);host接入系統(tǒng)后,會見到共享目錄為一個文件b.輸入密碼登錄NAS資源的共享文件夾;查看是否具有相應c.創(chuàng)建NFS客戶端,并為其綁定NAS共享目錄;通過LinuxClients"旁的圖標,鼠標右鍵單擊“NFSClients”,從彈出的快捷菜單中選擇[Add]菜單項,系統(tǒng)彈出添加單擊<0K>按鈕,完成NFS客戶端的添加。PrimaryAuthenticationSe入服務器名稱(不是IP地址),NeoStor服務器將從該服務器中獲取用戶帳戶信息。用戶要共享NAS資源時,果主驗證服務器是主域控制器(PDC)且不可用,則可以選擇輸入用于備份驗證的服務器名稱(不是IP地址)。若主驗證服務器是PDC,則備份驗證服務器必須是BDC。服務器名,打開“NASClients”旁的圖標,鼠標右鍵單擊"WindowsClients",從彈出的快捷菜單中選擇[Updateb.單擊<Next>按鈕,窗口進入下一步,如所示,輸入登錄到綁定點(BindPoint):可以使用綁定點來標記組織單元(0U)樹中NeoStor開始瀏覽的位置。如果NeoStor的用戶帳戶沒有整個OU樹的根訪問權(quán)限,則此功能就很有在這種情況下,輸入綁定點可以將NeoStor導向到開始點或單一的樹(如/Engineering或/ccounting樹)。如果將此欄保留為空白或輸入“/”,則NeoStor將從該OU的c.單擊<Next>按鈕,窗口進入下一步,如所示,選擇將提供NS共享的OU。選擇要提供NS共享的OU旁邊的復選框即可;若選擇根(/)旁邊的復選框,則將選擇所有OU。d.單擊<Next>按鈕,窗口進入下一步,如所示,輸入備注信e.單擊<Next>按鈕,窗口進入下一步,如所示,選擇如何保留用戶標識(UID)。詳細設置可參考共享模式的設置。f.單擊<Next>按鈕,窗口進入下一步,如所示,選擇如何保留組標識(GID),其操作與保留UID類似。嘗試作為傳統(tǒng)WindowsNT4服務器來加入域。圖3-59啟用NAS(五)(域模式)1.若以后要更改以上的設置,則選擇目錄樹中的NeoStor服務器名,打開“NASClients”旁的圖標,鼠標右鍵單擊[Properties]或[Setconfiguremode]菜單項來2.Windows客戶端對NAS資源進行訪問時,若不是從域模式進入,輸入對應的NAS資源地址,在彈出的對話框中,輸入設定的用戶名和密碼3.若是從域模式進行,先輸入用戶名和密碼,即可以隨時對NAS資源進行訪問4.NFS客戶端將IX1500的IP地址和NAS資源綁定后,也可以從NFS客戶端進行訪問(和共享模式類似)當已添加NAS資源的共享文件夾,并分配了相應的NAS客戶端后,客戶端可以訪問共享。其操作方式根據(jù)客戶端的不同分為下面兩種:Windows客戶端a.打開客戶端PC機上的“我的電腦"或“Windows資源管理b.選擇[工具/映射網(wǎng)絡驅(qū)動器]菜單項,如所示,系統(tǒng)彈出對話框,如所示,設置共享文件夾的路徑。路徑形式為:\\hostname\sharename,其中hostname是NeoStor服的名稱或IP地址,而sharename是共享文件夾的名稱。c.在中單擊<完成>按鈕,系統(tǒng)彈出登錄對話框,輸入登錄信對于共享模式,請輸入創(chuàng)建此共享時設置的密碼,即可訪問該共享。對于域模式,在連接登錄對話框中輸入用戶名和密碼,即可訪問該共享。如果Windows客戶端驗證到一個域中,而NeoStor服務器在另一個域中,則在登錄對話框中輸入信息形式為DomainX\UserY,其中DomainX是含有用戶要映射的驅(qū)動器的域名,UserY是Windows計算機上允許的用戶名。輸入圖3-60映射/加載共享(一)圖3-61映射/加載共享(二)mounthostnamenasnasresourcenamef(1)中設置的目錄。(1)選定需要建立復制關(guān)系的資源,右鍵選擇”Replication”->”Enable”,彈出提示創(chuàng)建快照資源對話框,選擇”O(jiān)K”進入創(chuàng)建快照資源向?qū)?,如圖3-62所示:(2)選擇”Next”,進入選擇快照資源創(chuàng)建大小以及快照資源所在陣列對話框,如下圖3-63所示:選擇”Express”,系統(tǒng)根據(jù)現(xiàn)有、快照資源分配大小自動(3)快照資源創(chuàng)建大小以及基于陣列確定后,選擇”Next”,進入選擇快照資源策略對話框,默認值如下圖3-64對話框所示,使用快照資源值達到其50%自動擴展快照資源,每次增加當前快照資源的20%.其中”MaximumsizeallowedforthesnapshotResource"為0,表明擴展沒有限制,直到使用完系統(tǒng)所有空閑空間為止。欲了解詳細使用方式,請參見《H3CNeoceanIX1500系列網(wǎng)絡存儲管理軟件用戶手冊》第12章示IX1500系列網(wǎng)絡存儲管理軟件用戶手冊》第12章《復制》啟動復制,一般選擇每隔一天非高峰時間段進行復制同步。(7)默認選擇”RUDP"協(xié)議進行復制同步傳輸,建議使用”TCP"協(xié)議,性能更高,如下圖3-67所示。(8)選擇”Next”,進入壓縮加密向?qū)Э?,按照默認不選擇,如果客戶需要,選擇此兩項時需已添加對應的License,選擇”Next”,進入創(chuàng)建復制目的端資源對話框,如下圖3-68所(9)按照默認一直選擇”Next”,直到”Finish",系統(tǒng)會提示創(chuàng)建目的端快照資源,其創(chuàng)建向?qū)c創(chuàng)建源端快照資源一樣,如下圖3-69所示。(10)創(chuàng)建復制目的端快照資源過程中新增一向?qū)ы撁?,主要確定目的端快照資源滿后策略選擇,可以刪除已有Timemark或停止復制,如下圖3-70所示:(11)選擇”Next”,成功創(chuàng)建復制關(guān)系,可以在源端服務器的與資源情況,如下圖3-71所示:1.IX1500支持自適應復制,當用戶選擇此種類型復制時,在創(chuàng)建復制關(guān)系向?qū)е?,上述操作?5)步后存在一對話框,鉤2.建立自適應復制關(guān)系時,需要另創(chuàng)建自適應資源,其詳細創(chuàng)建方式見《H3CNeoceanIX1500系列網(wǎng)絡存儲管理軟件用戶手冊》第12章《復制》。導致控制器切換,此時雖然復制關(guān)系存在,但是復制同步無法進右鍵,選擇”SystemMaintenance”->”NICTeaming"進入存儲PC機summaryGigabitEthernetlinkst(6)將當前端口加入聚合組:交換機端取消聚合(2)取消靜態(tài)聚合組:存儲端(模式)聚合配置(2)以SSHClient登陸存儲,修改/usr/local/neostor/bin/H3C/H3Cteam2文件第79行為如下格modprobe${BONDINGDR}mode=maxbonds=${TEAMNUM}(3)重啟存儲服務器。Disksafe軟件目前支持32位以及64位windows操作系統(tǒng),對應不同位數(shù)的操作系統(tǒng)其Disksafe支持軟件不同(具體請參考Disksafe發(fā)布文安裝好DiskSafe后可以從<開始>菜單的<程序>打開DiskSafe,如圖3-用于其它業(yè)務,并且客戶端的名稱不是客戶端的機器名,或者更改Initiator軟件的Initiatornodename名稱,如下圖3-74所2)進入Initiator軟件的”Discovery”頁簽,添加存儲設備IP地址,如下圖3-75所示,在”IPAddressorDNSname”列框中填入3)進入Initiator軟件的“Targets”頁簽,”Refresh”頁面,如下圖3-76顯示,出現(xiàn)存儲設備上創(chuàng)建的Target,選中此如系統(tǒng)無自動安裝Initiator,執(zhí)行如下安裝操作:1)以root用戶登錄,拷貝Initiator軟件到到/tmp目錄下。rpm-ivh再使用面的命令查看是否安裝成功:如果顯示以下信息,則說明安裝成功:iscsi-initiator-utils-2)、配置initiator名字,在/etc/文件中設置InitiatorName:InitiatorName=xxxxx3)、在/etc/中添加業(yè)務口IP地址,如,DiscoveryAddress注意:注意大小寫,且必須頂格寫如果采用CAP認證,需要在下面加入名字和密碼DiscoveryAddress=1OutgoingUsername=xxxxxxxOutgoingPassword=xxxxxxx5)、使用fdiskdevname對所連接的磁盤設備分區(qū),其中devname可以由如,fdisk/dev/sda,指定/dev/sda為一個分區(qū)/dev/sda1,在執(zhí)行的過程中有詳細的幫助。6)、在分區(qū)上創(chuàng)建文件系統(tǒng)使用mkfs–tfstypepastitionname在剛剛建立的分區(qū)上創(chuàng)建文件系統(tǒng),其中7)、掛載分區(qū)使用mountpastitionnamedir命令掛載分區(qū)pastitionname到特定的果需要實現(xiàn)跨網(wǎng)段訪問,則需要在界面添加默認網(wǎng)關(guān)。如下圖3-77所示:表3-1主流操作系統(tǒng)平臺對IX1500支持列表操作系統(tǒng)平臺軟件r卡HBA卡產(chǎn)品名稱有有有有有有AlacritechTOE卡操作系統(tǒng)平臺軟件r卡HBA卡產(chǎn)品名稱有有有操作系統(tǒng)平臺軟件r卡HBA卡產(chǎn)品名稱有有有無無有操作系統(tǒng)平臺軟件r卡HBA卡產(chǎn)品名稱有無有有無有4目前還存在的問題及注意的事項4.1IE地址欄里輸入NeoStor服務器地址,不能下載80端口未開啟,使用串口或SSH等工具,登陸NeoStor服務器,執(zhí)行如下命查看結(jié)果中沒有如下的端口顯示:4.1.2規(guī)避辦法執(zhí)行如下命令重新開啟tomcat服務,以開啟80端口:使用問題現(xiàn)象1中的命令查看到80端口屬于打開狀態(tài),但仍然不能從IE下載。使用串口或SSH登陸NeoStor服務器,查看文件:正常情況下,應該顯示如下結(jié)果:如果無法顯示類似以上的結(jié)果,則說明文件被破壞。4.1.4規(guī)避辦法如果NeoStor服務器運行很長時間后,該文件仍然無法恢復。請從其他服務器上拷貝一個相同的文件,覆蓋當前存在問題的NeoStor服務器。4.2NeoStor長時間停留在登錄界面,不能中止登錄過程使用H3CNeoceanNeoStor控制臺執(zhí)行“DiscoveryServer”需要比較長的時間,如果在這個過程中登錄系統(tǒng),則會出現(xiàn)長時間停留在登錄狀態(tài),且無法停止登錄過程;只能等待搜索完畢,或者強行中止H3CNeoceanNeoStor4.2.2規(guī)避辦法1使用H3CNeoceanNeoStor控制臺在添加Server時,直接輸入相Server4.2.3規(guī)避辦法2在IE框填入NeoStor地址,出現(xiàn)如下對話框,無法正常登陸:此問題由于java版本沖突導致,先進入控制面板-〉添加或刪除程序中,將4.4開始復制后,修改系統(tǒng)的主機名,會導致復制的資源不可用在啟動復制后,不管復制是否完成,只要修改了系統(tǒng)的主機名,就會導致復制的狀態(tài)異常;即:復制資源顯示的相應主機名是未修改之前的主機名(設為h3c-1),此時不管對復制資源做什么操作,系統(tǒng)都會提示需要登錄h3c-1,而此時由于這臺主機已不存在,因此無法登錄,從而可能會導致操作失4.4.2規(guī)避辦法在系統(tǒng)開始運行之前就修改好主機名,避免在系統(tǒng)運行過程中再改變系統(tǒng)的4.5NeoStor不能識別大于2TB的陣列4.5.1問題現(xiàn)象使用RAIDConsole軟件創(chuàng)建2TB的陣列,然后在NeoStor中執(zhí)行重新掃描,發(fā)現(xiàn)NeoStor檢測到錯誤的設備;這是因為NeoStor軟件還不支持大于2TB4.5.2規(guī)避辦法創(chuàng)建陣列時,不要創(chuàng)建超過2TB的陣列。4.6創(chuàng)建NAS資源時修改NAS資源的格式化選項會導致資源不可用創(chuàng)建NAS
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- FTO介導PRKCB m6A去甲基化修飾參與NF-κB信號通路促進ARDS肺泡內(nèi)高凝和纖溶抑制的實驗研究
- 學術(shù)期刊科學數(shù)據(jù)出版研究
- 進入團圓申請書
- 入公司合同范本
- 入職酒店合同范本
- 2025年度挖掘機操作人員安全培訓服務合同
- 內(nèi)粉墻勞務合同范本
- 2025年度天使投資協(xié)議書:文化旅游產(chǎn)業(yè)投資合作協(xié)議范本
- 內(nèi)部職工培訓合同范本
- 個人投資房產(chǎn)買賣合同范例
- 二零二五年度文化教育培訓中心承包工程2篇
- 2025年廣州中醫(yī)藥大學順德醫(yī)院(佛山市順德區(qū)中醫(yī)院)招考聘用高頻重點提升(共500題)附帶答案詳解
- 2025年華僑港澳臺學生聯(lián)招考試英語試卷試題(含答案詳解)
- 2025-2030年中國美容院行業(yè)營銷創(chuàng)新戰(zhàn)略制定與實施研究報告
- 2025年江蘇省宿遷市事業(yè)單位引進名校優(yōu)生120人歷年高頻重點提升(共500題)附帶答案詳解
- 中國高血壓防治指南(2024年修訂版)
- 春節(jié)后復工安全教育培訓考試試題及答案
- 微觀經(jīng)濟學圖示分析匯總分解(共17頁)
- 現(xiàn)場材料浪費罰款單(精編版)
- ABB智能定位器TZID-C調(diào)試說明書(中文正式版)
- (完整版)倉儲客戶需求調(diào)研表.doc
評論
0/150
提交評論