版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
-圖819備機(jī)和客戶(hù)端配置。圖STYLEREF1\s26SEQ圖\*ARABIC\s124備機(jī)和客戶(hù)端配置 第四步,選擇對(duì)應(yīng)的Service的配置。這里Ambari為用戶(hù)已經(jīng)選擇了默認(rèn)的配置。選擇完后,便會(huì)開(kāi)始安裝AmbariAgent到新的機(jī)器,并且安裝選擇的模塊。當(dāng)AddHostWizard完成時(shí),我們就可以從Hosts的頁(yè)面中看到新的機(jī)器,以及安裝的模塊(Component)。成功將新主機(jī)作為datanode添加到集群中。Ambari的自定義命令在Ambari的Stack中,每個(gè)Service都會(huì)有start、stop、status、configure這樣的命令,我們稱(chēng)之為生命周期的控制命令(lifecyclecommand)。Service的每個(gè)模塊(Component)都必須實(shí)現(xiàn)這幾個(gè)命令的邏輯。為了讓用戶(hù)可以更好地控制每個(gè)Service以及每個(gè)模塊,Ambari支持了自定義命令(CustomCommand)。具體的自定義命令配置在每個(gè)Service的metainfo.xml中。不過(guò)不同的模塊類(lèi)型,呈現(xiàn)在GUI的方式是有差異的。當(dāng)給一個(gè)Service的Master模塊增加一個(gè)自定義命令時(shí),該命令會(huì)顯示在該Service的ServiceActionList。如果點(diǎn)擊這個(gè)命令,AmbariServer就會(huì)通知Master所在機(jī)器的Agent,Agent就會(huì)執(zhí)行該自定義命令的邏輯。當(dāng)增加一個(gè)自定義命令給Slave或Client類(lèi)型的Component(模塊),該命令則會(huì)呈現(xiàn)在機(jī)器的Component頁(yè)面。在哪個(gè)機(jī)器的Component頁(yè)面點(diǎn)擊該命令,AmbariServer就會(huì)通知該機(jī)器Agent調(diào)用這個(gè)自定義的命令接口。(1)MasterComponent的自定義命令這里我以YARN為例,給ResourceManger模塊(Master)增加一個(gè)自定義命令。首先假設(shè)一個(gè)需求,例如,要在YARN的ServiceAction里面加一個(gè)命令來(lái)檢查ResourceManger所在機(jī)器的內(nèi)存空間還有多大。第一步,需要找到Y(jié)arn的metainfo.xml,并在ResourceManager的Component配置中增加一個(gè)自定義命令。Component段的示例代碼如下(metainfo.xml),其中GetMem這個(gè)命令就是我們新增的自定義命令。第二步,實(shí)現(xiàn)自定義命令的邏輯。這里CustomComand的xml段已經(jīng)指定了具體的腳本(resourcemanager.py),所以需要在這個(gè)腳本中增加該命令的接口,而且函數(shù)名必須是小寫(xiě)且與配置的中的name保持一致。接下來(lái),我們需要先找到AmbariServer上的resourcemanager.py文件。找到之后,在resourcemanager.py增加如下的示例代碼(python腳本中注意代碼的對(duì)齊方式,否則會(huì)出現(xiàn)語(yǔ)法錯(cuò)誤。第三步,重啟AmbariServer以及ResourceManger所在機(jī)器的AmbariAgent。這一步為了加載新的配置,并且同步我們修改的腳本到Agent機(jī)器。因?yàn)樵诿總€(gè)Agent的機(jī)器上,都有一個(gè)cache目錄,用來(lái)存放從Server端下載的配置及腳本。當(dāng)重啟Agent時(shí)候,Agent便會(huì)嘗試從Server端下載最新的配置和腳本。重啟命令如下:ambari-serverrestartambari-agentrestart第四步,登錄Ambari的WEBGUI,并檢查Yarn的ServiceActions。這時(shí)候我們已經(jīng)可以看到這個(gè)GetMem的命令了。由于CustomComand的xml段不支持DisplayName標(biāo)簽,所以我們沒(méi)法通過(guò)配置更改這個(gè)名字。如果需求要更改這個(gè)名字,則不得不更改GUI的JS代碼。第五步,如果GetMem可以顯示,就可以點(diǎn)擊并執(zhí)行該命令了。(2)Slave/ClientComponent的自定義命令本質(zhì)上講,為Slave、Client類(lèi)型的Component增加自定義命令,與Master類(lèi)型是沒(méi)有什么區(qū)別的。唯一的區(qū)別就是在GUI上呈現(xiàn)的位置不一樣。因此這里給一個(gè)簡(jiǎn)單的示例,不再贅述具體的步驟。這里為Yarn的NodeManager增加了一個(gè)自定義命令“iostat”,用來(lái)查看NodeManager所在機(jī)器的IO狀況。在Yarn的metainfo.xml中,為NodeManager新增如下的配置。配置完成后,重啟AmbariServer以及NodeManager所在的Agent的機(jī)器。當(dāng)重新登錄AmbariGUI的時(shí)候,就可以在NodeManger所在機(jī)器的Component頁(yè)面看到相應(yīng)的命令。根據(jù)以上步驟,成功的為YARN的Master和Slave模塊分別增加了一個(gè)自定義命令。現(xiàn)實(shí)的生產(chǎn)環(huán)境中,可以通過(guò)自定義命令擴(kuò)展Ambari現(xiàn)在的控制功能,可以讓Ambari更好的與Hadoop等軟件結(jié)合。BigInsights常用命令行運(yùn)維BigInsights提供了豐富易操作的Hadoop組件管理命令,包括啟動(dòng)/停止服務(wù)、添加/刪除節(jié)點(diǎn)、查看組件狀態(tài)、檢測(cè)節(jié)點(diǎn)健康狀況、同步節(jié)點(diǎn)數(shù)據(jù)等。本節(jié)介紹通過(guò)BigInsights命令實(shí)現(xiàn)Hadoop的維護(hù)管理。在$BigInsights_Home/bin目錄下提供了許多管理命令,這些命令需要在BigInsights管理員用戶(hù)下執(zhí)行。(1)啟動(dòng)/停止服務(wù)start.sh$組件名1$組件名2…/stop.sh$組件名1$組件名2…啟動(dòng)/停止指定組件服務(wù),如果指定為all,意為所有組件。(2)添加/刪除節(jié)點(diǎn)有時(shí)為了擴(kuò)展性能或者重新分配資源,需要添加或者刪除某個(gè)指定組件的節(jié)點(diǎn)。addnode.sh$組件名$節(jié)點(diǎn)1$節(jié)點(diǎn)2…/removenode.sh$組件名$節(jié)點(diǎn)1$節(jié)點(diǎn)2…在指定節(jié)點(diǎn)上安裝指定組件/在指定節(jié)點(diǎn)上刪除指定組件,如:addnode.shzookeeper$host1$host2(3)查看組件狀態(tài)status.sh$組件名1$組件名2…查看指定組件在各個(gè)節(jié)點(diǎn)上的運(yùn)行狀態(tài)(運(yùn)行或停止),如果指定為all,意為所有組件。(4)檢查節(jié)點(diǎn)健康狀況可以通過(guò)運(yùn)行作業(yè)檢查指定組件在各個(gè)節(jié)點(diǎn)上的健康狀況:healthcheck.sh$組件名1$組件名2…如果指定為all,意為所有組件。如果組件在某個(gè)節(jié)點(diǎn)上已停止,將會(huì)先將其啟動(dòng)。(5)同步節(jié)點(diǎn)數(shù)據(jù)當(dāng)用戶(hù)修改了相關(guān)配置信息后,可以通過(guò)以下命令同步節(jié)點(diǎn)間數(shù)據(jù):syncconf.sh$組件名1$組件名2…如果指定為all,意為所有組件。(6)節(jié)點(diǎn)列表信息listnode.sh$組件名1$組件名2…列出指定組件被安裝的節(jié)點(diǎn),如果指定為all,意為所有組件。(7)卸載BigInsights如果不再需要BigInsights,可以通過(guò)uninstall.sh卸載BigInsights,并刪除所有相關(guān)目錄。除此之外,在各個(gè)組件目錄下,也提供了許多對(duì)該組件的管理命令,例如配置組件、運(yùn)行組件相關(guān)的命令行等。hadoop日常運(yùn)維備份namenode的元數(shù)據(jù)namenode中的元數(shù)據(jù)非常重要,如丟失或者損壞,則整個(gè)系統(tǒng)無(wú)法使用。因此應(yīng)該經(jīng)常對(duì)元數(shù)據(jù)進(jìn)行備份,最好是異地備份。將元數(shù)據(jù)復(fù)制到遠(yuǎn)程站點(diǎn),通過(guò)定時(shí)任務(wù)自動(dòng)執(zhí)行以下代碼將secondarynamenode中的元數(shù)據(jù)復(fù)制到一個(gè)時(shí)間命名的目錄下,然后通過(guò)scp命令遠(yuǎn)程發(fā)送到其它機(jī)器#!/bin/bashexportdirname=/mnt/tmpHadoop/dfs/namesecondary/current/`date+%y%m%d%H`if[!-d${dirname}]thenmkdir${dirname}cp/mnt/tmphadoop/dfs/namesecondary/current/*${dirname}fiscp-r${dirname}slave1:/mnt/namenode_backup/rm-r${dirname}配置crontab,定時(shí)執(zhí)行此項(xiàng)工作00,8,14,20***bash/mnt/scripts/namenode_backup_script.sh數(shù)據(jù)備份對(duì)于十分重要的數(shù)據(jù),不能完全依賴(lài)HDFS,還是需要進(jìn)行備份。文件系統(tǒng)檢查定期在整個(gè)文件系統(tǒng)上運(yùn)行HDFS的fsck工具,主動(dòng)查找丟失或者損壞的塊。建議每天執(zhí)行一次。[cqjgy@master~]$hadoopfsck/若hdfs-site.xml中的dfs.replication設(shè)置為3,而實(shí)現(xiàn)上只有2個(gè)datanode,則在執(zhí)行fsck時(shí)會(huì)出現(xiàn)錯(cuò)誤;fsck工具還可以用來(lái)檢查一個(gè)文件包括哪些塊,以及這些塊分別在哪等,此命令的用法如下:[cqjgy@master~]$hadoopfsck-filesUsage:DFSck<path>[-move|-delete|-openforwrite][-files[-blocks[-locations|-racks]]]
<path>
檢查這個(gè)目錄中的文件是否完整
-move
破損的文件移至/lost+found目錄
-delete
刪除破損的文件
-openforwrite
打印正在打開(kāi)寫(xiě)操作的文件
-files
打印正在check的文件名
-blocks
打印block報(bào)告(需要和-files參數(shù)一起使用)
-locations
打印每個(gè)block的位置信息(需要和-files參數(shù)一起使用)
-racks
打印位置信息的網(wǎng)絡(luò)拓?fù)鋱D(需要和-files參數(shù)一起使用)均衡器隨時(shí)時(shí)間推移,各個(gè)datanode上的塊分布來(lái)越來(lái)越不均衡,這將降低MR的本地性,導(dǎo)致部分datanode相對(duì)更加繁忙。均衡器是一個(gè)hadoop守護(hù)進(jìn)程,它將塊從忙碌的DN移動(dòng)相對(duì)空閑的DN,同時(shí)堅(jiān)持塊復(fù)本放置策略,將復(fù)本分散到不同的機(jī)器、機(jī)架。建議定期執(zhí)行均衡器,如每天或者每周。通過(guò)以下命令運(yùn)行均衡器。[cqjgy@masterlog]$start-balancer.shstartingbalancer,loggingto/var/log/hadoop/hadoop-jediael-balancer-master.out[cqjgy@masterhadoop]$pwd/var/log/hadoop[cqjgy@masterhadoop]$lshadoop-jediael-balancer-master.loghadoop-jediael-balancer-master.out[cqjgy@masterhadoop]$cathadoop-jediael-balancer-master.loghadoop集群服務(wù)器優(yōu)化管理員負(fù)責(zé)為用戶(hù)作業(yè)提供一個(gè)高效的運(yùn)行環(huán)境。管理員需要從全局出發(fā),通過(guò)調(diào)整一些關(guān)鍵參數(shù)值提高系統(tǒng)的吞吐率和性能??傮w上看,管理員需從硬件選擇、操作系統(tǒng)參數(shù)調(diào)優(yōu)、JVM參數(shù)調(diào)優(yōu)和Hadoop參數(shù)調(diào)優(yōu)等四個(gè)方面人手,為Hadoop用戶(hù)提供一個(gè)高效的作業(yè)運(yùn)行環(huán)境。硬件選擇Hadoop自身架構(gòu)的基本特點(diǎn)決定了其硬件配置的選型。Hadoop采用了master/slave架構(gòu),其中,master(JobTracker或者NameNode)維護(hù)了全局元數(shù)據(jù)信息,重要性遠(yuǎn)遠(yuǎn)大干slave(TaskTracker或者DataNode)。本方案設(shè)計(jì)中,采用了主備兩臺(tái)服務(wù)器做namenode。操作系統(tǒng)調(diào)優(yōu)由于Hadoop自身的一些特點(diǎn),它只適合用于將Linux作為操作系統(tǒng)的生產(chǎn)環(huán)境。在實(shí)際應(yīng)用場(chǎng)景中,管理員適當(dāng)對(duì)Linux內(nèi)核參數(shù)進(jìn)行調(diào)優(yōu),可在一定程度上提高作業(yè)的運(yùn)行效率,比較有用的調(diào)整選項(xiàng)如下。(1)增大同時(shí)打開(kāi)的文件描述符和網(wǎng)絡(luò)連接上限。在Hadoop集群中,由于涉及的作業(yè)和任務(wù)數(shù)目非常多,對(duì)于某個(gè)節(jié)點(diǎn),由于操作系統(tǒng)內(nèi)核在文件描述符和網(wǎng)絡(luò)連接數(shù)目等方面的限制,應(yīng)使用ulimit命令將允許同時(shí)打開(kāi)的文件描述符數(shù)目上限增大至一個(gè)合適的值,同時(shí)調(diào)整內(nèi)核參數(shù)至一個(gè)足夠大的值。(2)關(guān)閉swap分區(qū)在Linux中,如果一個(gè)進(jìn)程的內(nèi)存空間不足,那么,它會(huì)將內(nèi)存中的部分?jǐn)?shù)據(jù)暫時(shí)寫(xiě)到磁盤(pán)上,當(dāng)需要時(shí),再將磁盤(pán)上的數(shù)據(jù)動(dòng)態(tài)置換到內(nèi)存中,通常而言,這種行為會(huì)大大降低進(jìn)程的執(zhí)行效率。在MapReduce分布式計(jì)算環(huán)境中,用戶(hù)完全可以通過(guò)控制每個(gè)作業(yè)處理的數(shù)據(jù)量和每個(gè)任務(wù)運(yùn)行過(guò)程中用到的各種緩沖區(qū)大小,避免使用swap分區(qū)。在安裝過(guò)程中已經(jīng)更改內(nèi)核參數(shù)transparent_hugepage。(3)設(shè)置合理的預(yù)讀取緩沖區(qū)大小磁盤(pán)I/O性能的發(fā)展遠(yuǎn)遠(yuǎn)滯后于CPU和內(nèi)存,因而成為現(xiàn)代計(jì)算機(jī)系統(tǒng)的一個(gè)主要瓶頸。預(yù)讀可以有效地減少磁盤(pán)的尋道次數(shù)和應(yīng)用程序的I/O等待時(shí)間,是改進(jìn)磁盤(pán)讀I/O性能的重要優(yōu)化手段之一。管理員可使用Linux命令blockdev設(shè)置預(yù)讀取緩沖區(qū)的大小,以提高Hadoop中大文件順序讀的性能。當(dāng)然,也可以只為Hadoop系統(tǒng)本身增加預(yù)讀緩沖區(qū)大小。(4)文件系統(tǒng)選擇與配置Hadoop的I/O性能很大程度上依賴(lài)于Linux本地文件系統(tǒng)的讀寫(xiě)性能。Linux中有多種文件系統(tǒng)可供選擇,比如ext3和ext4,不同的文件系統(tǒng)性能有一定的差別。除了以上幾個(gè)常見(jiàn)的Linux內(nèi)核調(diào)優(yōu)方法外,還有JVM參數(shù)調(diào)優(yōu)。由于Hadoop中的每個(gè)服務(wù)和任務(wù)均會(huì)運(yùn)行在一個(gè)單獨(dú)的JVM中,因此,JVM的一些重要參數(shù)也會(huì)影響Hadoop性能。管理員可通過(guò)調(diào)整JVMFLAGS和JVM垃圾回收機(jī)制提高Hadoop性能。規(guī)劃國(guó)土大數(shù)據(jù)云建設(shè)數(shù)據(jù)云數(shù)據(jù)云架構(gòu)近年來(lái),蓬勃發(fā)展的云計(jì)算技術(shù),為各類(lèi)信息資產(chǎn)的深度整合和充分利用提供了良好的支撐手段。通過(guò)云計(jì)算,可以為各級(jí)管理人員和業(yè)務(wù)人員提供按需獲取、彈性擴(kuò)展、高效流暢的應(yīng)用體驗(yàn),在不必增加投資的同時(shí),提供更強(qiáng)勁的計(jì)算能力。云計(jì)算正在打破傳統(tǒng)的、以單一服務(wù)器為中心的計(jì)算模式。它以一種易于設(shè)計(jì)和維護(hù)的系統(tǒng)架構(gòu),提供可伸縮的、安全的數(shù)據(jù)訪(fǎng)問(wèn),能夠最有效地利用跨平臺(tái)的計(jì)算資源。我國(guó)國(guó)土規(guī)劃行業(yè)的信息化開(kāi)展多年,一些城市積累了大量的信息資產(chǎn),包括各類(lèi)主機(jī)、網(wǎng)絡(luò)、終端、操作系統(tǒng)、數(shù)據(jù)庫(kù)管理系統(tǒng)和大量的數(shù)據(jù)資源。在這些信息資產(chǎn)中,大多是在專(zhuān)題應(yīng)用系統(tǒng)開(kāi)發(fā)時(shí)獨(dú)立購(gòu)置的,各種數(shù)據(jù)資源之間幾乎沒(méi)有做過(guò)有效整合,形成了一個(gè)個(gè)“信息煙囪”。如果能夠把這些信息資產(chǎn)整合起來(lái),就可以挖掘出大量的可用資源,足以滿(mǎn)足大多數(shù)新增應(yīng)用系統(tǒng)的建設(shè)要求。在市局、分局一體化,市局各國(guó)土規(guī)劃業(yè)務(wù)部門(mén)一體化協(xié)作的運(yùn)作環(huán)境中,要求各結(jié)合部門(mén)的數(shù)據(jù)庫(kù)和應(yīng)用系統(tǒng)遵循市局統(tǒng)一制定的標(biāo)準(zhǔn)。同時(shí),各個(gè)部門(mén)能夠獨(dú)立對(duì)外提供服務(wù),在這種應(yīng)用場(chǎng)景下,云計(jì)算提供一系列優(yōu)越的平臺(tái)特性,達(dá)到快速部署、方便運(yùn)維,優(yōu)化計(jì)算資源的分配和使用的目標(biāo)。圖數(shù)據(jù)云架構(gòu)如上圖所示,數(shù)據(jù)云的核心是數(shù)據(jù)即服務(wù)(DataasaService),數(shù)據(jù)服務(wù)采用Web服務(wù)形式,為關(guān)系數(shù)據(jù)庫(kù)、Excel文件、CSV文件(CommaSeparatedValues,逗號(hào)分隔值)和其他格式的數(shù)據(jù)源提供存取服務(wù)。數(shù)據(jù)服務(wù)解除了應(yīng)用軟件和數(shù)據(jù)之間的脆弱連接,把數(shù)據(jù)從進(jìn)程、存儲(chǔ)和數(shù)據(jù)格式的依賴(lài)中解脫出來(lái)。使用數(shù)據(jù)服務(wù),數(shù)據(jù)和應(yīng)用獨(dú)立存在,根據(jù)需要互相協(xié)作。國(guó)土規(guī)劃數(shù)據(jù)云提供的數(shù)據(jù)服務(wù)主要包括地圖服務(wù)和業(yè)務(wù)數(shù)據(jù)服務(wù),數(shù)據(jù)服務(wù)的提供,將有效提升國(guó)土規(guī)劃綜合數(shù)據(jù)庫(kù)的使用效率和安全性;國(guó)土規(guī)劃數(shù)據(jù)云具有數(shù)據(jù)來(lái)源多樣的特點(diǎn),通過(guò)數(shù)據(jù)即服務(wù)建設(shè),可以有效的將委里的核心數(shù)據(jù)庫(kù)、事業(yè)單位子庫(kù)、遠(yuǎn)郊區(qū)縣子庫(kù),相關(guān)委辦局?jǐn)?shù)據(jù)進(jìn)行整合,按照統(tǒng)一的數(shù)據(jù)服務(wù)目錄,形成國(guó)土規(guī)劃數(shù)據(jù)云統(tǒng)一對(duì)外的數(shù)據(jù)服務(wù),同時(shí)數(shù)據(jù)服務(wù)作為一種可利用資產(chǎn),可以不斷復(fù)用并提升價(jià)值,最終借助PaaS形成完整的國(guó)土規(guī)劃數(shù)據(jù)云。作為國(guó)土規(guī)劃數(shù)據(jù)云,它應(yīng)該具備如下服務(wù)能力:數(shù)據(jù)統(tǒng)計(jì)能力開(kāi)發(fā)規(guī)劃數(shù)據(jù)統(tǒng)計(jì)工具,通過(guò)工具建立日常統(tǒng)計(jì)模板,將日常工作中常用的到統(tǒng)計(jì)報(bào)表進(jìn)行固化,設(shè)置相關(guān)的統(tǒng)計(jì)參數(shù),如時(shí)間區(qū)段,空間范圍等,實(shí)現(xiàn)數(shù)據(jù)自動(dòng)統(tǒng)計(jì),提供管理人員查看。在線(xiàn)分析能力通過(guò)多維時(shí)空數(shù)據(jù)在線(xiàn)分析,實(shí)現(xiàn)如規(guī)劃用地、建筑規(guī)模、公共設(shè)施、市政交通等內(nèi)容的分析,提供直觀易懂的分析結(jié)果。規(guī)劃決策支持系統(tǒng)包含的多維分析功能包括三個(gè)層次的內(nèi)容:數(shù)據(jù)層:由數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行支撐。應(yīng)用層:建立規(guī)劃業(yè)務(wù)分析模型,實(shí)現(xiàn)對(duì)規(guī)劃業(yè)務(wù)數(shù)據(jù)的分析。表現(xiàn)層:通過(guò)開(kāi)發(fā)前臺(tái)界面設(shè)計(jì)與分析展示工具,將查詢(xún)報(bào)表、統(tǒng)計(jì)分析、多維聯(lián)機(jī)分析的結(jié)果展現(xiàn)給用戶(hù)。智能分析能力利用工作流技術(shù),將復(fù)雜的空間數(shù)據(jù)統(tǒng)計(jì)需求,分解為若干簡(jiǎn)單任務(wù)(如空間相交運(yùn)算、數(shù)據(jù)篩選、數(shù)據(jù)分類(lèi)匯總等),按照預(yù)定的條件和順序執(zhí)行任務(wù),在任務(wù)之間進(jìn)行數(shù)據(jù)傳遞,最終獲得統(tǒng)計(jì)結(jié)果,并且可將過(guò)程進(jìn)行存儲(chǔ),根據(jù)不同初始條件,獲取結(jié)果,實(shí)現(xiàn)規(guī)劃編制、用地管理、建筑管理、市政管理、執(zhí)法監(jiān)察等智能決策支持。智能預(yù)警能力通過(guò)設(shè)立預(yù)警規(guī)則,對(duì)規(guī)劃管理中確定的控制指標(biāo)進(jìn)行動(dòng)態(tài)跟蹤,當(dāng)相關(guān)指標(biāo)使用達(dá)到規(guī)劃設(shè)定的值時(shí),系統(tǒng)自動(dòng)進(jìn)行提示和預(yù)警。實(shí)現(xiàn)如規(guī)劃建設(shè)用地指標(biāo)、規(guī)劃支撐體系等內(nèi)容的監(jiān)測(cè)和預(yù)警。規(guī)劃專(zhuān)家知識(shí)系統(tǒng)通過(guò)對(duì)規(guī)劃領(lǐng)域規(guī)劃編制、審批、決策等專(zhuān)家知識(shí)的分析、總結(jié)、模型化,建立規(guī)劃專(zhuān)家知識(shí)庫(kù),開(kāi)發(fā)專(zhuān)家系統(tǒng),對(duì)輸入的信息進(jìn)行處理,并運(yùn)用知識(shí)進(jìn)行推理,做出規(guī)劃決策和判斷,使其解決問(wèn)題的水平達(dá)到或接近專(zhuān)家的水平,為政府、規(guī)劃局及其他市級(jí)部門(mén)提供城市產(chǎn)業(yè)布局、發(fā)展戰(zhàn)略、規(guī)劃實(shí)施評(píng)估等智能決策服務(wù)。圖規(guī)劃專(zhuān)家知識(shí)系統(tǒng)移動(dòng)互聯(lián)服務(wù)能力移動(dòng)互聯(lián)是移動(dòng)和互聯(lián)網(wǎng)融合的產(chǎn)物,繼承了移動(dòng)隨時(shí)隨地隨身的特性,也繼承了互聯(lián)網(wǎng)分享、開(kāi)放、互動(dòng)的優(yōu)勢(shì),移動(dòng)互聯(lián)不僅僅是一次技術(shù)革命,更是一場(chǎng)用戶(hù)體驗(yàn)的革新,在國(guó)土規(guī)劃數(shù)據(jù)中心中,需要提供基于數(shù)據(jù)云的移動(dòng)數(shù)據(jù)價(jià)值分享和用戶(hù)體驗(yàn)。移動(dòng)互聯(lián)解決方案將實(shí)現(xiàn)國(guó)土規(guī)劃數(shù)據(jù)云內(nèi)部數(shù)據(jù)服務(wù)移動(dòng)化,從內(nèi)部應(yīng)用推送數(shù)據(jù)到前端移動(dòng)用戶(hù),打通全委內(nèi)外移動(dòng)消息輸送橋梁,并過(guò)內(nèi)嵌的緩存和安全功能實(shí)現(xiàn)安全的移動(dòng)應(yīng)用。圖移動(dòng)互聯(lián)服務(wù)能力新移動(dòng)互聯(lián)解決方案的最大優(yōu)勢(shì)在于移動(dòng)應(yīng)用與后端系統(tǒng)的全面交互,最大化的實(shí)現(xiàn)業(yè)務(wù)價(jià)值。因此,新的移動(dòng)應(yīng)用解決方案,首先是通過(guò)移動(dòng)計(jì)算平臺(tái),基于已有的國(guó)土規(guī)劃數(shù)據(jù)云,利用SOA架構(gòu)和服務(wù)總線(xiàn)的實(shí)現(xiàn)各種業(yè)務(wù)的快速接入。通過(guò)移動(dòng)應(yīng)用平臺(tái),實(shí)現(xiàn)實(shí)現(xiàn)移動(dòng)技術(shù)體系的基礎(chǔ)構(gòu)造,提供移動(dòng)應(yīng)用的基礎(chǔ)功能,滿(mǎn)足行業(yè)項(xiàng)目應(yīng)用快速開(kāi)發(fā),通過(guò)移動(dòng)設(shè)備管理,保障設(shè)備的安全和高速緩存以提升性能。通過(guò)安全訪(fǎng)問(wèn)網(wǎng)關(guān)保障數(shù)據(jù)安全。數(shù)據(jù)倉(cāng)庫(kù)全生命周期數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)是數(shù)據(jù)云內(nèi)容建設(shè)的核心,這里我們給出數(shù)據(jù)倉(cāng)庫(kù)建設(shè)的全生命周期的方法。圖數(shù)據(jù)倉(cāng)庫(kù)全生命周期數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)流程業(yè)務(wù)建模--劃分整個(gè)單位的業(yè)務(wù),一般按照業(yè)務(wù)部門(mén)的劃分,進(jìn)行各個(gè)部分之間業(yè)務(wù)工作的界定,理清各業(yè)務(wù)部門(mén)之間的關(guān)系。--深入了解各個(gè)業(yè)務(wù)部門(mén)的內(nèi)具體業(yè)務(wù)流程并將其程序化。--提出修改和改進(jìn)業(yè)務(wù)部門(mén)工作流程的方法并程序化。--數(shù)據(jù)建模的范圍界定,整個(gè)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目的目標(biāo)和階段劃分。領(lǐng)域概念建模統(tǒng)一業(yè)務(wù)概念,作為業(yè)務(wù)人員和技術(shù)人員之間溝通的橋梁。邏輯建模在概念數(shù)據(jù)模型的基礎(chǔ)上,進(jìn)行細(xì)化,詳細(xì)描述數(shù)據(jù),支持業(yè)務(wù)需求,作為技術(shù)人員進(jìn)行數(shù)據(jù)庫(kù)實(shí)現(xiàn)的基礎(chǔ)。物理建模在邏輯數(shù)據(jù)模型的基礎(chǔ)上,考慮各種技術(shù)實(shí)現(xiàn)因素,真正實(shí)現(xiàn)數(shù)據(jù)在數(shù)據(jù)庫(kù)中的存放。數(shù)據(jù)倉(cāng)庫(kù)實(shí)施流程業(yè)務(wù)庫(kù)到成果庫(kù)源數(shù)據(jù)需要通過(guò)ETL的抽取后進(jìn)入到成果庫(kù),這個(gè)過(guò)程主要是對(duì)數(shù)據(jù)的增量提取,過(guò)程中要特別注意并監(jiān)控?cái)?shù)據(jù)量和數(shù)據(jù)精度的改變是否符合要求。成果庫(kù)到匯總庫(kù)匯總數(shù)據(jù)用來(lái)解決范式模型和維度模型之間的屏障,這里多個(gè)表可能被合成一張表。數(shù)據(jù)集市匯總庫(kù)數(shù)據(jù)通過(guò)一定的數(shù)據(jù)運(yùn)算和匯總,進(jìn)入到數(shù)據(jù)集市。當(dāng)成果庫(kù)中的范式模型可直接適應(yīng)維度模型時(shí),成果庫(kù)可直接轉(zhuǎn)化為數(shù)據(jù)集市。數(shù)據(jù)集市為前端應(yīng)用提供支持,數(shù)據(jù)集市中的數(shù)據(jù)是維度結(jié)構(gòu)的數(shù)據(jù),用來(lái)適應(yīng)數(shù)據(jù)集市的統(tǒng)計(jì)需求。計(jì)算云定量研究,又稱(chēng)為量化研究、定量分析,指的是采用統(tǒng)計(jì)、數(shù)學(xué)或計(jì)算機(jī)技術(shù)等方法來(lái)對(duì)社會(huì)現(xiàn)象進(jìn)行系統(tǒng)性的經(jīng)驗(yàn)考察,城市定量研究,是通過(guò)數(shù)學(xué)方法、計(jì)算機(jī)技術(shù)等對(duì)城市相關(guān)問(wèn)題的系統(tǒng)性考察,發(fā)展及應(yīng)用城市相關(guān)的數(shù)學(xué)模型、理論與假設(shè)。隨著國(guó)務(wù)院促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要的出臺(tái),現(xiàn)在的城市治理更加注重?cái)?shù)據(jù)說(shuō)話(huà)。計(jì)算云的目標(biāo)就是具備城市數(shù)據(jù)的計(jì)算能力,提供解決業(yè)務(wù)問(wèn)題的云計(jì)算服務(wù)。傳統(tǒng)建造的模型和計(jì)算己廣泛地用于規(guī)劃與國(guó)土管理的各個(gè)方面,但傳統(tǒng)的模型與計(jì)算方法,很難支撐大數(shù)據(jù)的計(jì)算,而規(guī)劃國(guó)土數(shù)據(jù)湖的建設(shè),為計(jì)算云提供了核心的計(jì)算能力,當(dāng)具備了核心計(jì)算能力后,計(jì)算云的核心就是提供解決業(yè)務(wù)問(wèn)題的云服務(wù),但是傳統(tǒng)的計(jì)算方式和建模方式有許多難以彌補(bǔ)的缺陷。計(jì)算的決策邏輯通常指“決策規(guī)則(模型)”。業(yè)務(wù)規(guī)則是一些條件語(yǔ)句,業(yè)務(wù)規(guī)則通常存在于內(nèi)部應(yīng)用程序代碼中,以“if-then-else”的語(yǔ)句形式出現(xiàn),它們可能存放在很多位置,包括程序手冊(cè)或文檔、流程模型,甚至在專(zhuān)業(yè)領(lǐng)域?qū)<业念^腦中。業(yè)務(wù)規(guī)則分散、內(nèi)嵌在這么多不同位置,在持續(xù)高壓工作狀態(tài),要靠它們來(lái)處理各種決策的變更和持續(xù)更新,這會(huì)導(dǎo)致大量問(wèn)題首先,傳統(tǒng)完成的過(guò)程很費(fèi)時(shí)間和人力。其次,傳統(tǒng)建模的模型通常過(guò)于專(zhuān)用,很難有效的重復(fù)使用。這種模型都是為某一特別任務(wù)建造的,哪怕只對(duì)模型所執(zhí)行的任務(wù)作些小的改動(dòng),也會(huì)導(dǎo)致建模的不適用,這樣需要重新建立一個(gè)模型,計(jì)算在適應(yīng)變化方面的敏捷性降低,變更難以追蹤,且難以長(zhǎng)時(shí)間維護(hù)。第三,傳統(tǒng)建造的模型通常過(guò)于主觀性和個(gè)人性。第四,一旦模型構(gòu)造好后,很難追蹤建模的過(guò)程,該過(guò)程對(duì)應(yīng)用有時(shí)是非常重要的,導(dǎo)致很多規(guī)則是重復(fù)的,或者多個(gè)版本使用相同的規(guī)則,規(guī)則難以審計(jì)和追蹤,決策變化不易于測(cè)試和模擬。這些缺陷限制了模型的進(jìn)一步廣泛使用,需要開(kāi)發(fā)一項(xiàng)新的建模與計(jì)算技術(shù)來(lái)彌補(bǔ)以上的不足。計(jì)算云綜合采用運(yùn)營(yíng)決策管理與模型組合技術(shù)解決這一實(shí)際問(wèn)題,從而可以為規(guī)劃國(guó)土建設(shè)提供更合的計(jì)算服務(wù)。面向業(yè)務(wù)規(guī)則和基于事件的決策邏輯統(tǒng)一存儲(chǔ)庫(kù),將簡(jiǎn)化決策監(jiān)管和可視性,支持業(yè)務(wù)用戶(hù)與IT協(xié)作管理決策,跨業(yè)務(wù)流程和應(yīng)用程序持續(xù)自動(dòng)化運(yùn)營(yíng)決策,確?;诹鞒獭⒔灰谆蚧?dòng)等實(shí)時(shí)情況,針對(duì)高度可變的決策作出精確響應(yīng)。通過(guò)把要解決的問(wèn)題劃分為一些簡(jiǎn)單的、基本的問(wèn)題,這些問(wèn)題一般都有常規(guī)的、較為標(biāo)準(zhǔn)的模型,利用己有的模型進(jìn)行組合,來(lái)建立所求問(wèn)題的模型,因而大大減少了建模的重復(fù)性工作,易于求解,也便于使用和修改。使用者只需清楚需要哪些模型,它們之間的關(guān)系,通過(guò)模型組合提供的方便、有效的方法,把各個(gè)模型組合起來(lái),就可以實(shí)現(xiàn)復(fù)雜問(wèn)題的求解。這實(shí)際上就是讓機(jī)器與人合理分工,把決策者從解決子問(wèn)題的繁瑣工作中解脫出來(lái),利用模型組合環(huán)境自由的快速進(jìn)行試探性分解還原思考過(guò)程,從而使決策者可以流暢的進(jìn)行思維,專(zhuān)心致力于創(chuàng)造性的思維決策過(guò)程。運(yùn)營(yíng)決策管理運(yùn)營(yíng)決策管理包括業(yè)務(wù)規(guī)則管理和業(yè)務(wù)事件處理兩部分內(nèi)容:業(yè)務(wù)規(guī)則管理可以準(zhǔn)確地定義、部署、監(jiān)控和維護(hù)計(jì)算云所用的決策邏輯,它允許從核心應(yīng)用程序代碼中單獨(dú)提取決策邏輯,并進(jìn)行管理,這樣可以很容易地在理解、維護(hù)以及在整個(gè)組織內(nèi)復(fù)用業(yè)務(wù)邏輯。通過(guò)將規(guī)則從應(yīng)用程序代碼中具體化出來(lái),業(yè)務(wù)專(zhuān)家可以定義并管理決策邏輯。業(yè)務(wù)規(guī)則平臺(tái)包括規(guī)則管理和規(guī)則執(zhí)行功能,從而具體化的規(guī)則可在其發(fā)生變更時(shí)受到監(jiān)管。業(yè)務(wù)事件是指計(jì)算的狀態(tài)變化,或者在未發(fā)生預(yù)期變化的情況下業(yè)務(wù)的相關(guān)情況。事件處理指洞察并響應(yīng)發(fā)生在整個(gè)計(jì)算中的事件(或活動(dòng))。業(yè)務(wù)事件處理(BEP)使用專(zhuān)門(mén)技術(shù)來(lái)解決整個(gè)計(jì)算內(nèi)的事件處理需求。BEP技術(shù)可以不斷地檢測(cè)事件,甚至高度復(fù)雜的事件類(lèi)型,與不同的系統(tǒng)自動(dòng)進(jìn)行互動(dòng),以最大化業(yè)務(wù)交互的價(jià)值。圖運(yùn)營(yíng)決策管理架構(gòu)全面的運(yùn)營(yíng)決策管理功能至少包含如下方面:1、同時(shí)支持業(yè)務(wù)規(guī)則和事件規(guī)則。提供基于時(shí)間軸的事件感知(事件規(guī)則)和基于業(yè)務(wù)要素的業(yè)務(wù)決策(業(yè)務(wù)規(guī)則)的運(yùn)營(yíng)決策管理能力。例如:業(yè)務(wù)規(guī)則“如果評(píng)分小于200,那么標(biāo)記欺詐為真”;事件規(guī)則“如果10分鐘內(nèi)的刷卡次數(shù)大于5,那么標(biāo)記需要進(jìn)行詳細(xì)檢查”。2、開(kāi)發(fā)人員工具支持。提供基于Eclipse的規(guī)則開(kāi)發(fā)環(huán)境,并支持同時(shí)對(duì)Java代碼和業(yè)務(wù)規(guī)則進(jìn)行調(diào)試(Debug)。規(guī)則開(kāi)發(fā)能夠與主流的源代碼管理工具集成。3、業(yè)務(wù)人員工具支持。提供可以直接使用的統(tǒng)一的基于Web瀏覽器的規(guī)則管理功能,在同一個(gè)環(huán)境中可以實(shí)現(xiàn)規(guī)則的書(shū)寫(xiě)、管理、驗(yàn)證與測(cè)試、查詢(xún)、報(bào)表、部署等功能。4、集中的規(guī)則庫(kù)管理。提供基于數(shù)據(jù)庫(kù)的集中規(guī)則庫(kù)功能,支持規(guī)則整個(gè)生命周期的管理,如規(guī)則的創(chuàng)建,規(guī)則的模擬測(cè)試,規(guī)則的部署,規(guī)則的版本管理等。5、規(guī)則版本與基線(xiàn)管理。提供規(guī)則的版本與基線(xiàn)管理功能??梢灾С滞粋€(gè)規(guī)則集的多版本同時(shí)運(yùn)行。支持規(guī)則項(xiàng)目的版本管理的分支與合并功能,能在不影響后續(xù)部署的情況下更改當(dāng)前規(guī)則。6、圖形化規(guī)則編輯功能。提供圖形化的規(guī)則編輯工具至少包括自然語(yǔ)言,決策表和決策樹(shù)三種形式。事件規(guī)則和業(yè)務(wù)規(guī)則采用相同的自然語(yǔ)言規(guī)則編輯器。7、提供可視化的決策流程-規(guī)則流。產(chǎn)品提供規(guī)則流,提供主要的規(guī)則流邏輯,例如順序、并行、分支、起始、結(jié)束等,支持可視化編輯,支持嵌套子流程。8、規(guī)則查詢(xún)。支持規(guī)則查詢(xún)功能,至少包括基于規(guī)則屬性(創(chuàng)建者、創(chuàng)建時(shí)間、狀態(tài)等),基于規(guī)則的組成內(nèi)容(使用了哪些詞條),和規(guī)則執(zhí)行的語(yǔ)義(什么情況下會(huì)被觸發(fā)或?qū)е缕渌?guī)則觸發(fā))三種查詢(xún)方式查詢(xún)。9、規(guī)則驗(yàn)證。提供業(yè)務(wù)人員能夠直接使用的基于Web瀏覽器的規(guī)則驗(yàn)證能力,包括管理測(cè)試場(chǎng)景,測(cè)試集,以及業(yè)務(wù)仿真功能。能夠定義業(yè)務(wù)仿真的各種KPI指標(biāo),并對(duì)KPI指標(biāo)進(jìn)行顯示和對(duì)比。測(cè)試場(chǎng)景可以使用Excel表格來(lái)輸入。10、規(guī)則部署。支持規(guī)則集的熱部署,規(guī)則部署時(shí)無(wú)需中斷應(yīng)用,并實(shí)現(xiàn)0延時(shí)切換。11、規(guī)則執(zhí)行。提供能夠獨(dú)立的可作為服務(wù)部署的規(guī)則執(zhí)行服務(wù)器,執(zhí)行服務(wù)器可以獨(dú)立部署在Java應(yīng)用服務(wù)器上來(lái)對(duì)外提供規(guī)則運(yùn)算服務(wù),也可以與業(yè)務(wù)應(yīng)用系統(tǒng)部署在同一個(gè)應(yīng)用服務(wù)器中。12、規(guī)則執(zhí)行監(jiān)控。產(chǎn)品提供規(guī)則執(zhí)行服務(wù)器的運(yùn)行監(jiān)控和管理,監(jiān)控能夠支持JMX的管理標(biāo)準(zhǔn)。提供基于Web瀏覽器的監(jiān)控管理控制臺(tái),并可以基于JMX同其它網(wǎng)管平臺(tái)集成。應(yīng)用在運(yùn)行時(shí)能夠輸出或記錄規(guī)則執(zhí)行的詳細(xì)日志。包括規(guī)則執(zhí)行的輸入輸出數(shù)據(jù)、執(zhí)行的規(guī)則流,執(zhí)行的規(guī)則,所用時(shí)間等信息。模型管理模型的組合包含兩個(gè)問(wèn)題:一個(gè)是模型間的組合,另一個(gè)是模型間數(shù)據(jù)的共享和傳遞。模型間的組合借用程序設(shè)計(jì)中三種組織結(jié)構(gòu)方式來(lái)完成,即順序結(jié)構(gòu)、選擇結(jié)構(gòu)和循環(huán)結(jié)構(gòu)。這三種結(jié)構(gòu)形式又可以嵌套使用,從而形成任意復(fù)雜的系統(tǒng)結(jié)構(gòu)。這種組合結(jié)合形式雖然和一般的計(jì)算機(jī)語(yǔ)言的程序設(shè)計(jì)的結(jié)構(gòu)形式相同,但含義是不大一樣的。一般程序設(shè)計(jì)結(jié)構(gòu)是在語(yǔ)句或子程序的基礎(chǔ)上進(jìn)行順序、選擇、循環(huán)的組合,完成單一問(wèn)題的處理,而模型的組合是在模型的基礎(chǔ)上進(jìn)行順序、選擇、循環(huán)的組合。模型本身是輔助決策的基本單元,即它本身就能完成某種輔助決策,模型可以獨(dú)立運(yùn)行,又能作為組合模型的一部分。對(duì)模型的組合能完成組合決策或綜合決策,達(dá)到復(fù)雜問(wèn)題輔助決策的目的。模型間數(shù)據(jù)的共享和傳遞是組合模型的配套要求,只有達(dá)到各模型間數(shù)據(jù)的共享和數(shù)據(jù)傳遞,才能使組合模型成為一個(gè)有機(jī)的整體,而且也能減少數(shù)據(jù)的冗余和實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一管理。為實(shí)現(xiàn)模型間數(shù)據(jù)的共享和傳遞,所有的共享數(shù)據(jù)都存放在數(shù)據(jù)庫(kù)中,由數(shù)據(jù)庫(kù)管庫(kù)系統(tǒng)進(jìn)行統(tǒng)一管理。為實(shí)現(xiàn)模型對(duì)數(shù)據(jù)的有效存取,模型管理系統(tǒng)負(fù)責(zé)解決解決模型存取數(shù)據(jù)庫(kù)的接口等問(wèn)題。模型庫(kù)管理系統(tǒng)本身不進(jìn)行模型的組合,只是支持模型的組合,模型的組合是通過(guò)人機(jī)交互系統(tǒng)的總控制程序來(lái)完成的。圖模型管理架構(gòu)圖模型管理需具備以下能力:模型存儲(chǔ)的組織結(jié)構(gòu):如上圖所示,模型組織分為:模板、規(guī)則、算法、數(shù)據(jù)標(biāo)準(zhǔn)四層。模板是模型的最高層組織,是解決業(yè)務(wù)問(wèn)題的規(guī)則集合;規(guī)則是解決業(yè)務(wù)問(wèn)題的具體業(yè)務(wù)邏輯,規(guī)則之間可以進(jìn)行組合。算法是解決問(wèn)題的最小單元,規(guī)則由不同的算法來(lái)實(shí)現(xiàn)。數(shù)據(jù)標(biāo)準(zhǔn)是模型的最底層組織,當(dāng)配置規(guī)則是,數(shù)據(jù)標(biāo)準(zhǔn)作為算法的輸入?yún)?shù)進(jìn)行配置。由于模型庫(kù)的概念不能和數(shù)據(jù)庫(kù)概念相混,數(shù)據(jù)是一個(gè)基本單位,長(zhǎng)度固定,而且長(zhǎng)度都很小;而算法則是一個(gè)文件,長(zhǎng)度很大,且不固定。因此模型庫(kù)只用于模型字典庫(kù)上,而算法文件仍用文件的存儲(chǔ)方式。模型字典庫(kù)的組織結(jié)構(gòu)雖然同數(shù)據(jù)庫(kù)的結(jié)構(gòu)形式相同,但存放的內(nèi)容不再是數(shù)據(jù)而是算法文件名。模型的查詢(xún)和維護(hù):模型庫(kù)中存放著大量的模型,自然有查詢(xún)和維護(hù)問(wèn)題。根據(jù)模型庫(kù)的組織存儲(chǔ)結(jié)構(gòu)形式,要查詢(xún)模型,首先要查詢(xún)模型字典庫(kù),查到需要的模型名,再沿著該算法文件的存取路徑查到相應(yīng)的算法文件。這個(gè)過(guò)程包含著兩部分內(nèi)容,一個(gè)是模型字典庫(kù)的查詢(xún),它類(lèi)似于數(shù)據(jù)庫(kù)查詢(xún);另一個(gè)算法文件的查詢(xún),這類(lèi)似于操作系統(tǒng)的文件的查詢(xún)??梢哉f(shuō),模型庫(kù)的查詢(xún)是數(shù)據(jù)庫(kù)查詢(xún)和操作系統(tǒng)的文件查詢(xún)的結(jié)合。模型的維護(hù)類(lèi)似于數(shù)據(jù)庫(kù)的維護(hù),需要對(duì)模型進(jìn)行增加、插入、刪除、修改等工作。隨著技術(shù)的發(fā)展,需要增加新模型,這種增加可以是增加到模型的后面,也可以插入到同類(lèi)模型中去。當(dāng)模型過(guò)時(shí)將被新模型所取代時(shí),需要?jiǎng)h除舊模型。當(dāng)模型需要部分進(jìn)行修改時(shí),要修改模型程序。這些維護(hù)工作的進(jìn)行都要按模型的存儲(chǔ)組織結(jié)構(gòu)形式進(jìn)行。增加、插入、刪除模型時(shí),要先進(jìn)行增加、插入、刪除字典庫(kù)中的模型記錄,再沿存取路徑去增加、插入、刪除算法文件。當(dāng)完成了這兩項(xiàng)工作之后,才一完成整個(gè)模型維護(hù)工作。模型的建立與運(yùn)行:模型的建立就是利用計(jì)算機(jī)語(yǔ)言,編寫(xiě)應(yīng)用模型的源程序,并通過(guò)相應(yīng)語(yǔ)言的編譯系統(tǒng)把源程序編譯成目標(biāo)程序,即機(jī)器代碼程序。模型的運(yùn)行就是計(jì)算機(jī)執(zhí)行模型的目標(biāo)程序。首先,必須把模型目標(biāo)程序找到,按模型的組織存儲(chǔ)結(jié)構(gòu),先到模型字典庫(kù)中找到該模型的記錄,再按算法文件的存取路徑找到模型目標(biāo)程序文件。然后利用總控制程序(所使用的語(yǔ)言中提供的調(diào)用執(zhí)行語(yǔ)句)來(lái)控制模型目標(biāo)程序的運(yùn)行。這種方式既能單獨(dú)運(yùn)行模型,也能組合模型。模型與數(shù)據(jù)的接口:GIS模型的運(yùn)行,需要地理信息基礎(chǔ)數(shù)據(jù)和模型數(shù)據(jù)的支撐。原始的方法是各模型自帶數(shù)據(jù)或數(shù)據(jù)文件。這樣,數(shù)據(jù)不能共享。這種方法只適合于單模型的運(yùn)行,不適合于多模型的組合運(yùn)行。模型庫(kù)管理系統(tǒng)中,模型庫(kù)和數(shù)據(jù)庫(kù)是相對(duì)獨(dú)立的,但模型和數(shù)據(jù)之間存在一對(duì)一、一對(duì)多和多對(duì)一的對(duì)應(yīng)關(guān)系,模型和數(shù)據(jù)之間的通信機(jī)制將直接影響模型運(yùn)行的速度。解決模型和數(shù)據(jù)集成的方法,是在模型和數(shù)據(jù)之間設(shè)立一個(gè)不依賴(lài)具體模型的通用接口,作為模型和數(shù)據(jù)之間的紐帶。如利用可視化編程語(yǔ)言(如C#等),通過(guò)ODCB或ADO方式,從數(shù)據(jù)庫(kù)中提取數(shù)據(jù),作為模型計(jì)算的輸入?yún)?shù)。而對(duì)于模型計(jì)算結(jié)果(數(shù)據(jù)文件),接口也通過(guò)ODCB或ADO方式將它們轉(zhuǎn)換成數(shù)據(jù)庫(kù)形式。這樣,模型庫(kù)和空間數(shù)據(jù)庫(kù)變形成了統(tǒng)一的整體。協(xié)同云我國(guó)社會(huì)經(jīng)濟(jì)體質(zhì)改革處于深化階段的條件下,中國(guó)政府也致力于從政務(wù)管理實(shí)現(xiàn)向政務(wù)服務(wù)的轉(zhuǎn)變。協(xié)同云的建設(shè)旨在找到與當(dāng)前城鄉(xiāng)發(fā)展相適應(yīng)的IT技術(shù)路線(xiàn),打造具有簡(jiǎn)捷、智能、高效的智慧化協(xié)同平臺(tái),實(shí)現(xiàn)市局與區(qū)縣分局及上級(jí)部門(mén)的有效連通、規(guī)劃與發(fā)改、國(guó)土、環(huán)保的各個(gè)政務(wù)部門(mén)的業(yè)務(wù)協(xié)同,規(guī)劃國(guó)土委與公眾之間的信息互動(dòng),推動(dòng)城鄉(xiāng)統(tǒng)籌的科學(xué)決策,整體提升規(guī)劃信息系統(tǒng)的服務(wù)能力和決策水平,發(fā)揮信息化在推動(dòng)規(guī)劃部門(mén)管理效率和效益方面的重要作用,促進(jìn)內(nèi)部技術(shù)、人力、資源的優(yōu)化,建立現(xiàn)代化的政務(wù)管理體系,更好地服務(wù)城鄉(xiāng)建設(shè)和管理。因此協(xié)同云的建設(shè),既是為了強(qiáng)化國(guó)土規(guī)劃委的內(nèi)部管理效能,同時(shí)也是為了提升城鄉(xiāng)規(guī)劃、國(guó)土資源管理與其它領(lǐng)域政務(wù)部門(mén)的協(xié)同能力和信息交換共享能力,協(xié)同云即可以支撐以“多規(guī)融合”為切入點(diǎn)的相關(guān)建設(shè),積極推動(dòng)國(guó)規(guī)委政務(wù)管理走向縱橫聯(lián)動(dòng)的跨部門(mén)協(xié)同,為解決城鄉(xiāng)規(guī)劃與國(guó)民經(jīng)濟(jì)建設(shè)、國(guó)土資源管理、生態(tài)環(huán)境保護(hù)等方面空間規(guī)劃內(nèi)容差異奠定基礎(chǔ),為推動(dòng)多規(guī)編制內(nèi)容的統(tǒng)一和多規(guī)成果的落地審批提供重要保障。協(xié)同云,提供基于規(guī)劃國(guó)土行業(yè)信息、人和事項(xiàng)的連接。重點(diǎn)在于協(xié)同工作,讓編制人員、管理人員同一事項(xiàng)的不同專(zhuān)業(yè)人員,可以在統(tǒng)一平臺(tái)下進(jìn)行協(xié)同工作。同時(shí)協(xié)同模塊可以連接公眾,全面、廣泛收集民意及建設(shè)意向,咨詢(xún)討論,打造眾籌規(guī)劃。圖協(xié)同云架構(gòu)協(xié)同云,需要具備以下能力:海量存儲(chǔ)協(xié)同云將會(huì)連接與規(guī)劃國(guó)土相關(guān)的人、事、信息,因此將會(huì)產(chǎn)生巨大的數(shù)據(jù),80%都是半結(jié)構(gòu)化數(shù)據(jù),而通常的文件系統(tǒng)或FTP系統(tǒng)在文件數(shù)量較多或文件容量較大時(shí)容易產(chǎn)生性能問(wèn)題,本次項(xiàng)目建設(shè)采用了多種行之有效的手段來(lái)解決這些問(wèn)題:存儲(chǔ)平臺(tái)由一個(gè)到多個(gè)存儲(chǔ)庫(kù)組成。每個(gè)存儲(chǔ)庫(kù)由一個(gè)到多個(gè)存儲(chǔ)區(qū)組成。每個(gè)存儲(chǔ)區(qū)可以?huà)旖佣鄠€(gè)存儲(chǔ)設(shè)備,支持多種類(lèi)型的存儲(chǔ)設(shè)備,可以是數(shù)據(jù)庫(kù)、文件系統(tǒng)、SAN、NAS、OpenStackSwift,能夠?qū)⒃L(fǎng)問(wèn)壓力分散化。部署多個(gè)存儲(chǔ)引擎進(jìn)行負(fù)載均衡,提高系統(tǒng)的吞吐量。索引和檢索引擎與存儲(chǔ)引擎分離,可以分別部署,減輕存儲(chǔ)引擎的壓力。通過(guò)以上的方法,內(nèi)容管理系統(tǒng)具有高性能、易擴(kuò)展、低成本的特點(diǎn),能夠支撐PB級(jí)別的海量數(shù)據(jù)的存儲(chǔ)和訪(fǎng)問(wèn),。版本管理文檔檢入后會(huì)記錄為一個(gè)新的版本,系統(tǒng)保存所有的版本歷史。默認(rèn)情況下,瀏覽和下載的均為最新版本,當(dāng)然也獲取任意一個(gè)歷史版本,比較兩個(gè)版本即可獲知修改痕跡,既可以避免因使用錯(cuò)誤的版本導(dǎo)致工作失誤,也可避免因特殊情況需要使用舊版本時(shí)導(dǎo)致的重復(fù)勞動(dòng)。文檔檢
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 二零二五年度空壓機(jī)設(shè)備租賃與能源管理咨詢(xún)合同3篇
- 二零二五年度畜牧養(yǎng)殖產(chǎn)業(yè)園區(qū)規(guī)劃與建設(shè)承包協(xié)議2篇
- 醬酒生產(chǎn)常識(shí)課程設(shè)計(jì)
- 2025年增資協(xié)議書(shū)面協(xié)議內(nèi)容
- 2025年會(huì)員商務(wù)會(huì)議取消協(xié)議
- 2025年度高端醫(yī)療器械委托加工合同3篇
- 二零二五年車(chē)輛個(gè)人抵押貸款風(fēng)險(xiǎn)補(bǔ)償協(xié)議3篇
- 個(gè)性化借款擔(dān)保協(xié)議2024版版
- 二零二五年度綜合交通樞紐施工總承包合同范本3篇
- 2025年度工程項(xiàng)目索賠評(píng)估與審計(jì)合同3篇
- 2024年安徽省高校分類(lèi)對(duì)口招生考試數(shù)學(xué)試卷真題
- 第12講 語(yǔ)態(tài)一般現(xiàn)在時(shí)、一般過(guò)去時(shí)、一般將來(lái)時(shí)(原卷版)
- 2024年采購(gòu)員年終總結(jié)
- 2024年新疆區(qū)公務(wù)員錄用考試《行測(cè)》試題及答案解析
- 肺動(dòng)脈高壓的護(hù)理查房課件
- 2025屆北京巿通州區(qū)英語(yǔ)高三上期末綜合測(cè)試試題含解析
- 公婆贈(zèng)予兒媳婦的房產(chǎn)協(xié)議書(shū)(2篇)
- 煤炭行業(yè)智能化煤炭篩分與洗選方案
- 2024年機(jī)修鉗工(初級(jí))考試題庫(kù)附答案
- Unit 5 同步練習(xí)人教版2024七年級(jí)英語(yǔ)上冊(cè)
- 矽塵對(duì)神經(jīng)系統(tǒng)的影響研究
評(píng)論
0/150
提交評(píng)論