智能數(shù)據(jù)分析系統(tǒng)

1、智能數(shù)據(jù)分析系統(tǒng)摘 要：提出了一種agent技術(shù)支持的網(wǎng)上電子數(shù)據(jù)交換系統(tǒng)的xml單證統(tǒng)計(jì)分析方法和實(shí)現(xiàn)技術(shù)，詳細(xì)介紹了單證數(shù)據(jù)分析系統(tǒng)的組成，數(shù)據(jù)抽取agent、交互協(xié)調(diào)agent和計(jì)算統(tǒng)計(jì)agent的結(jié)構(gòu)，通信和交互協(xié)作流程，并介紹了本系統(tǒng)對(duì)網(wǎng)上手機(jī)訂貨單的監(jiān)控和預(yù)測(cè)領(lǐng)域應(yīng)用。? 關(guān)鍵詞：智能；xml；數(shù)據(jù)分析? 1 引言? 近年來(lái)，基于互聯(lián)網(wǎng)的應(yīng)用已涉及各行各業(yè)，電子商務(wù)、網(wǎng)上銀行、網(wǎng)上圖書(shū)館等服務(wù)內(nèi)容層出不窮?；诨ヂ?lián)網(wǎng)的共享信息不僅為人們提供了快速、豐富、有效的各類(lèi)服務(wù)，而且為群體和個(gè)體的業(yè)務(wù)分析和決策提供了可能。因此，對(duì)網(wǎng)絡(luò)信息的采集、監(jiān)控、統(tǒng)計(jì)與分析是一項(xiàng)復(fù)雜和耗時(shí)的工作。同時(shí)，

2、隨著技術(shù)和信息化程度的提高，人們除了有信息查詢(xún)和傳輸?shù)囊笸?，也提出了?duì)網(wǎng)絡(luò)中信息進(jìn)行監(jiān)控和統(tǒng)計(jì)與分析要求，以明確信息的合法與有效，保障信息為輔助決策服務(wù)。目前，有許多研究者進(jìn)行這方面的研究，如網(wǎng)絡(luò)數(shù)據(jù)挖掘，基于代理機(jī)制的網(wǎng)絡(luò)信息統(tǒng)計(jì)，網(wǎng)上信息抓取等。我們則根據(jù)電子商務(wù)中的edi單證處理流程，在internet的edi應(yīng)用中，通過(guò)在客戶(hù)端設(shè)計(jì)和嵌入一個(gè)由智能agent構(gòu)成的系統(tǒng)來(lái)實(shí)現(xiàn)單證的自動(dòng)數(shù)據(jù)監(jiān)控和分析。? 本系統(tǒng)基于web體系結(jié)構(gòu)，采用xml描述edi單證，建立agent技術(shù)支持的計(jì)算、統(tǒng)計(jì)和分析相統(tǒng)一模型，并嵌入在客戶(hù)端。嵌入在客戶(hù)端的系統(tǒng)包括了數(shù)據(jù)抽取、交互協(xié)調(diào)、計(jì)算預(yù)測(cè)、人機(jī)接口和

3、與原edi系統(tǒng)的數(shù)據(jù)接口。其中交互協(xié)調(diào)agent是系統(tǒng)的核心，它確定單證統(tǒng)計(jì)分析的方法、分配各agent任務(wù)、協(xié)調(diào)agent間工作進(jìn)程，包括xml單證數(shù)據(jù)抽取和轉(zhuǎn)換、基于知識(shí)的模型調(diào)用、模型計(jì)算與分析、結(jié)果表達(dá)與傳遞等。此系統(tǒng)完全不影響原有的網(wǎng)上edi交易活動(dòng)，在用戶(hù)不知不覺(jué)的情況下，按事先設(shè)置的要求，自動(dòng)地對(duì)網(wǎng)上交易單證數(shù)據(jù)監(jiān)控和報(bào)警，自動(dòng)地對(duì)大量單證數(shù)據(jù)進(jìn)行匯總、統(tǒng)計(jì)分析，自動(dòng)地在網(wǎng)上統(tǒng)計(jì)分析結(jié)果。? 2 系統(tǒng)中的agent結(jié)構(gòu)與關(guān)系表示? 系統(tǒng)中的智能agent是具有領(lǐng)域知識(shí)和模型嵌入，能自主工作和具有語(yǔ)義互操作及協(xié)作交互能力，問(wèn)題求解能力的智能實(shí)體，具有自治性、通信能力、推理和計(jì)算能力

4、、協(xié)同、協(xié)調(diào)及協(xié)商能力等特性。? 2.1 數(shù)據(jù)抽取agent? 數(shù)據(jù)抽取agent（da）主要實(shí)現(xiàn)對(duì)網(wǎng)上電子數(shù)據(jù)交換的單證進(jìn)行監(jiān)控性或合法性的格式檢查，并從不同的單證中自動(dòng)地抽取出所需的數(shù)據(jù)項(xiàng)，提交給交互協(xié)調(diào)agent，以便進(jìn)行分析和統(tǒng)計(jì)。其對(duì)單證格式檢查的要求，以及數(shù)據(jù)抽取的要求統(tǒng)一由交互協(xié)調(diào)agent管理。agent實(shí)時(shí)監(jiān)測(cè)網(wǎng)上電子交換系統(tǒng)單證的收發(fā)，當(dāng)用戶(hù)收到或發(fā)送單證時(shí)，它就會(huì)自動(dòng)提取單證中的數(shù)據(jù)，根據(jù)單證的種類(lèi)、知識(shí)庫(kù)中處理要求，進(jìn)行數(shù)據(jù)處理和存儲(chǔ)，并發(fā)送給交互協(xié)調(diào)agent分析統(tǒng)計(jì)或報(bào)警。 2.2 計(jì)算統(tǒng)計(jì)agent? 計(jì)算統(tǒng)計(jì)agent（ta）主要對(duì)抽取出的單證數(shù)據(jù)按類(lèi)別、時(shí)間、

5、對(duì)象等多角度，采用馬爾可夫、多元回歸、指數(shù)等多種方法進(jìn)行分析統(tǒng)計(jì)。因此，需要建立模型庫(kù)、知識(shí)庫(kù)對(duì)不同的單證進(jìn)行不同要求的處理。計(jì)算統(tǒng)計(jì)agent的組織結(jié)構(gòu)圖如圖1所示。? ta會(huì)根據(jù)由交互協(xié)調(diào)agent設(shè)定好的要求，當(dāng)收到的相應(yīng)單證數(shù)達(dá)到一定數(shù)目或者是積累了到預(yù)定的時(shí)間時(shí)，自動(dòng)會(huì)進(jìn)行分析和統(tǒng)計(jì)，如銷(xiāo)售單處理中的本月單證數(shù)目，本月銷(xiāo)售額、最大額銷(xiāo)售情況、下月的銷(xiāo)售量預(yù)測(cè)、最優(yōu)庫(kù)存量等。? 2.3 交互協(xié)調(diào)agent? 交互協(xié)調(diào)agent（ca）是系統(tǒng)的關(guān)鍵，它既是與用戶(hù)溝通的橋梁，又是與各agent交互協(xié)調(diào)工作的核心，其主要任務(wù)是實(shí)現(xiàn)問(wèn)題求解的任務(wù)分配、調(diào)度和協(xié)作交互。為實(shí)現(xiàn)ca的交互協(xié)調(diào)和交互

6、流程的一致，存放ca與其他agent間的任務(wù)請(qǐng)求和分配信息；存放問(wèn)題求解過(guò)程中的協(xié)作要求和參數(shù)信息；存放其他agent的處理描述性信息，供ca分配任務(wù)時(shí)使用。? 2.4 agent之間的通信與協(xié)作? 在系統(tǒng)中，agent之間的通訊是基于消息的通訊機(jī)制，利用消息完成傳遞服務(wù)請(qǐng)求及協(xié)調(diào)agent之間的同步。da和ta根據(jù)消息通訊來(lái)獲取環(huán)境信息、任務(wù)、結(jié)果反饋信息；da的每一個(gè)監(jiān)控和執(zhí)行任務(wù)以及ta的每一個(gè)計(jì)算統(tǒng)計(jì)任務(wù)都可以表示為一個(gè)任務(wù)提交者ca向承擔(dān)者da和ta發(fā)送任務(wù)消息；監(jiān)控和數(shù)據(jù)抽取任務(wù)的實(shí)施或暫停是由ca向da發(fā)送任務(wù)消息，其監(jiān)控和數(shù)據(jù)抽取的結(jié)果則通過(guò)向ca回送消息予以體現(xiàn)；同樣，計(jì)算統(tǒng)

7、計(jì)的實(shí)施過(guò)程是ta接收到消息后產(chǎn)生狀態(tài)變化的過(guò)程，其計(jì)算分析結(jié)果通過(guò)向ca回送消息予以體現(xiàn)，并由此來(lái)實(shí)現(xiàn)多agent間的共享和合作運(yùn)行。? 3 網(wǎng)絡(luò)單證數(shù)據(jù)數(shù)據(jù)分析系統(tǒng)? 3.1 系統(tǒng)結(jié)構(gòu)? 網(wǎng)絡(luò)單證數(shù)據(jù)數(shù)據(jù)分析系統(tǒng)是嵌入在原有的網(wǎng)上電子數(shù)據(jù)交換系統(tǒng)之上，主要由交互協(xié)作agent、數(shù)據(jù)抽取agent和計(jì)算統(tǒng)計(jì)agent構(gòu)成，還包括了與原系統(tǒng)的接口。網(wǎng)絡(luò)單證數(shù)據(jù)數(shù)據(jù)分析系統(tǒng)結(jié)構(gòu)圖2所示。? 從圖2可知，ca控制協(xié)調(diào)da和td，以及控制數(shù)據(jù)接口和人機(jī)接口，而da與數(shù)據(jù)接口僅有數(shù)據(jù)傳遞的連接關(guān)系，數(shù)據(jù)傳遞與否受ca的控制；數(shù)據(jù)接口是原網(wǎng)上電子數(shù)據(jù)交換系統(tǒng)與本系統(tǒng)的數(shù)據(jù)交換通道，只面向數(shù)據(jù)共享的要求；

8、人機(jī)接口是為用戶(hù)進(jìn)行任務(wù)設(shè)置而設(shè)計(jì)的，一旦任務(wù)設(shè)置后，系統(tǒng)可自動(dòng)按設(shè)置值運(yùn)行，無(wú)需外界干預(yù)。? 3.2 edida的工作流程? 通過(guò)人機(jī)接口，由用戶(hù)向ca進(jìn)行任務(wù)設(shè)置；? ca對(duì)設(shè)置的任務(wù)進(jìn)行分解；? 各agent獨(dú)立地進(jìn)行工作，求解相應(yīng)的問(wèn)題；? 由ca協(xié)調(diào)da、ta的在求解中的問(wèn)題請(qǐng)求，按上述的交互協(xié)作流程來(lái)完成任務(wù)；? ca會(huì)按要求的格式傳遞給設(shè)置的服務(wù)器，進(jìn)行記錄和提示；? 在ca獲得ta的統(tǒng)計(jì)分析結(jié)果后，按要求的傳遞給設(shè)置的服務(wù)器進(jìn)行記錄、輸出、保存、打印。? ca對(duì)整個(gè)執(zhí)行過(guò)程記錄存儲(chǔ)，以?xún)?yōu)化模型和知識(shí)的選擇和比較對(duì)比；? 3.3 網(wǎng)上手機(jī)訂貨數(shù)據(jù)的分析? 在原有的網(wǎng)上電子數(shù)據(jù)交換

9、系統(tǒng)中，有關(guān)于商家和供應(yīng)商間網(wǎng)上手機(jī)訂單處理。為此，將edida嵌入后進(jìn)行motorola 手機(jī)訂單的數(shù)據(jù)處理，包括訂單中訂貨數(shù)量的監(jiān)控、2007年7月的訂貨數(shù)量的預(yù)測(cè)。 對(duì)訂單中訂貨數(shù)量的監(jiān)控，采用的方法是：訂貨量大于30部時(shí)，產(chǎn)生5秒的告警聲并記錄該單證號(hào)；對(duì)于2007年7月訂貨數(shù)量的預(yù)測(cè)，采用的方法是：選用最小二乘法模型zxrc、指數(shù)加權(quán)移動(dòng)平均模型ydjq、三項(xiàng)和比例模型sxbl這三個(gè)模型來(lái)預(yù)測(cè)2007年7月的訂貨數(shù)量，并由ca根據(jù)評(píng)選規(guī)則來(lái)確定最后預(yù)測(cè)值，預(yù)測(cè)結(jié)果如表1所示。? 表中“*”號(hào)是指訂貨量大于30部的報(bào)警次數(shù)，具體的訂貨量大于30部各訂單號(hào)則保存在ca的數(shù)據(jù)庫(kù)中。預(yù)測(cè)結(jié)果

10、的最終選定由ca根據(jù)知識(shí)庫(kù)中規(guī)則來(lái)確定，評(píng)選的規(guī)則有：平均法，即對(duì)每個(gè)結(jié)果進(jìn)行算術(shù)平均，把平均結(jié)果作為最后結(jié)果。去掉最大和最小法，再對(duì)剩下的結(jié)果進(jìn)行算術(shù)平均。取中間值法，即最靠近中間的值，若中間值有兩個(gè)，則取其平均值為最后結(jié)果。使用頻率最高法，即根據(jù)使用成功次數(shù)，選擇成功最多的模型結(jié)果為最終結(jié)果。最大原則，即選取最大預(yù)測(cè)值為最終結(jié)果。最小原則，即選取最小預(yù)測(cè)值為最終結(jié)果。? 本次預(yù)測(cè)采用平均法，即預(yù)測(cè)值=（146+135+151）/3，最終的預(yù)測(cè)結(jié)果為2007年7月motorola手機(jī)的訂貨量為144部，與當(dāng)年實(shí)際motorola手機(jī)訂貨量147部非常相近，并給出了季度指數(shù)。? 4 結(jié)語(yǔ)? 本

11、文采用agent技術(shù)，提出了對(duì)網(wǎng)上電子數(shù)據(jù)交換系統(tǒng)中xml單證的監(jiān)控和統(tǒng)計(jì)分析方法和實(shí)現(xiàn)技術(shù)，初步探索了agent在網(wǎng)絡(luò)監(jiān)控和預(yù)測(cè)領(lǐng)域中應(yīng)用，并結(jié)合實(shí)際進(jìn)行了驗(yàn)證。今后的研究將考慮用單個(gè)agent來(lái)實(shí)現(xiàn)系統(tǒng)的功能，并加入黑匣子技術(shù)，面向網(wǎng)上的應(yīng)用深入開(kāi)展研究。? 參考文獻(xiàn)? 1?a. rao, m. georgeff. bdi agents: from theory to practice.j. in proceedings of the first international conference on multi-agent systems,1995: 312-319. ? 2?m. j. wooldridge, n. r. jennings. intelligent