農(nóng)業(yè)經(jīng)濟智能信息探究

1、農(nóng)業(yè)經(jīng)濟智能信息探究一、研究意義在農(nóng)業(yè)經(jīng)濟發(fā)展領(lǐng)域,信息已成為一個不可或缺的因素,成為推動農(nóng)業(yè)經(jīng)濟發(fā)展的主要動力,農(nóng)村信息化水平每增加%l就可以導致產(chǎn)出平均增加0735%。1貴州省通過前期農(nóng)業(yè)經(jīng)濟信息化建設(shè),已建立了完善的農(nóng)業(yè)經(jīng)濟數(shù)據(jù)采集體系,積累了大量的數(shù)據(jù),這些數(shù)據(jù)對于農(nóng)業(yè)政策的制定,農(nóng)業(yè)狀況的監(jiān)控,農(nóng)業(yè)發(fā)展的引導,市場商機的把握,經(jīng)濟問題的研究來說是一筆無價的財富。但是,限于前期oltp(聯(lián)機事務處理)系統(tǒng)的固有局限性,無法有效利用這些豐富寶貴的數(shù)據(jù)。系統(tǒng)雖然對農(nóng)業(yè)經(jīng)濟數(shù)據(jù)進行了獲取,卻未進行有效整合,提供的信息服務仍停留在基于網(wǎng)站市場信息的簡單發(fā)布與查詢階段,人們面對的是眼花繚亂的數(shù)據(jù)

2、,無法獲取真正想得到的信息。而通過貴州省農(nóng)業(yè)經(jīng)濟智能信息系統(tǒng)的建設(shè),可以提供面向olap(聯(lián)機分析)的服務,并進一步對數(shù)據(jù)進行挖掘,實現(xiàn)對貴州省農(nóng)業(yè)經(jīng)濟數(shù)據(jù)真正有效地利用,完成從數(shù)據(jù)到信息再到知識的一個自動化過程,使得用戶得到經(jīng)過智能化分析處理的有用信息。對比目前的農(nóng)業(yè)經(jīng)濟信息系統(tǒng)其具體有如下優(yōu)點:(一)數(shù)據(jù)的可靠性的確保對于信息用戶來說,信息首要保證的是真實。否則,即便使用了再優(yōu)秀的分析方法,也是“垃圾入垃圾出”。而農(nóng)業(yè)經(jīng)濟商業(yè)智能信息系統(tǒng)的建設(shè)確保了數(shù)據(jù)的正確性。首先,農(nóng)業(yè)經(jīng)濟商業(yè)智能信息系統(tǒng)的數(shù)據(jù)主要源于oltp(聯(lián)機分析)系統(tǒng),而oltp的數(shù)據(jù)直接生成于業(yè)務處理時原始的數(shù)據(jù),而非經(jīng)過了

3、處理加工了信息。其次結(jié)合技術(shù)手段,每一個通過etl(抽取、轉(zhuǎn)換、加載)的數(shù)據(jù)都能回尋到其原始數(shù)據(jù)源,使得每一個來到數(shù)據(jù)倉庫的數(shù)據(jù)都有據(jù)可查,增加了數(shù)據(jù)的可信度。(二)提供實時、多維分析服務相比較oltp系統(tǒng),農(nóng)業(yè)經(jīng)濟智能系統(tǒng)能提供面向用戶的分析服務。原有信息系統(tǒng)只能基于固定周期向用戶推送分析報告,無法實現(xiàn)實時信息分析。例如政府決策者臨時對于某個農(nóng)業(yè)經(jīng)濟問題進行討論,需要相關(guān)的信息分析進行支持,原有的信息系統(tǒng)無法在短時間內(nèi)提交用戶定制的信息分析,而智能信息系統(tǒng)可以提供基于web的實時的分析服務。其次,原有信息用戶對于信息只是被動地接受,無法根據(jù)自己感興趣的維度(dimension)觀察分析數(shù)據(jù),

4、而智能信息系統(tǒng)提供了多維分析聯(lián)機分析(olap)服務,信息用戶可以根據(jù)自己的需要動態(tài)更改分析維度,滿足定制分析的需要。(三)提供基于歷史的數(shù)據(jù)分析原有的系統(tǒng),例如農(nóng)經(jīng)網(wǎng)系統(tǒng),為了平衡系統(tǒng)效率,只能提供給用戶6-12個月的數(shù)據(jù),之前的信息被閑置,而這些信息對于經(jīng)濟分析,趨勢預測十分重要。農(nóng)業(yè)經(jīng)濟商業(yè)智能系統(tǒng)的一大優(yōu)點就是通過對于歷史數(shù)據(jù)的清理整合,使得用戶能夠獲取長期(超過5年)的歷史數(shù)據(jù),實現(xiàn)進行基于歷史的分析。(四)面向不同的用戶農(nóng)業(yè)經(jīng)濟信息的用戶范圍十分廣泛,從政府政策制定者到個體農(nóng)戶、農(nóng)產(chǎn)品經(jīng)營者都需要農(nóng)業(yè)經(jīng)濟信息,但之前的分析服務用戶面狹窄,其分析只能事先設(shè)計、定期推送,局限了用戶群體

5、。而農(nóng)業(yè)智能信息系統(tǒng)卻可以提供面向不同用戶的差異服務。(五)開放性貴州省農(nóng)業(yè)經(jīng)濟智能系統(tǒng)提供了一個開放的平臺。首先,其預留了未來與其他數(shù)據(jù)倉庫整合的可能,例如與貴州省的氣象數(shù)據(jù)、地理信息數(shù)據(jù)的整合,以及通過web數(shù)據(jù)抓取整合web上的信息,例如其他省份的農(nóng)業(yè)經(jīng)濟數(shù)據(jù),農(nóng)業(yè)期貨數(shù)據(jù)等。而這些信息的加入,能大大擴充數(shù)據(jù)以及信息觀察的角度,滿足更多分析需求。二、貴州省農(nóng)業(yè)經(jīng)濟智能信息系統(tǒng)的設(shè)計(一)數(shù)據(jù)源特點貴州省農(nóng)業(yè)經(jīng)濟智能信息系統(tǒng)的數(shù)據(jù)源主要基于貴州農(nóng)經(jīng)網(wǎng)系統(tǒng),該系統(tǒng)以“天”為時間粒度記錄了貴州省各地區(qū)農(nóng)產(chǎn)品商品價格,并基于地理區(qū)域、產(chǎn)品類別對數(shù)據(jù)進行了劃分。其信息數(shù)據(jù)采集站點遍布貴州省各地農(nóng)產(chǎn)

6、品市場,并通過在線系統(tǒng)每天上報,迄今已記錄了6年的貴州省農(nóng)產(chǎn)品價格。以2006年為例,農(nóng)經(jīng)網(wǎng)系統(tǒng)共記錄了貴州省471個農(nóng)產(chǎn)品市場的1830266條農(nóng)產(chǎn)品價格記錄?；谵r(nóng)經(jīng)網(wǎng)數(shù)據(jù)的真實性、充足性,十分適合作為數(shù)據(jù)倉庫的數(shù)據(jù)來源。(二)需求分析1.用戶劃分。通過實際調(diào)查分析,發(fā)現(xiàn)潛在信息用戶可以分為一般信息分析人員、相關(guān)商業(yè)用戶(農(nóng)產(chǎn)品公司、個體農(nóng)戶等)、農(nóng)業(yè)政策決策者(相關(guān)政府部門)、農(nóng)產(chǎn)品價格研究人員(高校、研究所等),各類用戶對于信息分析有不同的需求。例如對于信息分析粒度、信息分析的周期、是否需要預測都存在不同的要求。由于一般信息分析人員需要每周或每月提交文字型的分析報告,其需要的是詳細的數(shù)

7、據(jù)分析支持功能,并以周或月為時間單位分析農(nóng)產(chǎn)品走勢。而作為農(nóng)業(yè)政策的決策者,其感興趣的是以年為時間單位的農(nóng)產(chǎn)品經(jīng)濟數(shù)據(jù)的分析,需要的是已經(jīng)過統(tǒng)計處理的概括數(shù)據(jù),更多使用圖表作為分析工具。作為研究人員,其對于長時間的數(shù)據(jù)(例如2003年到2009年)的統(tǒng)計分析和未來的信息預測更感興趣,并且也希望獲得概括性的統(tǒng)計數(shù)據(jù)、圖表。當然政策決策者對于數(shù)據(jù)挖掘也有需求。而對于商業(yè)用戶,他們對于基于時間段的不同地區(qū)農(nóng)產(chǎn)品價格的對比、最新的數(shù)據(jù)實時分析,以及農(nóng)產(chǎn)品價格走勢預測抱有興趣,而對于歷史數(shù)據(jù)分析興趣不大。2.功能分析。綜上所屬,不同類型的用戶需求雖有差別,但是也存在共通點。通過需求分析,最終貴州省農(nóng)業(yè)經(jīng)

8、濟智能信息系統(tǒng)計劃實現(xiàn)以下功能:對農(nóng)產(chǎn)品價格數(shù)據(jù)進行旋轉(zhuǎn)、切片、切塊、向上綜合和向下鉆取等多維分析,以獲得多角度、多粒度歷史數(shù)據(jù);進行多種農(nóng)產(chǎn)品價格指數(shù)的計算;實現(xiàn)對于農(nóng)產(chǎn)品價格的數(shù)據(jù)挖掘,并實現(xiàn)對于農(nóng)產(chǎn)品價格的預測;實現(xiàn)分析數(shù)據(jù)的可視化展示平臺。(三)后臺數(shù)據(jù)倉庫的概念設(shè)計數(shù)據(jù)倉庫是貴州省農(nóng)業(yè)經(jīng)濟信息系統(tǒng)的核心,也是信息分析以及數(shù)據(jù)挖掘的基礎(chǔ)。數(shù)據(jù)倉庫的概念模型設(shè)計必須基于實際調(diào)查,結(jié)合實際信息分析需要以及數(shù)據(jù)源的結(jié)構(gòu),設(shè)計錯誤的數(shù)據(jù)倉庫模型將會導致整個智能信息系統(tǒng)的失敗,產(chǎn)生錯誤的信息。數(shù)據(jù)倉庫模型的概念設(shè)計主要涉及設(shè)計維度表、事實表以及維度表與事實表、維度表之間的關(guān)系。1.關(guān)鍵維度(1)

9、地理維。地理維(geographydimension)以“市場”為粒度,記錄了與農(nóng)產(chǎn)品價格相關(guān)聯(lián)的貴州省地理信息,是數(shù)據(jù)倉庫的關(guān)鍵維度之一,也是數(shù)據(jù)分析中最常用到的維度,并且也是與其他事實表、維度表聯(lián)系最多的維度。其結(jié)構(gòu)為:(代理主鍵:geog-raphykey;候選鍵:geographyalternatekey;地區(qū)名:geographydistrictname,縣、市名:geographycoun-tyname)。其中g(shù)eographykey為維度表主鍵,ge-ographyalternatekey為候選鍵,通過該字段可以回溯數(shù)據(jù)源,增加數(shù)據(jù)倉庫的可信度。該緯度在設(shè)計時考慮到了貴州省農(nóng)業(yè)經(jīng)

10、濟實際情況,設(shè)計地區(qū)(例如黔西南地區(qū))到縣、市(例如安龍)到市場(例如新橋農(nóng)貿(mào)市場)的層次結(jié)構(gòu)(hierarchy),而不直接套用通用的地理信息,否則無法滿足實際分析的需要。(2)時間維。時間維(timedimension)是數(shù)據(jù)分析最常用到的維度,其結(jié)構(gòu)為:(代理主鍵:time-key;年:year;月:month;日:day;年中文名:chinese-yearname;節(jié)日:dayomfonth;特殊事件:specialev-en;t本日對應月第幾天:dayomfonth.)。其中年、月等的中文名屬性的設(shè)置是為了后期分析時便于展示,dayofyear,dayomfonth屬性的設(shè)置是為了便

11、于實現(xiàn)農(nóng)產(chǎn)品同期價格的對比計算。因為業(yè)務主題是時間序列的。農(nóng)業(yè)經(jīng)濟數(shù)據(jù)倉庫中時間維度以“天”為粒度記錄了時間描述信息。在設(shè)計時間維時必須考慮到后期數(shù)據(jù)分析以及數(shù)據(jù)挖掘的需要,而不是單純地從已有oltp系統(tǒng)進行抽取,例如考慮到農(nóng)產(chǎn)品價格波動與節(jié)假日關(guān)系很大,故在時間維設(shè)計時應加入“節(jié)假日指示”屬性,考慮到貴州為少數(shù)民族集聚區(qū)這一特點,在填充該屬性時候不但應記錄“春節(jié)”、“中秋”等較普通的節(jié)日,而且還應記錄“地戲節(jié)”、“三月三”等各個地區(qū)少數(shù)民族特有的節(jié)日。同樣考慮到特殊因素,例如“甲型h1n1型流感”對農(nóng)產(chǎn)品價格的影響,應設(shè)置“特殊事件”屬性。最后,還應添加“節(jié)氣”,“季節(jié)”這兩個對于農(nóng)產(chǎn)品價格

12、關(guān)系較大的屬性。(3)產(chǎn)品維度。產(chǎn)品維度以“產(chǎn)品”為粒度記錄了農(nóng)產(chǎn)品信息,其結(jié)構(gòu)為:(產(chǎn)品名:productname;產(chǎn)品子類別外鍵:productsubcategorykey;單位:uni;t漸變維度開始時間:startdate;漸變維度結(jié)束時間:enddate.)。農(nóng)產(chǎn)品的產(chǎn)品緯度設(shè)計較為復雜,特別是結(jié)合貴州省的實際情況,一些農(nóng)產(chǎn)品歸類與通用歸類不同,例如“菜籽”標準分類應該是“食用油”,但由于貴州省主要將菜籽用于副食品加工,故也可將其歸位“副食品”,這主要取決于最終用戶的分析角度,但也必須考慮未來與其他數(shù)據(jù)源的接口,過于特殊化的設(shè)計不利于與其他數(shù)據(jù)源的統(tǒng)一,不利于數(shù)據(jù)倉庫的擴充。產(chǎn)品維度

13、表也是所有維度表中變化最頻繁的維度表,隨著時間推移不斷改變,屬于漸變維度(scd,slowlychangingdimension)。例如“產(chǎn)品名稱”屬于1scd(changing),對于歷史的產(chǎn)品名稱不做保存而直接更改。而“產(chǎn)地”屬性,由于后期數(shù)據(jù)分析對于歷史產(chǎn)地感興趣,故將其設(shè)置為2scd(histori-cal),當進行數(shù)據(jù)加載時不更新原有數(shù)據(jù)信息,而是新添加一行以保持歷史數(shù)據(jù)。startdate與enddate相結(jié)合標示目前數(shù)據(jù)行是否失效,或者說其是否是歷史數(shù)據(jù)。(4)信息提供者維。它主要記錄了各個市場的信息提供者的相關(guān)信息,該維度與地理維相鏈接。主要用于支持后期對信息提供點貢獻度的分析

14、,與績效考核的計算。2.事實表的分析設(shè)計相對而言事實表的設(shè)計較為簡單,但是由于事實表的數(shù)據(jù)量遠遠大于維度表(僅2006年數(shù)據(jù)就達到百萬級),對于事實表屬性的數(shù)據(jù)類型設(shè)計顯得十分重要,好的設(shè)計可以大大緩解數(shù)據(jù)倉庫的爆炸性增長情況。根據(jù)業(yè)務主題的特點,分別用與之對應的度量值對其事實表進行填充。3.農(nóng)產(chǎn)品交易事實表(facttrading)主要記錄了農(nóng)產(chǎn)品的價格信息,來源于多個數(shù)據(jù)庫,對于其的數(shù)據(jù)清理與轉(zhuǎn)換工作量較大,由于存在多數(shù)據(jù)源,原有的價格記錄主鍵(originalid)出現(xiàn)了重復,失去了唯一標示的意義?？缭綍r間為20032009年。其結(jié)構(gòu)為:(產(chǎn)品單價:unitprice;地理維外鍵:geo

15、graphykey;產(chǎn)品維外鍵:productkey;信息提供者維外鍵:informationproviderkey;時間維外鍵:timekey;原有價格記錄號:tradeoriginalid.)其中,地理維、時間維、產(chǎn)品維度等外鍵構(gòu)成了事實表的聯(lián)合主鍵。(四)數(shù)據(jù)倉庫總體結(jié)構(gòu)設(shè)計數(shù)據(jù)倉庫的設(shè)計常常采用的是星型模型和雪花模型。但應盡可能采用星型模型,這是由于維度表的作用是提供便利分析的角度,雪花模型雖然可以減少維度表空間,但增加了通過維度分析數(shù)據(jù)的難度,并使得數(shù)據(jù)倉庫結(jié)構(gòu)變得更為復雜。2故在數(shù)據(jù)倉庫設(shè)計時,只在產(chǎn)品維(productdimension)的設(shè)計上采用了雪花結(jié)構(gòu),這是由于產(chǎn)品維中包

16、含了“類別屬性”,“子類別屬性”,“產(chǎn)品名”等通過字符描述的屬性,如果采用星型結(jié)構(gòu),以上屬性重復將過多,數(shù)據(jù)不一致可能性較大,故采用雪花結(jié)構(gòu)避免這種情況的發(fā)生。如前文所述,農(nóng)業(yè)經(jīng)濟智能信息系統(tǒng)的一大優(yōu)點就是其開放的結(jié)構(gòu),可以通過網(wǎng)絡(luò)數(shù)據(jù)抓取、接入新的數(shù)據(jù)源等方式獲得新的信息,構(gòu)建新的事實表,例如上圖中的產(chǎn)品庫存事實表、氣象信息事實表、期貨交易事實表等。并且由于新的事實表與原有事實表可以共享維度,使得分析者可以在結(jié)合共同維度對不同的信息進行分析,例如結(jié)合農(nóng)產(chǎn)品價格事實表數(shù)據(jù)與農(nóng)產(chǎn)品庫存事實表數(shù)據(jù)以及氣象信息,并以時間和地理作為分析維度進行多維分析,能發(fā)現(xiàn)出這三類信息間的潛在關(guān)系,并以直觀分析報表

17、形式展現(xiàn)。三、貴州省農(nóng)業(yè)經(jīng)濟智能信息系統(tǒng)的初步利用最終設(shè)施階段,首先基于上述數(shù)據(jù)倉庫模型設(shè)計對應etl程序,導入相關(guān)的數(shù)據(jù),并利用mdx作為多維數(shù)據(jù)查詢語言實現(xiàn)分析,并在sqlserver2008下analysisservice進行部署,利用技術(shù)實現(xiàn)前臺的web展現(xiàn),最終實現(xiàn)了貴州省農(nóng)業(yè)經(jīng)濟智能信息系統(tǒng)的實施,達到以下功能。(一)多維分析功能的實現(xiàn)例如,圖2演示了通過結(jié)合地理緯、時間維對于多維數(shù)據(jù)進行切塊,然后對數(shù)據(jù)進行下鉆(drilldown)得到詳細信息,同時通過圖表進行同步展示,最終直觀的得到兩地區(qū)(畢節(jié)、銅仁)在對應時間段上對于農(nóng)副產(chǎn)品的價格走勢對比。(二)價格統(tǒng)計分析功能的實現(xiàn)在結(jié)合

18、下鉆,上鉆,切塊等多維分析的同時,還可以根據(jù)已有的對農(nóng)產(chǎn)品的分析方法,例如定基價格指數(shù)、同比指數(shù)、環(huán)比指數(shù)等對數(shù)據(jù)進行統(tǒng)計分析。(三)kpis功能的實現(xiàn)如需求分析中所述,農(nóng)業(yè)政策決策者需要的是一種高度概括性的狀況信息,而不是繁瑣的數(shù)據(jù),理想的狀況是通過對于狀態(tài)的一覽,就可以了解目前農(nóng)產(chǎn)品價格是否出現(xiàn)了異常。通過對于關(guān)鍵業(yè)績指標(keyperformanceindicators)的實現(xiàn),可以很便捷地達到這一目標。例如,首先通過實際調(diào)查了解到,決策者認為農(nóng)產(chǎn)品價格上漲或下跌某百分比值便認為出現(xiàn)了價格異常。在智能信息系統(tǒng)開發(fā)中結(jié)合mdx語言,編寫相應代碼,實現(xiàn)kpis對應的報警功能,最后再實現(xiàn)對用戶友好的、直觀的前臺展現(xiàn)(十字形為異常,三角形為可接受,圓形為正常)。(四)農(nóng)產(chǎn)品價格預測功能的實現(xiàn)如前文所述,信息用戶不但對于已有歷史數(shù)據(jù)的分析感興趣,他們更想得到農(nóng)產(chǎn)品價格等數(shù)據(jù)的未來走勢預測,而這正是數(shù)據(jù)挖掘的任務。數(shù)據(jù)挖掘指的是分析數(shù)據(jù),使用自