基于互聯(lián)網搜索指數(shù)的大宗商品農產品價格指數(shù)預測

1、基于互聯(lián)網搜索指數(shù)的大宗商品農產品價格指數(shù)預測周湘蕾【摘要】本文利用因子模型思想構建互聯(lián)網搜索指數(shù)，從與大宗農產品價格相關的11類基準關鍵詞中篩選出共計17個關鍵詞構建搜索指數(shù)，并分析其與大宗農產品價格之間的關聯(lián)。實證結果表明：本文提出的互聯(lián)網搜索指數(shù)與實際大宗商品農產品價格指數(shù)的相關性較高，其長期趨勢體現(xiàn)出較高的一致性，在短期也能擬合絕大部分拐點，能夠反映互聯(lián)網用戶主要是投資者對大宗農產品市場動態(tài)變化的關注程度?！娟P鍵詞】互聯(lián)網搜索指數(shù) 大宗商品農產品價格 因子分析一、引言隨著大數(shù)據時代的降臨，高效的信息檢索功能是搜索引擎成為網民獲取互聯(lián)網信息的重要入口。用戶信息搜索行為的群體表現(xiàn)在一定程度

2、上體現(xiàn)了用戶心理形態(tài)和外部環(huán)境的變化，與實際經濟行為具有較強的相關性，為經濟預測提供了新的信息資源。故而相對于傳統(tǒng)的數(shù)據來源，諸如機構發(fā)布的統(tǒng)計數(shù)據及調察問卷數(shù)據等，從互聯(lián)網中甄選更具全面和代表性的能夠反應用戶關注的熱度、趨勢且具有較好預測能力的數(shù)據，是對傳統(tǒng)數(shù)據來源數(shù)據的有效擴充，如何有效應用互聯(lián)網數(shù)據也是目前學術界和業(yè)界急需解決的問題。搜索引擎的廣泛使用，在滿足用戶信息需求的同時也記錄了用戶的搜索行為，從而使得基于互聯(lián)網的搜索數(shù)據中蘊含了用戶的關注及意圖，能夠映射用戶在現(xiàn)實生活中的行為趨勢和規(guī)律（Lynn Wu 2009）?；诰W絡搜索數(shù)據的社會經濟行為研究大多出現(xiàn)于2008年之后，研究的

3、領域始于流行病監(jiān)測，發(fā)展至今日已逐漸成為一個新的學術熱點，并在宏觀經濟指標、投資市場以及房地產價格等經濟領域的研究中取得了一定成果。在經濟領域中，搜索指數(shù)可用于消費行為、失業(yè)率、通貨膨脹等指標的預測。McLaren N證明了互聯(lián)網搜索指數(shù)可以用作的經濟指標的編制，Guzman G 將搜索指數(shù)用于通貨膨脹的預測。Li X,Shang W,Wang應用MIDAS模型結合谷歌搜索數(shù)據編制了中國通貨膨脹的預測指數(shù)。在投資市場中，搜索指數(shù)可用于天然氣、原油價格以及房地產價格Li X,Ma J,Zhang X利用谷歌搜索數(shù)據研究了公眾注意力如何影響天然氣價格。李新和張珣運用廣義動態(tài)因子模型構建了可預測原油

4、價格的搜索指數(shù)，并使用生物信息學中因果分析方法對指數(shù)進行評價，證實了所構造的搜索指數(shù)與期貨價格和現(xiàn)貨價格均存在顯著的因果關系，并能準確探測原油價格的拐點。目前基于互聯(lián)網搜索的預測研究在實證領域取得了不小的成果，但仍需要不斷改進與完善，本文粗略提出三點：首先，在理論基礎方面，基于網絡搜索指數(shù)的研究存在一個基本的理論前提，即信息構造引起行為變化，行為變化導致現(xiàn)象產生。這種理論前提在不同領域的內在機理的作用過程及其普遍適用性有待討論；其次，在預測方法上，相關學者對于如何進行關鍵詞的選取、數(shù)據模型處理上都尚未達成共識，其中關于關鍵詞的選擇方法，主要分為兩類，其一以研究問題作為關鍵詞，以該研究方向的理論

5、體系為基礎，選取關鍵變量進行分類和拓展，這種方法的優(yōu)越性在于所構建的指數(shù)能夠反映最相關信息，但由于主觀性較強且依賴于理論基礎的完備程度，故而存在著代表不完全且難以主動識別新變量的問題；其二，有部分學者提出將數(shù)據挖掘算法應用到關鍵詞選擇中，運用決策樹、文本挖掘、向量機等多種數(shù)據挖掘算法進行特征搜索的選擇，在實證中也取得了較好的效果，這類方法更具有客觀性和嚴謹性，但所選取的指標是否具有經濟含義還需要大量的人工判斷，這也使這種方法變得十分繁瑣。最后，關于互聯(lián)網搜索指數(shù)的研究大多是針對國外市場進行的，該方法是否對中國情境下的研究問題有效尚無確定的結論。本文正是基于上述文獻的研究結果，從投資者行為視角建

6、立了互聯(lián)網搜索行為與大宗農產品價格之間的映射關系，如圖1所示，構建過程分為3步：第一，市場的重要信息的發(fā)布會影響投資者的心理預期，相反投資者也會通過主動搜索捕捉重要信息以輔助其進行投資決斷。第二，在新經濟的背景下，互聯(lián)網成為投資者獲取大宗商品市場變動信息的最佳途徑，投資者可以通過互聯(lián)網的搜索、瀏覽及論壇等應用獲取新信息，其中搜索引擎作為互聯(lián)網的入口，蘊含了無數(shù)投資者對影響農產品價格的關注。投資者對農產品價格信息的采集可能主要集中于宏觀形勢、金融市場、行業(yè)特征以及突發(fā)事件等方面。第三，在有效資本市場理論中，新信息是影響股票市場變動的唯一因素，期貨市場作為衍生品市場，其變動在市場充分有效的情形下也

7、可以看作是新信息所引致的，因此及時準確的捕捉最有效信息對期貨市場、現(xiàn)貨市場的投資者而言至關重要。二、實證分析本文利用搜索關鍵詞數(shù)據對大宗商品農產品進行預測。農產品價格選取由中國流通產業(yè)網發(fā)布的大宗商品價格指數(shù)（CCPI）中的農產品價格指數(shù)來衡量，時間跨度為2011年1月至2016年5月。由于所預測的是國內大宗商品價格的變動，故而搜索行為的觀察數(shù)據來源于國內所有使用度最高的百度搜索引擎所提供的數(shù)據，百度指數(shù)與前述眾多文獻中使用的谷歌指數(shù)類似，所提供的搜索量數(shù)據是一個相對數(shù)據，而非絕對搜索量，代表的是在某段時期內，某個特定關鍵詞的被關注程度和熱門程度。本文采集數(shù)據所使用的軟件可以抓取百度指數(shù)上每個

8、關鍵詞從2011年1月1日至今的用戶關注度的天數(shù)據。用戶關注度是以數(shù)千萬網民在百度的搜索量為數(shù)據基礎，以關鍵詞為統(tǒng)計對象，科學分析并計算出各個關鍵詞在百度網頁搜索中搜索頻次的加權和，并以曲線圖的形式展現(xiàn)可以反映與該關鍵詞相對應的某類事物的熱門程度和被關注程度該數(shù)據是絕對值的形式，故已有的數(shù)據不會隨著時間的推移而變化。（一）初始搜索關鍵詞集合為了獲取盡可能相關、完整的關鍵詞，根據上文中的理論框架，將關鍵詞分為宏觀形勢、金融市場、行業(yè)特征以及突發(fā)事件四類，據此獲取基準搜索關鍵詞集合。其中，宏觀形勢因素的基準關鍵詞為匯率、利率、通貨膨脹、貨幣供應、原油價格；金融市場因素的基準關鍵詞為農產品期貨、農產

9、品現(xiàn)貨；行業(yè)特征因素的基準關鍵詞為農業(yè)產業(yè)化、農業(yè)機械、農業(yè)技術；突發(fā)事件因素的基準關鍵詞為自然災害。然后利用搜索引擎的關鍵詞推薦功能，產生這11個基準關鍵詞的所有相關搜索詞，每個類別50個，進而得到550個百度所能提供的搜索詞。通過對每一類別的關鍵詞進行初步文本分析，篩選出57個有效關鍵詞。（二）數(shù)據收集及預處理對這57個搜索數(shù)據進行Pearson相關性檢驗，選取了通過雙邊0.01顯著性檢驗的關鍵詞序列，以保證進入模型的每個關鍵詞與大宗商品農產品指數(shù)之間的相關性。對剩余數(shù)據進行平穩(wěn)性分析，選取通過平穩(wěn)性檢驗的序列用以形成最終關鍵詞集合，相關檢驗結果如表1所示。（三）搜索指數(shù)的合成因為本文旨在

10、研究基于因子分析模型構建的搜索指數(shù)與大宗商品農產品價格之間的關聯(lián)，所以首先我們根據關鍵詞數(shù)據和因子分析原理構建搜索指數(shù)，然后分析搜索指數(shù)與農產品價格之間的匹配關系。在對數(shù)據進行標準化處理后，對變量之間的相關性進行KMO檢驗，得KMO值為0.732,此外Bartlett球形檢驗值為0.000，表示數(shù)據之間具有一定的相關性，適合做主成分因子分析。本文采用因子貢獻率標準選取公共因子，一般來講，因子對總體的解釋程度達到80%左右為宜，因此，本文選取特征大于1的5個公共因子和特征值為0.874的1個公共因子，累計對總體的解釋程度達到79.389%。本文采用常用的最大方差法旋轉因子載荷矩陣，旋轉后的因子載

11、荷矩陣可得每個因子的因素表達式：C1=0.832X10.625X2+0.684X3+0.500X40.127X50.891X6+0.169X7+0.872X80.401X9+0.026X10+0.094X11+0.242X120.026X130.205X14+0.083X150.030X16+0.908X17同理可得C2C6因子的表達式。根據主成分對總體的解釋程度可得總體的各因子表達式：Y=0.28017C1+0.20585C2+0.11227C3+0.08352C4+0.06067C6將C1C6的表達式代入上式即可得個影響因素的權重，對各權重進行歸一化處理，得到各指標對總體的綜合評價權重，再

12、將初始數(shù)據帶入可得綜合指標的序列，這樣的方法提取出了總體輸入數(shù)據的共同成分，驅使各個不同關鍵詞序列去世的共同成分即他們的共性大宗商品農產品的價格，由此我們使用綜合評價Y序列作為搜索指數(shù)，圖1為合成的搜索指數(shù)與大宗商品農產品價格指數(shù)（ccpi）的兩個序列趨勢信息。如圖1（橫軸為自2011年1月1日起累計周數(shù)，縱軸為價格指數(shù)，系列1為大宗商品農產品價格趨勢，系列2為搜索指數(shù)變動趨勢）所示，兩個變量間的走勢表現(xiàn)出較強的一致性。在圖1中45周62周的上行區(qū)間、117周187周的平穩(wěn)震蕩區(qū)間以及23周262周的下行區(qū)間內，本文構建的搜索指數(shù)與實際農產品價格指數(shù)走勢均呈現(xiàn)出較強的一致性。為了突出短期的變化

13、相關性，圖2截取了2016年1月1日至2016年5月27日的價格指數(shù)和搜索指數(shù)對比圖，在2016年前5周，兩個指數(shù)都呈現(xiàn)出變動較為平緩的態(tài)勢，在第8周和第17周，兩個指數(shù)同時達到一個小峰值從圖中可以看出搜索指數(shù)能夠預測出大部分大宗商品價格走勢的拐點，說明了搜索指數(shù)內包含了能夠極大程度的反映搜索關鍵詞之間的共性信息，同時表明了關鍵詞關注度指數(shù)可以幫助提高大宗商品農產品的預測水平。三、小結大宗商品農產品價格一直都是投資者關注的重點之一，但由于影響因素龐雜，經濟影響因素的滯后性等原因，使農產品的價格預測結果總是不盡人意，國內外研究者一直都在積極尋求更加準確地預測方法。近年來，隨著互聯(lián)網技術及大規(guī)模數(shù)

14、據分析方法的發(fā)展，海量搜索數(shù)據及社交媒體數(shù)據等逐漸在社會、經濟、金融和能源預測中得到廣泛應用,這也為大宗商品農產品價格的預測提供了新的思路。本文也在此種背景下針對網絡搜索數(shù)據是否能提高農產品價格預測的準確性和時效性進行了討論。由于目前對于搜索指數(shù)的合成方法還沒有一個公認的方法，本文在經過大量模型的嘗試之后選擇使用因子分析方法的思想構建互聯(lián)網搜索指數(shù)，為了解決了大量搜索數(shù)據之間的多重共線性問題，我們從與大宗農產品價格相關的11類基準關鍵詞中篩選出共計17個關鍵詞，合成旨在預測農產品價格的互聯(lián)網搜索指數(shù)，并分別在長期和短期驗證該合成指數(shù)的預測效果。檢驗結果顯示，本文提出的互聯(lián)網搜索指數(shù)，與實際大宗

15、商品農產品價格指數(shù)的相關性較高，其長期趨勢體現(xiàn)出較高的一致性，在短期也能擬合絕大部分拐點，能夠反映互聯(lián)網用戶主要是投資者對大宗農產品市場動態(tài)變化的關注程度，提高農產品價格的預測精確度。需要指出的是，由于互聯(lián)網大數(shù)據的應用在經濟學領域的研究還處于一個初步的探索階段，故還有許多問題需要進一步研究， 如關鍵詞的關注度與投資者的投資決策之間的關系，關鍵詞關注度對農產品價格的影響方向以及關鍵詞的選擇等將是下一步研究的重點。參考文獻【1】Ginsberg J，Mohebbi M H，Patel R S，et al.Detecting influenza eqidemics using search eng

16、ine query data.Nature，2009，457(7232):1012-1014.【2】李秀婷，劉凡，董紀昌，等.基于互聯(lián)網搜索數(shù)據的中國流感檢測.系統(tǒng)工程理論與實踐，2013，33（12）：3028-3034.【3】Guzman G.Internet and Social behavior as an economic forecasting tool:The case of inflation expectations.Journal of Economic and Social Measurement，2011，36(3):119-167.【4】Goel S，Hofman J

17、 M，Lahaie S，et al.Predicting consumer behavior with Web search.Proceedings of the National Academy of Sciences，2010，107(41):17486-17490.【5】Li X，Shang W，Wang S，et al.A MIDAS modeling framework for Chinese inflation index forecast incorporating Google search data.Electronic Commerce Research and Applications，2015，14(2):112-125.【6】Li Z，Xu W，Zhang L，et al.An ontology-based Web mining method for unemployment rate prediction.Decision Support Systems 2014，66(10):