應用潛在分類泊松回歸模型及EM算法分析陳述偏好數(shù)據(jù)：.doc

統(tǒng)計計算案例1，呂曉玲應用潛在分類泊松回歸模型及EM算法分析陳述偏好數(shù)據(jù)：以網(wǎng)絡購物使用次數(shù)為例1. 問題提出隨著網(wǎng)絡的興起，網(wǎng)上購物已經(jīng)在人們的生活中發(fā)揮著越來越重要的作用。網(wǎng)上購物以其方便快捷等特點吸引了很多購物者，但是也有一些人質(zhì)疑網(wǎng)上購物安全性、不可觸摸性等問題。影響人們選擇網(wǎng)上購物的因素有很多，不同的人對網(wǎng)上購物也有不同的態(tài)度。大學生是網(wǎng)絡購物這個群體的很重要的一部分，什么因素影響大學生對網(wǎng)絡購物的選擇？大學生由于對網(wǎng)絡購物的態(tài)度取向不同可分為多少潛在的類別？本文應用陳述偏好方法（stated preference method）收集大學生網(wǎng)上購物的數(shù)據(jù)，并應用潛在分類泊松回歸模型（latent class Poisson regression model）及EM算法分析數(shù)據(jù)，回答以上兩個問題。2. 數(shù)據(jù)收集源于心理學的陳述偏好調(diào)查已經(jīng)被市場營銷中研究消費者行為廣泛應用。雖然在進行每個具體研究時操作不盡相同，總的原則是事先設定幾個重要因素，每個因素有若干水平，然后提出一些假想情景，每個情景是這些因素不同水平的組合。受訪者按照他們的喜好給不同的情景打分或者排序。研究者應用模型分析數(shù)據(jù)，尋找各因素的重要性。為了確定影響網(wǎng)絡購物的重要因素，我們首先開展了預調(diào)查，針對購買商品的種類、價格、郵費、賣家信用度、介紹商品詳細程度以及網(wǎng)上購物節(jié)省時間和到貨時間等因素對大學生進行了調(diào)查，并應用簡單統(tǒng)計分析得到了對網(wǎng)上購物次數(shù)影響比較顯著的四個因素，分別是購買商品的種類、價格、賣家信譽度以及介紹商品的詳細程度。具體因素和因素水平如下所示：種類：服飾，化妝品，文體價格：50元，100元，150元，200元，250元賣家或網(wǎng)站的信譽度：1，2，3，4，5 介紹商品的詳細程度：1，2，3，4，5 若每一種組合都進行調(diào)查則共有組合，在這里運用了正交設計的方法進行試驗設計，共進行75種不同的組合，將這75種組合分成25組，每組中包含3個場景（分別為3個不同的種類），每一個被調(diào)查者將被給定3個不同的場景。每個被調(diào)查者回答的問題是在特定的場景能夠在十次購物中選擇網(wǎng)上購物的可能次數(shù)。我們總共訪問了197名在京大學生，得到了在588種場景下他們對網(wǎng)絡購物的使用情況的有效回答。3. 模型介紹市場營銷中常用的分析陳述偏好數(shù)據(jù)的方法是聯(lián)合分析（conjoint analysis），我們這里使用泊松回歸模型，因為：（1）因變量不是受訪者對場景的排序，而是使用網(wǎng)絡購物的次數(shù)，它是一個取值為離散整數(shù)的變量，可以假設服從泊松分布；（2）可以對泊松回歸模型進一步應用潛在分類模型分析受訪者的異質(zhì)性。我們首先介紹泊松回歸模型和潛在分類模型，然后介紹如何應用最大似然法和EM算法估計參數(shù)。令為第（）個個體在面臨第（）種場景時的選擇，服從參數(shù)為的泊松分布。因為從平均的意義上來講，取值越大意味著受訪者越傾向于多次使用網(wǎng)絡購物，所以可理解為該場景的效用（utility），它是這個場景各因素水平和受訪者個人特征的函數(shù)：，其中：是維協(xié)變量，是參數(shù)，體現(xiàn)了受訪者對協(xié)變量變化的反映，如果假設它是常數(shù)，則表明受訪者是同質(zhì)的（Homogeneity），但我們知道，不同受訪者對不同的協(xié)變量的重要程度看法是不一樣的，也就是說人群有異質(zhì)性（Heterogeneity），處理這種問題的辦法是假設為一個隨機變量，服從概率分布。這里我們可以假設為一個連續(xù)的多元密度函數(shù)，但由于無法判定哪種形式以及在參數(shù)估計的時候很難計算多維積分，所以一般來說我們不采取這種方式，取而代之的是假設是一個離散的多元分布，取值為，相應的概率密度是，的大小以及和的取值均由數(shù)據(jù)估計得到。我們稱這種方法為潛在分類模型或者離散隨機系數(shù)模型（discrete random-coefficient model）。在上述模型假定下，我們知道第個個體在面臨第種場景時，給定參數(shù)取值為時，泊松分布的參數(shù)。則第個個體的無條件概率密度為： （1）如果使用最大似然法估計參數(shù)，樣本的似然函數(shù)可以寫成： （2）4. 估計方法可以看到似然函數(shù)的形式很復雜，即使使用數(shù)值算法，也不容易找到全局最優(yōu)的最大似然估計。這里我們使用EM算法。引入缺失變量： （3）假定，的分布為獨立同分布，密度函數(shù)是，則，其中，。完全對數(shù)似然函數(shù)可寫成： （4） （5）其中，應用EM算法，首先給定初始參數(shù)估計值。之后的迭代（）過程中，E步就是在給定觀測數(shù)據(jù)和參數(shù)估計的情況下，對完全對數(shù)似然函數(shù)以的分布求期望，因為（5）中完全對數(shù)似然函數(shù)是的線性函數(shù)，所以它的期望也是期望的線性函數(shù)。為了求給定觀測數(shù)據(jù)和參數(shù)估計的條件期望，我們需要尋找它的條件分布。因為，所以。則的條件期望是： （6）所以在E步得到的完全對數(shù)似然函數(shù)的期望是： （7）M步即是最大化（7）式得到更新的。可以看到（7）式右側(cè)第一項僅與有關，并且和式的每一項與一個s對應，（7）式右側(cè)第二項僅與有關，可以單獨優(yōu)化，大大降低了似然函數(shù)的復雜度。此外，EM算法所得估計量的均方誤差可以由Louis公式計算而得。5. 數(shù)據(jù)分析應用上述模型分析大學生網(wǎng)絡購物數(shù)據(jù)，首先把分類變量（商品種類）轉(zhuǎn)化為0、1變量，即當同時取0時，表示種類為文體。我們使用BIC準則來確定S的取值。從S=1開始，模型的BIC開始下降，并且到某一值時，開始上升。我們就選擇使得BIC取最小值的S。從表1可以看出S=3。表2給出了模型在S=3和S=1（沒有異質(zhì)性）時的參數(shù)估計值。當S=1（假設受訪者沒有異質(zhì)性時），受訪者整體表現(xiàn)出更傾向于多次購買文體類商品，使用次數(shù)隨商品價格下降，增加賣家或網(wǎng)站的信譽以及介紹商品的詳細程度可以增加受訪者的使用網(wǎng)絡購物的次數(shù)。當S=3時，可以看到受訪者分為三類，在網(wǎng)絡購物的使用次數(shù)上，幾個因素對這三類受訪者有著不同的影響。根據(jù)表2的結(jié)果，第一類受訪者（約占18.89%）更傾向于購買文體類商品，也傾向于購買價格便宜的商品，并重視賣家或網(wǎng)站的信譽程度和介紹商品的詳細情況；第二類受訪者（約占48.62%）不在乎商品的種類、價格、以及介紹的詳細情況，只注重網(wǎng)站的信譽；第三類受訪者（約占32.49%）更傾向于購買文體類商品，不重視商品的價格和賣家或網(wǎng)站的信譽程度，但較看重介紹商品的詳細情況。 表1：BIC準則潛在類別估計參數(shù)的個數(shù)-Log LikelihoodBIC值161321.6941340.8242131257.9951299.4443201213.4821277.2504271203.6211286.518表2：參數(shù)估計值泊松回歸模型（潛在類別S=3）泊松回歸（S=1）類別1的概率p=0.1889類別2的概率p=0.4862類別3的概率p=0.3249加權均值截距-0.1139(0.5127)0.1706(0.1898)1.2464*(0.1959)0.4663(0.2529)0.5989*(0.1056)類別（服飾）-1.8109*(0.3731)-0.1476(0.1069)-0.2399*(0.09600)-0.4918*(0.1537)-0.3221*(0.05622)類別（化妝品）-2.5615*(0.5693)0.01659(0.09781)-1.7587*(0.1894)-1.0472*(0.2166)-0.7061*(0.06369)商品的價格-0.5378*(0.1724)-0.00466(0.06163)-0.02828(0.06243)-0.1131(0.08282)-0.0801*(0.03469)賣家或網(wǎng)站的信譽度0.3798*(0.08954)0.2424*(0.03018)0.05649(0.03384)0.2080*(0.04258)0.1814*(0.01772)介紹商品的詳細程度0.1784*(0.06997)0.05013(0.02986)0.1142*(0.03644)0.09520*(0.03957)0.09225*(0.01749)注：括號中是參數(shù)估計的標準誤差，其中*代表0.05的顯著性水平，*代表0.01的顯著性水平。6. 總結(jié) 本案例應用潛在分類的泊松回歸模型及EM算法分析了大學生對網(wǎng)絡購物的使用情況。最終得到三類人群，他們對商品類型、價格、賣家或網(wǎng)站的信譽度、以及介紹商品的詳細程度有著不同的重視程度，網(wǎng)絡營銷者可以根據(jù)此結(jié)果制定不同的營銷策略。此外，我們還可以進一步根據(jù)模型估計結(jié)果得到每個個體屬于哪一類，從而分析這三類人在個