產(chǎn)品經(jīng)理數(shù)據(jù)分析六大錦囊使用sensors analytics進(jìn)行test

1、使用 Sensorsytics 進(jìn)行 A/B TestSensors Data 聯(lián)合創(chuàng)始人 & CTOA/B Test 是一種非常常用的產(chǎn)品優(yōu)化，主要用于優(yōu)化產(chǎn)品的界面設(shè)計、改進(jìn)產(chǎn)品的流程、調(diào)整策略參數(shù)等等，它的原理也非常簡單，就是觀察用戶在不同場景，如不同界面、不同流程、不同策略參數(shù)下的不同的“反饋”情況，來判斷這些場景中最符合設(shè)計意圖的那個。為了能夠量化比較用戶的“反饋”，是需要定量地對比分析這些不同場景所相關(guān)的 UV、銷量、轉(zhuǎn)化率等指標(biāo)。這些定量的數(shù)據(jù)分析，往往會成為 A/B Test 的瓶頸，很多情況下，產(chǎn)品經(jīng)理可能會有很多嘗試和想法，但是卻會受限于技術(shù)ytics 這個產(chǎn)品所擅長的部分

2、，拉取數(shù)據(jù)、計算數(shù)據(jù)、分析數(shù)據(jù)的效率。而這正是 Sensors推崇的是，數(shù)據(jù)的“self service”，理想情況下，在完成數(shù)據(jù)接入之后，每一次新的 A/B Test 上線之后，非技術(shù)都可以自助完成數(shù)據(jù)的分析。在這里，會結(jié)合幾個典型的案例，來詳細(xì)介紹如何結(jié)合 Sensorsytics 進(jìn)行 A/B Test。1. 界面的調(diào)整實(shí)驗(yàn)以神策數(shù)據(jù)（Sensors Data）的官網(wǎng)申請表單的窗口為例，來描述一次界面調(diào)整上的 A/B Test是如何結(jié)合 Sensorsytics 完成的。在的官網(wǎng)右上角有一個“申請試用”按鈕，點(diǎn)開后是如下一個表單：關(guān)于這個表單的具體樣式，可能會有很多不同的調(diào)整，例如，這次

3、在考慮調(diào)整這個頁面的大小,決定做一個 5:5 的 A/B Test，看看調(diào)整大小后，用戶提交表單的數(shù)量是否會增大。那么，結(jié)合 Sensorsytics 產(chǎn)品，這次實(shí)驗(yàn)可以這樣進(jìn)行：前端開發(fā)開發(fā)一個新的功能，根據(jù)用戶的_id 對 2 取模；對模為 0 的那些用戶，給他們展示原有大小的表單，并且調(diào)用 profile_set 接口，把名為“appearance_test”的 profile，設(shè)置成“test1_A”這個值；對模為 1 的那些用戶，給他們展示調(diào)整大小后的表單，并且調(diào)用 profile_set 接口，把名為“appearance_test”的 profile，設(shè)置成“test1_B”這個

4、值；在完成上述修改后，就可以從如下幾個層面上，迅速地進(jìn)行數(shù)據(jù)分析，拿到實(shí)驗(yàn)的結(jié)果了：可以在事件分析里面，比較“提交表單”這個事件的觸發(fā)用戶數(shù)，篩選條件中可以添加 “appearance_test”的值為“test1_A”和“test1_B”，然后按照“appearance_test”進(jìn)行分組，就可以比較在這個 A/B Test 中這兩類用戶的提交表單的情況了；如果擔(dān)心用戶“展示表單”的數(shù)量并不完全均衡，從而影響了“提交表單”的量，則可以創(chuàng)建一個有兩個步驟的漏斗，第一個步驟是“展示表單”，第二個漏斗是“提交表單”，而篩選條件中可以添加 “appearance_test”的值為“test1_A”和

5、“test1_B”，然后按照“appearance_test”進(jìn)行分組，就可以比較在這個漏斗中這兩類用戶的轉(zhuǎn)化率了。上述的所有這些數(shù)據(jù)分析工作，都是非技術(shù)可以自助完成的，并且在實(shí)驗(yàn)開始后，在很短的時間內(nèi)就可以實(shí)時地看到這些數(shù)據(jù)，從而大大地加快實(shí)驗(yàn)的速度，提高界面調(diào)整的效率。順帶說一句，如果有的界面調(diào)整的實(shí)驗(yàn)，可以復(fù)用“appearance_test”這個字段，然后通過取值來進(jìn)行區(qū)分，例如，下一個實(shí)驗(yàn)的這個取值可以叫“test2_A”和“test2_B”。2. 流程的調(diào)整實(shí)驗(yàn)在這里，以一個類似于百科的 UGC 類型的產(chǎn)品為例，來闡述如何結(jié)合 Sensorsytics完成流程調(diào)整的 A/B Tes

6、t。這個產(chǎn)品的一個功能，是用戶可以“編輯詞條”，最開始的時候，對于一個非登錄用戶，編輯流程是：瀏覽詞條-點(diǎn)擊編輯按鈕-登錄/-編輯詞條-提交編輯。從漏斗分析的結(jié)果來看，因?yàn)椤暗卿?”這一步，而導(dǎo)致的流失比較多，因?yàn)椤暗卿?”相對而言，是一個代價很大的操作。后來，產(chǎn)品經(jīng)理想到一個主意，也就是將“登錄/”這一步放到“編輯詞條”之后，是否能夠提高轉(zhuǎn)化率？這是出于這么一個考慮，“編輯詞條”后用戶其實(shí)已經(jīng)是有相當(dāng)?shù)母冻隽耍敲?，在有了付出的情況下，是不是用戶相對而言就不會放棄？為了驗(yàn)證這個猜想，決定在 10%的用戶上，做一個 A/B Test，具體步驟如下：在一個非登錄狀態(tài)的用戶“點(diǎn)擊編輯按鈕”后，以他

7、的_id 對 10 取模；如果模的結(jié)果為 0，則直接進(jìn)入到“編輯詞條”頁面，并且在“提交編輯”時，才觸發(fā)對登錄狀態(tài)的檢查，同時也調(diào)用 profile_set 接口，把名為“flow_test”的 profile，設(shè)置成“test1_A”這個值；如果模的結(jié)果為其他值，則保持原樣，并且也調(diào)用 profile_set 接口，把名為“flow_test”的 profile，設(shè)置成“test1_B”這個值。后面就是通過創(chuàng)建對應(yīng)的漏斗，并且添加相應(yīng)的篩選條件，來分析和比較轉(zhuǎn)化率了。例如，第一個漏斗是 瀏覽詞條-點(diǎn)擊編輯按鈕-登錄/-編輯詞條-提交編輯，篩選條件是“flow_test”等于“test1_A”，第二個漏斗是 瀏覽詞條-點(diǎn)擊編輯按鈕-編輯詞條-登錄/是“flow_test”等于“test1_B”。-提交編輯，篩選條件3. 參數(shù)的調(diào)整實(shí)驗(yàn)參數(shù)的調(diào)整，一般是指個性化、等算法參數(shù)的調(diào)整，這些參數(shù)的差異主要是在后端完成的，用戶端并不能明確感知界面或者流程上的差異。對于這類實(shí)驗(yàn)，可以通過在后端批量進(jìn)行 profile_set 來完成，的例子來進(jìn)行說明：舉下面一個簡單的調(diào)整模型參數(shù)在進(jìn)行模型訓(xùn)練時，就已經(jīng)決定了對一部分，例如 20%用戶使用新的模型參數(shù)，則在訓(xùn)練完成后，可以對這 20%用戶調(diào)用 profile_set 接口，將“parameter_test”的值設(shè)置為“test1_A”，剩余