產(chǎn)品視角下的數(shù)倉

產(chǎn)品視角下的數(shù)倉作為一名數(shù)據(jù)產(chǎn)品經(jīng)理，看過很多關(guān)于數(shù)倉建設(shè)的文章，這些文章大多是數(shù)據(jù)工程師所寫，旨在通過通俗易懂的語言告訴大家為什么要建數(shù)倉，建數(shù)倉的過程中需要注意哪些事項；今天希望站在數(shù)據(jù)產(chǎn)品經(jīng)理的視角來和大家聊一聊數(shù)倉建設(shè)過程中的幾點事項，視角不同，可能提出的觀點也有所偏差，歡迎大家提出建議，多多交流。01數(shù)倉主要面向人群是誰數(shù)據(jù)產(chǎn)品經(jīng)理中有一群專門負責數(shù)倉建設(shè)的產(chǎn)品經(jīng)理，他們活躍在各個業(yè)務(wù)中，收集著各類數(shù)據(jù)需求，最后沉淀成一張張數(shù)據(jù)表，這一過程中，數(shù)據(jù)產(chǎn)品經(jīng)理的需求方主要有（下文中所有數(shù)據(jù)產(chǎn)品經(jīng)理均指負責數(shù)倉建設(shè)方向的數(shù)據(jù)產(chǎn)品）：1數(shù)據(jù)分析師數(shù)據(jù)分析師作為業(yè)務(wù)線最懂數(shù)據(jù)的人，常年干著各種臟活累活，比如跑數(shù)、搭報表，他們直接面向業(yè)務(wù)，承接著來自產(chǎn)品、運營、市場等各個方向的各種需求，當他們需要跑某份數(shù)據(jù)的時候，如果數(shù)據(jù)表混亂，會降低他們?nèi)?shù)的效率，因此數(shù)據(jù)分析師會經(jīng)常給數(shù)據(jù)產(chǎn)品經(jīng)理提需求，希望建標準數(shù)倉表，統(tǒng)一數(shù)據(jù)標準。2商業(yè)分析師這是一群聽起來比較高大上的存在，和數(shù)據(jù)分析師相比，他們在商業(yè)分析上更加專業(yè)，他們的需求主要來源于領(lǐng)導(dǎo)層，然后圍繞某方向進行專題分析，構(gòu)建商業(yè)分析框架，從而實現(xiàn)全維度商業(yè)分析；商業(yè)分析師進行分析所依賴的就是數(shù)倉建設(shè)的一張張表，尤其是上層的ADS（應(yīng)用數(shù)據(jù)層）表，如果這些表說明不準確，存在歧義，會影響他們分分析結(jié)果，因此商業(yè)分析師也是數(shù)據(jù)產(chǎn)品經(jīng)理的需求方；3業(yè)務(wù)產(chǎn)品經(jīng)理作為產(chǎn)品的締造者，每一個業(yè)務(wù)產(chǎn)品經(jīng)理都想知道自己的產(chǎn)品怎么樣，用戶反饋如何，很多時候他們會直接向數(shù)據(jù)分析師提需求，同時也有一部分勤奮好學的業(yè)務(wù)產(chǎn)品經(jīng)理會自己去進行跑數(shù)，此時他們對于數(shù)倉的訴求更多的是想弄清楚他們想要的數(shù)據(jù)在哪張表里，表里的每個字段代表什么意思；4運營隨著信息技術(shù)的發(fā)展，運營這個崗位越來越細分，有產(chǎn)品運營、活動運營、用戶運營、社區(qū)運營等等，不論哪種運營，他們工作中很重要的一個事情就是查看數(shù)據(jù)，通過數(shù)據(jù)對一次活動進行全方位分析，來評估本次活動的收益和效果如何，以便于制定后續(xù)的決策。以上，是數(shù)倉主要面向的人群，在這里沒有寫研發(fā)工程師，主要是因為研發(fā)工程師也是因為業(yè)務(wù)產(chǎn)品經(jīng)理或運營提的需求來向數(shù)據(jù)側(cè)提需，其實最后都是面向產(chǎn)品、運營。02數(shù)倉主要解決他們的什么問題1降低取數(shù)門檻由于ods層表命名沒有統(tǒng)一規(guī)范，數(shù)據(jù)格式混亂，業(yè)務(wù)產(chǎn)品經(jīng)理、運營、數(shù)據(jù)分析師想要跑一份數(shù)的時候，需要咨詢很多人，才能知道某個數(shù)據(jù)存儲在哪個表里；然后還要多次確認各個字段的含義才能最后得到自己想要的數(shù)據(jù)，整個過程比較繁瑣，存在一定門檻；通過建設(shè)標準數(shù)倉，我們會統(tǒng)一數(shù)據(jù)標準，對每個標準給出準確釋義，幫助用戶快速定位字段，并了解字段的真實含義；同時將各業(yè)務(wù)系統(tǒng)數(shù)據(jù)互聯(lián)互通，打破信息壁壘，降低取數(shù)門檻。2提升工作效率在沒有標準數(shù)倉的時候，不論是數(shù)據(jù)分析師還是商業(yè)分析師，想要獲取一份數(shù)據(jù)都需要耗費大量的時間，通過編寫大量的SQL獲取目標數(shù)據(jù)；通過建設(shè)標準數(shù)倉，根據(jù)商分、數(shù)分的訴求，將數(shù)據(jù)按照既定的主題進行匯總，通過匯總表的建設(shè)，大大降低數(shù)據(jù)分析師、商業(yè)分析師、業(yè)務(wù)產(chǎn)品經(jīng)理、運營的取數(shù)時間，讓他們有更多的精力去進行數(shù)據(jù)分析，發(fā)現(xiàn)數(shù)據(jù)背后的問題并制定相應(yīng)的策略去調(diào)整。3減少業(yè)務(wù)調(diào)整對上層應(yīng)用的影響在沒有數(shù)倉時，數(shù)據(jù)分析師的報表主要依賴于原始ods表，這時如果業(yè)務(wù)發(fā)生調(diào)整，此時對應(yīng)的ods表也會發(fā)生變更，此時數(shù)據(jù)分析師也需要去調(diào)整依賴這些表的報表，后續(xù)維護成本較高；通過建設(shè)標準數(shù)倉，我們將一些公共處理邏輯在dwd層處理掉，數(shù)分直接使用dwd層，降低ods層變化對上層報表的影響；03我們建的數(shù)倉有哪些注意事項1數(shù)據(jù)標準的統(tǒng)一現(xiàn)有訂單表和登錄表，登錄表中存儲了用戶ID，字段名為user_id，訂單表中也存儲了用戶ID，字段名為uid。此時兩個表中包含的用戶ID均是同一內(nèi)容，但是使用了兩種不同的字段名進行描述，字段出現(xiàn)了歧義便需要人工介入理解進行確認。所以在建設(shè)初期，我們就可以根據(jù)業(yè)務(wù)的梳理，明確數(shù)據(jù)標準，統(tǒng)一數(shù)據(jù)格式，在后續(xù)的建模過程中統(tǒng)一引用該標準。2字段釋義要準確字段一般有屬性、維度、度量三種，我們需要根據(jù)每種字段的特性進行專門的釋義；（1）屬性：主體的某種屬性，假設(shè)主體是用戶，那么用戶姓名就是用戶的一種屬性，此時需要對這一屬性進行說明，比如用戶姓名是怎么獲取的，代表什么意思，如果某屬性是通過數(shù)據(jù)挖掘得來的，需要說明挖掘的規(guī)則是什么；（2）維度：這是表中最常見的一種字段，比如用戶性別、城市等；這類字段經(jīng)常被用于對比分析；這時我們需要對這一字段進行解釋說明，告知用戶性別是什么字段，如果可枚舉，需要給出具體的枚舉值，方便后續(xù)分析師使用，比如性別，需要給出枚舉值男、女、未知；（3）度量：度量字段在匯總表中常見，度量也等同于指標，主要用于明確業(yè)務(wù)統(tǒng)計口徑和邏輯；此時在該字段的釋義中需要說明計算邏輯和口徑，便于用戶查看時可以明確對應(yīng)的計算規(guī)則；比如活躍用戶數(shù)，需要特別說明活躍的口徑是什么，是否有過濾掉哪些數(shù)據(jù)，這些都需要在這里明確說明；或者將該字段和數(shù)據(jù)指標進行聯(lián)動，能夠讓用戶查看該字段對應(yīng)的指標定義。3血緣清晰需要把該表的上下游依賴通過清晰的方式呈現(xiàn)出來，便于使用者了解該表的上下游依賴，尤其是上游依賴，當數(shù)據(jù)沒在既定時間就緒時，可以快速進行問題的追蹤定位；4支持數(shù)據(jù)預(yù)覽當用戶查看某表時