從模型到應(yīng)用快消零售行業(yè)的AI落地

從模型到應(yīng)用，快消零售行業(yè)的AI落地AI項目的落地大概要經(jīng)歷什么過程？落地過程中會遇到什么問題？最終可以展現(xiàn)什么樣的效果？前沿的零售企業(yè)已經(jīng)把AI應(yīng)用到什么程度？近期，在觀遠(yuǎn)數(shù)據(jù)主辦的「零售快消AI落地應(yīng)用實戰(zhàn)私享會」上，觀遠(yuǎn)數(shù)據(jù)AI解決方案總監(jiān)進(jìn)行了《從模型到應(yīng)用的AI落地案例分享》。以下是他分享的干貨整理。TableOfContentsAI趨勢與落地步驟分析企業(yè)如何落地AI項目——以需求預(yù)測為例AI項目推進(jìn)的步驟AI項目成功的關(guān)鍵AI應(yīng)用是大勢所趨根據(jù)BCG（波士頓咨詢公司）調(diào)研了全球數(shù)十家頭部快消企業(yè)發(fā)現(xiàn)一個結(jié)論：這些企業(yè)已經(jīng)在多個方向進(jìn)行了AI的探索與嘗試，并且也逐步取得了一些成果。絕大部分企業(yè)均認(rèn)為需求預(yù)測、營銷投放ROI分析、數(shù)據(jù)驅(qū)動的銷售計劃，個性化店貨匹配等場景能帶來最明顯的業(yè)績增長機(jī)會，是必須進(jìn)行探索和嘗試的。既然零售企業(yè)對于AI驅(qū)動業(yè)績增長的價值是毫無疑問的，那么在AI這個方向都做到什么程度了呢?從觀遠(yuǎn)接觸的客戶中我們同樣發(fā)現(xiàn)，近年來企業(yè)對AI賦能生產(chǎn)的熱情高漲，雖然有一小部分還處于觀望和尋找方向的階段，但絕大部分都已經(jīng)開始了小規(guī)模的探索并評估可行性。而一些領(lǐng)先的頭部企業(yè)在AI應(yīng)用方向上同樣走的也很靠前，觀遠(yuǎn)已經(jīng)協(xié)助多個客戶將AI應(yīng)用落地，真正開始讓AI技術(shù)嵌入企業(yè)關(guān)鍵業(yè)務(wù)流程發(fā)揮作用。其中一些最有前瞻性的企業(yè)甚至已經(jīng)開始規(guī)劃AI藍(lán)圖，要在當(dāng)前基礎(chǔ)上讓AI賦能貫穿各個業(yè)務(wù)環(huán)節(jié)，實現(xiàn)數(shù)據(jù)驅(qū)動的企業(yè)決策?？梢哉f，AI應(yīng)用正當(dāng)其時，還在觀望的企業(yè)應(yīng)該盡快尋找切入點(diǎn)，而已經(jīng)有了一些探索積累的，更要盡快邁出生產(chǎn)落地這關(guān)鍵一步。如何落地AI項目——以需求預(yù)測為例很多人對AI項目的概念就是建模，認(rèn)為只要選好了算法建好了模型項目就能成功。然而在觀遠(yuǎn)的經(jīng)驗中，AI項目真正的重點(diǎn)和難點(diǎn)是從實驗室走向生產(chǎn)環(huán)境這一步。AI落地絕不是簡單的模型一鍵發(fā)布，過程中有許許多多實驗室環(huán)境難以預(yù)見的問題，所以今天我們想討論的并不是怎么建模，而是怎么把建好的模型落成應(yīng)用。首先我們來看一下在真正的生產(chǎn)環(huán)境中我們會面臨哪些挑戰(zhàn)1、數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量是所有數(shù)據(jù)項目共同的痛。但在實驗室環(huán)境中，數(shù)據(jù)大部分經(jīng)過了一定程度清洗和整理，即便發(fā)現(xiàn)異常也可以手動處理掉，但是在生產(chǎn)環(huán)境中，數(shù)據(jù)質(zhì)量情況比實驗室惡劣很多，未知的異常數(shù)不勝數(shù)，生產(chǎn)環(huán)境也無法全部依靠手動處理，在數(shù)據(jù)源短期無法有效改善的前提下，如何降低數(shù)據(jù)質(zhì)量差帶來的負(fù)面影響是生產(chǎn)環(huán)境必須要面對的問題。2、每個目標(biāo)的準(zhǔn)確率在實驗室環(huán)境中，往往會挑選一小部分有代表性的試點(diǎn)目標(biāo)進(jìn)行探索驗證，通過一些整體指標(biāo)如平均準(zhǔn)確率等來衡量模型質(zhì)量。然而在生產(chǎn)環(huán)境中，面對的是所有產(chǎn)品或是所有門店，對于業(yè)務(wù)而言不能只看整體，還要關(guān)注每一個個體，個體目標(biāo)的準(zhǔn)確率可以不夠準(zhǔn)，但是不能給出過于超出業(yè)務(wù)常識的值（事實上很可能發(fā)生），當(dāng)一次產(chǎn)生數(shù)萬個預(yù)測結(jié)果時，這種要求會變成巨大的挑戰(zhàn)。3、多變的業(yè)務(wù)模型訓(xùn)練往往需要比較連續(xù)的大量數(shù)據(jù)，實驗室中我們可能會挑選滿足這一條件的目標(biāo)進(jìn)行探索。但是在實際業(yè)務(wù)中，變化可能非?？焖?，一個商品換了包裝、更改尺寸、推出聯(lián)名款等等，都是一種“新商品”，我們在實際工作中看到，某些品類的商品平均生命周期只有半年，當(dāng)歷史參考數(shù)據(jù)不足時，如何才能讓模型保持準(zhǔn)確率？4、模型解釋性AI模型比較受到業(yè)務(wù)詬病的一點(diǎn)是邏輯不透明，無法解釋。對于一些感知類的模型如圖像識別等，結(jié)果能夠快速評估，并且失?。硰垐D判斷錯誤）的代價幾乎忽略不計，因此對于解釋性的要求不高。但是對于\o"數(shù)據(jù)分析"數(shù)據(jù)分析類的AI模型，一個決策可能影響到數(shù)億數(shù)十億資金，并且真實情況往往是一周甚至一個月后發(fā)生，如果不知道模型結(jié)果是怎么得出來的，業(yè)務(wù)是很難放心去使用的。那接下來我們看看如何應(yīng)對這些問題1、構(gòu)建數(shù)據(jù)異常監(jiān)控機(jī)制數(shù)據(jù)異常無法避免，關(guān)鍵在于如何快速發(fā)現(xiàn)并且高效解決。我們設(shè)計了一整套機(jī)制，包括設(shè)定異常校驗規(guī)則、基于規(guī)則采集相關(guān)數(shù)據(jù)、設(shè)置預(yù)警閾值、形成自動化處理流程。在這套機(jī)制下，隨著系統(tǒng)的運(yùn)行，數(shù)據(jù)質(zhì)量帶來的負(fù)面影響會越來越小。2、多層模型確保結(jié)果可用生產(chǎn)環(huán)境相比實驗室驗證，最大的區(qū)別在于模型會復(fù)雜的多。一個生產(chǎn)環(huán)境中往往會結(jié)合不同業(yè)務(wù)情況構(gòu)建一組十幾個甚至數(shù)十個模型，而不是一個通用模型應(yīng)對所有情況。同時需要靈活應(yīng)用規(guī)則模型，在特殊場景下，規(guī)則會是AI模型的一個很好補(bǔ)充。以應(yīng)對多變的SKU為例，我們并不是直接預(yù)測每個SKU的銷量。雖然SKU變化很快，但是對于某個中/小品類來說，其市場容量還是有一定規(guī)律可循，同時無論包裝、容量如何變化，其本質(zhì)特點(diǎn)如口味、香型等往往不變，市場人群的偏好占比也相對穩(wěn)定。因此我們?nèi)绻赟KU層級只預(yù)測其占比，同時在品類層級預(yù)測總量，再通過一個匹配模型將新舊款進(jìn)行關(guān)聯(lián)，就能很好的解決這一問題。3、讓模型可解釋可分析為了應(yīng)對模型解釋性問題，我們需要理解業(yè)務(wù)真正想要的。對于多數(shù)業(yè)務(wù)人員而言，想了解的并不是詳盡的底層算法邏輯，而是這個預(yù)測值是參考了哪些因素得出，這些因素影響的占比情況如何。我們的做法是，通過將模型特征歸類，分別嘗試改變或去除某一類特征，通過預(yù)測值的變化大體上評估該類特征帶來的影響，從而間接進(jìn)行模型的解釋。更進(jìn)一步，我們還可以基于預(yù)測模擬仿真各種業(yè)務(wù)場景，通過改變一些關(guān)鍵變量，查看預(yù)測值的變化，典型的應(yīng)用是評估促銷對于銷量的影響。當(dāng)然，在實際的生產(chǎn)環(huán)境中遇到的問題遠(yuǎn)不止這些，我們僅僅列出了一些比較常見和共同的問題。AI項目推進(jìn)的步驟零售AI項目是未來很多企業(yè)，尤其是想要向全球規(guī)?；l(fā)展的企業(yè)必經(jīng)之路。但是對于AI項目的探索和落地，一定要有規(guī)劃，按照節(jié)奏去推進(jìn)。尋找合適的業(yè)務(wù)場景，評估其價值；結(jié)合業(yè)務(wù)需求、數(shù)據(jù)現(xiàn)狀確定詳細(xì)的AI模型目標(biāo)，并同步組建項目團(tuán)隊，可以是內(nèi)部自建，也可以是尋求外部合作；以實驗室環(huán)境為基礎(chǔ)設(shè)計模型原型，初步評估可行性；進(jìn)行小規(guī)模業(yè)務(wù)驗證，評估實際效果；正式開始項目工程化落地，包括模型部署、對接數(shù)據(jù)源、快速迭代優(yōu)化，并分類逐步上線。在此基礎(chǔ)上，還要不斷積累自身技術(shù)力量、改善數(shù)據(jù)質(zhì)量、適應(yīng)基于AI的業(yè)務(wù)流程，從而讓AI應(yīng)用真正的在業(yè)務(wù)中發(fā)揮作用AI項目成功的關(guān)鍵通過上面的介紹，相信大家對于AI項目的落地有了更深的認(rèn)識。對于如何確保AI項目成功，觀遠(yuǎn)數(shù)據(jù)也總結(jié)了自己的一些理解：1、目標(biāo)的選擇：在初期找到一個業(yè)務(wù)價值較大，效果易于評估，部門配合度高，對現(xiàn)有流程變化較小的切入點(diǎn)更易于推動。2、不要過于看重POC：POC階段的模型僅僅是一個通用驗證模型，將其作為一個參考值而不是唯一評價標(biāo)準(zhǔn)，真正重要的是結(jié)合業(yè)務(wù)特點(diǎn)構(gòu)建一組復(fù)雜模型的能力。3、重視數(shù)據(jù)質(zhì)量：數(shù)據(jù)質(zhì)量很關(guān)鍵，如果短期無法改善，如何在有限的數(shù)據(jù)質(zhì)量下確保模型可用的能力很重要。4、團(tuán)隊合作：AI項目絕不是一個數(shù)據(jù)科學(xué)家埋頭實驗室建模能夠成功的項目，他是結(jié)合了數(shù)據(jù)科學(xué)家、業(yè)務(wù)人員、數(shù)據(jù)工程師等多種角色的團(tuán)隊項目。5、迭代優(yōu)化：要認(rèn)識到AI項目是一個不斷迭代優(yōu)化的過程，剛上線的結(jié)果可