實(shí)體零售項(xiàng)目解決方案說(shuō)明書(shū)

實(shí)體零售項(xiàng)目解決方案說(shuō)明書(shū)XX科技股份有限公司編制

目錄TOC\o"1-2"\h\u一、項(xiàng)目存在問(wèn)題及需解決問(wèn)題 31. 存在問(wèn)題 32. 需解決問(wèn)題 4二、解決方案 51. 解決方案總體架構(gòu) 52. 核心技術(shù) 6三、開(kāi)發(fā)范圍 91.數(shù)據(jù)生產(chǎn) 92.數(shù)據(jù)采集/消費(fèi) 93.數(shù)據(jù)分析 104.數(shù)據(jù)展示 10

項(xiàng)目存在問(wèn)題及需解決問(wèn)題存在問(wèn)題被動(dòng)運(yùn)營(yíng)，消費(fèi)行為認(rèn)知能力不足。傳統(tǒng)商場(chǎng)運(yùn)營(yíng)重視商家管理、貨品管理、業(yè)態(tài)組合、降價(jià)促銷(xiāo)作為吸引消費(fèi)者的“四大法寶”。曾經(jīng)，被行業(yè)奉為經(jīng)典的“沃爾瑪一啤酒尿布”及“永旺一預(yù)報(bào)式產(chǎn)品組合”，其利用消費(fèi)者在場(chǎng)內(nèi)的短時(shí)數(shù)據(jù)表現(xiàn)來(lái)調(diào)整經(jīng)營(yíng)策略的案例，如今已不能完全奏效。因?yàn)椴荒苕i定用戶(hù)，商場(chǎng)不能建立起完整的消費(fèi)行為認(rèn)知，無(wú)法串聯(lián)顧客的商場(chǎng)數(shù)據(jù)，也就不能有效識(shí)別每天上萬(wàn)的客流中誰(shuí)來(lái)了、誰(shuí)走了，最終無(wú)法運(yùn)行適合自身消費(fèi)者的經(jīng)營(yíng)策略。數(shù)據(jù)不對(duì)稱(chēng)，營(yíng)銷(xiāo)缺乏數(shù)據(jù)支撐。商場(chǎng)消費(fèi)早已從賣(mài)方市場(chǎng)轉(zhuǎn)人買(mǎi)方市場(chǎng)，然而國(guó)內(nèi)大多數(shù)商業(yè)綜合體的運(yùn)營(yíng)還是依賴(lài)于單一的購(gòu)買(mǎi)渠道、單向的促銷(xiāo)活動(dòng)、傳統(tǒng)的運(yùn)營(yíng)經(jīng)驗(yàn)。在大數(shù)據(jù)分析領(lǐng)域的薄弱，導(dǎo)致?tīng)I(yíng)銷(xiāo)活動(dòng)無(wú)總結(jié)、信息數(shù)據(jù)不對(duì)稱(chēng)，商場(chǎng)的營(yíng)銷(xiāo)成本不斷上漲，“虧本賺吆喝”的失敗營(yíng)銷(xiāo)經(jīng)常上演。各自為王，多套系統(tǒng)割裂運(yùn)行。商場(chǎng)與商家的運(yùn)營(yíng)各自為王，各自獨(dú)立的會(huì)員系統(tǒng)、紛雜的會(huì)員卡、停車(chē)系統(tǒng)與會(huì)員消費(fèi)的割裂導(dǎo)致商家乃至商場(chǎng)對(duì)消費(fèi)者的了解是局部認(rèn)知，并沒(méi)有形成全面而有效的了解。應(yīng)用起步，大數(shù)據(jù)運(yùn)營(yíng)前路漫漫。大數(shù)據(jù)在10年前初露鋒芒，今天已上升到戰(zhàn)略高度，它以一場(chǎng)火爆的方式顛覆了傳統(tǒng)數(shù)據(jù)的觀念和范式，并在商業(yè)綜合體的運(yùn)營(yíng)管理中爆發(fā)出洪荒之力。然而，各商場(chǎng)和各品牌商家總是不得要領(lǐng)，應(yīng)用較為分散、數(shù)據(jù)壁壘多且缺乏有效整合。隨著萬(wàn)達(dá)廣場(chǎng)、五洲國(guó)際集團(tuán)、步步高商業(yè)集團(tuán)等線下實(shí)體，紛紛開(kāi)啟“互聯(lián)網(wǎng)+”式的特色商圈模式，如何利用大數(shù)據(jù)進(jìn)行精準(zhǔn)營(yíng)銷(xiāo)，成為實(shí)體商場(chǎng)突圍、帶來(lái)消費(fèi)經(jīng)濟(jì)增長(zhǎng)的下一站。有關(guān)“大數(shù)據(jù)”有這樣一一個(gè)故事:在美國(guó)，有一位父親怒氣沖沖地跑到沃爾瑪賣(mài)場(chǎng)，質(zhì)問(wèn)為何將帶有嬰兒用品優(yōu)惠券的廣告郵件，寄送給他正在念高中的女兒?然而后來(lái)證實(shí)，他的女兒果真懷孕了。這名女孩搜尋商品的關(guān)鍵詞，以及在社交網(wǎng)站所顯露的行為軌跡，使沃爾瑪捕捉到了她懷孕的信息。在大數(shù)據(jù)時(shí)代，商家可以比父親更了解自己的女兒，商業(yè)綜合體將會(huì)比顧客更了解自已的購(gòu)物行為。作為國(guó)內(nèi)商業(yè)綜合體大數(shù)據(jù)解決方案服務(wù)商，智慧圖在過(guò)去的一年當(dāng)中幫助線下實(shí)體商業(yè)完成了1.8萬(wàn)次場(chǎng)景營(yíng)銷(xiāo)活動(dòng)、錄入了6億張營(yíng)銷(xiāo)卡券，實(shí)現(xiàn)了1000萬(wàn)張電子券分發(fā)，有效規(guī)避了傳統(tǒng)商業(yè)綜合體在運(yùn)營(yíng)中出現(xiàn)的“商場(chǎng)消費(fèi)者失焦、營(yíng)銷(xiāo)活動(dòng)效果有限等問(wèn)題”，幫助西單大悅城等300多家大型商場(chǎng)實(shí)現(xiàn)了定制化運(yùn)營(yíng)管理，是商場(chǎng)革命進(jìn)化的原動(dòng)力。需解決問(wèn)題互聯(lián)網(wǎng)時(shí)代，一切皆數(shù)據(jù)!我們每個(gè)人的一切行為和事件，都以數(shù)據(jù)的形式被記錄、存儲(chǔ)和處理。這個(gè)由數(shù)據(jù)構(gòu)成的世界，每個(gè)人都是行走的數(shù)據(jù)生成器。目前，“大數(shù)據(jù)+商業(yè)綜合體”雖處于初級(jí)階段，但已經(jīng)開(kāi)始發(fā)揮化學(xué)反應(yīng)?；谙M(fèi)者對(duì)商場(chǎng)運(yùn)營(yíng)的重要作用，“互聯(lián)網(wǎng)+時(shí)代”的商場(chǎng)應(yīng)充分利用大數(shù)據(jù)的采集、分析，來(lái)全面了解用戶(hù)并進(jìn)行精準(zhǔn)營(yíng)銷(xiāo)。智慧圖通過(guò)大數(shù)據(jù)分析技術(shù)將原始用戶(hù)數(shù)據(jù)轉(zhuǎn)化為價(jià)值數(shù)據(jù)，為商場(chǎng)運(yùn)營(yíng)、營(yíng)銷(xiāo)活動(dòng)等提供數(shù)據(jù)支持，真正打通線上和線下，串聯(lián)商場(chǎng)內(nèi)外，以更精準(zhǔn)的數(shù)據(jù)服務(wù)為消費(fèi)者提供定制服務(wù)。如果說(shuō)商業(yè)綜合體是一棵樹(shù)，那么智慧圖就是有力的根莖，通過(guò)室內(nèi)定位技術(shù)，在商場(chǎng)收集用戶(hù)信息。大數(shù)據(jù)解析將商場(chǎng)用戶(hù)變成數(shù)據(jù)點(diǎn)和商品，精準(zhǔn)掌握消費(fèi)者商場(chǎng)活動(dòng)與購(gòu)物習(xí)慣，并進(jìn)行個(gè)性化推銷(xiāo)，從而建立起一個(gè)良性的商業(yè)綜合體生態(tài)圈。解決方案解決方案總體架構(gòu)HBase是一個(gè)分布式的、面向列的開(kāi)源數(shù)據(jù)庫(kù)，該技術(shù)來(lái)源于FayChang所撰寫(xiě)的Google論文“Bigtable：一個(gè)結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)”。就像Bigtable利用了Google文件系統(tǒng)（FileSystem）所提供的分布式數(shù)據(jù)存儲(chǔ)一樣，HBase在Hadoop之上提供了類(lèi)似于Bigtable的能力。HBase是Apache的Hadoop項(xiàng)目的子項(xiàng)目。HBase不同于一般的關(guān)系數(shù)據(jù)庫(kù)，它是一個(gè)適合于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)。另一個(gè)不同的是HBase基于列的而不是基于行的模式。系統(tǒng)采用面向?qū)ο蟮能浖O(shè)計(jì)方法，把整個(gè)系統(tǒng)看作是多個(gè)離散對(duì)象的組合。系統(tǒng)設(shè)計(jì)時(shí)，首先把業(yè)務(wù)流程分解成功能模塊及其業(yè)務(wù)實(shí)體對(duì)象，然后根據(jù)業(yè)務(wù)流程分析對(duì)于這些業(yè)務(wù)實(shí)體對(duì)象的操作方法，形成業(yè)務(wù)處理對(duì)象，最后把各個(gè)功能模塊關(guān)聯(lián)起來(lái)，形成系統(tǒng)。軟件設(shè)計(jì)是一個(gè)將需求轉(zhuǎn)變?yōu)檐浖倪^(guò)程，系統(tǒng)通過(guò)逐步求精使得設(shè)計(jì)陳述逐漸接近于源代碼。系統(tǒng)程序采用MVC的設(shè)計(jì)思想，將展現(xiàn)邏輯、控制邏輯、業(yè)務(wù)處理邏輯分離。系統(tǒng)采用參數(shù)化的設(shè)計(jì)思想，定義和管理系統(tǒng)的實(shí)體及配置，調(diào)整實(shí)體以適應(yīng)外部變化。系統(tǒng)采用J2EE技術(shù)保證程序邏輯實(shí)現(xiàn)的平臺(tái)無(wú)關(guān)性，并便于安裝部署。系統(tǒng)采用AJAX技術(shù)，提高客戶(hù)操作的交互性，保證實(shí)際使用的易用性。系統(tǒng)采用echarts可視化框架實(shí)現(xiàn)數(shù)據(jù)展示。核心技術(shù)（1）HadoopHadoop是一個(gè)由Apache基金會(huì)所開(kāi)發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶(hù)可以在不了解分布式底層細(xì)節(jié)的情況下，開(kāi)發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。（2）SpringMVCSpringMVC：屬于SpringFrameWork的后續(xù)產(chǎn)品，已經(jīng)融合在SpringWebFlow里面。Spring框架提供了構(gòu)建Web應(yīng)用程序的全功能MVC模塊。（3）MyBatisMYBatis：是支持普通SQL查詢(xún)，存儲(chǔ)過(guò)程和高級(jí)映射的優(yōu)秀持久層框架。MyBatis消除了幾乎所有的JDBC代碼和參數(shù)的手工設(shè)置以及結(jié)果集的檢索。MyBatis使用簡(jiǎn)單的XML或注解用于配置和原始映射，將接口和Java的POJOs（PlainOldJavaObjects，普通的Java對(duì)象）映射成數(shù)據(jù)庫(kù)中的記錄。（4）EchartsECharts是一款基于Javascript的數(shù)據(jù)可視化圖表庫(kù)，提供直觀，生動(dòng)，可交互，可個(gè)性化定制的數(shù)據(jù)可視化圖表。（5）MySQLMySQL是一個(gè)關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)，由瑞典MySQLAB公司開(kāi)發(fā)，屬于Oracle旗下產(chǎn)品。MySQL是最流行的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)之一，在WEB應(yīng)用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng))應(yīng)用軟件之一。MySQL是一種關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)，關(guān)系數(shù)據(jù)庫(kù)將數(shù)據(jù)保存在不同的表中，而不是將所有數(shù)據(jù)放在一個(gè)大倉(cāng)庫(kù)內(nèi)，這樣就增加了速度并提高了靈活性。MySQL所使用的SQL語(yǔ)言是用于訪問(wèn)數(shù)據(jù)庫(kù)的最常用標(biāo)準(zhǔn)化語(yǔ)言。MySQL軟件采用了雙授權(quán)政策，分為社區(qū)版和商業(yè)版，由于其體積小、速度快、總體擁有成本低，尤其是開(kāi)放源碼這一特點(diǎn)，一般中小型網(wǎng)站的開(kāi)發(fā)都選擇MySQL作為網(wǎng)站數(shù)據(jù)庫(kù)。（6）HiveHive是基于Hadoop構(gòu)建的一套數(shù)據(jù)倉(cāng)庫(kù)分析系統(tǒng)，它提供了豐富的SQL查詢(xún)方式來(lái)分析存儲(chǔ)在Hadoop分布式文件系統(tǒng)中的數(shù)據(jù)：可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，并提供完整的SQL查詢(xún)功能；可以將SQL語(yǔ)句轉(zhuǎn)換為MapReduce任務(wù)運(yùn)行，通過(guò)自己的SQL查詢(xún)分析需要的內(nèi)容，這套SQL簡(jiǎn)稱(chēng)HiveSQL，使不熟悉mapreduce的用戶(hù)可以很方便地利用SQL語(yǔ)言查詢(xún)、匯總和分析數(shù)據(jù)。而mapreduce開(kāi)發(fā)人員可以把自己寫(xiě)的mapper和reducer作為插件來(lái)支持hive做更復(fù)雜的數(shù)據(jù)分析。它與關(guān)系型數(shù)據(jù)庫(kù)的SQL略有不同，但支持了絕大多數(shù)的語(yǔ)句如DDL、DML以及常見(jiàn)的聚合函數(shù)、連接查詢(xún)、條件查詢(xún)。它還提供了一系列的：具進(jìn)行數(shù)據(jù)提取轉(zhuǎn)化加載，用來(lái)存儲(chǔ)、查詢(xún)和分析存儲(chǔ)在Hadoop中的大規(guī)模數(shù)據(jù)集，并支持UDF（User-DefinedFunction）、UDAF(User-DefnesAggregateFunction)和UDTF（User-DefinedTable-GeneratingFunction），也可以實(shí)現(xiàn)對(duì)map和reduce函數(shù)的定制，為數(shù)據(jù)操作提供了良好的伸縮性和可擴(kuò)展性。（7）HBASEHBase–HadoopDatabase，是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，利用HBase技術(shù)可在廉價(jià)PCServer上搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群。（8）ZookeeperZooKeeper是一個(gè)分布式的，開(kāi)放源碼的分布式應(yīng)用程序協(xié)調(diào)服務(wù)，是Google的Chubby一個(gè)開(kāi)源的實(shí)現(xiàn)，是Hadoop和Hbase的重要組件。它是一個(gè)為分布式應(yīng)用提供一致性服務(wù)的軟件，提供的功能包括：配置維護(hù)、域名服務(wù)、分布式同步、組服務(wù)等。（9）FlumeFlume是Cloudera提供的一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類(lèi)數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫(xiě)到各種數(shù)據(jù)接受方（可定制）的能力。開(kāi)發(fā)范圍數(shù)據(jù)生產(chǎn)對(duì)于該模塊的業(yè)務(wù)，即數(shù)據(jù)生產(chǎn)過(guò)程，一般并不會(huì)讓你來(lái)進(jìn)行操作，數(shù)據(jù)生產(chǎn)是一套完整且嚴(yán)密的體系，這樣可以保證數(shù)據(jù)的安全性。但是如果涉及到項(xiàng)目的一體化方案的設(shè)計(jì)（數(shù)據(jù)的產(chǎn)生、存儲(chǔ)、分析、展示），則必須清楚每一個(gè)環(huán)節(jié)是如何處理的，包括其中每個(gè)環(huán)境可能隱藏的問(wèn)題；數(shù)據(jù)結(jié)構(gòu)，數(shù)據(jù)內(nèi)容可能出現(xiàn)的問(wèn)題。數(shù)據(jù)采集/消費(fèi)數(shù)據(jù)采集模塊（消費(fèi)），在企業(yè)中你要清楚流式數(shù)據(jù)采集框架flume和kafka的定位是什么。我們?cè)诖诵枰獙?shí)時(shí)數(shù)據(jù)通過(guò)flume采集到kafka然后供給給hbase消費(fèi)。flume：cloudera公司研發(fā)適合下游數(shù)據(jù)消費(fèi)者不多的情況；適合數(shù)據(jù)安全性要求不高的操作；適合與Hadoop生態(tài)圈對(duì)接的操作。kafka：linkedin公司研發(fā)適合數(shù)據(jù)下游消費(fèi)眾多的情況；適合數(shù)據(jù)安全性要求較高的操作（支持replication）；因此我們常用的一種模型是：線上數(shù)據(jù)-->flume-->kafka-->flume(根據(jù)情景增刪該流程)--