大數(shù)據(jù)分析技術(shù)在房產(chǎn)領(lǐng)域的實(shí)踐

1、大數(shù)據(jù)在房產(chǎn)領(lǐng)域的實(shí)踐提綱蜀道難難于上青天行困難而正確之事往事可鑒未來(lái)可追蜀道難難于上青天客少、物少數(shù)據(jù)來(lái)源少買(mǎi)賣(mài)行為少周期長(zhǎng)行為數(shù)據(jù)稀少線下行為重容易分流線上線下難打通業(yè)務(wù)復(fù)雜性-分析挖掘無(wú)坦途提綱蜀道難難于上青天行困難而正確之事往事可鑒未來(lái)可追提升服務(wù)品質(zhì)的環(huán)節(jié)房源真實(shí)無(wú)虛假合適的房屋給合適的人房屋買(mǎi)賣(mài)不再難縮短周期見(jiàn)效率減少資源浪費(fèi)效果概述1000萬(wàn)/天數(shù)百萬(wàn)/天數(shù)T級(jí)別/天6000萬(wàn)2300萬(wàn)效果概述經(jīng)紀(jì)人91/150維業(yè)主/房54/319維客戶(hù)32/107維23/55維33/81維27/72維升30%應(yīng)用挖掘數(shù)據(jù)采集計(jì)算DW存儲(chǔ)分析計(jì)算技術(shù)架構(gòu)手動(dòng)調(diào)度 認(rèn)證系統(tǒng) 權(quán)限安全ETLDSF

2、lumeCollectorSETELinkhdiclog文件Kafka日志流其他HDFSSparkHiveHadoopMetaMRHBaseYarnBIWeb可視化OLAPData ServiceRDBSNginxHueAdhoc市場(chǎng)報(bào)告解讀客源解讀A房推薦業(yè)主端鏈家指數(shù)數(shù)據(jù)頻道用戶(hù)畫(huà)像房源畫(huà)像小區(qū)畫(huà)像業(yè)主畫(huà)像經(jīng)紀(jì)人畫(huà)像房屋估價(jià)elasticsearch，hbase，spark等成熟的開(kāi)源數(shù)據(jù)存儲(chǔ)、處理系elasticsearch存儲(chǔ)、索引融合層全量數(shù)據(jù)，線上用戶(hù)行為數(shù)據(jù)線上日志流處理并傳送至elasticsearch集群。用戶(hù)畫(huà)像統(tǒng)上全量索引以及熱數(shù)據(jù)hbase存儲(chǔ)線上用戶(hù)行為數(shù)據(jù)spark

3、完成批量和流式數(shù)據(jù)處理，包括線下全量/增量數(shù)據(jù)導(dǎo)入，用戶(hù)畫(huà)像用戶(hù)畫(huà)像KV查詢(xún)：如通過(guò)手機(jī)號(hào)查詢(xún)客源的一切數(shù)據(jù)數(shù)據(jù)篩選：如篩選西山商圈，近三個(gè)月新增房源的小區(qū)名、掛牌價(jià)和房屋狀態(tài)，要求房屋必須是精裝修或大于3居室OLAP查詢(xún): 如查詢(xún)海淀區(qū)2015年不同月份客源帶看次數(shù)的分布用戶(hù)畫(huà)像用戶(hù)特征傾向居室特征分布面積特征傾向價(jià)格特征分布區(qū)域特征傾向應(yīng)用挖掘數(shù)據(jù)采集計(jì)算DW存儲(chǔ)分析計(jì)算行困難而正確之事KafkaETLFlume調(diào)度 認(rèn)證系統(tǒng) 權(quán)限安全DSSETELinkhdicCollectorlog文件 日志流手動(dòng)其他HDFSSparkHiveHadoopMetaMRHBaseYarnBIWeb可視化

4、OLAPData ServiceRDBSNginxHueAdhoc市場(chǎng)報(bào)告解讀客源解讀A房推薦業(yè)主端鏈家指數(shù)數(shù)據(jù)頻道用戶(hù)畫(huà)像房源畫(huà)像小區(qū)畫(huà)像業(yè)主畫(huà)像經(jīng)紀(jì)人畫(huà)像房屋估價(jià)房屋估價(jià)90%房屋估價(jià)經(jīng)紀(jì)人業(yè)主/房客戶(hù)房屋價(jià)格房屋估價(jià)房屋估價(jià)估價(jià)準(zhǔn)確：diff = 5%房屋估價(jià)房屋估價(jià)房屋估價(jià)DataSource1DataSource2DataSourceN.ExtractFeatureExtractFeatureFeatureTransformFeatureTransformLOF-樣本異常點(diǎn)處理多模型并舉ANNHedonicGBDTEvaluateEnsembleBest Model房屋估價(jià) LOF(Local Outlier Factor)算法是一種機(jī)遇密度的異常檢測(cè)算法， 通過(guò)計(jì)算每個(gè)實(shí)例相對(duì)于其鄰居的孤立情況來(lái)判斷這個(gè)實(shí)例是否為離群點(diǎn) 為每一個(gè)每個(gè)實(shí)例計(jì)算一個(gè)異常分?jǐn)?shù)，這個(gè)分?jǐn)?shù)稱(chēng)為實(shí)例的局部離群因子（LOF） 較高的LOF值指示這個(gè)實(shí)例可能是異常的，較低的LOF值指示這個(gè)實(shí)例可能是正常的提綱蜀道難難于上青天行困