大數(shù)據(jù)分析技術在房產(chǎn)領域的實踐

1、大數(shù)據(jù)在房產(chǎn)領域的實踐提綱蜀道難難于上青天行困難而正確之事往事可鑒未來可追蜀道難難于上青天客少、物少數(shù)據(jù)來源少買賣行為少周期長行為數(shù)據(jù)稀少線下行為重容易分流線上線下難打通業(yè)務復雜性-分析挖掘無坦途提綱蜀道難難于上青天行困難而正確之事往事可鑒未來可追提升服務品質(zhì)的環(huán)節(jié)房源真實無虛假合適的房屋給合適的人房屋買賣不再難縮短周期見效率減少資源浪費效果概述1000萬/天數(shù)百萬/天數(shù)T級別/天6000萬2300萬效果概述經(jīng)紀人91/150維業(yè)主/房54/319維客戶32/107維23/55維33/81維27/72維升30%應用挖掘數(shù)據(jù)采集計算DW存儲分析計算技術架構手動調(diào)度 認證系統(tǒng) 權限安全ETLDSF

2、lumeCollectorSETELinkhdiclog文件Kafka日志流其他HDFSSparkHiveHadoopMetaMRHBaseYarnBIWeb可視化OLAPData ServiceRDBSNginxHueAdhoc市場報告解讀客源解讀A房推薦業(yè)主端鏈家指數(shù)數(shù)據(jù)頻道用戶畫像房源畫像小區(qū)畫像業(yè)主畫像經(jīng)紀人畫像房屋估價elasticsearch，hbase，spark等成熟的開源數(shù)據(jù)存儲、處理系elasticsearch存儲、索引融合層全量數(shù)據(jù)，線上用戶行為數(shù)據(jù)線上日志流處理并傳送至elasticsearch集群。用戶畫像統(tǒng)上全量索引以及熱數(shù)據(jù)hbase存儲線上用戶行為數(shù)據(jù)spark

3、完成批量和流式數(shù)據(jù)處理，包括線下全量/增量數(shù)據(jù)導入，用戶畫像用戶畫像KV查詢：如通過手機號查詢客源的一切數(shù)據(jù)數(shù)據(jù)篩選：如篩選西山商圈，近三個月新增房源的小區(qū)名、掛牌價和房屋狀態(tài)，要求房屋必須是精裝修或大于3居室OLAP查詢: 如查詢海淀區(qū)2015年不同月份客源帶看次數(shù)的分布用戶畫像用戶特征傾向居室特征分布面積特征傾向價格特征分布區(qū)域特征傾向應用挖掘數(shù)據(jù)采集計算DW存儲分析計算行困難而正確之事KafkaETLFlume調(diào)度 認證系統(tǒng) 權限安全DSSETELinkhdicCollectorlog文件 日志流手動其他HDFSSparkHiveHadoopMetaMRHBaseYarnBIWeb可視化

4、OLAPData ServiceRDBSNginxHueAdhoc市場報告解讀客源解讀A房推薦業(yè)主端鏈家指數(shù)數(shù)據(jù)頻道用戶畫像房源畫像小區(qū)畫像業(yè)主畫像經(jīng)紀人畫像房屋估價房屋估價90%房屋估價經(jīng)紀人業(yè)主/房客戶房屋價格房屋估價房屋估價估價準確：diff = 5%房屋估價房屋估價房屋估價DataSource1DataSource2DataSourceN.ExtractFeatureExtractFeatureFeatureTransformFeatureTransformLOF-樣本異常點處理多模型并舉ANNHedonicGBDTEvaluateEnsembleBest Model房屋估價 LOF(Local Outlier Factor)算法是一種機遇密度的異常檢測算法， 通過計算每個實例相對于其鄰居的孤立情況來判斷這個實例是否為離群點 為每一個每個實例計算一個異常分數(shù)，這個分數(shù)稱為實例的局部離群因子（LOF） 較高的LOF值指示這個實例可能是異常的，較低的LOF值指示這個實例可能是正常的提綱蜀道難難于上青天行困