15(薛美根)上海大數(shù)據(jù)信息挖掘應用2015

1、大數(shù)據(jù)環(huán)境下上海創(chuàng)新交通綜合管理的實踐大數(shù)據(jù)環(huán)境下上海創(chuàng)新交通綜合管理的實踐與探索與探索執(zhí)筆：薛美根執(zhí)筆：薛美根 副院長副院長演講：陳必壯演講：陳必壯 副所長副所長上海市城鄉(xiāng)建設和交通發(fā)展研究院上海市城鄉(xiāng)建設和交通發(fā)展研究院一、背景二、數(shù)據(jù)挖掘技術三、大數(shù)據(jù)應用四、展望提綱1背景一、開展交通信息數(shù)據(jù)挖掘的必要性（一一）交通信息化迅速發(fā)展為信息數(shù)據(jù)挖掘奠定基礎交通信息化迅速發(fā)展為信息數(shù)據(jù)挖掘奠定基礎（二二）交通信息化數(shù)據(jù)挖掘是交通調(diào)查技術的發(fā)展趨勢交通信息化數(shù)據(jù)挖掘是交通調(diào)查技術的發(fā)展趨勢（三三）對獲得全面、真實的交通數(shù)據(jù)至關重要對獲得全面、真實的交通數(shù)據(jù)至關重要（四四）對傳統(tǒng)人工調(diào)查的輔助、補

2、充和校核對傳統(tǒng)人工調(diào)查的輔助、補充和校核二、現(xiàn)狀數(shù)據(jù)基礎車牌識別系統(tǒng)數(shù)據(jù)用地數(shù)據(jù)手機信令數(shù)據(jù)運營車輛GPS數(shù)據(jù)信息平臺統(tǒng)計數(shù)據(jù)交通一卡通數(shù)據(jù)三、數(shù)據(jù)挖掘成果在本次交通大調(diào)查的應用信息數(shù)據(jù)挖掘調(diào)查共有信息數(shù)據(jù)挖掘調(diào)查共有6 6個分項，是其他綜合交通調(diào)查的彌補、輔助校核。個分項，是其他綜合交通調(diào)查的彌補、輔助校核。1.城市用地2.調(diào)查期實有人口3.小客車實有量1.出租汽車出行特征2.貨運車輛出行特征3.進出市境車輛出行特征1.區(qū)域間人員出行2.外來人員住宿特征1.道路斷面流量及車速2.軌道客流進出站及換乘特征3.公共交通方式間客流換乘特征4.潮汐交通特征2信息數(shù)據(jù)挖掘關鍵技術一、基于遙感技術的交通

3、相關用地數(shù)據(jù)挖掘技術 解譯獲得全市23萬個分析單元用地信息，是城市用地調(diào)查的主要方法。數(shù)據(jù)來源：城市信息中心數(shù)據(jù)時間：2008年、2013年高分辨率航空遙感用地（解譯）房屋建筑（統(tǒng)計）數(shù)據(jù)來源：房屋土地資源信息中心、測繪建筑數(shù)據(jù)時間：2013年獲取最新上海市市域紅外航空遙感影像、遙感影像定位匹配以住建部城市用地分類與規(guī)劃建設用地標準（GB50137-2011）為指導，對上海市全陸域進行用地分類遙感解譯、同步進行外業(yè)采樣核對在ArcGIS環(huán)境下實施土地利用航空遙感解譯制圖，并以區(qū)縣為單位，計算每個區(qū)縣內(nèi)所有圖斑的面積，按土地利用類型進行面積匯總、特征分析。 通過解譯，將全市28類用地細分到23萬

4、個單位，同時結(jié)合房地管理中心房屋建筑信息庫、測院數(shù)據(jù)進行建筑量的校核，得到全市細分為13類的建筑量，是分析人口崗位布局、交通與用地發(fā)展的重要基礎數(shù)據(jù)。二、基于手機信令的人員出行特征挖掘技術原始數(shù)據(jù)主要字段列表字段含義MSID唯一用戶標識TIMESTAMP時間戳LAC位置區(qū)編號CELL小區(qū)編號EVENTID事件類型（位置更新、小區(qū)切換、收發(fā)短信等）移動基站分布 日均1800萬移動通信用戶的信令數(shù)據(jù)，輔助校核人口分布、出行分布等人工調(diào)查。數(shù)據(jù)來源：由市交通信息中心協(xié)調(diào)獲取2013年-2014年移動手機信令數(shù)據(jù)基站分布：全市約6萬個基站，中心城平均半徑約130米，郊區(qū)平均半徑約360米采樣原理：短信

5、、通話、LAC區(qū)切換或每隔1-2小時定時與基站通訊的信令數(shù)據(jù)基于移動通信用戶基于移動通信用戶電子腳印的手機信令數(shù)據(jù)分析技術的手機信令數(shù)據(jù)分析技術 利用地下軌道線路與移動通信LAC區(qū)、地下軌道車站與基站的唯一對應關系進行路徑識別 將手機檢測與申通統(tǒng)計乘距相比對，地下軌道車站比例超過90%的軌道線路看，如2、7、10、13號線，兩個渠道數(shù)據(jù)的絕對差小于5%1、地下軌道車站客流換乘特征分析技術 將移動通信網(wǎng)絡的出行軌跡映射至道路網(wǎng)絡，并在校核線周邊設置100-500米的緩沖區(qū)過濾信號漂移產(chǎn)生的影響 對穿越校核線地下軌道斷面的樣本客流進行擴樣，并與申通統(tǒng)計斷面客流進行比對，兩個渠道數(shù)據(jù)的絕對差平均為7

6、%。2、校核線手機客流穿越特征分析技術 跟蹤一段時期手機數(shù)據(jù)，按出現(xiàn)天數(shù)比例判定分析對象，并按累計停留時間最長為原則判斷用戶的夜間 、白天固定地分布 夜間分布與“六普”數(shù)據(jù)比對，行政區(qū)人口比例的絕對差均在2%以內(nèi)。3、手機用戶晝夜分布分析技術三、基于牌照識別的車輛出行特征挖掘技術市境道口快速路車牌斷面數(shù)據(jù)來源：市交通信息中心協(xié)調(diào)獲取市交警2013年-2014年車牌識別數(shù)據(jù)數(shù)據(jù)內(nèi)容：車輛號牌、號牌顏色、途徑時間、途徑車速、車輛屬地及設備斷面編號等市境道口車牌識別車流量與高速收費流量對比，高速道口的平均捕捉精度約93%；快速路車牌識別車流量與高架線圈相比，車牌設備的平均捕捉率為96%。 42個市境

7、道口、343個中心城快速路斷面和14個越江橋隧車牌識別數(shù)據(jù)，輔助校核小客車實有量、車輛出行分布等人工調(diào)查。（1 1）基于）基于停留時長分析的長期在上海使用的外地牌照小客車規(guī)模推算分析的長期在上海使用的外地牌照小客車規(guī)模推算技術一年內(nèi)累計在上海停留超過180天單次來滬平均停留時間超過5天市境道口車牌識別市境道口車牌識別外牌車輛累計在滬天數(shù)(除當日往返)交強險停車調(diào)查車牌識別年檢站居民家訪調(diào)查車牌識別數(shù)據(jù)挖掘結(jié)果與推薦值絕對誤差為車牌識別數(shù)據(jù)挖掘結(jié)果與推薦值絕對誤差為5%5%（2 2）基于）基于行駛路徑整理的車輛出行特征分析技術整理的車輛出行特征分析技術1、篩選問題車牌 車牌至少有一位被錯誤識別的

8、概率為6%-12%2、誤識別車牌的較正 按斷面相近，路徑可循，采集時間差合理為原則進行車牌數(shù)據(jù)校正3、出行鏈整理 與線圈數(shù)據(jù)，收費數(shù)據(jù)相比對，整理路徑信息p 入境車輛基于地帶的目的地分布入境車輛基于地帶的目的地分布p 中心城快速路不同號牌車輛行駛特征中心城快速路不同號牌車輛行駛特征市境道口車牌識別車流量與高速收費流量對比，高速道口的平均捕捉精度約93%；以郊區(qū)為目的的入境車輛數(shù)量，收費數(shù)據(jù)和車牌數(shù)據(jù)推算結(jié)果的絕對差為5%快速路車牌識別車流量與高架線圈相比，車牌識別的平均捕捉率為96%四、基于GPS的車輛出行特征數(shù)據(jù)挖掘技術出租車軌跡圖貨車軌跡圖 2.9萬輛出租車，1萬輛貨車GPS信息，是調(diào)查中

9、心城地面道路車速的主要途徑，是輔助校核出租車、貨運車輛出行特征的主要手段?；谲壽E信息的車輛出行特征分析技術 數(shù)據(jù)預處理（檢驗排除數(shù)據(jù)飄逸、傳輸延遲等） 地圖匹配（50*50米網(wǎng)格） 基于最短距離的出行路徑推算 路段行程車速計算（出租車重車）1 1、基于出租車、基于出租車GPSGPS信息的路段行程車速分析技術信息的路段行程車速分析技術 出租車出行OD（利用空、重車狀態(tài)切換信息） 集裝箱卡車出行OD（結(jié)合用地、車速、停留時間）2 2、基于、基于GPSGPS信息的車輛出行信息的車輛出行ODOD分析技術分析技術五、基于交通信息平臺的道路交通信息挖掘技術高架快速路線圈（分3種車型車流量、車速等）地面S

10、CATS線圈（機動車流量、飽和度等）高速公路收費站OD（分11種車型機動車流量） 478個快速路線圈、3043個地面SCATS線圈和104個高速公路收費站數(shù)據(jù)，數(shù)據(jù)甄別、清洗后形成不同空間、時間的統(tǒng)計指標，與人工調(diào)查相結(jié)合，獲得道路交通運行狀況。數(shù)據(jù)來源：市交通信息中心時間顆粒度：5分鐘六、基于一卡通的交通特征數(shù)據(jù)挖掘技術 日均刷卡約400萬張，超過1000萬次的交通一卡通數(shù)據(jù)，輔助校核公共交通客流出行特征。交通卡原始刷卡記錄字段列表交通信息平臺統(tǒng)計指標列表基于刷卡時間間隔的公交客流換乘特征分析技術換乘時耗分布軌道車站公交接駁比例交通卡挖掘結(jié)果與推算值絕對誤差為軌道車站公交接駁比例交通卡挖掘結(jié)

11、果與推算值絕對誤差為4%4%軌道換乘公交軌道換乘出租公交換乘軌道公交換乘公交3大數(shù)據(jù)在上海城市綜合交通管理中的應用 以遙感用地數(shù)據(jù)挖掘為主，輔以建造量信息統(tǒng)計，獲得現(xiàn)狀上海用地以遙感用地數(shù)據(jù)挖掘為主，輔以建造量信息統(tǒng)計，獲得現(xiàn)狀上海用地開發(fā)類型、分布及用地強度等指標，并反映歷史演變趨勢。開發(fā)類型、分布及用地強度等指標，并反映歷史演變趨勢。1、城市用地基本情況2008-2013新增建設用地2008年底建設用地全市全市20132013年建設用地年建設用地29182918平方公里，平方公里，較較0808年年增加220km220km2 2，增幅為8%8%居住用地占36.2%36.2%，工業(yè)及物流用地占

12、30%30%，公共與商業(yè)用地占10.0%10.0%建設用地中建設用地中： 全市全市建筑量建筑量11.611.6億平方米，較億平方米，較0808年新增年新增3.43.4億平方米。住宅億平方米。住宅建筑量占新增建筑量的建筑量占新增建筑量的43%43%，近近八成八成增加增加在中心區(qū)在中心區(qū)外。外。商業(yè)行政商務辦公商業(yè)行政商務辦公建筑占新增建筑量的建筑占新增建筑量的16%16%，近七近七成增加在中心城。成增加在中心城。20132013全市居住建筑全市居住建筑密度密度20132013年全市非居建筑密度年全市非居建筑密度2、城市人口分布充分利用充分利用手機手機信令數(shù)據(jù)，信令數(shù)據(jù)，是校核調(diào)查期實有人口分布的

13、重要依據(jù)。是校核調(diào)查期實有人口分布的重要依據(jù)。地帶地帶夜間手機人口數(shù)（萬人）夜間手機人口數(shù)（萬人） 夜間手機人口比例夜間手機人口比例中心區(qū)浦西中心區(qū)浦西134.2 11.4%中心區(qū)浦東中心區(qū)浦東27.4 2.3%中心區(qū)小計中心區(qū)小計161.6 13.7%外圍區(qū)浦西外圍區(qū)浦西279.0 23.7%外圍區(qū)浦東外圍區(qū)浦東120.0 10.2%外圍區(qū)小計外圍區(qū)小計399.0 33.9%中心城合計中心城合計560.6 47.7%近郊區(qū)近郊區(qū)267.2 22.7%遠郊區(qū)遠郊區(qū)348.6 29.6%合計合計1176.4 100.0%20142014年年夜間手機人口地帶分布比例夜間手機人口地帶分布比例3、人員

14、出行特征 手機手機數(shù)據(jù)挖掘數(shù)據(jù)挖掘成果是校核職住分布的重要依據(jù)。另外，綜合手機信令、成果是校核職住分布的重要依據(jù)。另外，綜合手機信令、出租車出租車GPSGPS、中心城快速路線圈、軌道閘機數(shù)據(jù)反映潮汐交通特征。、中心城快速路線圈、軌道閘機數(shù)據(jù)反映潮汐交通特征。陸家嘴區(qū)域人流來向分布陸家嘴區(qū)域人流來向分布人民廣場區(qū)域人流來向分布人民廣場區(qū)域人流來向分布中心城浦西：41% 中心城浦東：50%郊區(qū)：9%中心城浦西：77% 中心城浦東：14%郊區(qū)：9%職住等剛性出行需求的平均出行距離約為職住等剛性出行需求的平均出行距離約為 公里，公里，90%90%的出行在的出行在 公里以內(nèi)。公里以內(nèi)。早高峰軌道交通（流

15、量）進：出進：出2 ：1早高峰道路交通（車速）進：出進：出0.6：1早高峰進出內(nèi)環(huán)手機用戶數(shù)進：出進：出1.5 ：1內(nèi)環(huán)線的潮汐交通現(xiàn)象最為明顯，內(nèi)環(huán)線、中環(huán)線、外環(huán)線早高峰以入城客流為主中心城周邊與遠郊連接區(qū)域出城方向客流略高蘇州河潮汐交通明顯，以北向南客流為主黃浦江潮汐交通不明顯，浦東至浦西客流略高。4、小客車實有規(guī)模大類小類統(tǒng)計量（輛）道口系統(tǒng)采集的長期在滬的外牌小型車1、僅在郊區(qū)出行（未在中心城出行）11萬2、在中心城快速路出行95萬 交強險3、未在道口和中心城快速路出行的車輛6萬總計112萬小客車（88%）98萬根據(jù)收費流量數(shù)據(jù)，小型車中小客車與小貨車的比值為88%:12% 經(jīng)本次調(diào)

16、查檢驗，基于車牌識別數(shù)據(jù)挖掘是今后調(diào)查小客車實有規(guī)模的主經(jīng)本次調(diào)查檢驗，基于車牌識別數(shù)據(jù)挖掘是今后調(diào)查小客車實有規(guī)模的主要手段。經(jīng)要手段。經(jīng)綜合推算綜合推算，20142014年年長期在滬使用的外牌小客車規(guī)模約為長期在滬使用的外牌小客車規(guī)模約為9898萬輛。萬輛。5、道路交通車流特征 充分挖掘線圈、車牌識別、出租車充分挖掘線圈、車牌識別、出租車GPSGPS和高速公路收費數(shù)據(jù)反映道路交通和高速公路收費數(shù)據(jù)反映道路交通車流特征，是調(diào)查道路交通運行狀況的主要手段，與人工調(diào)查相互補充。車流特征，是調(diào)查道路交通運行狀況的主要手段，與人工調(diào)查相互補充。外牌車輛滬牌車輛早高峰高架道路運行車速內(nèi)環(huán)線： 23%

17、30%全天午間平峰中環(huán)線： 29% 40%南北高架：22% 31%延安高架：17% 23%逸仙高架：24% 32%滬閔高架：23% 32%p 中心城快速路（不含外環(huán)線）工作日外牌車輛比例全天占25%，午間平峰占32%p 高峰進一步向午后和早晨延長15.0 15.0 19.2 19.2 12.6 12.6 13.9 13.9 16.6 16.6 22.9 22.9 11.8 11.8 15.5 15.5 0.0 5.0 10.0 15.0 20.0 25.0 浦東內(nèi)環(huán)內(nèi)浦東內(nèi)外環(huán)浦西內(nèi)環(huán)內(nèi)浦西內(nèi)外環(huán)浦東內(nèi)環(huán)內(nèi)浦東內(nèi)外環(huán)浦西內(nèi)環(huán)內(nèi)浦西內(nèi)外環(huán)早高峰晚高峰地面道路區(qū)域工作日擁堵頻率地面干道工作日平均車

18、速空間分布p 分區(qū)域地面干道高峰運行狀況保持穩(wěn)定，但放射性干道服務水平有所下降，與2013年同比下下降降6%-16%6%-16%。p 地面道路擁堵區(qū)域數(shù)增加明顯。按照信息中心在中心城區(qū)劃分68個區(qū)域，有1515個區(qū)域個區(qū)域全年超過100100個工作日擁堵個工作日擁堵。p 2014年9月工作日均高速公路駛出量約為90萬車次，與2011年相比，年均增長10萬車次。p 新城范圍內(nèi)，工作日松江新城和青浦新城高速公路出入口車流增長最為明顯，在25%-30%左右。工作日高速入口流量增長比例（ 2014/2011年）工作日高速公路流量分布圖6、公共交通客流特征 基于基于軌道閘機數(shù)據(jù)，并運用軌道交通模型平臺進行分析，反映軌道交通的客流分布及運行狀軌道閘機數(shù)據(jù)，并運用軌道交通模型平臺進行分析，反映軌道交通的客流分布及運行狀況。利用手機信令挖掘反映軌道系統(tǒng)內(nèi)部客流的換乘特征。充分挖掘交通一卡通數(shù)據(jù)，反映公共況。利用手機信令挖掘反映軌道系統(tǒng)內(nèi)部客流的換乘特征。充分挖掘交通一卡通數(shù)據(jù)，反映公共交通方式間的換乘特征，是校核軌道交通接駁方式結(jié)構(gòu)，地面公交內(nèi)部換乘率的重要手段。交通方式間的換乘特征，是校核軌道交通接駁方式結(jié)構(gòu)，地