數(shù)學(xué)分析 第一課_簡介.pdf

交通數(shù)據(jù)處理與分析技術(shù) 邵長橋 第一章 概述 我們的問題 數(shù)據(jù) A數(shù)據(jù) A 數(shù)據(jù) B數(shù)據(jù) B 怎么進(jìn) 行數(shù)據(jù) 分析 在日?？蒲谢顒又?我們是不是曾經(jīng)有過這樣 的困惑 分析目的是什 么 分析結(jié)果怎么 解釋 1 數(shù)據(jù)與信息 1 數(shù)據(jù)與信息的區(qū)別和聯(lián)系 數(shù)據(jù)定義 信息的定義 數(shù)據(jù)與信息的聯(lián)系與區(qū)別 2 交通數(shù)據(jù)處理與交通信息 數(shù)據(jù) 數(shù)據(jù) 對事實(shí) 概念或指令的一種特殊表達(dá)形式 約定的符號 能夠被人工或自動化裝置處理 獲取數(shù)據(jù) 測量 實(shí)驗(yàn) 調(diào)查 數(shù)據(jù)類型 字符 圖片 圖像 動畫 聲音 這是一個廣義的定義 信息 信息 有用的 能夠影響人的行為的 數(shù)據(jù) 信息要具備兩個條件 可以傳遞 能被通信雙方所理解 獲取信息 消息 知識 加工 數(shù)據(jù) 信息處理 分類 比較 運(yùn)算 推理等 信源編碼 信道 解碼信宿 反饋 干擾 Shannon的信息傳播理論 信息與數(shù)據(jù)區(qū)別和聯(lián)系 信息是一種 數(shù)據(jù) 數(shù)據(jù)挖掘信息挖掘 數(shù)據(jù)融合信息融合 信息是數(shù)據(jù)的一種抽象和概括 數(shù)據(jù)也可以看作一種信息 但只有加工處理后的數(shù)據(jù) 其中 蘊(yùn)含的信息才能容易被識別和揭示 獲取信息的一種途徑 對數(shù)據(jù)進(jìn)行加工處理和概括 交通數(shù)據(jù)與信息 交通數(shù)據(jù) 與交通行為有關(guān)的一切數(shù)據(jù)都可以納入交通數(shù)據(jù) 的范疇 交通數(shù)據(jù)中往往含有一定的信息 這些信息可以是 交通流自身運(yùn)行的特征和規(guī)律 也可以是人們的交 通行為或經(jīng)濟(jì)行為在交通活動中的反應(yīng) 因此 通過交通數(shù)據(jù)處理和分析可以挖掘出交通運(yùn) 行的信息 人們行為和交通系統(tǒng)的互動關(guān)系 2 交通工程中數(shù)據(jù)分析的目的 直接目的 1 交通信息 獲取 2 交通預(yù)測 最終目的 為交通規(guī)劃 交通管理和交通決策服務(wù) 1 交通信息分析 獲取 交通信息分析一般是通過對交通因素或影響交通的其他 因素進(jìn)行分析 為道路使用者和交通管理部門提供交 通 道路等方面的信息 為交通規(guī)劃 管理和決策服務(wù) 例如 通過分析某路段上車輛 自由 行駛速度分布特征 如 85 位車 速 確定限速值 分析交叉口事故發(fā)生的主要影響因素 通過改善措施或管理措施 來減少事故發(fā)生率 通過分析城市中出租車運(yùn)行特性 發(fā)現(xiàn)其中存在問題 制定相應(yīng)管 理措施 信息獲取手段 工具 描述性分析 通過簡單的匯總和處理得到交通 變量分布特征 如反映總體水平的均值 中位 數(shù) 反映分散程度的方差 標(biāo)準(zhǔn)差 聚類分析 把具有相同 近 屬性的交通因素 歸為一類 例如根據(jù)車輛在運(yùn)行過程中對交通 流的影響 進(jìn)行聚類分析 提出了當(dāng)量車概念 相關(guān)性分析 分析多個交通因素之間相互影響 關(guān)系 探尋其中是否存在因果關(guān)系 2 預(yù)測 因果關(guān)系分析 通過分析交通變量之間的因果關(guān)系 通過控制 因 來預(yù)測 果 常見的方法有 回歸分析法 趨勢預(yù)測等 時間序列分析 交通是動態(tài)的 通過時間序列分析 可以發(fā)現(xiàn)交通因素隨 時間變化特性 來預(yù)測未來某天某個時段交通狀況 交通預(yù)測 顧名思義就是預(yù)測將來交通狀態(tài) 這也可以看作是數(shù)據(jù)分 析在交通工程中的應(yīng)用 交通預(yù)測技術(shù)有許多種 除了回歸預(yù)測方法和時間序列方 法外 還有離散選擇模型等方法 以上幾種分析目的是泛泛而談的 但對一個具體的問題 進(jìn)行數(shù)據(jù)分析是應(yīng) 該有著明確的目的的 3 數(shù)據(jù)分析的任務(wù) 目的驅(qū)使下的數(shù)據(jù)分析 很多情況下的數(shù)據(jù)分析是在明確了研究目的的 情況下進(jìn)行的 例如 在進(jìn)行數(shù)據(jù)調(diào)查之前 就已經(jīng)明確了研究目的 從而調(diào)查的數(shù)據(jù)是圍 繞著研究目的 是否支持你的結(jié)論 進(jìn)行的 數(shù)據(jù)分析也是在此目的驅(qū)使下進(jìn)行的 數(shù)據(jù)調(diào)查之前要想到數(shù)據(jù)如何分析 數(shù)據(jù)分析 要考慮到數(shù)據(jù)是如何調(diào)查的 目的 不明確 的數(shù)據(jù)分析 探索性數(shù)據(jù)分析 該類分析就是 用數(shù)據(jù)說話 在分析 之前沒有明確的結(jié)論 但探索性數(shù)據(jù)分析 可以為進(jìn) 一步用數(shù)學(xué)模型分析奠定基礎(chǔ) 指明方向 分析任務(wù)可以分為以下幾種 1 分析變量的分布和變化特征 探索性分析 如對北京居民出行OD的分析 如分析北京市機(jī)動車發(fā)展趨勢 2 分析變量之間的關(guān)系 如交通三參數(shù)之間的關(guān)系 旅行時間和交通量 道路幾何條件之間的關(guān)系 交通需求與社會經(jīng)濟(jì)等之間的關(guān)系 3 以恰當(dāng)?shù)姆绞襟w現(xiàn)信息 解釋或表達(dá)出數(shù)據(jù)中含有的信息 4 應(yīng)用信息 制定規(guī)劃方案 制定管理措施等 制定規(guī)范 4 數(shù)據(jù)分析中的幾個問題 1 數(shù)據(jù)類型 定性變量 屬性變量 數(shù)值性變量 2 數(shù)據(jù)質(zhì)量 噪音 污染 錯誤 缺失 數(shù)據(jù)類型 data type 根據(jù)數(shù)據(jù)屬性 名義型的 nominal 如設(shè)備ID 車道位置 沒有實(shí)際上的數(shù)據(jù)大小含義 可用于表示一種偏好或選擇 數(shù)值型的 numerical 速度 流量等 順序型的 order 大 中 小等 表示序列 等級 數(shù)據(jù)定義 對事實(shí) 概念或指令的一種特殊表達(dá)形式 設(shè)備ID 號地點(diǎn) 車道 位置 開始時 間結(jié)束時間流量速度路面 2048 衛(wèi)昆 橋207 00 07 05 43 042 mphDry 2048 衛(wèi)昆 橋207 01 07 10 29 039 mphDry 2048 衛(wèi)昆 橋207 02 07 11 48 040 mphDry 2048 衛(wèi)昆 橋207 03 07 12 37 044 mphDry 2048 衛(wèi)昆 橋207 04 07 13 47 041 mphDry 2048 衛(wèi)昆 橋207 05 07 14 40 042 mphDry 數(shù)據(jù)類型對數(shù)據(jù)分析的影響 1 不同的數(shù)據(jù)類型 其分析方法是不一樣的 屬性變量分析方法 離散數(shù)據(jù)分析 如可以求分布 但其均值 方差等統(tǒng)計量沒有實(shí)際意 義 數(shù)值性變量分析方法 一般數(shù)據(jù)分析 可求均值 方差等 2 屬性變量一般采用重新定義的方法 3 數(shù)據(jù)變量可以根據(jù)需要采用數(shù)據(jù)變換的方法 數(shù)據(jù)質(zhì)量 data quality 噪音 noise 各種干擾等引起的數(shù)據(jù)和真實(shí)值 有偏差 錯誤 人為或儀器故障 污染 數(shù)據(jù)異常outlier 缺失 missing value 0 50 100 150 200 250 300異常 值 噪聲 5 數(shù)據(jù)予處理 數(shù)據(jù)予處理 去污 data cleaning 缺失值 異常值 噪音 數(shù)據(jù)整合 數(shù)據(jù)可能來自不同的統(tǒng)計資料 冗余處理 剔除重復(fù)或多余信息 數(shù)據(jù)變換 數(shù)據(jù)清理 data cleaning 缺失值 缺失值 missing value 缺失數(shù)據(jù)模式 單一變量缺失 聯(lián)合觀測變量中 某個或某些變量觀測值缺失 數(shù)據(jù)缺失機(jī)制 完全隨機(jī)缺失 缺失部分不依賴于觀測部分 不完全隨機(jī)缺失 缺失值的處理 忽略缺失記錄 完全隨機(jī)缺失情況下 忽略缺失記錄 不完全隨機(jī)缺失情況下 如果觀測樣本足夠大 對于有少量缺失數(shù)據(jù)的情況下 可以忽略缺失記 錄 填充方法 填充的方法就是對確實(shí)部分用一定的數(shù)值補(bǔ) 充上 對于填充方法很多 但一般常用估計 值 或預(yù)測值 代替 對于時間序列數(shù)據(jù) 常用其鄰近幾個觀測值 的平均值填充 例如用前后鄰近平均值 對于多元變量的情況 常用回歸預(yù)測值填充 2 11 ii i xx x 數(shù)據(jù)清理 data cleaning 異常值 異常值 outlier 定義 不一致 inconsistence 不和諧 離群 異常值的診斷 圖形法 趨勢圖 散點(diǎn)圖 殘差圖等 概率判別法 80 0 1 2 3 4 5 6 7 020406080100120140 x Y 0 50 100 150 200 250 300 時間序列 圖形法 直接觀測異常點(diǎn)的情況 散點(diǎn)圖法 概率方法 假設(shè)是來自正態(tài)分布的一組觀測值 或檢測法 T 檢驗(yàn)法 05 0 2 0 SuxP 2 3 x n S xx K 1 003 0 3 0 SuxP n XXX 21 L 其他方法 箱形圖法 異常值的處理 方法和缺失值處理相同 數(shù)據(jù)變換 為什么要數(shù)據(jù)變換 數(shù)據(jù)不能直接滿足分析的需要 數(shù)據(jù)不具有對稱性 對數(shù)據(jù)擬合的簡單模型含有大而偶然的方差 數(shù)據(jù)不能滿足分析方法 如方差分析中的正態(tài) 性假設(shè) 為具有穩(wěn)定的方差 多元回歸分析為例 為直線性變換 解釋更容易 容易檢測出對于擬合的偏離 容易內(nèi)插和外推 例如 增強(qiáng)可解釋性 例如 多元線性回歸分析中的標(biāo)準(zhǔn)化變化 通過標(biāo)準(zhǔn)化變化 可以分析出每個自變量對因 變量的影響的大小 消除自變量量綱的影 響 例如 影響一個家庭出行次數(shù)的變量有收 入 年齡和家庭人口等 顯然這些變量的 測量單位是不一樣的 為了比較不同的變 量對出行次數(shù)的影響程度 則需要消除測 量單位的影響 一個常用方法就是標(biāo)準(zhǔn)化 處理 常用數(shù)據(jù)變換 標(biāo)準(zhǔn)化 對數(shù)變化 其他變換 冪變換 指數(shù)變換 ii xxln x i i s xx x 常用正態(tài)性變換方法 1 觀察值為計數(shù)數(shù)據(jù) 其可能服從泊松分布 可考慮平方根變換 或 或 XZ 1 XZ 5 0 XZ 2 觀察值為比值時 其分子部分可能服 從二項(xiàng)分布 此時可以考慮反正弦變換 XZarcsin 3 觀察值服從對數(shù)正態(tài)分布 可用對數(shù)變 換 XZln 補(bǔ)充 數(shù)據(jù)精確要求 保留小數(shù) 名稱單位保留小數(shù) 位數(shù) 輛 h0 輛 m1 輛 s2 km h0 m min2 密度輛 km1 車頭時 距 s2 速度 交通量 小結(jié) 主要介紹了以下幾個內(nèi)容 在數(shù)據(jù)分析之前 要明白分析的目的 是描述 性分析 還是預(yù)測性分析 明確分析類型 數(shù)據(jù) 是單個變量 還是多 個變量 是時間序列變量還是其他 數(shù)據(jù)予處理 不要忽略背景分析 選擇分析方法 應(yīng)用SPSS分析數(shù)據(jù) 目的 結(jié)合所講課程 簡單介紹部分應(yīng)用 希望拋磚引 玉 大家自己學(xué)習(xí)應(yīng)用SPSS軟件 只講解部分內(nèi)容 結(jié)合了SPSS 因此 介紹的是 片面的 相關(guān)內(nèi)容大家自己課下自己嘗試 打開已有數(shù)據(jù)文件 新建數(shù)據(jù)文件 在File 下拉菜單里選擇 新建 可得到上圖顯示 然 后 單擊 Variable View 在Variable view 中輸入要定義變量的名字 數(shù)值類型中選 擇輸入變量類型 數(shù)值型或字符型等