半?yún)?shù)核估計(jì)理論及應(yīng)用

1、 本科畢業(yè)論文（設(shè)計(jì)）題目： 半?yún)?shù)核估計(jì)理論及應(yīng)用 姓 名： 高華 學(xué)號(hào)： 20111114487 院（系）： 信工學(xué)院 專業(yè)： 測(cè)繪工程 指導(dǎo)教師： 梁新美 職稱： 教授 評(píng) 閱 人： 潘 雄 職稱： 教授 2015 年 02 月學(xué)位論文原創(chuàng)性聲明本人鄭重聲明：所呈交的論文是本人在導(dǎo)師的指導(dǎo)下獨(dú)立進(jìn)行研究所取得的研究成果。除了文中特別加以標(biāo)注引用的內(nèi)容外，本論文不包含任何其他個(gè)人或集體已經(jīng)發(fā)表或撰寫的成果作品。本人完全意識(shí)到本聲明的法律后果由本人承擔(dān)。作者簽名： 年 月 日 學(xué)位論文版權(quán)使用授權(quán)書本學(xué)位論文作者完全了解學(xué)校有關(guān)保障、使用學(xué)位論文的規(guī)定，同意學(xué)校保留并向有關(guān)學(xué)位論文管理部門或

2、機(jī)構(gòu)送交論文的復(fù)印件和電子版，允許論文被查閱和借閱。本人授權(quán)省級(jí)優(yōu)秀學(xué)士學(xué)位論文評(píng)選機(jī)構(gòu)將本學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存和匯編本學(xué)位論文。本學(xué)位論文屬于1 保密 ，在_年解密后適用本授權(quán)書。2 不保密 。（請(qǐng)?jiān)谝陨舷鄳?yīng)方框內(nèi)打“”）作者簽名： 年 月 日 導(dǎo)師簽名： 年 月 日 摘 要 現(xiàn)代科學(xué)技術(shù)的飛速發(fā)展，為測(cè)繪科學(xué)提供了一個(gè)良好的發(fā)展機(jī)遇，同時(shí)也對(duì)測(cè)繪科學(xué)提出了更高的要求。首先由于現(xiàn)代測(cè)量?jī)x器發(fā)展和觀測(cè)數(shù)據(jù)的復(fù)雜性，測(cè)繪學(xué)界對(duì)測(cè)量數(shù)據(jù)處理的精度要求越來越高,但是整個(gè)測(cè)量平差系統(tǒng)是由眾多因素共同確定的，其中一些影響因素與觀測(cè)值函數(shù)關(guān)

3、系并不明確，得到的一些復(fù)雜的觀測(cè)數(shù)據(jù)導(dǎo)致經(jīng)典最小二乘準(zhǔn)則失效，最終導(dǎo)致沒有明確了解的觀測(cè)值部分系統(tǒng)誤差影響無法消除等。半?yún)?shù)模型包含一個(gè)參數(shù)分量和一個(gè)非參數(shù)分量，對(duì)于與觀測(cè)值函數(shù)關(guān)系已知部分的參數(shù)采取與最小二乘估計(jì)類似的方法，即將這部分參數(shù)完全參數(shù)化；對(duì)于函數(shù)關(guān)系未知或難以用函數(shù)關(guān)系表達(dá)的因素不采用任何具體函數(shù)表達(dá)，而是采用抽象的函數(shù)給與表達(dá)，即事先不規(guī)定具體函數(shù)形式，其函數(shù)關(guān)系形式可以任意的，具體應(yīng)用時(shí)，根據(jù)實(shí)際情況不同構(gòu)造不同函數(shù)，其可以克服參數(shù)和非參數(shù)模型表達(dá)不完善的部分，彌補(bǔ)了參數(shù)模型和非參數(shù)模型的不足，能夠解決許多的實(shí)際問題，具有更強(qiáng)的模型解釋能力和適應(yīng)能力。大量的研究表明半?yún)?shù)模型

4、在處理觀測(cè)量與待估參數(shù)之間的復(fù)雜關(guān)系時(shí)有很明顯的優(yōu)點(diǎn)，因此在很多領(lǐng)域得到了研究與應(yīng)用。半?yún)?shù)模型估計(jì)能夠很好的處理系統(tǒng)誤差和粗差，并且能分離出系統(tǒng)誤差和粗差，提供更加可靠的解算成果。半?yún)?shù)核估計(jì)包括偏核光滑估計(jì)、偏殘差估計(jì)、近鄰核估計(jì)、最小二乘核估計(jì)以及N-W核估計(jì)等。本文主要研究半?yún)?shù)的最小二乘核估計(jì)和偏核光滑估計(jì)，通過解算其參數(shù)分量和非參數(shù)分量及推導(dǎo)其期望、偏差、方差及均方誤差等統(tǒng)計(jì)性質(zhì)，研究窗寬參數(shù)的選取，并通過模擬算例證明和對(duì)比最小二乘核估計(jì)和偏核光滑估計(jì)各自在參數(shù)和非參數(shù)分量估計(jì)以及估計(jì)系統(tǒng)誤差等方面的有效性和可行性,并將半?yún)?shù)核估計(jì)應(yīng)用到平面坐標(biāo)轉(zhuǎn)換中。本論文共分為五章，第一章緒論

5、主要闡述了半?yún)?shù)模型在統(tǒng)計(jì)領(lǐng)域的研究現(xiàn)狀及半?yún)?shù)回歸模型在測(cè)量數(shù)據(jù)處理應(yīng)用的兩種主要方法：補(bǔ)償最小二乘法和基于外延預(yù)測(cè)預(yù)測(cè)的核估計(jì)；著重介紹了半?yún)?shù)核估計(jì)理論方面的國(guó)內(nèi)國(guó)外研究現(xiàn)以及本文研究的內(nèi)容。半?yún)?shù)核估計(jì)包括偏核光滑估計(jì)、偏殘差估計(jì)、近鄰核估計(jì)、最小二乘核估計(jì)以及N-W核估計(jì)等，本文主要研究半?yún)?shù)最小二乘法和偏核光滑估計(jì)法。第二章主要研究半?yún)?shù)核估計(jì)的理論，包括核權(quán)函數(shù)和核函數(shù)的選取問題；介紹了核估計(jì)的兩種方法，即最小二乘核估計(jì)和偏核光滑估計(jì)，分析了這兩種方法的各自特點(diǎn)，并解算了其參數(shù)和非參數(shù)分量；同時(shí)討論了窗寬參數(shù)在核估計(jì)中的重要作用，在小樣本估計(jì)中，樣本的大小，核函數(shù)的選取以及窗寬參

6、數(shù)共同決定了核估計(jì)性能的好壞。第三章主要是推導(dǎo)了半?yún)?shù)核估計(jì)量（即參數(shù)分量和非參數(shù)分量）的統(tǒng)計(jì)性質(zhì)，其估計(jì)性質(zhì)包括期望、方差、偏差、均方誤差。同時(shí)也討論了窗寬參數(shù)的選取問題，窗寬參數(shù)是一個(gè)非常重要的光滑參數(shù)，它對(duì)曲線的擬合程度和光滑程度起平衡作用，實(shí)際上是起到一個(gè)平滑因子的角色，它的選擇好壞對(duì)估計(jì)量的性質(zhì)影響很大。窗寬越小，則核估計(jì)的偏差越小，但估計(jì)的方差卻越大。在窗寬參數(shù)的選取中，討論了最小均方誤差法和經(jīng)典的CV和GCV法等等。窗寬的變化，不可能使核估計(jì)的偏差和方差同時(shí)變小。因此，最佳窗寬選擇的標(biāo)準(zhǔn)必須在核估計(jì)的偏差和方差之間進(jìn)行權(quán)衡。第四章對(duì)測(cè)量誤差進(jìn)行了概述，介紹了系統(tǒng)誤差相關(guān)特性。通過

7、模擬算例證明半?yún)?shù)核估計(jì)在估計(jì)參數(shù)分量，剔除粗差和分離系統(tǒng)誤差方面的可行性，通過半?yún)?shù)核估計(jì)可明顯提高估計(jì)效果。將半?yún)?shù)核估計(jì)理論應(yīng)用到平面坐標(biāo)轉(zhuǎn)換，此前，并未有過用核估計(jì)進(jìn)行坐標(biāo)轉(zhuǎn)換，本章通過實(shí)際算例證明了核估計(jì)在高低精度坐標(biāo)系轉(zhuǎn)換之間可以消除系統(tǒng)誤差，取得較高精度。關(guān)鍵詞：半?yún)?shù)模型，核估計(jì)，統(tǒng)計(jì)性質(zhì)，系統(tǒng)誤差，坐標(biāo)轉(zhuǎn)換AbstractThe rapid development of modern science and technology not only provides a good opportunity for the development of surveying and

8、mapping science, but also a higher requirement on Surveying and Mapping .First, as the development of modern measuring instruments and the complexity of observational data ,the precision of the measurement data processing becomes increasingly demanding, but the entire survey adjustment system is det

9、ermined by numerous factors, some of which affect the observation function not clearly.The complex observational data lead classical least squares criterion to failure, resulting in some systematic error can not be eliminated and so on. Semi-parametric model contains a parameter component and a non-

10、parametric component, for a function with the observed values of the parameters of the known part of the pre-squares estimation taken a similar approach, some parameters about which fully parameterized; For the function is unknown or difficult to use the function relationship factor expression expre

11、ssion does not use any specific function, instead of using abstract functions give expression, that does not require prior specific functional form, which can be any function of the form, the specific application, different configurations according to the actual situation of different functions, and

12、 its can overcome the parametric and non-parametric models expressing the imperfect parts, make up the parameters of the model and the lack of non-parametric model that can solve many practical problems, with more models to explain and adaptability. Numerous studies indicate that semi-parametric mod

13、el in dealing with the concept of measurement parameters to be estimated when the complex relationship between the obvious advantages, so in many fields research and application. Semi-parametric estimation model can well handle system errors and outliers, and can be isolated from system errors and g

14、ross errors, provide more reliable solver results.Semi-parametric kernel estimation including migraine kernel smooth estimation, partial residuals estimated neighbor kernel estimation, least squares estimation and NW kernel kernel estimation. This paper studies the migraine kernel smooth estimation

15、and least squares estimation, solves parametric component and non-parametric components, derives their expectations, deviation, variance and mean square error,discuss the problem of window width parameter selection , find the model scope;and through simulations and comparative examples demonstrate t

16、hat kernel smooth estimation and least squares estimation is effective and feasible in parametric and non-parametric estimation,namely we can estimate the system error. The thesis is divided into five chapters, first chapter mainly describes the research of semi-parametric models in the field of sta

17、tistics and two methods that semi-parametric regression model applies in the measurement data processing: Compensation based on least squares method and the epitaxial Forecast Forecast kernel estimation; highlights the semi-parametric estimation theoretical aspects of kernel research at home and abr

18、oad ,and the contents of this paper are: semi-parametric kernel estimation including migraine kernel smooth estimation, partial residuals estimated neighbor kernel estimation, least squares estimation and NW kernel estimation, this paper mainly studies migraine kernel smooth estimation and least squ

19、ares estimation. The second chapter studies the theory of semi-parametric kernel estimation.including kernel weight functions and kernel function selection roduces two kernel estimation method, namely migraine kernel smooth estimation and least squares estimation,analysis of the character

20、istics of each of these two methods,and extract forget their parametric and nonparametric component.in a small sample estimates, the sample size, the selection of kernel function and window width parameters together determine the kernel estimation performance quality.Finally, numerical examples demo

21、nstrates that the component parameters of two methods is correct and we compare the result. The third chapter is to derive a semi-parametric kernel estimation (parametric and non-parametric component component) of the statistical properties, according to which We can infer the scope of application o

22、f the model.The properties includes its estimated expectation, variance, bias, mean square error. It also discusses the problem of the window width parameter selection, window width is an important parameter smoothing parameter, It Plays a balancing role on the degree of curve fitting and smoothness

23、,in fact, it is to play a role as a smoothing factor,that it is good or not influences the properties of the estimation,.The smaller Window width is, the smaller the kernel estimation bias is, but the greater estimates of the variance is. In the window width parameter selection, we discuss minimum m

24、ean square error method and classic GCV method and so on.When window width changes, it is impossible to make kernel estimation bias and variance simultaneously smaller. Therefore, the optimal window width selection criteria must be balanced in the kernel trade-off between bias and variance. This cha

25、pter provides an overview of the measurement error and introduces the related characteristics of systematic errors . Through simulation examples and examples of measurements, it Proves that semi-parametric kernel estimation is feasible in removing outliers and separating system errors.applying the s

26、emi-parametric kernel estimation theory to the gravity measurements,through the practical examples given in this chapter, we prove that kernel estimation is effective in Coordinate transformation.KeyWords: Semi-parametric model, Kernel estimation,Statistical properties,Systematic errors, Coordinate

27、transformation目錄第一章 緒論1§1.1 引言1§1.2 半?yún)?shù)核估計(jì)理論應(yīng)用研究現(xiàn)狀5第二章 半?yún)?shù)核估計(jì)方法7§2.1 半?yún)?shù)核估計(jì)理論7§2.2 最小二乘核估計(jì)10§2.3 半?yún)?shù)偏核光滑估計(jì)11第三章 估計(jì)量的統(tǒng)計(jì)性質(zhì)和窗寬參數(shù)的選取13§3.1 最小二乘核估計(jì)估計(jì)量的性質(zhì)13§3.2 半?yún)?shù)偏核光滑估計(jì)量的性質(zhì)16§3.3 半?yún)?shù)核估計(jì)中窗寬參數(shù)的選取193.3.1 最小均方誤差法193.3.2 CV和GCV法19第四章 算例分析21§4.1 模擬算例21§4.2 在坐標(biāo)

28、系換算中的應(yīng)用25第五章 結(jié)論與展望27致謝28參考文獻(xiàn)29302013.6 中國(guó)地質(zhì)大學(xué)（武漢）學(xué)士學(xué)位論文 第一章 緒論§1.1 引言 半?yún)?shù)模型是八十年代發(fā)展起來的一種重要的統(tǒng)計(jì)模型，它既含有參數(shù)分量，描述了觀測(cè)量中已知函數(shù)關(guān)系；又包含有非參數(shù)分量，用來表示函數(shù)關(guān)系中未知的的系統(tǒng)誤差和模型偏差，因此可以概括和描述眾多實(shí)際問題，因而引起測(cè)繪界的廣泛關(guān)注；在統(tǒng)計(jì)領(lǐng)域中，處理數(shù)據(jù)的半?yún)?shù)模型是將我們常用的參數(shù)回歸模型和非參數(shù)回歸模型結(jié)合在一起，這樣就為我們求解系統(tǒng)誤差或者模型誤差提供了思路，但它并不僅僅是這兩種模型的疊加，半?yún)?shù)模型比一般的回歸模型都更為復(fù)雜，其解算也更加困難。所以，

29、半?yún)?shù)模型在測(cè)繪領(lǐng)域是一種既有用又充滿挑戰(zhàn)性的理論。目前，一些學(xué)者對(duì)半?yún)?shù)模型已經(jīng)做了一些研究，并取得了一定的成果：Engle1，Green&Silverman（1994）2，Heckman（1986）3等人對(duì)樣條光滑估計(jì)的內(nèi)容做了研究；Robinson(1988)對(duì)基于半?yún)?shù)的回歸模型做了深入探討；在此基礎(chǔ)上Severini&Staniswalis（1994）4、Härdle,Mammen&Müller（1998）5等學(xué)者對(duì)廣義的半?yún)?shù)回歸模型做了研究；Eubank（1990）7對(duì)于半?yún)?shù)模型中的三角級(jí)數(shù)估計(jì)法做了研究；由David等學(xué)者編著的書S

30、emi-paremetric Regression對(duì)半?yún)?shù)回歸模型做了詳細(xì)介紹；還有一些學(xué)者對(duì)基于大樣本的半?yún)?shù)模型中的分量性質(zhì)做了深入研究。我國(guó)對(duì)于半?yún)?shù)回歸的研究，主要在統(tǒng)計(jì)領(lǐng)域內(nèi)，其中主要研究?jī)?nèi)容包括：洪圣巖13對(duì)于半?yún)?shù)回歸模型中的一系列估計(jì)理論做了研究；柴根象和孫平14對(duì)于大樣本估計(jì)的性質(zhì)和半?yún)?shù)中估計(jì)量的性質(zhì)做了研究；朱仲義（1999）15用統(tǒng)計(jì)的方法對(duì)于半?yún)?shù)非線性模型做了系統(tǒng)的研究；曾林蕊（2004）18對(duì)廣義的半?yún)?shù)模型中的統(tǒng)計(jì)診斷方法做了研究；其中，柴根象、洪圣巖（1995）17的著作-半?yún)?shù)回歸模型對(duì)于半?yún)?shù)中的理論與方法做了系統(tǒng)的介紹和研究?；诎?yún)?shù)模型較于參數(shù)模型和

31、非參數(shù)模型不可替代的優(yōu)點(diǎn)，半?yún)?shù)模型近幾年來被廣泛地運(yùn)用到工業(yè)、農(nóng)業(yè)、經(jīng)濟(jì)、醫(yī)藥、金融等各種不同領(lǐng)域：基于半?yún)?shù)統(tǒng)計(jì)模型的中長(zhǎng)期電量負(fù)荷預(yù)測(cè)應(yīng)用，中外股票市場(chǎng)聯(lián)動(dòng)性的非參數(shù)與半?yún)?shù)建模研究，中國(guó)人口預(yù)測(cè)的具有外生變量的半?yún)?shù)回歸模型等。從以上內(nèi)容分析可以看出,對(duì)于半?yún)?shù)回歸模型國(guó)內(nèi)外的研究主要有以下幾個(gè)方面：一、在模型基礎(chǔ)上，研究各種不同方法求解參數(shù)和非參數(shù)的估計(jì)量，以及不同誤差情況下，估計(jì)量的一些大樣本性質(zhì)分析；二、將半?yún)?shù)模型引入到測(cè)量數(shù)據(jù)處理中進(jìn)行參數(shù)估計(jì)處理系統(tǒng)誤差，并有效的探測(cè)粗差；三、在統(tǒng)計(jì)中的應(yīng)用，即將半?yún)?shù)模型引入到CPI的研究中去，分析居民的消費(fèi)結(jié)構(gòu)及分析框架；四、在經(jīng)濟(jì)中的

32、應(yīng)用，半?yún)?shù)模型應(yīng)用于通貨膨脹、商品房?jī)r(jià)格指數(shù)、市場(chǎng)風(fēng)險(xiǎn)度量以及人口預(yù)測(cè)等方面。近些年來學(xué)者將半?yún)?shù)模型應(yīng)用到在測(cè)繪領(lǐng)域，利用半?yún)?shù)回歸模型來解決實(shí)際測(cè)量數(shù)據(jù)中含有系統(tǒng)信號(hào)的問題，與參數(shù)平差模型、非參數(shù)平差模型相比，半?yún)?shù)平差模型能利用其參數(shù)信號(hào)和非參數(shù)信號(hào)解決參數(shù)平差模型、非參數(shù)平差模型等單一解決方法不能解決的實(shí)際問題，并且所得的估計(jì)量效果要好一些。Green、Engle et al和Silverman利用半?yún)?shù)模型相比較參數(shù)模型有明顯的優(yōu)點(diǎn)研究了半?yún)?shù)平差模型在解決觀測(cè)量與待估參數(shù)之間的復(fù)雜關(guān)系；Moritz提出了正則化的數(shù)據(jù)平滑處理方法是為了解決重力測(cè)量問題；在美國(guó)導(dǎo)航協(xié)會(huì)技術(shù)會(huì)議上，M

33、inghaijia（2000）首次提出利用半?yún)?shù)模型中的非參數(shù)分量表示電磁波穿過電離層的系統(tǒng)誤差，分析GPS測(cè)量中的多路徑效應(yīng)的影響等等；陶本藻（1997）23研得出函數(shù)模型誤差和隨機(jī)模型誤差之間是可以相互轉(zhuǎn)化的，并從理論上研究了模型誤差對(duì)參數(shù)分量的估值是如何影響的；武大測(cè)繪學(xué)院的孫海燕、陶本藻、王新洲、張松林、胡宏昌、丁士俊等人把統(tǒng)計(jì)領(lǐng)域的半?yún)?shù)模型應(yīng)用到測(cè)量數(shù)據(jù)處理中來：孫海燕（2002）24將半?yún)?shù)模型引入到測(cè)量學(xué)界，并研究了半?yún)?shù)平差模型的相關(guān)算法，證明了半?yún)?shù)平差模型能夠發(fā)現(xiàn)并識(shí)別模型誤差或觀測(cè)值中的系統(tǒng)誤差,還進(jìn)一步討論了正規(guī)化矩陣半正定時(shí)的計(jì)算方法；吳云（2003）30利在研究半

34、參數(shù)模型中的參數(shù)估計(jì)時(shí)對(duì)正則化矩陣的求解運(yùn)用了數(shù)學(xué)中的三次樣條函數(shù)；張松林（2003）26在基于最小二乘準(zhǔn)則下對(duì)線性半?yún)?shù)模型的一系列估計(jì)理論做了系統(tǒng)分析，同時(shí)也研究了非線性半?yún)?shù)模型中對(duì)參數(shù)分量的估計(jì)值的求解和推導(dǎo)了參數(shù)分量的統(tǒng)計(jì)性質(zhì)，并將非線性模型運(yùn)用到實(shí)際問題中提取和分離GPS定位中包含的系統(tǒng)誤差；胡宏昌（2004）28對(duì)于半?yún)?shù)模型中的附有系統(tǒng)參數(shù)的平差模型做了深入研究，解算出半?yún)?shù)模型中非參數(shù)分量的結(jié)果并推導(dǎo)其統(tǒng)計(jì)性質(zhì)，對(duì)半?yún)?shù)補(bǔ)償最小二乘法中的關(guān)鍵問題如何選取正則矩陣和光滑因子用做了較為系統(tǒng)的研究；潘雄（2005）27主要研究了半?yún)?shù)補(bǔ)償最小二乘法，計(jì)算出半?yún)?shù)模型中各估計(jì)量的結(jié)果

35、并推導(dǎo)出估計(jì)量統(tǒng)計(jì)性質(zhì)的計(jì)算公式，最后根據(jù)其統(tǒng)計(jì)性質(zhì)判斷出不同平差模型的適用范圍；丁士俊25（2005）在參數(shù)回歸診斷方法的基礎(chǔ)上研究了半?yún)?shù)模型的數(shù)據(jù)診斷方法，提出了穩(wěn)健估計(jì)方法并推算出估計(jì)量的基本公式，同時(shí)探討了半?yún)?shù)平差模型中的廣義最小二乘估計(jì)，提出了抗差廣義補(bǔ)償最小二乘估計(jì)方法，最后將半?yún)?shù)平差模型應(yīng)用到GPS變形分析等問題中；王振杰(2006)29基于不同的正則化參數(shù)和正則化矩陣，對(duì)半?yún)?shù)補(bǔ)償最小二乘法中的不適定問題做了研究。觀測(cè)數(shù)據(jù)是我們進(jìn)行測(cè)繪研究和分析的基礎(chǔ)，然而人們運(yùn)用各種測(cè)量手段得到測(cè)量數(shù)據(jù)，由于觀測(cè)條件、系統(tǒng)誤差、偶然誤差等原因，觀測(cè)結(jié)果與被觀測(cè)量的真實(shí)值產(chǎn)生了差異，這就

36、是測(cè)量中產(chǎn)生的各種誤差，如何提高觀測(cè)數(shù)據(jù)的質(zhì)量和有效地減小測(cè)量中的誤差，最終得到觀測(cè)數(shù)據(jù)的最佳平差值，這是測(cè)量平差中即測(cè)量數(shù)據(jù)處理中，我們所要解決的最重要問題。而我們所用的經(jīng)典平差模型是高斯一馬爾柯夫模型，具體形式如下： 函數(shù)模型： （1-1） 隨機(jī)模型： （1-2）在上述平差模型中，觀測(cè)值只包含參數(shù)分量，表現(xiàn)為參數(shù)分量的線性形式，但是這種平差模型求解有一個(gè)前提條件：觀測(cè)值只含有偶然誤差。在這種理想情況下，偶然誤差的數(shù)學(xué)期望為零，運(yùn)用最小二乘準(zhǔn)則，最終解得參數(shù)分量的解，根據(jù)其統(tǒng)計(jì)性質(zhì)可以驗(yàn)證參數(shù)解的偏差為零，即為無偏估計(jì)量。但是隨著科學(xué)技術(shù)的不斷進(jìn)步與發(fā)展，先進(jìn)的觀測(cè)技術(shù)、精度更高的儀器已經(jīng)應(yīng)

37、用到測(cè)量數(shù)據(jù)采集中，這樣使得所測(cè)數(shù)據(jù)不含有系統(tǒng)誤差或者模型誤差這種理想的情況不存在?？偠灾?，隨著測(cè)量數(shù)據(jù)的復(fù)雜性增加和解算精度要求增高，使得經(jīng)典的平差模型已經(jīng)難以處理現(xiàn)代測(cè)繪數(shù)據(jù)。一是因?yàn)橛绊懹^測(cè)值的因素眾多，往往無法全面得考慮到所有的影響因素；其二是由于參數(shù)與觀測(cè)量的函數(shù)關(guān)系較為復(fù)雜，只是用簡(jiǎn)單的線性模型來對(duì)實(shí)際問題進(jìn)行近似描述往往也是不精確的。最后是隨機(jī)模型也會(huì)產(chǎn)生難以消除的誤差。所以，經(jīng)典的高斯平差模型并沒有從根本上消除觀測(cè)數(shù)據(jù)中的誤差，也沒有從本質(zhì)上區(qū)分系統(tǒng)誤差與粗差，當(dāng)平差模型存在系統(tǒng)誤差或者粗差時(shí)，經(jīng)典平差模型就會(huì)失去處理數(shù)據(jù)的能力。綜上所述，對(duì)不同的平差模型進(jìn)行深入研究，更加精

38、確地解算觀測(cè)量的最佳估值是現(xiàn)代測(cè)量數(shù)據(jù)處理中的基本首要內(nèi)容。對(duì)于較為復(fù)雜的測(cè)量數(shù)據(jù)，一般情況下影響觀測(cè)量的因素可分為兩方面：一部分影響因素與的關(guān)系表現(xiàn)為是己知的線性關(guān)系，并且是觀測(cè)值的主要影響項(xiàng)，最終可以用參數(shù)通過數(shù)學(xué)關(guān)系式或者經(jīng)驗(yàn)來表達(dá)；而另一部分影響因素與的關(guān)系完全是未知的，某些學(xué)者將這些因素作為觀測(cè)量的干擾項(xiàng)來處理，并不是誤差項(xiàng)的一部分。如果運(yùn)用參數(shù)模型處理，則忽略了干擾項(xiàng)；但是若采用非參數(shù)模型處理，又會(huì)失去觀測(cè)值的主要影響項(xiàng)，模型對(duì)實(shí)際問題的描述能力也明顯降低。為了彌補(bǔ)參數(shù)和非參數(shù)模型的各自不足，測(cè)繪學(xué)界又將統(tǒng)計(jì)領(lǐng)域中的偏線性回歸模型引入到測(cè)量數(shù)據(jù)處理中，這就是現(xiàn)在的半?yún)?shù)平差模型，并

39、取得了顯著的研究成果。 半?yún)?shù)回歸模型是統(tǒng)計(jì)領(lǐng)域的一種重要的估計(jì)模型，形式如下，給我們解決上述問題提供了思路： （1-3）上式中：是表示觀測(cè)值函數(shù)關(guān)系中的系統(tǒng)誤差量或者是模型誤差，是關(guān)于參數(shù)個(gè)數(shù)的函數(shù)，由于數(shù)據(jù)來源的復(fù)雜性，造成了作為模型誤差或系統(tǒng)誤差的的形態(tài)難以用單一的回歸模型進(jìn)行模擬，不能僅僅只用少數(shù)的參數(shù)表示，所以在這個(gè)因個(gè)觀測(cè)方程中都添加一個(gè)未知量，這個(gè)未知量組成的維列向量就是半?yún)?shù)模型中的非參數(shù)分量，這樣的形式比一般的平差模型具有更強(qiáng)的求解最佳估計(jì)量的特性：一是因?yàn)榘雲(yún)?shù)回歸模型克服了傳統(tǒng)平差模型在處理復(fù)雜數(shù)據(jù)時(shí)的不適應(yīng)性；二是半?yún)?shù)模型與客觀實(shí)際更加趨近；三是在已知觀測(cè)值和參數(shù)關(guān)系

40、的情況下再運(yùn)用一定準(zhǔn)則對(duì)半?yún)?shù)模型進(jìn)行求解可以分別求出模型中的估計(jì)量即參數(shù)分量、非參數(shù)分量、，它們分別代表觀測(cè)中的真值、系統(tǒng)誤差、偶然誤差。因此，我們可以將半?yún)?shù)模型與測(cè)量中許多方面結(jié)合進(jìn)行系統(tǒng)誤差提取等。 當(dāng)今統(tǒng)計(jì)界對(duì)半?yún)?shù)模型的估計(jì)方法研究得較多的主要有樣條估計(jì)，最小二乘核估計(jì)，三角級(jí)數(shù)估計(jì)和分塊多項(xiàng)式估計(jì)，而且參數(shù)部分的模型只適用于線性函數(shù)模型，對(duì)于非線性模型研究得較少。在統(tǒng)計(jì)領(lǐng)域，關(guān)于半?yún)?shù)模型的估計(jì)問題被認(rèn)為是一個(gè)帶有無窮維多余形狀參數(shù)的歐氏空間的點(diǎn)估計(jì)問題。半?yún)?shù)模型的估計(jì)途徑歸納起來有三種：第一種是對(duì)函數(shù)空間施加一定的限制；第二是兩步估計(jì)，本文主要研究的最小二乘核估計(jì)就是典型的兩

41、步估計(jì)；第三是兩階段估計(jì)。在測(cè)量數(shù)據(jù)處理中，目前有研究的主要是基于補(bǔ)償最小二乘準(zhǔn)則的光滑樣條估計(jì)，而近鄰估計(jì)、小波估計(jì)、二階段估計(jì)、分塊多項(xiàng)式估計(jì)、核估計(jì)、三角級(jí)數(shù)估計(jì)等其他估計(jì)方法卻沒有進(jìn)行深入探討。 到目前為止，在測(cè)繪界中對(duì)半?yún)?shù)平差模型研究具體主要分為以下兩種：（1）附加系統(tǒng)參數(shù)的半?yún)?shù)平差模型： （1-4）上式中，觀測(cè)值為維列向量，參數(shù)向量為維列向量，為是經(jīng)典平差模型中求得唯一解的必需觀測(cè)數(shù)，代表了參數(shù)分量的關(guān)系，是一個(gè)列滿秩矩陣，觀測(cè)誤差向量為維列向量，維未知向量是描述了模型誤差或者觀測(cè)中的系統(tǒng)誤差。其誤差方程的形式為： （1-5）根據(jù)最小二乘準(zhǔn)則，求得法方程為： （1-6）在上式中

42、為觀測(cè)值的權(quán)陣，是一個(gè)對(duì)稱正定方陣；和是待求參數(shù)分量（個(gè)）和非參數(shù)分量（個(gè)），但是觀測(cè)值方程只有個(gè)，因而無法求得唯一解。這時(shí)就必須引入新的平差準(zhǔn)則對(duì)結(jié)果進(jìn)行約束：定義一個(gè)光滑因子和矩陣，它們?cè)诤椭g起平衡作用，通過改變和得出最佳值，具體形式如下： （1-7）（2）基于外延預(yù)測(cè)的半?yún)?shù)平差模型，其具體表達(dá)形式為： （1-9）在上式中：觀測(cè)向量為維向量；待估參數(shù)為維向量；模型非參數(shù)部分為維向量，由于它可以表達(dá)出與觀測(cè)值函數(shù)關(guān)系不確定的因素部分，對(duì)觀測(cè)值進(jìn)行部分調(diào)整，其擬合程度更加精確，使得最終平差值與真實(shí)值很接近。，為某一函數(shù)空間上的關(guān)系未知函數(shù)；為代表了參數(shù)關(guān)系，是一個(gè)維列滿秩矩陣；觀測(cè)誤差向量

43、為維向量。上面這兩種模型的主要區(qū)別是在于解算的過程中：模型（1-4）是先計(jì)算非參數(shù)分量再計(jì)算參數(shù)分量；模型（1-9）是先計(jì)算參數(shù)分量再計(jì)算非參數(shù)分量。參數(shù)平差模型中的函數(shù)形式是已知的，而非參數(shù)平差模型中的回歸函數(shù)是未知的，所以參數(shù)模型只是需求解待定參數(shù)。由以上內(nèi)容分析可知，半?yún)?shù)平差模型的兩個(gè)特例是參數(shù)平差模型與非參數(shù)平差模型，當(dāng)時(shí)為非參數(shù)平差模型，將歸入誤差項(xiàng)則為參數(shù)平差模型。§1.2 半?yún)?shù)核估計(jì)理論應(yīng)用研究現(xiàn)狀目前國(guó)內(nèi)外對(duì)于核估計(jì)已經(jīng)做了很多研究：在國(guó)外，Silverman（1986）對(duì)自適應(yīng)核估計(jì)做了研究；M.Hagmann（2007）對(duì)非對(duì)稱核密度估計(jì)進(jìn)行了研究，并深入討論

44、了如何偏差校正；Scott（1992）、Jones（1995）研究了核光滑估計(jì)；Peter M.Robinson（2003）對(duì)高階核半?yún)?shù)估計(jì)做了研究；T.Alberts、R.J.Karunamuni（2003）對(duì)如何運(yùn)用核密度估計(jì)來消除半?yún)?shù)邊界誤差以及交替的核混合密度估計(jì)做了研究；Sebastiano Manzan（2005）對(duì)基于偏線性相加模型下的核密度估計(jì)做了研究；Eva Ferreira（1997）對(duì)在不穩(wěn)定情況下的相關(guān)誤差，討論了核回歸估計(jì)中的曲線如何增長(zhǎng)；Tae Yoon Kim（1995）對(duì)較強(qiáng)混合過程中的核密度估計(jì)做了研究；D.CHAUDHURI（1996）對(duì)數(shù)據(jù)驅(qū)動(dòng)密度估計(jì)

45、及其相關(guān)應(yīng)用做了研究；Nils Lid Hjort（2000）對(duì)核密度估計(jì)中的最佳窗寬選取做了研究；Bert van Es（1997）對(duì)非光滑核密度估計(jì)中的積分均方誤差進(jìn)行了分析；Yuri Goegebeur（2010）對(duì)極值統(tǒng)計(jì)中的參數(shù)核估計(jì)做了研究； R.J. Karunamuni（2006）對(duì)有限混合模型核估計(jì)的漸進(jìn)正態(tài)自適應(yīng)性做了研究；Fateh Chebana（2006），Michel Carbon，Carlos Tenreiro，Abdelkader Mokkadem，Delaigle等學(xué)者均深入研究了核估計(jì)。在國(guó)內(nèi)，洪圣巖對(duì)如何在核估計(jì)中選取最佳窗寬做了研究；薛留根對(duì)密度函數(shù)核估

46、計(jì)進(jìn)行了相關(guān)問題的研究；趙林城（1984）將核估計(jì)同近鄰估計(jì)進(jìn)行了對(duì)比，并且通過的自適應(yīng)估計(jì)最終可以得到最優(yōu)收斂速度；秦更生對(duì)隨機(jī)刪失場(chǎng)合中的部分線性模型的核光滑方法進(jìn)行了研究；王啟華對(duì)隨機(jī)刪失情況下概率密度核估計(jì)中的光滑Bootstrap逼近進(jìn)行了分析；朱仲義、李朝暉對(duì)最小二乘估計(jì)與半?yún)?shù)函數(shù)模型的核進(jìn)行了研究。將半?yún)?shù)回歸模型同核估計(jì)理論相結(jié)合并應(yīng)用到測(cè)繪領(lǐng)域，是一種全新的測(cè)量平差方法，雖然目前不管在理論研究還是實(shí)際應(yīng)用方面都研究得較少，但是也取得了許多的成就：丁士俊25將詳細(xì)分析了偏核光滑估計(jì)和偏殘差核估計(jì)方法，并對(duì)兩種方法的估計(jì)性能和效果進(jìn)行了對(duì)比分析；張松林26解算出最小二乘核估計(jì)的

47、非參數(shù)分量和參數(shù)分量的公式，對(duì)參數(shù)分量的估計(jì)結(jié)果的有偏性和漸近正態(tài)性進(jìn)行了證明；潘雄32用半?yún)?shù)模型中的非參數(shù)分量來模擬系統(tǒng)誤差，提出了處理測(cè)量中系統(tǒng)誤差的一種新方法等等。第二章 半?yún)?shù)核估計(jì)方法§2.1 半?yún)?shù)核估計(jì)理論目前，研究半?yún)?shù)平差模型的主要方法有偏樣條估計(jì)、最小二乘估計(jì)、分塊多項(xiàng)式估計(jì)、二階段估計(jì)、多項(xiàng)式估計(jì)、三角級(jí)數(shù)估計(jì)、小波估計(jì)等，但是目前只有張松林26、丁士俊25等對(duì)于半?yún)?shù)平差模型中的核估計(jì)進(jìn)行了研究。 本文所要研究的半?yún)?shù)核估計(jì)理論方法，其模型形式為式(1-9)。在本章，主要研究的核估計(jì)理論，包括核函數(shù)和核權(quán)函數(shù)的定義與選??；介紹了偏核光滑估計(jì)和最小二乘核估計(jì)兩

48、種估計(jì)方法。在小樣本的情況下，選取不同的核權(quán)函數(shù)，不同的核函數(shù)，估計(jì)結(jié)果也就不一樣，不同的核估計(jì)方法有不同的特點(diǎn)，因而兩種半?yún)?shù)核估計(jì)方法也有各自的適用范圍。在數(shù)理統(tǒng)計(jì)學(xué)中，我們?cè)谂袛嗪凸烙?jì)一個(gè)數(shù)學(xué)模型的主要思想就是用從總體樣本中所隨機(jī)抽取的部分樣本來對(duì)總體進(jìn)行估計(jì)，而本文研究的核估計(jì)就是來源于這種思想。在此基礎(chǔ)上，數(shù)理界定義了核估計(jì)：設(shè)為己知給定樣本空間中獨(dú)立同分布的一維隨機(jī)變量，且的密度函數(shù)未知，則可以得到一組形式如下的函數(shù)： （2-1）其中為定義在（）上的一個(gè)Borel可測(cè)函數(shù)，稱為概率密度核權(quán)函數(shù)，也成為核函數(shù)。窗口參數(shù)>0為常數(shù)，稱為窗寬，它是與樣本容量有關(guān)的一列正實(shí)數(shù)，并且當(dāng)

49、時(shí)，。因此，稱這樣的一組為未知函數(shù)的核估計(jì)。同非參數(shù)平差模型一樣，一提到半?yún)?shù)核估計(jì)理論就不得不引入權(quán)函數(shù)。權(quán)函數(shù)對(duì)于相應(yīng)變量的空間分布具有較大的影響，在測(cè)繪數(shù)據(jù)處理中，使用比較廣泛的權(quán)函數(shù)有概率密度權(quán)函數(shù)、最小二乘權(quán)函數(shù)、丹麥法權(quán)函數(shù)、Huber權(quán)函數(shù)、Andrews權(quán)函數(shù)、Turkey權(quán)函數(shù)、Hampel權(quán)函數(shù)以及IGG權(quán)函數(shù)等等，當(dāng)然，不同的權(quán)函數(shù)所產(chǎn)生的估計(jì)結(jié)果也就不一樣。模型為（1-9），則的權(quán)函數(shù)估計(jì)可表示為： =其中為權(quán)函數(shù)，設(shè)是選定的n個(gè)依賴于t的 Borel函數(shù)，總是的線性組合，一個(gè)對(duì)應(yīng)一個(gè)，與一般無對(duì)應(yīng)關(guān)系，的構(gòu)造可能與全體或部分的有關(guān)，視具體函數(shù)而定，故一般寫為，是整個(gè)樣

50、本相對(duì)于點(diǎn)的權(quán)，它反映了在估計(jì)時(shí)，樣本作用的大小。在一般的實(shí)際問題中，設(shè)概率權(quán)函數(shù) ，權(quán)函數(shù)其滿足下面的條件：， （2-2）滿足以上條件的權(quán)函數(shù)為概率權(quán)，由不同的權(quán)函數(shù)形式衍生出不同的估計(jì)方法，核權(quán)函數(shù)和近鄰權(quán)函數(shù)是最基本的概率密度權(quán)函數(shù)，由此所產(chǎn)生的相應(yīng)的半?yún)?shù)估計(jì)是核估計(jì)和近鄰估計(jì)，核估計(jì)和近鄰估計(jì)理論也是基于平差模型的基礎(chǔ)上的，張松林，柴根象等已對(duì)近鄰估計(jì)的方法進(jìn)行過研究。而在本文中要研究的半?yún)?shù)核估計(jì)理論中所采用權(quán)函數(shù)都是概率密度權(quán)函數(shù)，基于最小二乘原理下概率密度權(quán)函數(shù)參數(shù)估計(jì)結(jié)果，具有無偏性、有效性、穩(wěn)定性和一致性。 核權(quán)函數(shù)是一種最重要的權(quán)函數(shù)，對(duì)于如何選擇適當(dāng)?shù)臋?quán)函數(shù)以用于特定的

51、問題中，對(duì)這個(gè)問題可以從大樣本理論的觀點(diǎn)得出一些一般性的指導(dǎo)原則。Watson與Nadaraja(1964)提出了一種適合非參數(shù)模型的核函數(shù)，即選定R空間上的核函數(shù)(一般為概率密度)，核權(quán)函數(shù)的定義為： （2-3）則的權(quán)函數(shù)估計(jì)可表示為：= （2-4）這種核估計(jì)被稱為Waston-Nadaraja核估計(jì)，上式中窗寬參數(shù)是一個(gè)重要的光滑參數(shù)，當(dāng)以-1,1為其范圍，且是單峰、對(duì)稱，是集中在附近一個(gè)鄰域的樣本的加權(quán)平均值，而正好是該鄰域的寬度。假如較小時(shí)，則參與平均的樣本就少，這樣估計(jì)量的偏差就小，但是降低了估計(jì)的精度；假如較小時(shí)，則結(jié)果正好相反。除上述核估計(jì)之外，還有其他形式的核權(quán)函數(shù)： = （2

52、-5） = （2-6）在核估計(jì)中，如何確定核函數(shù)，一般要考慮實(shí)際應(yīng)用情況，是定義在上的概率密度函數(shù)，一般為以下九種函數(shù)： （2-7） （2-8） （2-9） （2-10） （2-11） （2-12） （2-13） （2-14） （2-15）觀察這九個(gè)核函數(shù)的定義式可以分析出核函數(shù)所具有的一般性質(zhì)：一是核函數(shù)是定義在上的可測(cè)實(shí)函數(shù)，且有上確界；二是核函數(shù)一般為某個(gè)隨機(jī)變量的關(guān)于軸對(duì)稱的概率密度函數(shù)；三是核函數(shù)都滿足積分和為1。 可以看出，在半?yún)?shù)核估計(jì)中隨著核權(quán)函數(shù)和核函數(shù)的變化會(huì)產(chǎn)生不同的估計(jì)結(jié)果，因此在解決實(shí)際問題進(jìn)行核估計(jì)時(shí)，我們要根據(jù)實(shí)際情況選擇適當(dāng)?shù)暮撕瘮?shù)。因?yàn)楹撕瘮?shù)的選取，對(duì)估計(jì)結(jié)果

53、有很大影響。如果在確定了觀測(cè)數(shù)據(jù)樣本和核函數(shù)的基礎(chǔ)上，核估計(jì)結(jié)果就主要由窗寬參數(shù)決定。單從定義式來看，核估計(jì)在每一個(gè)觀察點(diǎn)都會(huì)一個(gè)“碰撞”。而核函數(shù)決定 “碰撞”的形狀，而窗寬參數(shù)則決定的則決定這些“碰撞”的寬度，估計(jì)量都是這些“碰撞”的和。如果選擇窗寬參數(shù)太小，核估計(jì)會(huì)出現(xiàn)比較大的干擾尤其是圖像尾部，這時(shí)就會(huì)有增大方差的趨勢(shì)；相反，如果選擇窗寬參數(shù)太大，經(jīng)過數(shù)學(xué)壓縮變換之后平均化作用就會(huì)顯得突出，結(jié)果是密度的細(xì)節(jié)部分便就淹沒了，我們?cè)趯?shí)際應(yīng)用中應(yīng)該根據(jù)實(shí)際情況來適當(dāng)?shù)倪x擇窗寬參數(shù)，來平衡前述討論的兩種不同情況。§2.2 最小二乘核估計(jì) 兩步估計(jì)的典型例子是最小二乘核估計(jì)。首先根據(jù)本章第一節(jié)內(nèi)