保序回归解的存在性与唯一性的一个证明|保序回归
时间：2019-01-07 03:21:44 来源：雅意学习网 本文已影响 人 
摘 要： 在经济、医药科学和物理等各个领域问题中，研究量与量之间的关系，常常进行数据拟合，数据拟合的一般方法就是回归，本文研究在单调限制条件下的回归方法，即是已知数据{x，y}，回归变量Y关于X的未知单调函数f（x）。文中主要介绍经典的限制条件下回归方法―保序回归的定义，给出保序回归解的存在性与唯一性的一个简单证明，同时介绍保序回归的PAVA算法。
关键词： 保序回归 存在性 唯一性 凸集
1.引言
在统计问题中，项目响应（item response）曲线，如生长曲线、体重或者身高随时间增长的关系曲线，具有明显的单调性，用于拟合这类曲线的数据呈现出这样的性质：滤去数据中的噪声适合一个单调函数，这里称这样的数据为单调类型数据。这样有单调要求的数据拟合例子遍布经济、医药科学和物理等各个领域，所以研究这类单调类型数据拟合方法很有意义，数据拟合的一般方法就是回归，这里研究在单调限制条件下的回归方法，即是已知数据{x，y}，回归变量Y关于X的未知单调函数f（x）。这种限制性条件下的统计推断成为统计分析中的一个重要领域，保序回归是最基本的估计单调函数的方法，在限制条件统计推断中有很重要的地位。保序回归的统计估计式没有显式表示，一般是序要求下最小化平方误差。从最早的Van Eeden（1958）提出，人们进行了一些研究，Barlow.et（1972）较详尽地阐述了解的存在及PAVA算法等。在我国，史宁中教授研究了在正态总体下保序回归与极大似然估计的关系，并给出了保序回归解的一个充分必要条件及算法。本文简要介绍保序回归的定义及算法，给出保序回归解的存在性与唯一性的一个简单证明法。
2.保序回归定义
定义2.1：设X是有限集{x，x，…，x}，且有简单的序关系x≤x≤…≤x，一个X上的函数f若有相同的序关系，即f（x）≤…≤f（x），称函数f是有序的。
定义2.2：设g是X上的一个函数，则X上的函数g是g的带有权w（x）的保序回归当且仅当g是有序的，且满足［g（x）-f（x）］w（x），f是X上的所有序函数。
3.保序回归解的存在与唯一性
定义3.1：一个集合E，若任意的x，x∈E，以及任意的λ∈［0，1］有λx+（1-λ）x∈E，则称E为凸集合。
定义3.2：一个函数f（x）定义在凸集合E上，若对任意的x，x∈E，以及任意的λ∈［0，1］有f（λx+（1-λ）x）≤λf（x）+（1-λ） f（x），则称f（x）为凸函数。
引理3.1：若函数f（x）在闭区间［a，b］连续，则f（x）在［a，b］上存在最大值和最小值。
引理3.2：如果函数f（x）的二阶导函数f″（x）在区间（a，b）内恒有f″（x）≥0，则曲线y=f（x）在该区间是凸的。
定理3.1：保序回归的解是存在的。
证明：设F={f：f（x）≤…≤f（x）}={f：f（x）-f（x）≤0，…，f（x）-f（x）≤0}
显然F是闭集，下证F也是凸集。
?坌λ∈［0，1］，?坌f，f∈F，记f=λf+（1-λ）f，则
f（x）-f（x）=λ［f（x）-f（x）］+（1-λ）［f（x）-f（x）］≤0，i=1，…，k。即f∈F，由凸集定义，F是凸集。
令M（f）=［g（x）-f（x）］w（x），显然M（f）是闭集F上的连续函数，所以存在g∈F使M（f）达到最小，即保序回归解存在。
定理3.2：保序回归的解是唯一的。
证明：设F={f：f（x）≤…≤f（x）}={f：f（x）-f（x）≤0，…，f（x）-f（x）≤0}
显然F是闭集，定理1中已证得F也是凸集。
设g，f均是g的保序回归，且g≠f，即有M（g）=M（f）=min M（f）
M（f）二阶可导，且=2∑w（x）＞0，所以M（f）是严格凸函数。
又F是凸集，所以有
M（f）=M（λg+（1-λ）f）＜λM（g）+（1-λ）M（f）=M（g）=min M（f）
矛盾，故g=f。
4.算法（PAVA）
已知{（x，y），（x，y），…，（x，y）}，且x≤x≤…≤x，估计单调函数g，即
［g（x）-f（x）］w（x）f是X上的所有序函数。w（x）为权函数。
若g已经是有序的，则g=g；否则，存在i使得g（x）＞g（x），这种情况称x，x为反序对，这时x，x的函数值用它们的均值代替，即
g（x）=g（x）=，g（x）=g（x），j≠i，i-1。
重复这个过程直到g是有序的。这样得到g的估计g为：
g（x）=…=g（x）=≤g（x）=…=g（x）=≤…。即把数据分成了几块。
参考文献：
［1］赵选民，刑务强.凸规划下的保序回归［J］.数理统计与管理，2003，4：47-51.
［2］吴传生主编.经济数学――微积分［M］.高等教育出版社，2003，6.
［3］史宁中.保序回归与最大似然估计［J］.应用概率统计，1993，9:203-212.
［4］吴喜之.非参数统计［M］.中国统计出版社，2002，7.
［5］Barlow，R.E. and Brunk，H.D.The isotonic regression problem and its dual［J］.Journal of the American Statistical Association 1972，（67）：140-147.
［6］Leeuw，J.，Hornik，K.and Mair.P.Isotone optimization in R: pool-adjacent-violators algorithm （PAVA） and active set methods.Journal of statistical software 2009，（32）：1-24.
本文为全文原貌 未安装PDF浏览器用户请先下载安装 原版全文
