第３３卷第４期 北京信息科技大学学报 Ｊｏｕｒｎａｌ ｏｆ Ｂｅｉｊｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ Ｕｎｉｖｅｒｓｉｔｙ Ｖｏ１＿３３ Ｎｏ．４ Ａｕｇ．２０１８ ２０１８年８月 文章编号：１６７４—６８６４（２０１８）０４—００４７—０７ ＤＯＩ：１０．１６５０８／ｊ．ｃｎｋｉ．１１—５８６６／ｎ．２０１８．０４．００８ 部分线性回归模型的主成分Ｌｉｕ估计 魏文科，王 昕 （北京信息科技大学理学院，北京１００１９２） 摘 要：针对参数回归模型受很多函数假设和非参数回归模型受“维数灾难”影响 问题，构造出半参数线性回归模型。结合半参数线性回归模型的主成分估计和Ｌｉｕ估计方法，提 出了半参数线性回归模型的主成分Ｌｉｕ估计方法，分别推导出在无约束条件下、精确约束条件下 和随机约束条件下的回归系数的各个数字特征，为进一步深入研究半参数线性回归模型的主成分 Ｌｉｕ估计提供了有效的理论基础。 关键词：半参数线性回归；主成分Ｌｉｕ估计；约束条件 文献标志码：Ａ 中图分类号：Ｏ ２１２．１ Ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ Ｌｉｕ ｅｓｔｉｍａｔｉｏｎ ｏｆ ｔｈｅ ｐａｒａｍｅｔｅｒｓ ｉｎ ｐａｒｔｉａｌｌｙ ｌｉｎｅａｒ ｒｅｇｒｅｓｓｉｏｎ ｍｏｄｅｌｓ ＷＥＩ Ｗｅｎｋｅ，ＷＡＮＧ Ｘｉｎ （Ｓｃｈｏｏｌ ｏｆ Ａｐｐｌｉｅｄ Ｓｃｉｅｎｃｅ，Ｂｅｉｊｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ Ｕｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ １００１９２，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｂｅｃａｕｓｅ ｔｈｅ ｐａｒａｍｅｔｅｒ ｒｅｇｒｅｓｓｉｏｎ ｍｏｄｅｌ ｉｓ ｌｉｍｉｔｅｄ ｂｙ ｍａｎｙ ｆｕｎｃｔｉｏｎ ｈｙｐｏｔｈｅｓｅｓ ａｎｄ ｎｏｎ— ｐａｒａｍｅｔｒｉｃ ｒｅｇｒｅｓｓｉｏｎ ｍｏｄｅｌ ｉｓ ａｆｆｅｃｔｅｄ ｂｙ ｄｉｍｅｎｓｉｏｎａｌｉｔｙ ｄｉｓａｓｔｅｒ，ａ ｓｅｍｉｐａｒａｍｅｔｒｉｃ ｌｉｎｅａｒ ｒｅｇｒｅｓｓｉｏｎ ｍｏｄｅｌ ｉｓ ｃｏｎｓｔｒｕｃｔｅｄ ｉｎ ｔｈｉｓ ｐａｐｅｒ．Ｂｙ ｃｏｍｂｉｎｉｎｇ ｏｆ ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ｅｓｔｉｍａｔｉｏｎ ｍｅｔｈｏｄ ａｎｄ Ｌｉｕ ｅｓｔｉｍａｔｉｏｎ ｍｅｔｈｏｄ．ａ ｎｅｗ ｍｅｔｈ０ｄ—ｔｈｅ ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ Ｌｉｕ ｒｅｇｒｅｓｓｉｏｎ ｅｓｔｉｍａｔｉｏｎ ｍｅｔｈｏｄ ｉｎ ｐａｒｔｉａｌｌｙ ｌｉｎｅａｒ ｒｅｇｒｅｓｓｉｏｎ ｍｏｄｅｌｓ，ｉｓ ｐｒｏｐｏｓｅｄ．Ｕｎｄｅｒ ｕｎｃｏｎｓｔｒａｉｎｅｄ ｃｏｎｄｉｔｉｏｎｓ，ｅｘａｃｔ ｃｏｎｓｔｒａｉｎｔｓ ａｎｄ ｒａｎｄｏｍ ｃｏｎｓｔｒａｉｎｔｓ，ｅａｃｈ ｄｉｇｉｔａｌ ｆｅａｔｕｒｅ ｏｆ ｒｅｇｒｅｓｓｉｏｎ ｃｏｅｆｉｃｉｆｅｎｔ ｉｓ ｄｅｒｉｖｅｄ ｒｅｓｐｅｃｔｉｖｅｌｙ．Ｔｈｅｓｅ ｐｒｏｐｅｒｔｉｅｓ ｐｒｏｖｉｄｅｓ ａｎ ｅｆｆｅｃｔｉｖｅ ｔｈｅｏｒｅｔｉｃａｌ ｂａｓｉｓ ｔｏ ｔｈｅ ｓｔｕｄｙ ｏｆ ｔｈｅ ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ Ｌｉｕ ｅｓｔｉｍａｔｉｏｎ ｏｆ ｔｈｅ ｓｅｍｉ ｐａｒａｍｅｔｒｉｃ ｌｉｎｅａｒ ｒｅｇｒｅｓｓｉｏｎ ｍｏｄｅ１． Ｋｅｙｗｏｒｄｓ： ｓｅｍｉｐａｒａｍｅｔｒｉｃ ｌｉｎｅａｒ ｒｅｇｒｅｓｓｉｏｎ；ｐｒｉｎｃｉｐａｌ ＣＯｎｓｔｒａｉｎｔ ｃｏｎｄｉｔｉｏｎ ｃｏｍｐｏｎｅｎｔ Ｌｉｕ ｅｓｔｉｍａｔｉｏｎ； ０ 引言 近几十年来，线性模型中参数估计问题的研究 在“维数灾难”的问题，非参数估计不能精确地估计 参数，于是非参数回归模型又进一步发展到了半参 数回归模型。 同时，关于有偏估计的很多理论是基于线性回 在广度和深度上都得到了很大的发展。但在实际应 用中，线性回归模型需要对函数做出很多假设，用它 归模型上进行研究的，但是在实际的问题中，因变量 和自变量之间不是简单的线性关系，可能会随着自 变量维数的增加而出现多重共线性的问题。为了克 去处理不符合假设的问题时会引起很大的偏差甚至 会得到错误的结论。为了能接近现实并更好地解释 数据，参数回归模型已发展到对回归函数很少 的非参数回归模型。非参数回归模型更加稳健，预 服这些问题，半参数回归模型有偏估计受到学者们 的重视。它在一定程度上既保持了非参数回归模型 的灵活性，又可以很好地克服由于自变量维数增加 测的精确性也有很大的提高。但是对于在多元中存 收稿日期：２０１８－０２－２４ 基金项目：国家自然科学基金资助项目（７１５０１０１６）；北京信息科技大学“勤信人才”培育计划（ＱＸＴＣＰ Ｂ２０１７０５） 作者简介：魏文科，男，硕士研究生；通讯作者：王听，女，博士，副教授。 ４８ 北京信息科技大学学报 第３３卷 而出现的问题。对于有偏估计的研究，Ｍａｓｓｙ 提出 主成分估计，设计出一种新的估计方法，剔除存在多 重共线性的因子，用来消除原有最小二乘估计因子 线性问题的影响。Ｈｏｒｅｌ等 通过对设计矩阵 添加一个参数 得到了岭估计。另外，许多学者也 发现了在一定条件下结合２种估计得到新的有偏估 计优于其中任何单一的估计，Ｂａｙｅ和Ｐａｒｋｅｒ提出了 线性回归模型的主成分岭估计。Ｌｉｕ为了克服线性 模型中出现的多重共线性问题而提出的一种有偏估 计一Ｌｉｕ估计 。本文结合半参数回归模型的主成分 估计和Ｌｉｕ估计的优点，提出半参数回归模型的主 成分Ｌｉｕ估计，得到其估计性质。 １ 主成分Ｌｉｕ估计的构造及性质 半参数回归模型¨五 在预测经济领域被广泛 应用。Ｅｎｇｌｅ等在研究气温与用电量之间的关系时 提出了半参数模型： Ｙ ＝ 十 ｔ ）＋ ＝１，２，…，ｎ （１） 式中： 为因变量观测值； ＝（ ¨ …， ）。。’为 已知的ｐ（ｐ≤ｎ）维向量，且ｘ 是自变量的观测值； ｔ 为一个可以观测的单变量。一般地，假定ｔ 为一 维变量，如ｔ 为一组观察时间量，卢＝（／３ ，／３：，…， 卢 ） 为Ｐ维待估的未知参数向量，ｆ（·）也是未知的 光滑的函数，式（１）可转换为 Ｙ＝ｘｆｌ＋，＋ｓ （２） 式中：Ｙ＝（Ｙ１，Ｙ２，…，Ｙ ） ； ＝（ ｌ， ２，…， ） ； ｆ＝（＿厂（ｔ ） ｔ ），… ｔ ）） ；随机误差ｓ＝（ ， ２，…， ）Ｔ ｏ 对于模型式（１），假设其中的卢是已知的，可令 Ｙ ＝Ｙ — 模型式（１）可改写为 Ｙ ＝Ｙ。一 ：ｆ（ｔ ）＋ ｉ＝１，２，…，ｎ （３） 基于局部多项式拟合给出半参数回归模型非参 数部分的估计，对于未知光滑函数ｆ（·），在给定的 ｔ０下，进行Ｔａｙｌｏｒ展开： －厂（ｔ） ｔ０）＋＿厂（ｔ。）（ｔ—ｔｏ） （４） 令Ｋ （ｔ）＝Ｋ（ｔ／ｈ）／ｈ为给定的核函数，则半参数回 归模型的局部线性拟合可以选择一个合适的 ｛ ｔ。） （ｔ。）｝，当 ｛ｌ厂（ｔ。） （ｔ。）｝ ＝ ｛Ｄ 。Ｄ Ｄ￣ｏＷ，。（ｙ一邓） 使 ∑［ｙ 一＿厂（ｔｏ）－ｆ（ｔｏ）（ｔ 一ｔ。）１ ２Ｋ （￡ 一ｔ。） ＝ｌ （５） 的值达到最小。 其中： ＝。ｄｉａｇ｛Ｋｈ（ｔｌ—ｔｏ），Ｋ＾（ｔ２一ｔｏ），…， Ｋｈ（ｔ 一ｔｏ）｝ Ｙｌ Ｙ＝ Ｙ２ ，Ｘ＝ ＝ ，Ｄ ： ● 。● ： ｙ 写为将式（３）中的 ｉ）用ｌ厂（ 。）代替，式（２）可改 『（ ０） ｗｆ－Ｄｔ ｝一ＩＤ…Ｔ Ｗ ］ ｓ＝Ｉ‘．１。．） ２ ：２ ｌ （１ ０）｛ＤＴ ｗＪ Ｄ ｝。。Ｄ ｗｆ 注意模型式（６），它不同于普通的Ｙ＝ ＋￡ 型模型，因为其中的云与ｆ，ｔ， ，Ｓ有关。 下面在Ｐｒｏｆｉｌｅ最小二乘方法的基础上构造 的 Ｌｉｕ估计 Ｊ。基于线性模型式（６），增加一个罚函数 Ｉ ｌ一 ｌ ｌ构造如下的目标函数： （ ）＝ａｒｇｍｉｎ｛（Ｙ— ） （Ｙ— ）＋ （ 一 ） （ 一 ）｝ 由 ＝０整理删 （ ＋Ｊ） ＝（Ｘ Ｙ＋ｄ ＰＬｓ） （７） 对式（７）求解可得ｐ的Ｐｒｏｆｉｌｅ最小二乘Ｌｉｕ估 计为 （ｄ）＝（Ｘ一 Ｘ一＋Ｊ）一 （Ｘ一 ’Ｙ＋ｄ ）＝ ＾ 一一 一一 （Ｘ Ｘ＋Ｊ） （Ｘ Ｘ＋ｄ１）ｌｆＰＬｓ ０＜ｄ＜１ 其中ｄ为可协调的参数。 第４期 魏文科等：部分线性回归模型的主成分Ｌｉｕ估计 ４９ 由最小二乘估计和Ｌｉｕ估计的定义易得 的最 小二乘估计和Ｌｉｕ估计分别为 卢 ＝（ 璐 定义１在半参数回归模型ｙ＝ 卢主成分Ｌｉｕ估计为 （ｒ，ｄ）＝ （／Ｉ ＋，） （／ｌ。＋ｄ，） ＋ｓ中，取 ） Ｘ一 Ｙ一＝ （１１） （ｄ）＝（ ＋，）一 （ ＋ ） 凡 称 。（／Ｉ ＋，） （／ｌ ＋以） 下面再介绍半参数模型的主成分估计，首先对 模型式（６）做以下变形： （ｒ，ｄ）为半参数回归模型的主成分Ｌｉｕ估 计。由此来分析主成分Ｌｊｕ估计的性质。 ｙ＝ ＋云＝ ＋否＝ｚ ＋ （８） ＝（ ｌ， ，…， ）是一个Ｐ ｘｐ的正交矩阵， 再记： Ｚ＝ ＝（ １， ，…， ）， ＝ 卢 设Ａ１≥Ａ ≥…≥Ａ 是 的特征根， 为 的第ｉ个特征根Ａ 对应的特征向量。 当 之间存在复共线关系时，在主成分作为新 的回归自变量时，可将后面的（Ｐ—ｒ）个主成分从 回归模型里剔除。这时候可以记： ＝ 【（０ ） ，， Ａ ２ Ｊ ＝ ＝国＝ 那么对于模型式（８），可以写成如下形式： Ｙ＝ ｐ＋ ＝ 鲫 ＋ ＝ Ｚａ＋ ＝Ｚ１ １＋Ｚ２ ＋ （９） 剔除后面（Ｐ—ｒ）个对自变量影响较小的主成分 得到： ｙ＝Ｚ１ ＋ （１０） 已知 ＝ ，参数卢估计改写为 ㈩ 。ａｌ ｚ ＝ ／ｌ 这是 的主成分估计 ， 。则半参数回归模型的 Ｌｉｕ估计和主成分估计分别为： Ｌｓ （ｄ）＝（Ｘ ＋Ｊ） （ ＋ｄ１） 凡ｓ （ｒ）＝ 。Ａｉ ｌ， 由此在半参数主成分估计、Ｌｉｕ估计和最小二 乘法估计的启发下，构造一个新的估计——主成分 Ｌｉｕ估计。 定理１ ｃｏｖ［卢ＰＬｓＬ（ｒ，ｄ）］＝ 。 １（ ｌ＋，）Ｉ１（／ｌ１＋ｄ１）／ｌ · （Ｊ— ）（Ｊ— ） Ａ · （ ＋ｄ，）（／ｌ ＋ｊ） 证明 由偏差和协方差的定义可知 Ｂｉａｓ［￣ （ｒ，ｄ）］＝ ［ （ｒ，ｄ）］一 ＝ Ｅ［ （ ＋，） （／ｌ。＋ ）／Ｉ ］一卢＝ Ｅ［ （ 。＋Ｊ）一 （ ＋ ） 科 · （ｊ— ）（ ＋，＋ｓ）］一 ：Ｅ［ （Ａ。＋Ｊ）～· （ 。＋ａｌ，） 科 ］＋Ｅ［ 。（／ｌ ＋ ）～· （／ｌ ＋以）／ｌ 。 （Ｊ—Ｓ）ｙｌ＋０一 ＝ ［ 。（／ｌ１＋Ｊ） （ ＋ ） —１］ ＋ 。· （／ｌ ＋，） （／ｌ ＋￣Ｉ）ａｌ （Ｊ—Ｓ）ｆ （１２） ｃｏｙ Ｅ￣ＰＬｓＬ（ｒ，ｄ）］＝ ｃｏｖ［ （／ｌ ＋Ｊ） （／Ｉ ＋￣ｉ）ａｉ ］＝ ＣＯＶ［ （ 。＋，）一 （ 。＋ ） 科 · （，一Ｓ）（ ＋，＋￡）］ （１３） 由参数部分可知 ｃｏｖ（ｙ）＝ｅｏｖ（ｉ￣）＝ Ｉ ｏｏｖ［＃Ｐ Ｌ（ｒ，ｄ）］＝ ［ ｌ（／ｌ１＋，）＿１（ １＋ｄ１）Ａｌ Ｘ · （Ｉ—Ｓ）］［ （／Ｉ ＋Ｊ） （／ｌ ＋以）· ／ｌ （Ｊ— ）］ ＝０－２ （／ｌ ＋，）～· （ 。＋以） 科 （ｊ—Ｓ）（Ｊ— ） · 。ａｌ （／ｌ１＋以）（／ｌ ＋Ｊ）一 （１４） ５０ 北京信息科技大学学报 第３３卷 Ｂｉａｓ￣／／ＰＬｓＬ（ｒ，ｄ）］＝ ［ （ １＋Ｊ） （ ＋以） １ 一Ｉ］ｌｆ＋ （／Ｉ．＋Ｊ）一 （／ｌ 十 ）／ｌ （Ｊ—Ｓ）ｆ ￣ｏｖ Ｅ＃ＰＬｓＬ（ｒ，ｄ）］＝ 。 （／Ｉ。＋Ｊ） （／Ｉ．＋以） 。 ． （Ｊ—Ｓ） Ｘ １／Ｉ （Ａ１＋ ）（ １＋ｊ） 定理证毕。 ２精确线性约束下的主成分Ｌｉｕ估计 ２．１构造 在回归问题研究中，通常在一定实际背景下进 行回归分析。而这些实际背景通常是一些约束条 件。在半参数模型中加入适当的约束条件可以提高 估计的有效性，下面将研究约束条件下的半参数回 归模型的主成分Ｌｉｕ估计。 考虑如下的精确约束条件 ］： ｂ：Ａ 式中：ｂ为 Ｘ ｌ的已知向量；Ａ为 Ｘ Ｐ的行满秩矩 阵。 结合约束条件和半参数回归模型，构造出精确 约束条件下的半参数回归模型，可得到如下的 模型 ］： ｙ＝ ＋￡【 Ａ口＝ｂ Ｊ 用拉格朗日乘子法得到半参数回归模型中主成 分Ｌｉｕ估计中参数部分 的估计： Ｆ（ｐ，Ａ）＝（ 一 ） （ 一 ）＋ （ｄ 一／３） （ 一 ）＋２Ａ （３／３一易） （１５） 对 ，Ａ求偏导，令其等于零，可得 ＋２ 一 ２ ＰＩ ｓ＋Ｚｐ＋２Ａ Ａ＝０ （１６） ：２（３／３—６）：０ （１７） ｄ＾ 由式（１６）可得 ＲＰＬｓ （ｄ）＝ （Ｘ—Ｔ Ｘ一＋，）一 （ ＋ｄ卢 Ｌｓ—Ａ Ａ）＝ ＰＬｓ（ｄ）一（ Ｘ十，） Ａ Ａ （１８） 将式（１８）代人式（１７），可得 Ａ＝［Ａ（ ＋Ｊ）一 Ａ ］～（Ａｆｔ （ ）一６） （１９） 将式（１８）代入到式（１６），可得 （ ）＝卢 一（ ＋，）一 Ａ ． ［Ａ（ Ｘ一＋Ｊ）Ａ ］一（Ａｆｔ （６ｆ）一６） （２０） 又由主成分Ｌｉｕ估计 ＬｓＬ（ｒ，ｄ）＝ 。（／ｌ。＋，） （／ｌ ＋ ）／ｌ ＝ ．（／ｌ ＋Ｊ）一（／Ｉ ＋ ） 卢 可得半参数回归模型精确约束下的主成分Ｌｉｕ 估计： 卢：Ｌｓ （ｒ， ）＝卢ＰＬ （ｒ，ｄ）一（ ｒ， ＋Ｊ）一 Ａ一． ［Ａ（Ｘ Ｘ＋，） Ａ ］一 （Ａ卢 （ｒ，ｄ）一６） （２１） 将 Ｒ （ｒ，ｄ）代人约束条件 ：ｂ成立。 ２．２性质 定理２ 设 ＝ 一 （Ａ ）～· ＡＷ； ，其中 是对称非零矩阵， ＝Ｘ一 Ｘ一＋ｋｌ， 在精确约束条件 ＝ｂ下， ； （ｒ，ｄ）估计的偏差 和协方差分别为： Ｂｉａｓ［卢 （ｒ， ）］＝Ｅ［ｆｌｐＲＬ。（ｒ，ｄ）］一 ＝ （ｄ一１）Ⅳｌ Ｗ （／Ｉ ＋Ｊ） ＋ Ⅳ】ｗ１ 】（／Ｉ１＋，） （ ＋以）· ／ｌ 科 （Ｊ—ｓ）ｆ ｃｏｖ［ （，， ）］： ｏｒ ［Ｎｌ ＷＩ ｌ（／ｌ】＋Ｊ）一 （／ＩＩ＋ｄ１）· ／ｌ （，一 ）（Ｊ—ｓ） ／ｌ ． （／Ｉ ＋ ）（／ｌ ＋，） ’Ⅳ ］ 证明首先，求出不带约束条件参数部分 （ｒ， ｄ）的均值： 第４期 魏文科等：部分线性回归模型的主成分Ｌｉｕ估计 ５１ 卢 （ｒ，ｄ）］＝ Ｅ［ 。（／ｌ ＋，） （／Ｉ。＋ ）／Ｉ 科 Ｙ］＝ Ｅ［ ｌ（ １＋Ｊ） （ １＋口ｌ，） · （Ｊ—Ｓ）（ ＋，＋ｓ）］＝ ｌ（Ａ１＋Ｊ）一 · （／Ｉ ＋以） ＋ （Ｊ—ｓ）ｆ＝ ＋（ｄ一１）Ｉ １（Ａ１＋Ｉ） 卢＋ 科 （Ｊ—Ｓ）ｆ （２２） 设ｂ０＝Ａ （ＡＡ ）～ｂ，显然有Ａｂｏ＝ｂ，于是精 确约束条件下半参数回归参数部分主成分Ｌｉｕ估计 又可表示为 ＲＬｓ ｒ，ｄ）＝ ＬｓＬ ｒ，ｄ）一（ ＋，）一 Ａ · ［Ａ（ ＋Ｊ）－１Ａ ］－１［Ａ ＰＬｓ （ｒ，ｄ）一６］＝ Ｗ Ｗｌ ＰＬｓＬ（ｒ，ｄ）一 Ａ （ＡＡ ）～· ＡＷ［ Ｗ１ ＰＬｓＬ（ｒ，ｄ）＋ Ａ （ＡＡ ）～ｂ＝ ⅣｌＷＩ ＰＬｓＬ（ｒ，ｄ）＋Ｗ Ａ （ＡＡ ）～ｂ＝ Ⅳ Ｗ ＰＬｓＬ（ｒ，ｄ）＋Ｗ Ａ （ＡＡ ）～· ｗ Ｗｌｂｏ—ｗ Ｗ１ｂｏ＋ｂｏ＝Ｎ１Ｗ１卢Ｐ Ｌ（ｒ，ｄ）一 Ⅳ１Ｗ１西０＋西０＝Ｎ１Ｗ１（ Ｐ Ｌ（ｒ，ｄ）一６０）＋ｂｏ （２３） 从而可得到，在精确约束条件 ＝ｂ下， 卢 Ｒ （ｒ，ｄ）的估计均值为 Ｅ（￣ｐＲＬ （ｒ，ｄ））＝ Ｅ［Ⅳ。ｗ （ ＰＬｓＬ（ｒ，ｄ）一ｂｏ）＋ｂ。］＝ Ⅳ ［Ｅ（ｆｌＰＬｓＬ（ｒ，ｄ）一ｂ。）］＋ｂ。＝ Ｎ１ Ｗ１ ＋（ｄ一１）Ｎ１ Ｗｌ ｌ（／ｌ１＋ ）－１ ＋ Ⅳ （／Ｉ ＋Ｊ） （／ｌ１＋ ）／Ｉ · （Ｊ—Ｓ）ｆ一Ⅳ１ Ｗｌｂｏ＋ｂｏ＝Ｎｌ Ｗ１（ 一ｂｏ）＋ （ｄ一１）Ｎ Ｗ１ １（Ａ１＋Ｊ）～· ＋Ⅳ１ ｗｌ １（ １＋，）～· （ 。＋ ） 科 （Ｊ—ｓ）ｆ＋ｂ。 （２４） 由 ＝ｂ，Ａｂ０＝ｂ，得 Ⅳ Ｗ （ 一ｂ。）＝ 一ｂｏ 又有ｂ。＝Ａ （ＡＡ ）～ｂ，显然满足Ａｂ。＝ｂ 由上述，最终可得 Ｅ Ｅ＃￣Ｌ （ｒ，ｄ）］＝ （ｄ一 ）Ⅳ Ｗ１ ＋ ＋ （２５） Ⅳ１ Ｗ１ １（ ｌ＋Ｊ）。。（／Ｉ１＋ ）· ／ｌ （，一Ｓ）ｆ 其偏差为 Ｂｉａｓ［ （ｒ，ｄ）］＝Ｅ［ （ｒ，ｄ）］一 ＝ （ｄ一１）Ⅳ１ Ｗ１ （ １＋Ｊ） ＋ Ⅳ１ Ｗ１ １（ ＋Ｊ）Ｉ１（ ＋ ）· ／ｌ （Ｊ—Ｓ）ｆ 其协方差为 ｃｏｖ［＃￣ＲｓＬ（ｒ，ｄ）］： ＣＯＶ［Ｎ１Ｗｌ（ ＰＬｓＬ（ｒ，ｄ）一ｂ０）＋ｂｏ］＝ ＣＯＶ［Ｎ１Ｗ１卢ＰＬＳＬ（ｒ，ｄ）］＝ ｃｏｖ［Ｎ１ Ｗｌ （Ａ ＋Ｊ） （ ＋以） 科 Ｙ］＝ ｃｏｖ［Ｎ ＷＩ 。（ ＋Ｊ）一 （／ｌ ＋以）／ｌ · （Ｊ—Ｓ）（ ＋，＋ ）］＝Ｎ１ Ｗｌ １（Ａ１＋Ｊ）一 · （／ｌ ＋ｄ１）／ｌ （，一 ）ｃｏｖ（ｙ）· ［Ⅳ ｗ 。（ ＋Ｊ）一 （ ＋ｄ１） · （Ｊ— ）］ ＝ ［Ｎ Ｗ （Ａ ＋Ｊ）～· （ ＋ｄ／） 科 （ — ）（Ｊ— ） · 。 （／Ｉ ＋以）（／ｌ ＋Ｊ） 科 Ⅳ ］ 定理证毕。 ３ 随机约束条件下的主成分Ｌｉｕ估计 ３．１构造 考虑如下的随机约束条件 ： ｂ＝ ＋叩 式中：ｂ为一个ｋ×１的已知向量；Ａ为一已知的ｋ× Ｐ行满秩矩阵； 为均值为０，协方差为ｏｒ 的随机 向量，其中 为一个已知的正定矩阵。 结合随机约束条件和半参数回归模型，构造出 随机约束条件下的半参数回归模型： ５２ 北京信息科技大学学报 第３３卷 十 （２６） 采用拉格朗日乘子法，求解满足随机约束条件 下的参数部分的Ｌｉｕ估计。 Ｆ（ ，Ａ）＝（Ｙ一 ）Ｔ（Ｙ一 ）十 （ｄ 一１３） （ 一 ）＋ （２７） ２Ａ（Ａ卢一ｂ） （ 一ｂ） 对Ｆ（卢，Ａ）中的／３，Ａ各求偏导，其中入是ｋ×１的矩 阵，将其整理并令偏导等于零，则有 旦 ：一２ ＋２ 一２ ｄ占 ＋ 一２Ａ Ａ 。。（ｂ—Ａ卢）＝０ （２８） ：ＯＡ ２（ 一 ：０ （２９） 解上面的方程，可得 的随机约束条件下Ｌｉｕ 估计为 Ｒ Ｃ （ｄ）＝ （ ）一（ Ｘ一＋Ｊ）一 Ａ · ［ ＋Ａ（ ＋ｊ）一·Ａ ］一 （Ａ Ｉ （ｄ）一ｂ） （３０） 将式（３０）代人随机约束条件中，即有 ｂ＝Ａ ＰＬＲＣｓＩ （ｄ）＋叼 由无约束主成分Ｌｉｕ型估计 （ｒ，ｄ）＝ １（／ｌ１＋，） （／Ｉｌ＋ｄ１） １ ｙ 进而得到随机约束条件下半参数回归模型中Ｂ 的主成分Ｌｉｕ估计为 ＲＣ ＰＬｓＬ（ｒ，ｄ）＝ ＰＬｓＬ（ｒ，ｄ）一（ 十，）Ｉ１Ａ · ［ ＋Ａ（ ＋Ｊ） Ａ ］ （Ａ （ｒ，ｄ）一ｂ） （３１） 将 Ｒ Ｃ （ｒ，ｄ）代人随机约束条件中，有 ｂ＝Ａ卢ＰＲＬＣｓ Ｌ （ｒ，ｄ）＋叼。 ３．２性质 对于半参数回归模型的随机约束主成分Ｌｉｕ 估计 Ｒ Ｃ （ｒ，ｄ）＝ ｒ， ）一（ Ｘ一＋Ｊ）一 Ａ · ［ ＋Ａ（ ＋Ｊ） Ａ ］ （Ａ （ｒ，ｄ）一ｂ） （３２） 设：Ｎ ＝ 一 Ａ （ＡＷｌ Ａ ）ＡＷ； ， ＝ ＋ｋｌ 定理３ Ｂｉａｓ［ｆｌＰＲＬＣｓＬ（ｒ，ｄ）］＝Ｅ［￣ＲＬＣ１ （ｒ， ）］一 ＝ｔｉ一（ ＋Ｊ）一 Ａ ［ ＋ Ａ（Ｘ一 Ｘ一十Ｊ）一 Ａ｝．Ｂｉａｓ［ｆｌ…（ｒ，ｄ）］ （３３） ｃｏｖ Ｅ￣ｐ Ｌ（ｒ，ｄ）］＝｛Ｊ一（Ｘ Ｘ＋Ｊ） Ａ · ［ ＋Ａ （Ｘ Ｘ＋，） Ａ］Ｉ１Ａ｝· ｅｏｖ Ｅｆｌ（ｒ，（ｚ）］｛Ｊ一（Ｘ一 Ｘ一＋，）一 Ａ · ［－ｆ２＋Ａ （Ｘ一 Ｘ一＋Ｉ）一 Ａ］一 Ａ （３４） 证明 Ｂｌ￣ａ ＰｌＲＣ＿ｓＬ（ｒ，ｄ）］＝Ｅ［卢ＰＲＬＣｓＬ（ｒ， ）］一 ＝ ｛卢ＰＩｓＬ（ｒ，ｄ）一（Ｘ Ｘ＋Ｊ） Ａ一· ［． ＋Ａ（ＸＴ Ｘ＋Ｊ） Ａ ］～（Ａｆｔ 。ＪｓＩ 一ｄ）｝一卢＝ Ｅ Ｅｆｌ （ｒ，ｄ）］一Ｅ｛（Ｘ Ｘ＋Ｊ） · ［ ＋Ａ（ Ｘ＋，） Ａ ］～（Ａｆｔ 一ｒ２）｝一 ＝ Ｅ Ｅｌ３ （ｒ，ｄ）］一Ｅ｛（ ＋Ｊ）一 Ａ一· ［ ＋Ａ（Ｘ一 Ｘ一＋ｊ）一 Ａ ］～（Ａｆｔ （ｒ， ）一 Ａ卢一 ）｝一 ＝｛，一（Ｘ Ｘ＋Ｊ） Ａ · ［ ＋Ａ（Ｘ一 Ｘ一＋Ｊ）一 Ａ ］一 Ａ｝Ｂｉａｓ［卢 （ｒ，ｄ）］ （３５） 再求协方差： ｃｏｖ［ （ｒ，ｄ）］＝ Ｅ｛［卢 （ｒ，ｄ）一Ｅ（ Ｒ Ｃ 。 （ｒ，（ｚ））］· ［卢 ＲＣ （ｒ，ｄ）一 ＲＣ （（ｒ，ｄ））］ ｝＝ Ｅ｛［Ｊ一（Ｘ一 Ｘ一＋，）一 Ａ ［ｎ＋Ａ（ ＋Ｊ）～· Ａ］ Ａ＿］［卢 Ｌｓ （ｒ，ｋ）一Ｅ（ｆｌ Ｌｓ （ｒ， ））］· ｛［Ｊ一（Ｘ一 Ｘ一＋ ）一 Ａ ［ ＋Ａ（ ＋Ｊ）一 · Ａ ＡＩ［ （ｒ， ）一Ｅ（ｌｆ （ｒ， ））］｝ ｝： ［Ｊ一（ ＋Ｊ）一 Ａ ［． ＋Ａ（Ｘ一 Ｘ一＋Ｊ）～· 第４期 魏文科等：部分线性回归模型的主成分Ｌｉｕ估计 ５３ Ａ］Ｉ１Ａ］Ｅ｛［ Ｌｓ （ｒ，ｋ）一Ｅ（ｌ 。ｆ （ｒ， ）］· ［ （ ｒ，｜］｝）一Ｅ（ｌＰＬｆＳＬ ｒ，后）］ ｝［Ｊ一 ＋Ｊ）一 Ａ ［ ＋Ａ（Ｘ ＋，）一 Ａ ３一 Ａ］ （３６） 参考文献： Ｍａｓｓｙ Ｗ Ｆ．Ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｅｎｔｓ ｒｅｇｒｅｓｓｉｏｎ ｉｎ ｅｘｐｌｏｒａｔｏｒｙ ｓｔａｔｉｓｔｉｃａｌ ｒｅｓｅａｒｃｈ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｍｅｒｉｃａｎ Ｓｔａｔｉｓｔｉｃａｌ Ａｓｓｏｃｉａｔｉｏｎ，１９６５６０ ，再由式（３０），则式（３６）可改写成 （２）：２３４—２５６． ［２］ ｃｏｖ［＃ＰＲＣ Ｌ（ｒ，ｄ）］＝ ｛ 一（Ｘ一 Ｘ一＋，）一 Ａ ． Ｈｏｅｒｌ Ａ Ｅ，Ｋｅｎｎａｒｄ Ｒ Ｗ．Ｒｉｄｇｅ ｒｅｇｒｅｓｓｉｏｎ： Ｂｉａｓｅｄ ｅｓｔｉｍａｔｉｏｎ ｆｏｒ ｎｏｎｏ￣ｈｏｇｏｎａｌ ｐｒｏｂｌｅｍｓ ［Ｊ］．Ｔｅｃｈｎｏｍｅｒｔｒｉｃｓ，２０００，４２（１２）：５５—６７． ［３］ Ｆｉｋｒｉ Ａｋｄｅｎｉｚ，Ｅｓｒａ Ａｋｄｅｎｉｚ Ｄｕｒａｎ．Ｌｉｕ－ｔｙｐｅ ｅｓｔｉｍａｔｏｒ ｉｎ ｓｅｍｉｐａｒａｍｅｔｒｉｃ ｒｅｇｒｅｓｓｉｏｎ ｍｏｄｅｌｓ． ［ ＋Ａ （ ＋Ｊ）一 Ａ］一 Ａ｝· ＋，）～· Ｊｏｕｒｎａｌ ｏｆ Ｓｔａｔｉｓｔｉｃａｌ Ｃｏｍｐｕｔａｔｉｏｎ ａｎｄ ｃｏｙ［＃ＰＩＪｓ （ｒ，ｄ）］｛Ｉ一（Ｘ Ａ ［ ＋Ａ （ 定理证毕。 ｓｉｍｕｌａｔｉｏｎ ［Ｊ］． Ｊｏｕｒｎａｌ ｏｆ Ｓｔａｔｉｓｔｉｃａｌ Ｃｏｍｐｕｔａｔｉｏｎ ａｎｄ Ｓｉｍｕｌａｔｉｏｎ，２０１６，８０（８）：８５３ —＋ ）一 Ａ］一 Ａ｝ ８７１． ４ 结束语 本文结合半参数线性回归模型的主成分估计和 ［４］ 朱丹丹，胡宏昌，张捷．半参数回归模型的广 义Ｌｉｕ型估计［Ｊ］．湖北师范学院学报（自然 科学版），２０１２，３２（１）：５９—６３． Ｌｉｕ估计的方法及其优点，构造出半参数线性回归 模型的主成分Ｌｉｕ估计。利用有偏的估计量对于存 在的多重共线性问题，能更为准确地进行参数估计。 通过推导得到了估计的均值、偏差和协方差，为深入 探讨半参数线性回归模型主成分Ｌｉｕ估计的有效应 用奠定了理论基础。 ［５］ 黄文焕，戚佳金，黄南天．带线性约束的回归 模型参数的Ｌｉｕ估计方法［Ｊ］．系统科学与 数学，２００９，２９（７）：９３７—９４６． ［６］ 韦功鼎．Ｌｉｕ型主成分估计的优良性［Ｄ］．北 京：北京交通大学，２０１２． ［７］ 王肖南．半参数可加模型的Ｌｉｕ型估计［Ｄ］． 北京：民族大学理学院，２０１３． （上接第３２页） 无源滤波器优化设计研究［Ｊ］．铁路计算机 应用，２０１５（１０）：１０—１３． 参考文献： ［１］ 陈小平，于盛林．遗传算法在ＦＩＲ低通滤波 器设计——频率抽样法中的应用［Ｊ］．电子 学报，２０００（１０）：１１８—１２０． ［５］ 谭富春，吕幼新，杨皓翔．一种基于遗传算法 的混合滤波器组设计方法［Ｊ］．现代雷达， ２０１５（７）：２６—２９． ［６］ 张筱辰，高宏力，黄海凤，等．基于量子遗传 ［２］ 孙田雨，史峥．采用改进遗传算法优化ＦＩＲ 数字滤波器设计［Ｊ］．计算机工程与应用， ２０１７（１７）：１０８—１１１． 算法的数学形态滤波器优化设计［Ｊ］．西南 交通大学学报，２０１４（３）：４６２—４６９． ［７］ 赵俊顶．基于遗传算法的微带超宽带滤波器 建模与设计［Ｄ］．南京：南京理工大学，２０１４． ［８］ 谈敏．基于改进遗传算法的双频段滤波器自 动设计［Ｄ］．扬州：扬州大学，２０１３． ［３］ 陈辉金，黄喜军．基于自适应遗传算法的ＦＩＲ 低通滤波器优化设计［Ｊ］．桂林电子科技大 学学报，２０１５（６）：４５０—４５３． ［４］ 周骏萍，金涛，肖旭．基于自适应遗传算法的
