【作者】 刘宇；

【导师】 罗贵明；

【作者基本信息】 清华大学 ， 软件工程（专业学位）， 2013， 硕士

【摘要】 响应面法（RSM）常被用于分析多个变量之间的关系。它通过试验设计采集样本数据，并通过最小二乘法或加权最小二乘法等方法来进行参数估计。但是，在响应面建模中，训练数据过少或自变量之间高度自相关时，会导致多重共线性。多重共线性会严重影响模型预测的精度，还会导致模型的物理意义无法被解释。偏最小二乘法（PLS）是一种很好的用以解决多重共线性问题的方法。然而，PLS是一个线性方法。当模型的自变量与因变量之间的关系并不是线性或者拟线性关系时，PLS的预测效果就会下降。因此，本文的主要研究目的是：当面对多重共线性问题时的非线性响应面建模。本文的主要工作包括：提出了局部建模方法，并给出了其理论推导。该方法将全空间分割成多个子空间，在子空间上分别建立子模型，然后将所有的子模型结合起来，构成原始全空间，达到由局部到全局的过程。在局部建模中，本文还定义了一个新的性能指标。新的性能指标被用于估计各个子空间模型的参数。在新的性能指标中，本论文引入了权函数矩阵，用以修正各个实验点对每一个局部空间的影响力。基于局部建模，提出了第一个非线性建模算法：局部偏最小二乘法（LPLS）。LPLS通过局部线性来实现全局非线性，并用交叉验证选取模型。该算法旨在直接建立了非线性PLS模型，实现了响应面的非线性建模，并规避了多重共线性。但是LPLS中的主成分仍是原始空间自变量的线性组合，在局部空间中建立的是线性模型。并且LPLS等基于欧几里德距离的算法可能会碰到“极值消失现象”。提出了局部核偏最小二乘法（LKPLS），来规避“极值消失现象”。该算法利用再生核希尔伯特空间（RKHS）中的核函数，将原始自变量空间映射到一个特征空间中。在局部空间中建立非线性模型，并用核距离替代欧几里得距离来构造权矩阵。LKPLS很好地规避了“极值消失现象”。该算法在对原始变量进行非线性变换的同时，还直接建立了一个非线性的PLS模型。LKPLS实现了局部非线性嵌入。最后本文还进行了一系列仿真实验，将新算法与KPLS，PLS和RSM-LS等算法进行比较。实验很好的验证新算法对复杂响应面建模和预测方面的性能。此外，实验还验证了新算法在小数据集上的稳定性远高于其他算法。通过对比LPLS和LKPLS在“极值消失现象”下的实验，证实了LKPLS很好规避了“极值消失现象”。此外，清华大学-三菱重工研究院的响应面建模研究课题中也应用了本文的算法。更多还原

【Abstract】 Response surface modeling (RSM) is often used to analyze the relationshipbetween multiple variables. RSM samples the data through desigh of experiment, andestimates parameters by least squares. However, small sized samples and multiplecorrelations could lead to multi-collinearity problem. Because of this problem, theaccuracy and the reliability of model would not be guaranteed. Recenly, Partial LeastSquares (PLS) has been introduced to build the response surface for this problem.However, PLS is a linear method, which is not capable to deal with the non-linearmodel. Therefore, the purpose of this paper is to establish the nonlinear model. Insummary, this paper has the following main contributions:To solve this problem, we propose local modeling. In local modeling, we alsodefine a new performance criterion, which is used to estimate the parameters of eachsub-model. To adjust the influence of experimental point on each sub-space, weintroduce a weight function matrix in the new performance criterion.Based on local modeling, we propose local partial least squares (LPLS). Thisapproach aim to achieve the global nonlinear by local linear, and select the model byusing the cross-validation. LPLS can successfully solve multi-collinearity problems.However, the local space presents linear characteristics in this method. In addition,LPLS, KPLS may lead to "extreme value missing phenomenon".To avoid the "extreme value missing phenomenon", we propose local kernel partialleast squares (LKPLS). This approach maps the data in the original space into a featurekernel space by using the kernel function in the reproducing kernel Hilbert space.LKPLS builds a non-linear model in the local area. Except building a nonlinear PLSmodel directly, this approach also builds a nonlinear transformation for original data.At last, we examine the new approaches in several experiments to verify theproposed method. Besides, the latter experiments also verify the stability of the newalgorithm on small data sets. Moreover, the results show the proposed method workswell when occurring to"extreme value missing phenomenon." Finally, the new methodshave been applied in the research project of Tsinghua&Mitsubishi Heavy Industries.更多还原