Eswlnk

一个有点倒霉的小站长

IP归属地：四川

文章

1.0k

263

友情链接

Eswlnk

2022-04-02 1:24:08 四川

关于少于使用PCA进行特征选择的5个理由

主成分分析（PCA）是有史以来最重要的降维算法之一。不幸的是，像所有流行的工具一样，PCA 经常被用于意想不到的目的，有时甚至被滥用。一个这样的目的是特征选择。在本文中，我们给出了从不使用 PCA 进行特征选择的 5 个关键原因。但首先，让我们简要回顾一下 PCA 的内部工作原理。

什么是 PCA？

问题

假设我们有一个输入向量x := (x_1, \dots, x_d) \in \mathbb{R}^d，我们假设其均值为 0 以简化参数（即 E(x)=0）。

我们有兴趣减小尺寸d我们的向量，而不会丢失太多信息。这里，一个代理的信息内容X是它的能量定义为\mathcal{E}(x) := E(||x||^2)。

挑战在于信息内容X通常不均匀地分布在其坐标上。

特别是，坐标可以是正相关或负相关，这使得很难衡量移除坐标对整体能量的影响。

让我们举一个具体的例子。在最简单的双变量情况下（d=2),

\mathcal{E}(x) = \text{Var}(x_1) + \text{Var}(x_2) + 2\rho(x_1, x_2) \sqrt{\text{Var}(x_1)\text{Var }(x_2)},

在哪里\rho(x_1, x_2)是两个坐标之间的相关性，并且\text{变量}(x_i)是方差x_i.

让我们假设x_1方差大于x_2. 去掉的效果一目了然x_2关于能量，即\mathcal{E}(x)-\text{Var}(x_1) = \text{Var}(x_2) + 2\rho(x_1, x_2) \sqrt{\text{Var}(x_1)\text{Var }(x_2)},不仅仅取决于x_2; 它还取决于之间的相关性x_1和x_2，以及关于的方差/能量x_1！什么时候d > 2，事情变得更加复杂。能量现在读取\mathcal{E}(x) =\sum_{i=1}^{d}\sum_{j=1}^{d} \rho(x_i, x_j) \sqrt{\text{Var}(x_i)\文本{Var}(x_j)}，并且分析去除任何坐标对能量的影响变得更加复杂。

PCA 的目的是找到一个特征向量z := (z_1, \dots, z_d) \in \mathbb{R}^d从…获取X通过线性变换，即z = Wx,满足以下条件：

z具有相同的能量X：E(||x^2||) = E(||z^2||).
z有装饰坐标：\forall i \neq j, ~ \rho(x_i, x_j) = 0.
坐标z方差减小：\text{Var}(x_1) \geq \text{Var}(x_2) \geq \dots \geq \text{Var}(x_d).

满足上述3个条件时，我们有\mathcal{E}(x) = \mathcal{E}(z) =\sum_{i=1}^{d} \text{Var}(z_i)。因此，可以通过使用特征来实现降维z ^{p} := (z_1, \dots, z_p)而不是原来的特征x := (x_1, \dots, x_d)，在哪里p < d选择使得能量损失，即\mathcal{E}(z)-\mathcal{E}(z^{p}) = \sum_{i=p+1}^{d}\text{Var}(z_i),只是总能量的一小部分\mathcal{E}(z)：\frac{\sum_{i=p+1}^{d}\text{Var}(z_i)}{\sum_{i=1}^{d}\text{Var}(z_i)} \ll 1.

解决方案

上述三个条件得出一个唯一的解决方案。

能量守恒方程意味着：E(||z^2||) = E\left( x^{T} W^{T}Wx\right) = E\left( x^{T} x\right)=E(||x^ 2||)。这个成立的充分条件是W是一个正交矩阵：W^{T}W = WW^{T} = I。换句话说，列（相应的行）形成了一个正交基\mathbb{R}^{d}.

至于第二个条件，它意味着自协方差矩阵\text{Cov}(z) = WE(xx^T)W^T = W\text{Cov}(x)W^T应该是对角线。

让我们写\text{Cov}(x) = UDU^T奇异值分解\text{冠状病毒}(x), 其中正交矩阵的列ü是（半正定）矩阵的正交特征向量\text{冠状病毒}(x)，按特征值的降序排列。

堵塞\text{Cov}(x) = UDU^T在等式中\text{Cov}(z) = W\text{Cov}(x)W^T，我们看到，要满足第二个条件，满足WU=I=U^{T}W^{T}, 相当于W=U^{-1} =U^{T}.

请注意，因为ü是正交的，选择W = U^{T}也满足第一个条件。

最后，鉴于列ü按特征值的降序排序，它们的方差\text{Var}(z_i) = \text{Cov}(z)[i, i] = D[i, i]也形成一个递减序列，满足第三个条件。

有趣的是，可以证明W=U^{T}是满足上述三个条件的线性变换的唯一加载矩阵。

坐标z称为主成分，而变换x \to U^{T}x是主成分分析。

不使用 PCA 进行特征选择的 5 个理由

现在我们对什么是 PCA 意见一致，让我给你 5 个为什么它不适合特征选择的原因。

当用于特征选择时，数据科学家通常认为z^{p} := (z_1, \dots, z_p)作为一个特征向量比包含比原始输入更少和更丰富的表示X用于预测目标是的.

原因一：能量守恒并不能保证信号守恒

PCA 的本质是，降维的有损程度是由过程中丢失的信息内容（在这种情况下为能量）驱动的。但是，对于特征选择，我们真正想要的是确保降维不会降低性能！

不幸的是，最大化特征的信息内容或能量z^p := (z_1, \dots, z_p)不一定能最大化他们的预测能力！

想想预测能力z^p作为其总能量的信号部分，或者等效地，其总能量中对预测目标有用的部分是的.

我们可以将能量分解为信号和噪声\mathcal{S}(z^p) + \mathcal{N}(z^p) = \mathcal{E}(z^p) \leq \mathcal{E}(x) = \mathcal{S}(x ) + \mathcal{N}(x) ,在哪里\mathcal{N}(z^p) := E\left(||z^p||^2 \vert y\right)是噪声分量，并且[数学处理错误]是信号。

显然，虽然 PCA 确保\mathcal{E}(x) \近似 \mathcal{E}(z^p)，我们可能很容易发现自己处于 PCA 已经清除了所有原本存在的信号的情况下[数学处理错误]（IE[数学处理错误]）！信噪比 (SNR) 越低[数学处理错误]，这种情况发生的可能性越大。从根本上说，对于特征选择，我们想要的是

信号守恒 \mathcal{S}(x) \近似 \mathcal{S}(z^p)不是能量守恒。

请注意，如果我们不使用能量作为信息内容的度量，而是使用熵，则噪声将是条件熵h\left(z^p\vert y\right), 信号是互信息[数学处理错误].