矩和协方差矩阵

1 矩的定义

1.1 \(k\) 阶矩

假设 \(X\) 是随机变量，若：

\[ E(X^k), k=1,2,..., \]

存在，则称其为 \(X\) 的 \(k\) 阶原点矩，简称 \(k\) 阶矩。显然 \(X\) 的数学期望 \(E(X)\) 是 \(X\) 的一阶原点矩。

1.2 \(k\) 阶中心矩

假设 \(X\) 是随机变量，若：

\[ E\{[X-E(X)]^k\}, k=2,3..., \]

存在，则称其为 \(X\) 的 \(k\) 阶中心矩。显然 \(X\) 的方差 \(D(X)\) 是 \(X\) 的二阶中心矩。

1.3 \(k+l\) 阶混合矩

假设 \(X,Y\) 是随机变量，若：

\[ E(X^kY^l), k,l=1,2,..., \]

存在，则称其为 \(X,Y\) 的 \(k+l\) 阶混合矩。显然 \(XY\) 的数学期望 \(E(XY)\) 是 \(X,Y\) 的二阶混合矩。

1.4 \(k+l\) 阶混合中心矩

假设 \(X,Y\) 是随机变量，若：

\[ E\{[X-E(X)]^k[Y-E(Y)]^l\}, k=1,2,..., \]

存在，则称其为 \(X,Y\) 的 \(k+l\) 阶混合中心矩。显然 \(X,Y\) 的协方差 \(Cov(X,Y)\) 是 \(X,Y\) 的二阶混合中心矩。

1.5 矩的一些应用

• 一阶矩是均值
• 二阶中心距是方差
• 三阶标准矩是偏度
• 四阶标准矩是峰度

2 协方差矩阵

协方差差矩阵的应用很广，可以理解为对多变量的协方差的批量求解，形式如下：

\[ \begin{aligned} Cov(\boldsymbol{X},\boldsymbol{Y})&=\mathrm{E}\left[(\mathbf{X}-\mathrm{E}[\mathbf{X}])(\mathbf{X}-\mathrm{E}[\mathbf{X}])^{\mathrm{T}}\right] \\ &=\left[\begin{array}{cccc} \mathrm{E}\left[\left(X_{1}-\mu_{1}\right)\left(X_{1}-\mu_{1}\right)\right] & \mathrm{E}\left[\left(X_{1}-\mu_{1}\right)\left(X_{2}-\mu_{2}\right)\right] & \cdots & \mathrm{E}\left[\left(X_{1}-\mu_{1}\right)\left(X_{n}-\mu_{n}\right)\right] \\ \mathrm{E}\left[\left(X_{2}-\mu_{2}\right)\left(X_{1}-\mu_{1}\right)\right] & \mathrm{E}\left[\left(X_{2}-\mu_{2}\right)\left(X_{2}-\mu_{2}\right)\right] & \cdots & \mathrm{E}\left[\left(X_{2}-\mu_{2}\right)\left(X_{n}-\mu_{n}\right)\right] \\ \vdots & \vdots & \ddots & \vdots \\ \mathrm{E}\left[\left(X_{n}-\mu_{n}\right)\left(X_{1}-\mu_{1}\right)\right] & \mathrm{E}\left[\left(X_{n}-\mu_{n}\right)\left(X_{2}-\mu_{2}\right)\right] & \cdots & \mathrm{E}\left[\left(X_{n}-\mu_{n}\right)\left(X_{n}-\mu_{n}\right)\right] \end{array}\right]\\ &=\begin{bmatrix} D(X_1,,X_1)& Cov(X_1,X_2) &\dots &Cov(X_1,X_n) \\ Cov(X_2,X_1) & D(X_2,X_2) &\dots &Cov(X_2,X_n) \\ \vdots &\vdots &\ddots &\vdots \\ Cov(X_n,X_1) &Cov(X_n,X_1) &\dots &Cov(X_n,X_n) \end{bmatrix} \end{aligned} \]

在主成分分析（PCA）中会用到该公式。