矩和协方差矩阵
1 矩的定义
1.1 \(k\) 阶矩
假设 \(X\) 是随机变量,若:
\[ E(X^k), k=1,2,..., \]
存在,则称其为 \(X\) 的 \(k\) 阶原点矩,简称 \(k\) 阶矩。显然 \(X\) 的数学期望 \(E(X)\) 是 \(X\) 的一阶原点矩。
1.2 \(k\) 阶中心矩
假设 \(X\) 是随机变量,若:
\[ E\{[X-E(X)]^k\}, k=2,3..., \]
存在,则称其为 \(X\) 的 \(k\) 阶中心矩。显然 \(X\) 的方差 \(D(X)\) 是 \(X\) 的二阶中心矩。
1.3 \(k+l\) 阶混合矩
假设 \(X,Y\) 是随机变量,若:
\[ E(X^kY^l), k,l=1,2,..., \]
存在,则称其为 \(X,Y\) 的 \(k+l\) 阶混合矩。显然 \(XY\) 的数学期望 \(E(XY)\) 是 \(X,Y\) 的二阶混合矩。
1.4 \(k+l\) 阶混合中心矩
假设 \(X,Y\) 是随机变量,若:
\[ E\{[X-E(X)]^k[Y-E(Y)]^l\}, k=1,2,..., \]
存在,则称其为 \(X,Y\) 的 \(k+l\) 阶混合中心矩。显然 \(X,Y\) 的协方差 \(Cov(X,Y)\) 是 \(X,Y\) 的二阶混合中心矩。
1.5 矩的一些应用
- 一阶矩是均值
- 二阶中心距是方差
- 三阶标准矩是偏度
- 四阶标准矩是峰度
2 协方差矩阵
协方差差矩阵的应用很广,可以理解为对多变量的协方差的批量求解,形式如下:
\[ \begin{aligned} Cov(\boldsymbol{X},\boldsymbol{Y})&=\mathrm{E}\left[(\mathbf{X}-\mathrm{E}[\mathbf{X}])(\mathbf{X}-\mathrm{E}[\mathbf{X}])^{\mathrm{T}}\right] \\ &=\left[\begin{array}{cccc} \mathrm{E}\left[\left(X_{1}-\mu_{1}\right)\left(X_{1}-\mu_{1}\right)\right] & \mathrm{E}\left[\left(X_{1}-\mu_{1}\right)\left(X_{2}-\mu_{2}\right)\right] & \cdots & \mathrm{E}\left[\left(X_{1}-\mu_{1}\right)\left(X_{n}-\mu_{n}\right)\right] \\ \mathrm{E}\left[\left(X_{2}-\mu_{2}\right)\left(X_{1}-\mu_{1}\right)\right] & \mathrm{E}\left[\left(X_{2}-\mu_{2}\right)\left(X_{2}-\mu_{2}\right)\right] & \cdots & \mathrm{E}\left[\left(X_{2}-\mu_{2}\right)\left(X_{n}-\mu_{n}\right)\right] \\ \vdots & \vdots & \ddots & \vdots \\ \mathrm{E}\left[\left(X_{n}-\mu_{n}\right)\left(X_{1}-\mu_{1}\right)\right] & \mathrm{E}\left[\left(X_{n}-\mu_{n}\right)\left(X_{2}-\mu_{2}\right)\right] & \cdots & \mathrm{E}\left[\left(X_{n}-\mu_{n}\right)\left(X_{n}-\mu_{n}\right)\right] \end{array}\right]\\ &=\begin{bmatrix} D(X_1,,X_1)& Cov(X_1,X_2) &\dots &Cov(X_1,X_n) \\ Cov(X_2,X_1) & D(X_2,X_2) &\dots &Cov(X_2,X_n) \\ \vdots &\vdots &\ddots &\vdots \\ Cov(X_n,X_1) &Cov(X_n,X_1) &\dots &Cov(X_n,X_n) \end{bmatrix} \end{aligned} \]
在主成分分析(PCA)中会用到该公式。