绿皮书题目整理：微积分与线性代数

极限和导数#

计算 $i^i$ 运用 $i=e^{i\frac{\pi}{2}}$ 牛顿法：$x_{n+1} = x_{n}- \frac{f}{f'}$，收敛速率是二次的 $\frac{(x_{n+1}-x_{f})^{2}}{(x_{n}-x_{f})^{2}}\le \delta <1$

线性代数#

内积/点积：$a\cdot b = \sum_{i=1}^{n} a_{i}b_{i} = a^{T}b$ 欧几里得距离：$||x|| = \sqrt{x^Tx}$

1 变量相关性#

• 三个变量，$x,y$ 相关系数是 $0.8$，$x,z$ 相关系数是 0.8，$y,z$ 相关系数最大最小是多少
• 把变量考虑成向量：

2 QR 分解#

• 任意一个可逆方阵 $A$ 都可以分解成 $QR$ 的形式，其中 $Q$ 是正交矩阵，$R$ 是上三角矩阵
• QR 分解的作用：解线性方程组 $Ax = b$，可以转化为 $Rx = Q^Tb$
• 最小二乘

3 行列式和特征向量#

• 特征值和特征向量：应用于 ODE、马尔可夫链、PCA

4 正定（半正定）矩阵#

• 半正定矩阵：

1. $\forall x, x'Ax \ge 0$
2. 所有特征值非负
3. 所有主子式非负

• 协方差矩阵一定是半正定的，如果不存在完全共线性，就一定是正定的

5 LU分解#

• 任意一个可逆矩阵可以分解成一个下三角矩阵 $L$ 和一个上三角矩阵 $U$ 的乘积
• LU 分解的作用：解线性方程组 $Ax = b$ 可以转化为 $Ly = b, Ux = y$
• 当 A 是正定矩阵时，可以使用 Cholesky 分解：$A = R^TR$ ，$R$ 是唯一一个上三角矩阵，对角线上元素全为正数；Cholesky 分解可以用于生成满足协方差要求的随机分布
• 两个独立的标准正态分布变量，如何生成两个标准正态分布，相关系数为 $\rho$ ：考虑 $\begin{pmatrix}x_{1}\\ x_{2}\end{pmatrix} = \begin{pmatrix}&1 &0\\ &\rho &\sqrt{1-\rho^{2}}\end{pmatrix}\begin{pmatrix}z_{1}\\ z_{2}\end{pmatrix} ;$一般的，我们使用 $X = \mu+R^{T}Z$，其中 $\Sigma = R^TR$