机器学习数学基础（一）

实数集合中的向量与函数

基本符号

• $\mathbb{R}$ ：所有实数的集合
• ${\mathbb{R}}^n$ ：n维实数坐标空间，其中每个元素是一个表示为列向量的向量： $$u=(u_1,\dots ,u_n)=[u_1\cdots u_n{]}^{\mathrm{\top }}=\left[\begin{array}{c}{u}_1\\ ⋮\\ u_n\end{array}\right]$$

欧几里得范数与内积

• $u\in {\mathbb{R}}^n$ 的欧几里得范数（或 $L_2$ 范数）为 $\parallel u{\parallel }_2=\sqrt{u^{\mathrm{\top }}u}={\left(\sum _{i=1}^n{u}_i^2\right)}^{1/2}$
• 两个向量 $u,v\in {\mathbb{R}}^n$ 的内积是标量 $u^{\mathrm{\top }}v=\sum _{i=1}^n{u}_i{v}_i$
• $u$ 和 $v$ 之间夹角的余弦为： $$\cos \theta =\frac{u^{\mathrm{\top }}v}{\parallel u{\parallel }_2\parallel v{\parallel }_2}$$

Lp 范数

• 对于 $p\ge 1$ ， $u\in {\mathbb{R}}^n$ 的 $L_p$ 范数为 $$\parallel u{\parallel }_p={(\sum _{i=1}^n|u_i{|}^p)}^{1/p}$$
• 默认范数 $\parallel u\parallel$ （不带下标）指的是 $L_2$ 范数

关键不等式

• 柯西-施瓦茨不等式：对于任意 $u,v\in {\mathbb{R}}^n$ ， $$|u^{\mathrm{\top }}v|\le \parallel u\parallel \parallel v\parallel$$ 当且仅当 $u$ 和 $v$ 线性相关时（即 $u=cv$ ，其中 $c\in \mathbb{R}$ ）取等号
• 三角不等式：对于任意 $u,v\in {\mathbb{R}}^n$ ，有 $\parallel u+v\parallel \le \parallel u\parallel +\parallel v\parallel$

欧几里得距离

• $u,v\in {\mathbb{R}}^n$ 之间的距离为 $\parallel u-v\parallel ={(\sum _{i=1}^n(u_i-v_i{)}^2)}^{1/2}$

实数集合中的收敛性

• ${\mathbb{R}}^n$ 中的序列 $\{u^{(k)}\}$ 收敛到向量 $u\in {\mathbb{R}}^n$ （记作 $u^{(k)}\to u$ ），如果 $\underset{k\to \mathrm{\infty }}{lim}\parallel u^{(k)}-u\parallel =0$
• 即对于每个 $\epsilon >0$ ，存在正整数 $N_0$ ，使得对所有 $k\ge N_0$ ，有 $\parallel u^{(k)}-u\parallel <\epsilon$

函数的连续性

• 标量函数 ( $f:{\mathbb{R}}^n\to \mathbb{R}$ )：
  • 如果对于每个序列 $u^{(k)}\to u$ ，都有 $\underset{k\to \mathrm{\infty }}{lim}f(u^{(k)})=f(u)$ ，则 $f$ 在 $u$ 处连续
  • 或者等价地，对于每个 $\epsilon >0$ ，存在 $\delta >0$ ，使得当 $\parallel u-v\parallel <\delta$ 时， $|f(u)-f(v)|<\epsilon$
• 向量值函数 ( $f:{\mathbb{R}}^n\to {\mathbb{R}}^m$ )：
  • 表示为 $f(u)=[f_1(u)\cdots f_m(u){]}^{\mathrm{\top }}$ ，其中每个分量 $f_i:{\mathbb{R}}^n\to \mathbb{R}$ 是标量函数
  • 如果每个 $f_i$ 在 $u$ 处连续，则 $f$ 在 $u$ 处连续
  • 如果 $f$ 在集合 $\mathcal{U}\subseteq {\mathbb{R}}^n$ 的每个 $u\in \mathcal{U}$ 处连续，则 $f$ 在集合 $\mathcal{U}$ 上连续

---

导数

偏导数与梯度

• 对于 $f:{\mathbb{R}}^n\to \mathbb{R}$ ，关于 $u_i$ 的偏导数为 $$\frac{\partial f(u)}{\partial u_i}=\underset{h\to 0}{lim}\frac{f(u_1,\dots ,u_i+h,\dots ,u_n)-f(u)}{h}$$
• $f$ 在 $u$ 处的梯度汇集了所有偏导数： $$\mathrm{\nabla }f(u)={[\frac{\partial f(u)}{\partial u_1},\dots ,\frac{\partial f(u)}{\partial u_n}]}^{\mathrm{\top }}$$
• 对于矩阵输入 $U\in {\mathbb{R}}^{n\times m}$ ，梯度的结构为 $$\frac{\partial f(U)}{\partial U}=\left[\begin{array}{ccc}\frac{\partial f(U)}{\partial u_{1,1}}& \cdots & \frac{\partial f(U)}{\partial u_{1,m}}\\ ⋮& \ddots & ⋮\\ \frac{\partial f(U)}{\partial u_{n,1}}& \cdots & \frac{\partial f(U)}{\partial u_{n,m}}\end{array}\right]$$

方向导数

• $f$ 在 $u$ 处沿方向 $v\in {\mathbb{R}}^n$ 的方向导数为 $${\mathrm{\nabla }}_{v}f(u)=\underset{h\to 0}{lim}\frac{f(u+hv)-f(u)}{h}$$
• 关键关系：
  • 偏导数是沿坐标轴的方向导数： ${\mathrm{\nabla }}_{e_i}f(u)=\frac{\partial f(u)}{\partial u_i}$
  • 对于可微函数 $f$ ，有 ${\mathrm{\nabla }}_{v}f(u)=v^{\mathrm{\top }}\mathrm{\nabla }f(u)$
  • 根据柯西-施瓦茨不等式，当 $v\propto \mathrm{\nabla }f(u)$ 时，方向导数取得最大值

雅可比矩阵

• 对于 $f:{\mathbb{R}}^n\to {\mathbb{R}}^m$ ，其中 $f(u)=[f_1(u),\dots ,f_m(u){]}^{\mathrm{\top }}$ ，雅可比矩阵为 $$J_f(u)=\left[\begin{array}{ccc}\frac{\partial f_1(u)}{\partial u_1}& \cdots & \frac{\partial f_1(u)}{\partial u_n}\\ ⋮& \ddots & ⋮\\ \frac{\partial f_m(u)}{\partial u_1}& \cdots & \frac{\partial f_m(u)}{\partial u_n}\end{array}\right]$$
• 转置雅可比记法： $\frac{\partial f(u)}{\partial u}=J_f(u{)}^{\mathrm{\top }}$

海森矩阵

• 对于 $f:{\mathbb{R}}^n\to \mathbb{R}$ ，海森矩阵捕获二阶导数： $${\mathrm{\nabla }}^{2}f(u)=\left[\begin{array}{ccc}\frac{{\partial }^{2}f}{\partial u_1^2}& \cdots & \frac{{\partial }^{2}f}{\partial u_1\partial u_n}\\ ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial u_n\partial u_1}& \cdots & \frac{{\partial }^{2}f}{\partial u_n^2}\end{array}\right]$$
• 对称性：如果二阶导数连续，则 $\frac{{\partial }^{2}f}{\partial u_i\partial u_j}=\frac{{\partial }^{2}f}{\partial u_j\partial u_i}$ （施瓦茨定理）
• 海森矩阵作为雅可比矩阵： ${\mathrm{\nabla }}^{2}f(u)=J_{\mathrm{\nabla }f}(u)$

可微性

• 函数 $f:{\mathbb{R}}^n\to {\mathbb{R}}^m$ 在 $u$ 处可微，如果 $$\underset{v\to u}{lim}\frac{\parallel f(u)-f(v)-A(u-v)\parallel }{\parallel u-v\parallel }=0$$ 其中 $A=J_f(u)$ （雅可比矩阵）
• 对于标量函数 $f$ ，导数为 $\mathrm{\nabla }f(u{)}^{\mathrm{\top }}$
• 连续可微函数具有连续的偏导数

---

多元链式法则

复合函数的链式法则

• 对于 $f=g\circ h$ ，其中 $h:{\mathbb{R}}^n\to {\mathbb{R}}^k$ 且 $g:{\mathbb{R}}^k\to \mathbb{R}$ ，有 $$\mathrm{\nabla }f(u)=J_h(u{)}^{\mathrm{\top }}\mathrm{\nabla }g(h(u))$$
• 对于向量值函数 $g:{\mathbb{R}}^k\to {\mathbb{R}}^m$ ， $$J_f(u)=J_g(h(u))J_h(u)$$

仿射变换的矩阵导数

• 对于 $z=Wu+b$ 且 $y=g(z)$ ，关于 $W$ 的导数为 $$\frac{\partial y}{\partial W}=\frac{\partial y}{\partial z}{u}^{\mathrm{\top }}$$

雅可比向量积（JVP）与向量雅可比积（VJP）

• 对于复合函数 $f=h_L\circ \cdots \circ h_1$ ，令

  $$g_{\ell }(u)=h_{\ell }(h_{\ell -1}(\cdots (h_1(u))\cdots ))$$

  对于每个 $\ell =1,\dots ,L$ 。则通过递归应用链式法则，我们得到

  $$J_f(u)=J_{h_L}(g_{L-1}(u))J_{h_{L-1}}(g_{L-2}(u))\cdots J_{h_1}(u)$$

  注意根据雅可比矩阵的定义， $J_f(u)$ 的第 $j$ 列是 $m$ 维向量

  $$\frac{\partial f(u)}{\partial u_j}=(\frac{\partial f_1(u)}{\partial u_j},\dots ,\frac{\partial f_m(u)}{\partial u_j})=J_f(u)e_j$$

  其中 $e_j$ 是适当维度的第 $j$ 个单位向量。因此，JVP $\partial f(u)/\partial u_j$ 可以通过以下递归计算

  $$v_{\ell }=J_{h_{\ell }}(g_{\ell -1}(u))v_{\ell -1}$$

  从 $v_0=e_j$ 和 $g_0(u)=u$ 开始。

• 另一方面，由于 $J_f(u)$ 的第 $i$ 行是梯度 $\mathrm{\nabla }{f}_i(u)$ ，我们有

  $$\mathrm{\nabla }{f}_i(u)=e_i^{\mathrm{\top }}{J}_f(u)=[\cdots [[e_i^{\mathrm{\top }}{J}_{h_L}(g_{L-1}(u))]J_{h_{L-1}}(g_{L-2}(u))]\cdots ]J_{h_1}(u)$$

  即对于每个 $i=1,\dots ,m$ ，VJP $\mathrm{\nabla }{f}_i(u)$ 可以通过以下递归获得

  $$v_{\ell }^{\mathrm{\top }}=v_{\ell -1}^{\mathrm{\top }}{J}_{h_{L-\ell +1}}(g_{L-\ell }(u))$$

  从 $v_0=e_i$ 和 $g_0(u)=u$ 开始。

---

泰勒定理

一元情况

• 如果函数 $f:\mathbb{R}\to \mathbb{R}$ 在开区间 $\mathcal{U}$ 上的所有 $k$ 阶导数存在且连续，则称 $f$ 在 $\mathcal{U}$ 上是 $k$ 次连续可微的
• $\mathbb{R}$ 中的泰勒定理：对于 $k$ 次连续可微的一元实值函数 $f$ 以及 $u,v\in \mathcal{U}$ ，有 $$f(u)=\sum _{i=0}^k\frac{(u-v{)}^i}{i!}\frac{{\mathrm{d}}^{i}f(v)}{\mathrm{d}{u}^i}+O(|u-v{|}^{k+1})=P_k(u)+O(|u-v{|}^{k+1})$$ 其中泰勒多项式 $$P_k(u)=\sum _{i=0}^k\frac{(u-v{)}^i}{i!}\frac{{\mathrm{d}}^{i}f(v)}{\mathrm{d}{u}^i}$$ 大 O 记号 $O(r^k)$ 表示一个函数，当 $r\to 0$ 时满足 $|O(r^k)|\le C|r^k|$ （对于某个常数 $C>0$ ），表示余项 $f(u)-P_k(u)$ 至少以 $r^k$ 的速度消失
• 线性近似 ( $k=1$ )： $f(u)\approx P_1(u)=f(v)+(u-v)f^{\prime }(v)$
• 二次近似 ( $k=2$ )： $f(u)\approx P_2(u)=f(v)+(u-v)f^{\prime }(v)+\frac{(u-v{)}^2}{2}{f}^{″}(v)$

多元情况

• 多重指标记法：对于 $\alpha =({\alpha }_1,\dots ,{\alpha }_n)$ ： $$|\alpha |=\sum _{i=1}^n{\alpha }_i,\alpha !=\prod _{i=1}^n{\alpha }_i!,u^{\alpha }=\prod _{i=1}^n{u}_i^{{\alpha }_i}$$
• 高阶偏导数： $$D^{\alpha }f(u)=\frac{{\partial }^{|\alpha |}f(u)}{\partial u_1^{{\alpha }_1}\cdots \partial u_n^{{\alpha }_n}}$$
• ${\mathbb{R}}^n$ 中的泰勒定理：对于 $k$ 次连续可微的多元实值函数 $f$ 以及 $u,v\in \mathcal{U}$ ： $$f(u)=\sum _{\alpha :|\alpha |\le k}{D}^{\alpha }f(v)\frac{(u-v{)}^{\alpha }}{\alpha !}+O(\parallel u-v{\parallel }^{k+1})$$
• 关键近似：
  • 在 $v$ 附近的线性（一阶）近似： $$f(u)\approx P_1(u)=f(v)+(u-v{)}^{\mathrm{\top }}\mathrm{\nabla }f(v)$$
  • 在 $v$ 附近的二次（二阶）近似： $$f(u)\approx P_2(u)=f(v)+(u-v{)}^{\mathrm{\top }}\mathrm{\nabla }f(v)+\frac{1}{2}(u-v{)}^{\mathrm{\top }}{\mathrm{\nabla }}^{2}f(v)(u-v)$$

雅可比矩阵和海森矩阵的线性近似

• 对于具有雅可比矩阵 $J_f$ 的可微函数 $f:{\mathbb{R}}^n\to {\mathbb{R}}^m$ ， $f(u)$ 在 $v$ 附近的近似为 $$\tilde{f}(u)=f(v)+J_f(v)(u-v)$$
• 对于具有海森矩阵 ${\mathrm{\nabla }}^{2}g$ 的二次可微函数 $g:{\mathbb{R}}^n\to \mathbb{R}$ ，梯度 $\mathrm{\nabla }g(u)$ 在 $v$ 附近的近似为 $$\tilde{\mathrm{\nabla }}g(u)=\mathrm{\nabla }g(v)+{\mathrm{\nabla }}^{2}g(v)(u-v)$$