# 大模型技术之数学基础

# 第一章高等数学

对于AI开发者而言，高等数学是理解模型训练、优化算法的底层基石：反向传播依赖链式求导，参数更新依赖梯度下降，损失函数的收敛性离不开凹凸性分析。本章从最核心的导数概念出发，逐步延伸到多元函数的偏导与梯度，建立大模型优化所需的微积分基础。

# 1.1 导数：函数的瞬时变化率

# 1.1.1 导数的概念

程序员可以把导数直观理解为「函数在某一点的切线斜率」，即输入发生微小变化时，输出的变化快慢。其本质是通过极限的概念，对函数做局部的线性逼近。

当函数 $f$ 的自变量在 $x_{0}$ 处产生一个极小增量 $Δ x$ 时，函数输出值的增量 $Δ y$ 与自变量增量 $Δ x$ 的比值，在 $Δ x$ 趋于0时的极限如果存在，即为 $f$ 在 $x_{0}$ 处的导数，记作 $f^{'} (x_{0})$ 、 $\frac{d f}{d x} (x_{0})$ 或 $\frac{d f}{d x} ∣ ∣ ∣ ∣_{x = x_{0}}$ 。

f^{'} (x_{0}) = Δ x \to 0 lim \frac{f ( x _{0} + Δ x ) - f ( x _{0} )}{Δ x}

运动学中，位移对时间的导数就是瞬时速度 $v = \frac{d x}{d t}$ ；对应到AI场景，损失函数对模型参数的导数，就是参数微调时损失的变化速率——这正是梯度下降法更新参数的核心依据。

# 1.1.2 常用基本函数的导数

复杂函数的求导都可以拆解为基本函数的组合，下表是AI开发中最高频的求导公式，是所有求导运算的基础积木。

函数类型	求导公式	示例
常数的导数	$(C)^{'} = 0$	$(3)^{'} = 0$
幂函数的导数	$(x^{α})^{'} = α x^{α - 1}$	$(x^{3})^{'} = 3 x^{2}$
指数函数的导数	$(a^{x})^{'} = a^{x} ln a$ $(e^{x})^{'} = e^{x}$	$(3^{x})^{'} = 3^{x} ln 3$
对数函数的导数	$(lo g_{a} x)^{'} = \frac{1}{x l n a}$ $(ln x)^{'} = \frac{1}{x}$	$(lo g_{3} x)^{'} = \frac{1}{x l n 3}$
三角函数的导数	$(sin x)^{'} = cos x$ $(cos x)^{'} = - sin x$ $(tan x)^{'} = sec^{2} x = \frac{1}{c o s ^{2} x}$ $(cot x)^{'} = - csc^{2} x = \frac{- 1}{s i n ^{2} x}$	-

# 1.1.3 导数的求导法则

掌握四则运算与复合函数求导法则，就能拆解绝大多数复杂函数的求导问题。其中复合函数链式法则是神经网络反向传播算法的数学核心。

法则说明	公式
两函数之和求导	$(f + g)^{'} = f^{'} + g^{'}$
两函数之积求导	$(f g)^{'} = f^{'} g + f g^{'}$
两函数之商求导	$(\frac{f}{g})^{'} = \frac{f ^{'} g - f g ^{'}}{g ^{2}}$
复合函数的导数	若 $f (x) = h [g (x)]$ ，则 $f^{'} (x) = h^{'} [g (x)] \cdot g^{'} (x)$

综合示例：求函数 $f (x) = x^{4} + sin (x^{2}) - ln (x) e^{x} + 7$ 的导函数。逐项拆解求导：

$x^{4}$ 按幂函数法则得 $4 x^{3}$
$sin (x^{2})$ 为复合函数，外层求导得 $cos (x^{2})$ ，内层 $x^{2}$ 求导得 $2 x$ ，相乘得 $2 x cos (x^{2})$
$ln (x) e^{x}$ 按乘积法则得 $\frac{e ^{x}}{x} + ln (x) e^{x}$
常数7的导数为0

合并结果：

f^{'} (x) = 4 x^{3} + 2 x cos (x^{2}) - \frac{e ^{x}}{x} - ln (x) e^{x}

代入 $x = 3$ 可得该点导数值：

f^{'} (3) = 108 + 6 cos (9) - \frac{e ^{3}}{3} - ln (3) e^{3}

# 1.1.4 驻点与函数极值

模型优化的目标是找到损失函数的最小值，首先需要定位导数为0的点，这类点被称为驻点（也叫极值可疑点）。

驻点只是极值的候选点，不一定真的取到极值。例如 $f (x) = x^{3}$ 在 $x = 0$ 处导数为0，但该点既不是极大值也不是极小值。

要判断驻点的极值类型，可以观察导数在该点附近的符号变化，更高效的方法是借助二阶导数。

# 1.1.5 二阶导数：变化率的变化率

# 1. 二阶导数的概念

二阶导数是「导数的导数」，描述变化率本身的变化快慢。物理中位移的一阶导数是速度，二阶导数就是瞬时加速度： $a = \frac{d v}{d t} = \frac{d ^{2} x}{d t ^{2}}$ 。

函数 $f$ 的二阶导数通常记作 $f^{''}$ 、 $\frac{d ^{2} y}{d x ^{2}}$ 或 $\frac{d}{d x} (\frac{d y}{d x})$ 。

对应到AI场景，损失函数的二阶导数描述了梯度本身的变化速率，牛顿法等二阶优化算法正是利用二阶导数信息来加速收敛。

# 2. 二阶导数与函数凹凸性

二阶导数直接决定了函数图像的弯曲方向与程度：

区间内二阶导数恒正：函数向上弯（下凸函数）
区间内二阶导数恒负：函数向下弯（上凸函数）

若二阶导数在某点左右异号，函数凹凸性发生切换，这个点称为拐点。若二阶导数连续，则拐点处二阶导数为0；但二阶导数为0的点不一定是拐点，例如 $f (x) = x^{4}$ 在 $x = 0$ 处二阶导数为0，但函数在全体实数上无拐点。

# 3. 二阶导数判断极值

借助凹凸性可以快速判断驻点的极值类型：

若 $f^{'} (x) = 0$ 且 $f^{''} (x) < 0$ ，则 $f$ 在 $x$ 处取得极大值
若 $f^{'} (x) = 0$ 且 $f^{''} (x) > 0$ ，则 $f$ 在 $x$ 处取得极小值
若 $f^{'} (x) = 0$ 且 $f^{''} (x) = 0$ ，则无法确定，该点可能是拐点、极大值点或极小值点

凸优化问题中损失函数为凸函数（二阶导数恒非负），因此驻点就是全局极小值点，这也是凸优化在机器学习中如此重要的原因。

# 1.2 偏导与梯度：多元函数的变化率

大模型的参数量动辄百万上亿，损失函数是关于海量参数的多元函数，单变量导数不再够用，需要扩展到偏导数与梯度。

# 1.2.1 偏导数：单维度的变化率

对于多元函数，例如二元函数 $f (x, y) = x^{2} + x y + y^{2}$ ，偏导数的思路是：固定其他变量为常数，只对一个变量求导。

例如固定 $x = a$ ，将 $f$ 看作关于 $y$ 的一元函数求导，就得到 $f$ 对 $y$ 的偏导数：

\frac{\partial f}{\partial y} (x, y) = x + 2 y

更一般地，n元函数 $f (x_{1}, x_{2}, \dots, x_{n})$ 在点 $(a_{1}, a_{2}, \dots, a_{n})$ 处对 $x_{i}$ 的偏导数定义为：

\frac{\partial f}{\partial x _{i}} (a_{1}, a_{2}, \dots, a_{n}) = Δ x_{i} \to 0 lim \frac{f ( a _{1} , \dots a _{i} + Δ x _{i} , \dots , a _{n} ) - f ( a _{1} , \dots a _{i} , \dots , a _{n} )}{Δ x _{i}}

# 1.2.2 方向导数：任意方向的变化率

偏导数只衡量了沿坐标轴方向的变化率，如果想知道沿任意方向 $l$ 的变化快慢，就需要方向导数。

设方向 $l$ 的单位方向向量为 $l_{0} = (cos α, cos β)$ （ $cos α 、 cos β$ 为方向余弦），则二元函数在 $(x_{0}, y_{0})$ 处沿方向 $l$ 的方向导数为：

\frac{\partial f}{\partial l} (x_{0}, y_{0}) = f_{x} (x_{0}, y_{0}) cos α + f_{y} (x_{0}, y_{0}) cos β

本质上，方向导数就是偏导数与方向向量的内积，代表函数沿指定方向的变化速率。

# 1.2.3 梯度：变化最快的方向

将多元函数对每个变量的偏导数组合成一个向量，就得到了函数在该点的梯度，记作 $\nabla f (a)$ 或 $g r a d f (a)$ ：

\nabla f (a) = [\frac{\partial f}{\partial x _{1}} (a), \frac{\partial f}{\partial x _{2}} (a), \dots, \frac{\partial f}{\partial x _{n}} (a)]

示例： $f (x, y) = x^{2} + x y + y^{2}$ 在 $(1, 1)$ 处，对 $x$ 偏导为3，对 $y$ 偏导为3，因此梯度为 $[3, 3]$ 。

梯度有一个决定了深度学习优化范式的核心性质：

梯度的方向，是函数在该点处方向导数取最大值的方向——也就是函数值上升最快的方向；反之，负梯度方向就是函数值下降最快的方向。

这就是梯度下降法的底层逻辑：训练模型时，参数沿着损失函数的负梯度方向更新，就能以最快的速度降低损失。

# 第二章线性代数

线性代数是大模型工程实现的运算骨架。从全连接层的特征变换、注意力机制的权重计算，到反向传播的梯度更新，底层本质都是向量、矩阵与张量的运算。掌握线性代数核心概念，才能看懂模型结构、高效实现算子、理解参数空间的几何意义。本章从基础的标量与向量出发，延伸到矩阵运算与矩阵求导，建立大模型开发必备的线性代数思维。

# 2.1 标量与向量

# 2.1.1 基本概念

标量（scalar）：单个数值，只有大小没有方向。模型的损失值、学习率、偏置项本质都是标量。
向量（vector）：由一组标量按顺序组成的数组，兼具大小与方向。在AI中，一个样本的特征向量、一层神经元的输出，本质都是向量。
- 行向量：元素横向排列 $(258)$
- 列向量：元素纵向排列 $⎝ ⎛ 258 ⎠ ⎞$
工程与数学推导中默认使用列向量，与主流深度学习框架的张量维度约定一致。

# 2.1.2 向量基础运算

向量转置：列向量转置后变为行向量，反之亦然，记为 $x^{T}$

x = ⎝ ⎛ 258 ⎠ ⎞, x^{T} = (258)

向量加法：同维度向量对应元素相加，维度保持不变

⎝ ⎛ 258 ⎠ ⎞ + ⎝ ⎛ 137 ⎠ ⎞ = ⎝ ⎛ 3815 ⎠ ⎞

标量乘向量：标量与向量每个元素分别相乘

3 \times ⎝ ⎛ 258 ⎠ ⎞ = ⎝ ⎛ 61524 ⎠ ⎞

向量内积（点乘）：两个同维度向量对应元素相乘后求和，结果为标量。

⟨ x, y ⟩ = i = 1 \sum n x_{i} y_{i}

示例：

⟨ ⎝ ⎛ 258 ⎠ ⎞, ⎝ ⎛ 137 ⎠ ⎞ ⟩ = 2 \times 1 + 5 \times 3 + 8 \times 7 = 73

内积可用于计算两向量夹角：

cos θ = \frac{⟨ x , y ⟩}{∥ x ∥ _{2} \cdot ∥ y ∥ _{2}}

自注意力机制中Query与Key的相似度计算，本质就是向量内积。

# 2.1.3 向量范数

范数是衡量向量「长度/大小」的函数，在模型正则化、梯度裁剪中大量使用。常见的范数有：

L₀范数：向量中非零元素的个数。
$∥ x ∥_{0} = 非零元素的个数$
示例： $x = ⎝ ⎛ 02 - 1 ⎠ ⎞$ ，则 $∥ x ∥_{0} = 2$ 常用于稀疏性约束，如特征选择、稀疏注意力。
L₁范数（和范数）：向量所有元素绝对值之和。
$∥ x ∥_{1} = i = 1 \sum m ∣ x_{i} ∣$
示例： $x = ⎝ ⎛ 02 - 1 ⎠ ⎞$ ，则 $∥ x ∥_{1} = 0 + 2 + 1 = 3$ 对应机器学习中的L1正则，会促使参数趋向稀疏。
L₂范数（欧几里得范数）：向量元素平方和开根号，是最常用的向量长度度量。
$∥ x ∥_{2} = i = 1 \sum m ∣ x_{i} ∣^{2}$
示例： $x = ⎝ ⎛ 02 - 1 ⎠ ⎞$ ，则 $∥ x ∥_{2} = 0 + 4 + 1 = 5$ 对应L2正则（权重衰减），是防止模型过拟合的常用手段。
Lp范数：通用形式，p取不同值对应不同范数。
$∥ x ∥_{p} = (i = 1 \sum m ∣ x_{i} ∣^{p})^{\frac{1}{p}}$

工程实现中，NumPy的numpy.linalg.norm、PyTorch的torch.norm均可直接计算各类范数。

# 2.2 矩阵与张量

# 2.2.1 矩阵的概念与特殊矩阵

一个 $m$ 行 $n$ 列的矩阵是矩形数值阵列，记为 $A \in R^{m \times n}$ 。矩阵既可以看作一组向量的集合，也可以看作一个线性变换算子。

⎣ ⎢ ⎡ 134258 ⎦ ⎥ ⎤ \in R^{3 \times 2}

AI开发中高频出现的特殊矩阵：

方阵：行数等于列数的矩阵
$[1324] \in R^{2 \times 2}$
对角矩阵：仅主对角线有非零元素，其余全为0的方阵。常用于缩放变换、层归一化。
$⎣ ⎢ ⎡ 100050009 ⎦ ⎥ ⎤$
单位矩阵：主对角线全为1的对角矩阵，记为 $I$ ，是矩阵乘法中的「单位元」，任何矩阵乘单位矩阵都等于自身。

I_{3 \times 3} = ⎣ ⎢ ⎡ 100010001 ⎦ ⎥ ⎤

# 2.2.2 矩阵乘法

矩阵乘法是深度学习的核心运算，全连接层、自注意力的QKV计算本质都是矩阵乘法。

# 1. 运算规则

只有当第一个矩阵的列数等于第二个矩阵的行数时，乘法才有定义。若 $A \in R^{m \times n}$ ， $B \in R^{n \times p}$ ，则乘积 $A B \in R^{m \times p}$ 。结果矩阵第 $i$ 行第 $j$ 列的元素，等于 $A$ 的第 $i$ 行与 $B$ 的第 $j$ 列的内积：

[A B]_{i j} = k = 1 \sum n a_{i k} b_{k j}

示例：

[1 - 1 0321] \times ⎣ ⎢ ⎡ 321110 ⎦ ⎥ ⎤ = [5412]

单位矩阵的乘法性质：

A I = A, I A = A

# 2. 运算性质

结合律： $(A B) C = A (B C)$
分配律： $(A + B) C = A C + B C$ ， $A (B + C) = A B + A C$
不满足交换律：绝大多数情况下 $A B \neq = B A$ ，这是矩阵运算与标量运算最核心的区别。

# 2.2.3 矩阵转置

将矩阵的行和列互换，得到转置矩阵 $A^{T}$ ，即转置矩阵第 $i$ 行第 $j$ 列的元素等于原矩阵第 $j$ 行第 $i$ 列：

[A^{T}]_{i j} = a_{j i}

示例：

A = ⎣ ⎢ ⎡ 134258 ⎦ ⎥ ⎤ \in R^{3 \times 2}, A^{T} = [123548] \in R^{2 \times 3}

转置的核心性质：

$(A^{T})^{T} = A$
$(A + B)^{T} = A^{T} + B^{T}$
$(k A)^{T} = k A^{T}$
$(A B)^{T} = B^{T} A^{T}$ （乘积转置等于逆序转置相乘）

# 2.2.4 矩阵的逆

对于方阵 $A$ ，若存在方阵 $A^{- 1}$ 满足 $A A^{- 1} = A^{- 1} A = I$ ，则称 $A^{- 1}$ 为 $A$ 的逆矩阵。示例：

[1325]^{- 1} = [- 5 3 2 - 1]

逆矩阵对应线性变换的逆操作，在最小二乘法、正态分布协方差运算中常用。深度学习中很少直接求逆（计算代价高），但理解逆的概念有助于理解优化方法的几何意义。

# 2.2.5 其他矩阵运算

矩阵向量化 将矩阵按列（或按行）展开成一个长向量，标准约定为按列展开，记为 $vec (A)$ ：

vec ([1324]) = ⎝ ⎜ ⎜ ⎜ ⎛ 1324 ⎠ ⎟ ⎟ ⎟ ⎞

按行展开记为 $rvec (A)$ ：

rvec ([1324]) = (1234)

向量化是把高维运算拍平为向量运算的常用技巧。

矩阵内积 两个同形状矩阵对应元素相乘求和，结果为标量，等价于矩阵向量化后的向量内积。
$⟨ A, B ⟩ = i, j \sum a_{i j} b_{i j}$
Hadamard积（逐元素乘） 两个同形状矩阵对应元素相乘，结果形状不变，记为 $A ⊙ B$ 。
$(A ⊙ B)_{i j} = a_{i j} b_{i j}$
深度学习中的注意力掩码、逐元素激活函数，都属于Hadamard积的应用。
Kronecker积（张量积） 矩阵 $A$ 的每个元素都与整个矩阵 $B$ 相乘，得到更大的分块矩阵。若 $A \in R^{m \times n}$ ， $B \in R^{p \times q}$ ，则 $A \otimes B \in R^{m p \times n q}$ 。

A \otimes B = ⎣ ⎢ ⎢ ⎢ ⎢ ⎡ a_{11} B a_{21} B ⋮ a_{m 1} B a_{12} B a_{22} B ⋮ a_{m 2} B \dots \dots ⋱ \dots a_{1 n} B a_{2 n} B ⋮ a_{m n} B ⎦ ⎥ ⎥ ⎥ ⎥ ⎤

在高维线性变换、卷积矩阵化推导中会用到。

# 2.2.6 张量

张量是标量、向量、矩阵的高维推广，可以直观理解为多维数组：

0维张量 = 标量
1维张量 = 向量
2维张量 = 矩阵
3维及以上 = 高阶张量

示例：3维张量

⎣ ⎢ ⎡ ⎣ ⎢ ⎡ 134258 ⎦ ⎥ ⎤ ⎣ ⎢ ⎡ 317263 ⎦ ⎥ ⎤ ⎣ ⎢ ⎡ 592614 ⎦ ⎥ ⎤ ⎦ ⎥ ⎤

PyTorch、TensorFlow等深度学习框架的基本数据单元就是张量。比如一批RGB图像的形状[batch, height, width, channel]是典型的4维张量；Transformer的序列特征[batch, seq_len, hidden_dim]是3维张量。

# 2.3 矩阵求导

神经网络的反向传播，本质就是损失函数对每一层参数求导；而参数以矩阵/向量形式存在，因此矩阵求导是理解反向传播、自定义算子的必备知识。

# 2.3.1 基本约定与本质

矩阵求导的本质：函数对自变量的每个元素逐个求偏导，再按原形状排列成向量/矩阵。

统一符号约定：

$x \in R^{m}$ ：列向量形式的自变量
$X \in R^{m \times n}$ ：矩阵形式的自变量
$f (x) \in R$ ：输入为向量、输出为标量的函数（如损失函数）
$f (x) \in R^{p}$ ：输入为向量、输出为向量的函数（如一层网络的输出）

# 2.3.2 典型计算场景

# （1）标量函数对向量求导

$f (x)$ 是标量，对向量 $x$ 求导，结果是和 $x$ 同形状的列向量，每个元素是 $f$ 对对应 $x_{i}$ 的偏导：

\frac{\partial f ( x )}{\partial x} = ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ \frac{\partial f}{\partial x _{1}} \frac{\partial f}{\partial x _{2}} ⋮ \frac{\partial f}{\partial x _{m}} ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤

示例： $f (x_{1}, x_{2}) = x_{1}^{2} + x_{1} x_{2} + 2 x_{2}^{2}$ ，则

\frac{\partial f}{\partial x} = [2 x_{1} + x_{2} x_{1} + 4 x_{2}]

这就是损失函数对参数向量的梯度，是梯度下降参数更新的直接依据。

# （2）标量函数对矩阵求导

$f (X)$ 是标量，对矩阵 $X$ 求导，结果是和 $X$ 同形状的矩阵，每个元素是 $f$ 对对应 $x_{i j}$ 的偏导：

\frac{\partial f ( X )}{\partial X} = ⎣ ⎢ ⎢ ⎡ \frac{\partial f}{\partial x _{11}} ⋮ \frac{\partial f}{\partial x _{m 1}} \dots ⋱ \dots \frac{\partial f}{\partial x _{1 n}} ⋮ \frac{\partial f}{\partial x _{m n}} ⎦ ⎥ ⎥ ⎤

对应损失函数对权重矩阵的梯度矩阵。

# （3）向量函数对标量求导

$f (x)$ 是向量函数（输入标量 $x$ ，输出 $p$ 维向量），求导后仍是 $p$ 维向量，每个元素分别求导：

\frac{\partial f ( x )}{\partial x} = ⎣ ⎢ ⎢ ⎢ ⎢ ⎡ \frac{\partial f _{1}}{\partial x} \frac{\partial f _{2}}{\partial x} ⋮ \frac{\partial f _{p}}{\partial x} ⎦ ⎥ ⎥ ⎥ ⎥ ⎤

示例： $f (x) = [2 x^{2} + 3 x + 1 sin x]$ ，则

\frac{\partial f}{\partial x} = [4 x + 3 cos x]

# （4）向量函数对向量求导（了解）

$f (x)$ 是 $p$ 维向量函数，输入是 $m$ 维向量，求导结果是 $p \times m$ 的矩阵（雅可比矩阵），第 $i$ 行是 $f_{i}$ 对 $x$ 的梯度转置：

\frac{\partial f ( x )}{\partial x} = ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ \frac{\partial f _{1}}{\partial x _{1}} \frac{\partial f _{2}}{\partial x _{1}} ⋮ \frac{\partial f _{p}}{\partial x _{1}} \frac{\partial f _{1}}{\partial x _{2}} \frac{\partial f _{2}}{\partial x _{2}} ⋮ \frac{\partial f _{p}}{\partial x _{2}} \dots \dots ⋱ \dots \frac{\partial f _{1}}{\partial x _{m}} \frac{\partial f _{2}}{\partial x _{m}} ⋮ \frac{\partial f _{p}}{\partial x _{m}} ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤

反向传播的链式法则，本质就是多层雅可比矩阵的连乘。

# 2.3.3 高频求导公式速查

以下是深度学习推导中最常用的结论，可直接使用：

$\frac{\partial x ^{T} a}{\partial x} = \frac{\partial a ^{T} x}{\partial x} = a$
$\frac{\partial x ^{T} x}{\partial x} = 2 x$
$\frac{\partial A x}{\partial x} = A^{T}$
$\frac{\partial x ^{T} A}{\partial x} = A$
$\frac{\partial x ^{T} A x}{\partial x} = (A^{T} + A) x$
$\frac{\partial a ^{T} X b}{\partial X} = a b^{T}$
$\frac{\partial a ^{T} X ^{T} b}{\partial X} = b a^{T}$
$\frac{\partial a ^{T} X X ^{T} b}{\partial X} = a b^{T} X + b a^{T} X$
$\frac{\partial a ^{T} X ^{T} X b}{\partial X} = X b a^{T} + X a b^{T}$

# 2.3.4 梯度矩阵与黑塞矩阵

梯度向量/梯度矩阵：标量函数对向量/矩阵的导数就是梯度，记为 $\nabla_{x} f (x)$ 、 $\nabla_{X} f (X)$ ，形状和自变量完全一致。
黑塞矩阵（Hessian Matrix）：标量函数对向量的二阶偏导构成的方阵，描述梯度的变化率，对应一元函数的二阶导数。

H (x) = ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ \frac{\partial ^{2} f}{\partial x _{1} \partial x _{1}} \frac{\partial ^{2} f}{\partial x _{2} \partial x _{1}} ⋮ \frac{\partial ^{2} f}{\partial x _{n} \partial x _{1}} \frac{\partial ^{2} f}{\partial x _{1} \partial x _{2}} \frac{\partial ^{2} f}{\partial x _{2} \partial x _{2}} ⋮ \frac{\partial ^{2} f}{\partial x _{n} \partial x _{2}} \dots \dots ⋱ \dots \frac{\partial ^{2} f}{\partial x _{1} \partial x _{n}} \frac{\partial ^{2} f}{\partial x _{2} \partial x _{n}} ⋮ \frac{\partial ^{2} f}{\partial x _{n} \partial x _{n}} ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤

黑塞矩阵用于二阶优化算法（如牛顿法），可判断损失函数的局部凹凸性与极值类型。

# 第三章概率论

概率论是理解大模型不确定性、训练目标与生成机制的核心数学工具。从损失函数的本质、模型参数估计，到生成式模型的采样策略、贝叶斯优化算法，底层都建立在概率统计的逻辑之上。本章从基础概率法则出发，覆盖核心概率分布、贝叶斯定理与极大似然估计，建立面向AI开发的概率思维体系。

# 3.1 概率基础

# 3.1.1 概率的概念

概率是对随机事件发生可能性的量化度量，事件A的概率记作 $P (A)$ ，取值范围为 $[0, 1]$ ：0代表不可能发生，1代表必然发生。

在AI场景中，分类模型输出的类别概率、大语言模型生成下一个token的概率分布、Dropout随机失活的概率，本质都是对事件发生可能性的概率化描述。

# 3.1.2 概率的基本运算法则

概率运算有几个核心基础法则，是所有复杂概率推导的基石：

事件类型	概率公式	说明
对立事件（非A）	$P (\overline{A}) = 1 - P (A)$	事件不发生的概率
联合概率（A和B同时发生）	$P(A \cap B) = P(A	B)P(B) = P(B
和概率（A或B发生）	$P (A \cup B) = P (A) + P (B) - P (A \cap B)$ A、B互斥时： $P (A \cup B) = P (A) + P (B)$	至少一个事件发生的概率
条件概率（B发生时A发生）	$P\left( A	B \right) = \frac{P(A \cap B)}{P(B)} = \frac{P\left( B

经典示例：摸球问题 袋中有10个球，6红4蓝，随机抽取2个。定义事件A：第一个球为红球；事件B：两个球均为红球。

联合概率 $P (A \cap B)$ 第一个球为红球的概率： $P (A) = \frac{6}{1 0}$ 第一个为红球时，第二个也为红球的条件概率： $P (B ∣ A) = \frac{5}{9}$ 联合概率： $P (A \cap B) = P (B ∣ A) P (A) = \frac{5}{9} \times \frac{6}{1 0} = \frac{1}{3}$
条件概率 $P (A ∣ B)$ 两个球均为红球的概率： $P (B) = \frac{C _{6}^{2}}{C _{10}^{2}} = \frac{1}{3}$ 已知两球均为红球时，第一个球为红球是必然事件： $P (A ∣ B) = \frac{P ( A \cap B )}{P ( B )} = \frac{\frac{1}{3}}{\frac{1}{3}} = 1$

# 3.2 常见概率分布

概率分布描述了随机变量所有可能取值对应的概率规律。AI开发中最常用的是均匀分布与正态分布。

# 3.2.1 均匀分布

均匀分布（Uniform Distribution）表示在区间 $[a, b]$ 内，所有取值的概率密度相等，记作 $U (a, b)$ 。其概率密度函数为：

P (x) = {\frac{1}{b - a}, 0, a < x < b 其他

AI场景中，均匀分布常用于模型参数的随机初始化、数据增强的随机裁剪/翻转、随机梯度下降的样本随机采样等场景。

# 3.2.2 正态分布

正态分布（Normal Distribution，又称高斯分布）是自然界与工程领域最常见的连续概率分布，在统计学与机器学习中占据核心地位。

若随机变量 $X$ 服从均值为 $μ$ 、方差为 $σ^{2}$ 的正态分布，记作 $X \sim N (μ, σ^{2})$ ，其概率密度函数为：

f (x) = \frac{1}{σ 2 π} e^{- \frac{( x - μ ) ^{2}}{2 σ ^{2}}}

其中：

$μ$ ：位置参数，决定分布曲线的中心位置
$σ^{2}$ ：尺度参数，决定分布的离散程度， $σ$ 为标准差

正态分布曲线呈对称钟形，因此也被称为钟形曲线。其中 $μ = 0$ 、 $σ^{2} = 1$ 的正态分布称为标准正态分布。

# 中心极限定理

中心极限定理指出：大量独立同分布、具有有限均值和方差的随机变量，其平均值的分布会随着样本量增加收敛于正态分布。

这一定理解释了为什么现实中大量随机现象（如测量误差、生物特征、数据噪声）都近似服从正态分布。在深度学习中，权重初始化、输入数据归一化、噪声注入等操作，都以正态分布与中心极限定理为理论依据。

# 3.3 贝叶斯定理

贝叶斯定理是概率论的核心定理之一，专门解决「逆向概率」问题：已知观测结果，反推事件原因的概率。它是贝叶斯分类、贝叶斯优化、贝叶斯神经网络的理论基础。

# 3.3.1 全概率公式

对于复杂事件B，若样本空间可被一组两两互斥、且覆盖全部可能的事件 $A_{1}, A_{2}, \dots, A_{n}$ （完备事件组）划分，则事件B的总概率可通过各条件下的概率加权求和得到：

P (B) = i = 1 \sum n P (B ∣ A_{i}) \cdot P (A_{i})

这就是全概率公式，作用是将复杂事件的概率拆解为多个简单条件概率的和，是贝叶斯定理的计算基础。

# 3.3.2 贝叶斯公式

贝叶斯定理建立在条件概率与全概率公式之上，描述了已知结果B发生的情况下，原因 $A$ 发生的概率：

P (A ∣ B) = \frac{P ( B ∣ A ) \cdot P ( A )}{P ( B )}

四个核心概念：

$P (A ∣ B)$ ：后验概率，观测到结果B后，对事件A发生概率的更新判断
$P (B ∣ A)$ ：似然概率，原因A发生时，观测到结果B的概率
$P (A)$ ：先验概率，观测前对事件A发生概率的初始判断
$P (B)$ ：证据，结果B发生的总概率，通常由全概率公式计算

经典示例：疾病检测 某疾病发病率为1%（先验）；患病者检测阳性的概率为95%（真阳性率）；健康者检测阳性的概率为5%（假阳性率）。若一人检测呈阳性，求其真正患病的概率。

设事件A=患病，事件B=检测阳性：

用全概率公式计算阳性总概率：
$P (B) = P (B ∣ A) P (A) + P (B ∣ \overline{A}) P (\overline{A}) = 0.95 \times 0.01 + 0.05 \times 0.99 = 0.059$
代入贝叶斯公式计算后验概率：
$P (A ∣ B) = \frac{0 . 9 5 \times 0 . 0 1}{0 . 0 5 9} \approx 0.161$

结果显示，即使检测阳性，真正患病的概率仅约16.1%——这是因为疾病本身发病率很低，假阳性的总数量超过了真阳性。这个例子直观体现了贝叶斯思维：后验判断需要结合先验信息，不能只看观测结果。

在AI领域，贝叶斯定理广泛应用于朴素贝叶斯分类器、贝叶斯超参数优化、概率图模型与贝叶斯大模型的参数推断中。

# 3.4 似然函数与极大似然估计

极大似然估计是机器学习模型训练最核心的思想之一：交叉熵损失、均方误差损失，本质上都对应着不同分布假设下的极大似然估计。

# 3.4.1 似然函数的概念

概率与似然是两个视角相反的概念：

概率：已知模型参数 $θ$ ，预测观测数据 $X$ 出现的可能性，即 $P (X ∣ θ)$
似然：已知观测数据 $X$ ，反推不同参数 $θ$ 的合理性，即 $L (θ ∣ X)$

数学上，似然函数在数值上等于条件概率：

L (θ ∣ X) = P (X ∣ θ)

但二者意义完全不同：概率是关于数据的函数，似然是关于参数的函数。

若有一组独立同分布的观测数据 $X = (x_{1}, x_{2}, \dots, x_{n})$ ，则整体似然为各样本概率的乘积：

L (θ ∣ X) = i = 1 \prod n P (x_{i} ∣ θ)

为了简化计算、避免连乘导致的数值下溢，通常对似然取对数，得到对数似然：

lo g L (θ ∣ X) = i = 1 \sum n lo g P (x_{i} ∣ θ)

对数函数是单调递增函数，因此最大化对数似然与最大化原似然完全等价。

# 3.4.2 极大似然估计

极大似然估计（Maximum Likelihood Estimation, MLE）的核心思想是：找到一组参数 $θ$ ，使得观测到现有数据的概率（似然）最大——也就是找到最有可能生成当前数据的模型参数。

示例：掷硬币参数估计 掷一枚硬币3次，结果为2次正面、1次反面。试估计硬币正面朝上的概率 $θ$ 。

写出似然函数：3次试验中2次正面的概率服从二项分布
$L (θ ∣ X) = C_{3}^{2} \cdot θ^{2} (1 - θ)$
代入数值直观感受：
- 若 $θ = 0.5$ ： $L = 3 \times 0 . 5^{2} \times 0.5 = 0.375$
- 若 $θ = 0.6$ ： $L = 3 \times 0 . 6^{2} \times 0.4 = 0.432$ 可见 $θ = 0.6$ 比0.5更“符合”观测结果。
求解析解：对对数似然求导并令导数为0
$lo g L (θ) = lo g 3 + 2 lo g θ + lo g (1 - θ)$ $\frac{d lo g L}{d θ} = \frac{2}{θ} - \frac{1}{1 - θ} = 0$
解得 $θ = \frac{2}{3}$ ，即正面概率最有可能为2/3。

对应到深度学习中，模型训练的过程就是极大似然估计的过程：

对于分类任务，假设标签服从类别分布，最大化似然等价于最小化交叉熵损失
对于回归任务，假设误差服从正态分布，最大化似然等价于最小化均方误差损失