谈谈自动微分（Automatic Differentiation）-技术圈

©作者 | JermyLu 编辑 paperweekly

学校 | 中国科学院大学

研究方向 | 自然语言处理与芯片验证

引言

众所周知，Tensorflow、Pytorch 这样的深度学习框架能够火起来，与其包含自动微分机制有着密不可分的联系，毕竟早期 Pytorch≈Numpy+AutoGrad，而 AutoGrad 的基础就是自动微分机制。

常见的梯度求解方法包括：数值微分（Numerical Differentiation）、符号微分（Symbolic Differentiation）和自动微分（Automatic Differentiation）。

数值微分

在数学中，求解梯度 = 求解函数偏导数，而导数是用极限来定义的，如下所示：

其中，表示参数的一个很小的变化量，上式是导数的双边定义形式。如果函数是初等函数，则可使用求导法则得到其导数。如果不能得到函数导数的解析式，则必须使用数值微分方法求解该函数在某个点的导数。

数值微分方法简单，但计算量巨大，而且会造成截断误差（Truncation Error）和舍入误差（Round-off Error）。

当用数值微分方法求解梯度时，需要用极限即无穷过程求解。然而，无穷过程在计算机中是不存在的，计算机需要将无穷过程求解截断为有限过程求解。例如，导数定义中是一个无穷过程，在实际计算中（不能等于 0，等于 0 就不存在变化量了），而可能令，这就带来了截断误差。

舍入误差是指运算得到的精确值无法被计算机存储，只能以近似值代替产生的差异。例如，当实数超过了双精度浮点数可以表示的范围之后，计算机无法精确表示，而只能以其近似值代替，就产生了舍入误差。因此，数值微分方法不适用于神经网络梯度反向传播。

符号微分

符号微分是通过建立符号表达式求解微分的方式，即借助符号表达式和求导公式，推导出目标函数关于自变量的微分表达式，最后代入数值即可得到微分结果。例如，对于表达式，其微分表达式，然后将具体数值和代入，即可得到。

使用符号微分方法时，必须将目标函数转为一个完整的数学表达式，这个过程中会出现表达式膨胀（Expression Swell）的问题，大大增加系统存储和处理表达式的负担。

例如，则

在深层神经网络模型中，神经元数量和参数量极大，完整的损失函数的表达式会非常冗长（比示例复杂的多得多，长的多得多），不易存储和管理；再者，完整写出损失函数的微分表达式也是一项庞大的工作量；最重要的一点，在神经网络的梯度反向传播过程中，只需要微分的（中间）结果值，而不是微分表达式。因此，符号微分方法也不适用于神经网络梯度反向传播。