" 可塑性损失 "（Loss of Plasticity）是深度神经网络最常被诟病的一个缺点，这也是基于深度学习的 AI 系统被认为无法持续学习的原因之一。
对于人脑而言，" 可塑性 " 是指产生新神经元和神经元之间新连接的能力，是人进行持续学习的重要基础。随着年龄的增长，作为巩固已学到知识的代价，大脑的可塑性会逐渐下降。神经网络也是类似。
一个形象的例子是，2020 年热启动式（warm-starting）训练被证明：只有抛除最初学到的内容，以一次性学习的方式在整个数据集上训练，才会取得比较好的学习效果。
在深度强化学习（DRL）中，AI 系统往往也要 " 遗忘 " 神经网络之前所学习的所有内容，只将部分内容保存到回放缓冲区，再从零开始实现不断学习。这种重置网络的方式也被认为证明了深度学习无法持续学习。
那么，如何才能使学习系统保持可塑性？
近日，强化学习之父 Richard Sutton 在 CoLLAs 2022 会议中作了一个题为 "Maintaining Plasticity in Deep Continual Learning" 的演讲，提出了他认为能够解决这个问题的答案：持续反向传播算法（Continual Backprop）。
Richard Sutton 首先从数据集的角度证明了可塑性损失的存在，然后从神经网络内部分析了可塑性损失的原因，最后提出持续反向传播算法作为解决可塑性损失的途径：重新初始化一小部分效用度较低的神经元，这种多样性的持续注入可以无限期地保持深度网络的可塑性。
以下是演讲全文，AI 科技评论做了不改原意的整理。
1
可塑性损失的真实存在
深度学习是否能真正解决持续学习的问题？
答案是否定的，主要原因有以下三点：
" 无法解决 " 是指如同非深度的线性网络，学习速度最终会非常缓慢；
深度学习中采用的专业标准化方法只在一次性学习中有效，与持续学习相违背；
回放缓存本身就是承认深度学习不可行的极端方法。
因此，我们必须寻找适用于这种新型学习模式的更优算法，摆脱一次性学习的局限性。
首先，我们利用 ImageNet 和 MNIST 数据集做分类任务，实现回归预测，对持续学习效果进行直接测试，证明了监督学习中可塑性损失的存在。
ImageNet数据集测试
ImageNet 是一个包含数百万张用名词标记的图像的数据集。它有 1000 个类别，每个类别有 700 张或更多图像，被广泛用于类别学习和类别预测。
下面是一张鲨鱼照片，通过下采样降到 32*32 大小。这个实验的目的是从深度学习实践中寻找最小的变化。我们将每个类别的 700 张图像划分成 600 个训练样例和 100 个测试样例，然后将 1000 个类别分成两组，生成长度为 500 的二元分类任务序列，所有的数据集会被随机地打乱顺序。每个任务训练结束后，我们在测试样例上评估模型的准确率，独立运行 30 次后取平均，再进入下一个二元分类任务。
500 个分类任务会共享相同的网络，为了消除复杂性影响，任务切换后会重置头网络。我们采用标准网络，即 3 层卷积 + 3 层全连接，不过对于 ImageNet 数据集来说输出层可能相对小一些，这是由于一个任务只用了两种类别。对于每个任务，每 100 个示例作为一个 batch，共有 12 个 batch，训练 250 个 epoch。在开始第一个任务前只进行一次初始化，利用 Kaiming 分布初始化权重。针对交叉熵损失采用基于动量的随机梯度下降法，同时采用 ReLU 激活函数。
这里引出两个问题：
1、在任务序列中，性能会如何演化？
2、在哪一个任务上的性能会更好？是初始的第一个任务会更好？还是后续任务会从前面任务的经验中获益？
下图给出了答案，持续学习的性能是由训练步长和反向传播综合决定的。
由于是二分类问题，偶然性概率是 50%，阴影区域表示标准差，这种差异并不显著。线性基准采用线性层直接处理像素值，没有深度学习方法效果好，这种差异很显著。
图注：使用更小的学习率（α =0.001）准确率会更高，在前 5 个任务中性能逐步提升，但从长远来看却呈下降趋势。
我们接着将任务数目增加到了 2000，进一步分析了学习率对于持续学习效果的影响，平均每 50 个任务计算一次准确率。结果如下图。
图注：α =0.01 的红色曲线在第一个任务上的准确率大约是 89%，一旦任务数超过 50，准确率便下降，随着任务数进一步增加，可塑性逐渐缺失，最终准确率低于线性基准。α =0.001 时，学习速度减慢，可塑性也会急剧降低，准确率只是比线性网络高一点点。
因此，对于良好的超参数，任务间的可塑性会衰减，准确率会比只使用一层神经网络还要低，红色曲线所显示的几乎就是 " 灾难性的可塑性缺失 "。
训练结果同样取决于迭代次数、步长数和网络尺寸等参数，图中每条曲线在多个处理器上的训练时间是 24 小时，在做系统性实验时可能并不实用，我们接下来选择 MNIST 数据集进行测试。
MNIST数据集测试
MNIST 数据集共包含 60000 张手写数字图像，有 0-9 这 10 个类别，为 28*28 的灰度图像。
Goodfellow 等人曾通过打乱顺序或者随机排列像素创建一种新的测试任务，如右下角的图像就是生成的排列图像的示例，我们采用这种方法来生成整个任务序列，在每个任务中 6000 张图像以随机的形式呈现。这里没有增加任务内容，网络权重只在进行第一个任务之前初始化一次。我们可以用在线的交叉熵损失进行训练，同样继续使用准确率指标衡量持续学习的效果。
