神经电容基于边缘动力学的神经网络选择的新视角

2022年1月18日整理发布：利用预训练的神经网络并对其进行微调以解决目标任务是深度学习中常见且有效的做法。然而，如何以有效的方式从候选池中选择合适的预训练模型仍然存在问题。

最近的一篇论文提出了一种新的框架来预测模型在人工神经网络 (ANN) 训练的早期阶段的累积信息的预测能力。

研究人员将 ANN 训练视为突触连接上的动态系统，并且首次从微观角度研究了突触连接的相互作用。为 ANN 模型选择开发了一个神经电容度量。它被证明在基于早期训练结果预测一组预训练模型的排名方面是有效的。

为下游任务识别合适的预训练神经网络的有效模型选择是深度学习中一项基本但具有挑战性的任务。当前的实践需要在模型训练中用于性能预测的昂贵计算成本。在本文中，我们通过分析训练期间突触连接(边缘)的控制动力学，提出了一种用于神经网络选择的新框架。我们的框架基于这样一个事实，即神经网络训练期间的反向传播相当于突触连接的动态演化。因此，收敛神经网络与由这些边组成的网络系统的平衡状态相关联。为此，我们构建了一个网络映射φ，将一个神经网络G A到在G A的那些边上定义的有向线图G B。接下来，我们推导出一个神经电容度量β e f f作为普遍捕获G A泛化能力的预测度量仅使用少数早期训练结果来处理下游任务。我们使用 17 个流行的预训练 ImageNet 模型和 5 个基准数据集(包括 CIFAR10、CIFAR100、SVHN、Fashion MNIST 和 Birds)进行了广泛的实验，以评估我们框架的微调性能。我们的神经电容指标被证明是仅基于早期训练结果的模型选择的有力指标，并且比最先进的方法更有效。

标签：