设为首页|收藏本站|
发帖
登录 注册
西兔生活网 › 华人生活 › 抑郁焦虑 › 论文推荐：在早期训练阶段预测下游模型性能 ...
回复 发帖
返回列表 发新帖
开启左侧

[分享] 论文推荐：在早期训练阶段预测下游模型性能

[复制链接]
15427 0
网名跟吊一样长 发表于 2022-1-19 09:34:53 | 只看该作者 打印 上一主题 下一主题
 
22年1月的新论文提出了基于边缘动态系统的神经网络选择的新视角

论文推荐：在早期训练阶段预测下游模型性能 第1张图片

预训练大规模深度神经网络(NN)，并针对下游任务进行微调已成为深度学习领域的现状。 研究人员面临的一个挑战是如何为给定的下游任务有效地选择最合适的预训练模型，因为这个过程通常需要在模型训练中用于性能预测的昂贵计算成本。
在新论文 Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics 中，来自 Rensselaer Polytechnic Institute、Thomas J. Watson 研究中心和加州大学洛杉矶分校的研究小组提出了一种针对下游任务的有效神经网络选择的新框架。 该方法利用模型的累积信息来预测模型的预测能力，在神经网络训练的早期阶段这样做可以节省资源。
该团队总结了他们的结论:

  • 将神经网络训练看作是一个基于突触连接的动态系统，并首次从微观角度研究突触连接的相互作用。
  • 提出了用于神经网络模型选择的神经电容度量βeff。
  • 基于5个基准数据集的17个预训练模型的实验结果表明，我们的βeff方法优于现有的学习曲线预测方法。
  • 在CIFAR10/CIFAR100/SVHN/Fashion MNIST/Birds上，根据训练前模型的性能，论文的方法比最佳基线提高了9.1/38.3/12.4/65.3/40.1%。


论文推荐：在早期训练阶段预测下游模型性能 第2张图片

论文所提出的框架基于这样的思想，即神经网络训练期间的反向传播等效于突触连接（边缘）的动态演化，并且收敛神经网络与由这些边缘组成的网络系统的平衡状态相关联。它还借鉴了以前的研究，表明复杂的现实世界系统（例如植物-传粉媒介的相互作用和 COVID-19 的传播）可以用图网络进行表示。
研究人员将 NN 训练视为突触连接上的动态系统并首次以微观方式探索这些突触连接相互作用。他们提出“βeff”作为表征生物和人工神经网络的通用神经电容度量（neural capacitance metric），可以为可训练权重构建线图并以与一般动态系统相同的形式重新制定训练动态系统，使βeff属性能够在训练过程的早期阶段通过少量观察预测图神经网络的最终准确性。
该团队在 17 个预训练 ImageNet 模型上评估了他们的框架，包括 AlexNet、VGGs (VGG16/19)、ResNets (ResNet50/50V2/101/101V2/152/152V2)、DenseNets (DenseNet121/169/201)、MobileNets (MobileNet 和 MobileNetV2) ，Inceptions（InceptionV3，InceptionResNetV2）和Xception。他们还将基于 βeff 的方法与其他各种模型排名基线进行了比较。

论文推荐：在早期训练阶段预测下游模型性能 第3张图片

在实验中，基于神经电容 βeff 的方法优于当前的学习曲线预测方法，并在 CIFAR10/CIFAR100、SVHN、Fashion MNIST 和 Birds 数据集的最佳基线上取得了显着的相对改进。

论文推荐：在早期训练阶段预测下游模型性能 第4张图片

结果验证了 βeff 作为基于早期训练结果预测一组预训练模型的排名的有效指标。 团队计划在未来探索更多的相关研究方向，例如简化邻接矩阵 P 以捕捉突触连接之间的依赖和相互交互，将框架扩展到 NAS 基准以选择最佳子网络，以及设计一种高效的算法直接 基于 βeff 优化 NN 架构。

论文地址：https://arxiv.org/abs/2201.04194

本文作者：Hecate He


上一篇：住在北京二环内有优越感吗？什么体验？
下一篇：自主神经系统是这样控制我们身体的
标签：洛杉矶加州神经网络深度学习动态系统
@
免
责
声
明
1.西兔生活网 CTLIVES 内容全部来自网络;
2.版权归原网站或原作者所有;
3.内容与本站立场无关;
4.若涉及侵权或有疑义，请点击“举报”按钮，其他联系方式或无法及时处理。
举报

关联主题
回复

使用道具 举报

 
返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

网名跟吊一样长白金会员

0关注

6粉丝

461帖子

热门图文
热门帖子
排行榜
  • 日
  • 周
  • 月
活跃网友
返回顶部快速回复上一主题下一主题返回列表APP下载手机访问
Copyright © 2016-2028 CTLIVES.COM All Rights Reserved.  西兔生活网  小黑屋| GMT+8, 2024-4-20 16:06