设为首页|收藏本站|
发帖
登录 注册
西兔生活网 › 美洲华人圈 › 洛杉矶华人圈 › Talk | 南加州大学助理教授马学喆: 深度神经网络的优化 ...
回复 发帖
返回列表 发新帖
开启左侧

[问答] Talk | 南加州大学助理教授马学喆: 深度神经网络的优化算法 ...

[复制链接]
87281 0
linzhenbin 发表于 2022-3-10 16:42:19 | 只看该作者 打印 上一主题 下一主题
 
公众号：将门创投
这次我“门”有幸邀请到南加州大学助理教授——马学喆来到TechBeat人工智能社区，为我们带来Talk“深度神经网络的优化算法”，Talk已在TechBeat人工智能社区上线！【点击这里】，即可马上免费观看！
本次Talk中，马学喆主要讨论Apollo在收敛速度和泛化性能对比其它随机优化方法的研究进展与挑战。
Talk·信息

主题：深度神经网络的优化算法
嘉宾：南加州大学助理教授 马学喆
时间：北京时间 11月17日 (周三) 20:00
地点：TechBeat人工智能社区

Talk·提纲

本次报告主要讨论深度神经网络的优化算法。在上半部分，我们先简单介绍一下深度学习中优化问题的一些背景知识，以及一些主流的优化算法，包括SGD，Adam以及他们的一些变体。在报告的下半部分，我将介绍一下我们最近的一个优化工作，就是apollo优化器。它通过对角矩阵逼近 Hessian，动态地将损失函数的曲率应用到优化的过程中。重要的是，Apollo 对于 Hessian 的对角近似的时间和空间复杂度与自适应一阶优化方法一样。为了处理目标函数的非凸性，我们用 Hessian 的修正绝对值来代替原始的 Hessian，保证它是正定的。机器视觉和自然语言处理三项任务上的实验表明，Apollo 在收敛速度和泛化性能上对比其它随机优化方法（包括 SGD 和 ADAM 的变体）有了显著的改进。
1. 深度神经网络优化的背景内容
2. 主流的优化算法，包括SGD，Adam以及它们的变体
3. 基于拟牛顿法的Apollo优化算法
Talk·参考资料

这是本次分享中将会提及的资料，建议提前预习哦！
论文链接：
https://www.techbeat.net/article-info?id=2768
Talk·精彩片段


Talk | 南加州大学助理教授马学喆: 深度神经网络的优化算法 ... 第1张图片

Talk | 南加州大学助理教授马学喆: 深度神经网络的优化算法 ... 第2张图片

Talk | 南加州大学助理教授马学喆: 深度神经网络的优化算法 ... 第3张图片
Talk·嘉宾介绍


Talk | 南加州大学助理教授马学喆: 深度神经网络的优化算法 ... 第4张图片

马学喆南加州大学助理教授

马学喆博士现任南加州大学计算机学院研究助理教授。其研究方向为深度学习，表征学习与自然语言处理。他于2010年在上海交通大学ACM班获得本科学位。并在2020年于卡耐基梅隆大学语言技术研究所(CMU LTI)获得博士学位。他已在机器学习和自然语言处理顶级会议ICML, ICLR, NeurIPS， ACL，NAACL，EMNLP等发表三十余篇论文，并在这些会议中任领域主席。个人主页：
https://xuezhemax.github.io/

更多精彩Talk，尽在【持续上新 | Talk合辑】专栏
@将门创投 · 让创新获得认可
如果喜欢，别忘了赞同、关注、分享三连哦！~笔芯❤


上一篇：科比为什么被称为“西决之王”？
下一篇：什么？计算机专业这么多？CS, CE, EE, SE, IT, DS, 我该 ...
@
免
责
声
明
1.西兔生活网 CTLIVES 内容全部来自网络;
2.版权归原网站或原作者所有;
3.内容与本站立场无关;
4.若涉及侵权或有疑义，请点击“举报”按钮，其他联系方式或无法及时处理。
举报
回复

使用道具 举报

 
返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

linzhenbin白金会员

0关注

7粉丝

449帖子

热门图文
热门帖子
排行榜
  • 日
  • 周
  • 月
活跃网友
返回顶部快速回复上一主题下一主题返回列表APP下载手机访问
Copyright © 2016-2028 CTLIVES.COM All Rights Reserved.  西兔生活网  小黑屋| GMT+8, 2024-5-22 03:18