Learning robust perceptive locomotion for quadrupedal robots in the wild
ETH ANYmal团队以每年一篇Science Robotic的速度在不断提升基于神经网络的四足机器人的能力。在这篇最新的工作中，通过视觉得到的地形信息被充分利用，完美的深度强化学习训练及sim2real，使得ANYmal可以适应各种复杂地形。这个成果进一步的说明了深度强化学习及Sim2Real在机器人控制上的优越性甚至不可替代性，四足机器人的行走能力得到了极大的提升，目前并没有公开的实验来对比AnyMal和波士顿动力的Spot之间的行走能力差别，但我确信ANYmal肯定会更强。这个成果也进一步让大家看到了四足被广泛应用的前景。
2.2 Agility Robot: Cassie 两足机器人能走5公里路了
OSU Bipedal Robot First to Run 5K
CSL seminar: Alan Fern
方法论和ANYmal的四足基本一样，就是深度强化学习+Sim2Real，只是两足显然要比四足更难，因此目前两足的效果看起来比四足要差一些，但能够在平坦地面连续走5km也很强了。这成果是波士顿动力用传统控制方法很难达到的效果。可以预期这一两年两足机器人应该也能达到四足的水平，在不平坦的野外行走。
2.3 Nvidia：Isaac Gym
Isaac Gym - Preview Release
Isaac Gym 经过Nvidia相关团队3年的研发，终于是越来越成熟，Isaac Gym的数据直接在GPU上通过Pytorch Tensor API处理，绕过了CPU的过程，使得Isaac Gym的仿真速度超级快，一个好的GPU就可以等价原来要几百上千CPU集群的训练效果。当然，现在的Isaac Gym对视觉输入输出的支持还不够好，但对于四足，机械手等非视觉控制任务已经是一个非常好的训练环境了。
Google也推出了brax 支持类似Isaac Gym的效果，但底层原理和实现手段不一样，主要是基于Jax，对渲染支持不足。
https://github.com/google/brax
2.4 机械手: CoRL 2021 best paper：A System for General In-Hand Object Re-Orientation
A System for General In-Hand Object Re-Orientation
以前OpenAI只能转小方块，现在MIT的工作拓展到能转任意物体，算是一个不错的突破。方法上就是深度强化学习，这个工作因为疫情并没有在真实机械手上实现。对于未来的VR/AR应用，这个工作也具有潜在的应用价值，可以更好的去模拟抓取的动作。
2.5 负向进展：OpenAI 关闭其机器人研究小组，停止了机器人研究
这可能是去年非常重磅的新闻了，原因是相比于NLP，机器人学习的数据太难获取了。所以OpenAI 机器人小组的leader Wojciech Zaremba 改去做GPT相关工作了。
这确实也是事实，机器人学习太需要环境和可用于模仿的数据，但两者目前都比较难以获取。但正因为难，我们更应该去做它。去造环境也好，或者造数据也好。
2.6 Robot Design with AI
通过AI来设计机器人的形态是一个非常有意思的方向，当然目前还处于比较早期的阶段。有一些有意思的工作，比如：
2.6.1 Embodied Intelligence via Learning and Evolution
Daniel Holden的SuperTrack就是基于可微分物理来实现的，可以算是一个蛮大的突破。因为这个要训练好很难。
前面提到的Google Brax https://github.com/google/brax 就是可微分的。SuperTrack是学出来的model，brax则是环境自带可微分属性。
model-based learning 在RL领域本来就是能极大提升训练效率的方法，现在应用到机器人学习中能够成功也就可以极大的提升机器人学习的训练效率。
当然现在这个方向也才刚起步，接下来要看像SuperTrack能否更进一步的处理更复杂的碰撞问题，同时不再只是简单的模仿一段mocap，而是真正学会某个技能。
2.10 Language Model and Decision Making
窥视卡
雷达卡
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜
