对于机器狗来说,想要在各种环境里如履平地,除了要有一双灵敏的“眼睛”之外,最重要的是要有一颗聪明的“大脑”——在技术领域,这颗“大脑”叫做控制算法,可以让机器狗在面对不同的情况时,用不同的方式移动、顺利过关。
传统的机器狗“大脑”一般有三种类型:第一种会先告诉好机器狗每一条腿的每一步该怎么走;
第二种是提前设计好一个方法,让机器狗在实际行动中套用这个方法、去找到最好的答案再走;
第三种是向真实的狗狗“取经”,在狗身上绑上一堆传感器来收集它移动的数据,再让机器狗去学习真实的狗是怎么走的。
不过以上这些方法都存在着一个重要的问题:就是方案制定和实施过程中需要依赖大量的人类专家经验。这就大大限制了机器狗“大脑“所能发挥的能力和触达的边界。
现在,百度团队为机器狗安上了一颗全新的“大脑”,让机器狗能够自己去主动学习和训练,面对高难度的环境挑战时,自己就可以探索出用什么方法才能成功穿越了。
这颗新“大脑”里,最关键的部位叫基于自进化步态生成器的强化学习框架——简单来说就是让机器狗分两步走:
第一步,机器狗能高效地通过“进化”的方式学习出自己的行动沿着什么轨迹走最合理,面对不同的环境要学习合适的“走法”。
第二步就要加上强化学习了,当机器狗在面对当前情况时使用了灵活的方式通过时,就给予“奖励”;如果机器狗笨拙地摔倒了导致没能完成任务,就会给予“惩罚”;就像真实世界里我们训练狗狗一样,机器狗通过训练之后也会形成条件反射,不断学会在各种环境中怎样才能走的更好、更稳。
百度提出的这种新控制算法,也在实验中取得了出色成绩:相比别的机器狗,在上下楼梯、走斜坡、走独木板、跳跃隔板等各种高难度的挑战中,百度牌“大脑”的机器狗走得更加稳当,而且是唯一一个能完成所有场景难关任务的。
最重要的是,百度还将这个宝贵的机器狗“大脑”进行了开源,在百度飞桨的机器人仓库中,你也可以使用这个“大脑”很方便地训练属于你自己的机器狗,发挥更多的创意和想象。
面对未来,机器狗也许会前往人们还没探索过的高山、峡谷,即使没有人类专家的经验,只要拥有百度这颗聪明的“大脑”,机器狗都可以自己学习、轻松地翻山越岭,把原本看不到的风景和知识带回给我们,看到世界的每一面。
一
