这个名为 Dobb-E 的开源系统是使用从真实家庭中收集的数据进行训练的。它可以教会机器人如何打开空气炸锅、关上门或铺平靠垫等任务。
虽然其他类型的人工智能，如大型语言模型，是在从互联网上收集的巨大数据库上进行训练的，但机器人却不能做到这一点，因为它们所需的数据需要在真实世界里收集。这使得构建和扩展训练数据集变得更加困难。
同样，虽然训练机器人在实验室里执行任务相对容易，但实验室里的条件和真实家庭里不可预测的状况截然不同。
为了解决这些问题，该团队想出了一种简单、易于重复的方法来收集训练 Dobb-E 所需的数据，他们将 iPhone 的录像功能打开，然后将其放在通常用于拾取垃圾的机械手上，录制它正在完成的工作。
纽约 22 户家庭志愿参加数据收集，使用机械手完成了某些任务，包括打开和关闭门和抽屉、开灯和关灯，以及将纸巾放入垃圾桶。
iPhone 的激光雷达系统、运动传感器和陀螺仪被用来记录运动、深度和旋转的数据，这是训练机器人复刻这些动作时的重要信息。
在他们仅仅收集了 13 个小时的记录后，该团队使用这些数据训练了一个人工智能模型，指导机器人如何执行这些动作。
该模型使用了自监督学习技术，该技术可以训练神经网络在未标记数据中自行发现数据集中的规律。
下一步包括测试一种名为 Stretch 的商用机器人如何可靠地使用人工智能系统执行任务，该机器人由轮子、高杆和可伸缩臂组成。一部装在 3D 打印支架上的 iPhone 被连接到 Stretch 的手臂上，就像在机械臂上所做的那样。
研究人员在纽约的 10 个家庭中对该机器人进行了 30 天的测试，完成了 109 项家庭任务，总体成功率为 81%。
Dobb-E 通常需要大约 20 分钟的时间来学习每项任务。前 5 分钟是人类用机械臂和 iPhone 进行演示，随后的 15 分钟是微调时间，系统会将之前的训练与新的演示进行对比。
（来源：STEPHANIE ARNETT/MITTR | HELLO ROBOT, ENVATO）
微调完成后，机器人就可以完成简单的任务，比如从杯子里倒东西、打开百叶窗和浴帘，或者从架子上取下桌游盒。
它还可以快速连续地执行多个动作，例如将罐头放入回收袋中，然后提起袋子。
然而，并不是每一项任务都会成功。镜子等能反射光的物体会让该系统失灵。此外，由于机器人的重心较低，那些需要在高处拉重物的任务，如打开冰箱门，风险太大，无法尝试。
机器人公司Hello Robot 的联合创始人、佐治亚理工大学前副教授查理·肯普（Charlie C.Kemp）表示，这项研究代表着家庭机器人领域的实际进展。尽管 Dobb-E 团队使用了 Hello Robots 的研究机器人，但肯普没有参与该项目。
他说：“家用机器人的未来真的来了。这不再只是一个疯狂的梦想。扩大数据规模一直是机器人领域的一个挑战，这是解决这个问题的一种非常有创意、聪明的方法。”
美国斯坦福大学计算机科学助理教授 Jiajun Wu 没有参与这项研究，他说，到目前为止，Roomba 和其他机器人吸尘器是唯一真正成功的商用家用机器人。
他们的工作更容易，因为 Roomba 不与物体互动，事实上，它们的目的是避开物体。开发能够完成更广泛任务的家用机器人更具挑战性，这正是这项研究可以帮助推进的事情。
美国纽约大学的研究团队已经将该项目开源，他们希望其他人能够下载代码，并帮助扩展使用 Dobb-E 的机器人能够实现的任务范围。
参与该项目的纽约大学计算机科学研究员勒雷尔·平托（Lerrel Pinto）说：“我们希望，随着我们获得越来越多的数据，在未来的某个时候，当装着 Dobb-E 的机器人来到一个新家时，你不必向它展示更多的例子。”
他说：“我们希望达到不必教机器人新任务的地步，因为它已经知道大多数房子里的所有任务了。”
作者简介：丽亚农·威廉（Rhiannon Williams）负责撰写《麻省理工科技评论》的 Download 栏目，同时她也是一名新闻记者。在加入《麻省理工技术评论》之前，她是 i newspaper 的技术记者和《每日电讯报》（Telegraph）的科技记者。她曾入围 2021 年英国新闻奖，并定期作为专家出现在 BBC。
支持：Ren
