研用结合的突破:在真实或接近真实的应用环境中测试
简单地说,“基于用例的测试”就是将
机器人放到真实或接近真实的环境中,让它们完成真实世界中存在的任务,通过对其完成度的检验,测试参赛机器人的系统性能。比如
服务机器人测试,就是看其在家庭环境中,是否能完成倒水等家务劳动等任务;救灾机器人测试,就是看它们在模拟的地震、爆炸、火灾等环境中,能否成功找到被困人员。
在RoboCup机器人世界杯中,各项比赛都采用这一评价方法。这些任务的完成情况,主要取决于相关关键技术的研发水平。回顾历届大赛,应该说比赛
应用环境的设置正逐年向真实环境靠拢,任务的难度也逐年提高,越来越接近真实应用。例如,本届大赛中“家庭服务机器人”项目,包含大约10个标准测试,所有测试都在简化的家庭环境,或者真实的超市、餐馆中进行。测试任务包括常规的室内服务(如端茶倒水、清理房间)和紧急情况(如失火)下的人员救助。能否完成测试任务,涉及一些前沿技术的研发。比如“紧急救助”测试,要求机器人能够对用户的姿态和行为进行识别。这是国际机器人前沿研究中的一个新课题,目前还没有成熟技术。
与学术论文中的传统实验评价相比,“基于用例的测试”有四个主要区别。第一,学术论文中的实验对象通常是某一个具体的方法、算法或理论模型等,而不是整机。第二,论文使用的测试数据通常是事先收集整理的,而不是直接在真实应用场景中由机器人自身获得的。第三,论文中的实验设计是由论文作者制定的,而“用例”的设计是由第三方专业机构经过专门研究制定的。这在RoboCup机器人世界杯各个项目的比赛中表现为一套详尽的规则。第四,相对于论文评审和项目验收等传统评价方式而言,成果评价的客观性得到了有效的提高。
归结起来,“基于用例的测试”是依据第三方专业机构制定的统一的测试准则,在真实或接近真实的应用环境中,测试真实用户任务的完成情况,对机器人整机进行客观的大规模对比实验。
近年来,国家自然科学基金委组织的智能车大赛、美国国防部高级计划局组织的无人车沙漠越野赛和机器人挑战赛等,都采用这种方式作为成果评价体系,并取得了显著效果。这种测试方法也是国外许多
机器人公司的选择。在本届机器人世界杯产业峰会上,德国
库卡机器人公司研发总监、欧洲机器人联合会副主席比斯乔夫介绍了
库卡公司将“基于用例的测试”作为创新研发重要手段的做法和意义。目前全球最大的服务机器人厂商Aldebaran,是另一个“基于用例的测试”的受益者。该公司为RoboCup机器人世界杯“标准平台组”提供硬件平台,根据参赛队连续多年的测试结果进行产品升级,大大加快了产品研发与推广。
长期以来,科研与应用之间的严重脱节是我国科技成果转化的“老大难”,严重阻碍了国家创新战略的有效实施。在机器人研究现阶段,在我国现有科研评价体系下,论文中的科研成果绝大多数与实际应用之间存在很大距离,需要漫长的转化过程。可是,这个关键过程在国内几乎无人问津,已成为我国科研成果应用转化的最大瓶颈之一。
“基于用例的测试”是科研成果(包括论文和专利成果)向实际应用转化的一条快车道。经过“基于用例的测试”所获得的成果,与论文中的成果相比,大大缩短了与实际应用之间的距离,转化难度和转化所需的投入都大大降低了。笔者建议,在机器人及相关领域中更大范围、更大力度地开展“基于用例的测试”,并在科研评价体系中设置相应的评价指标,作为论文和专利两个传统指标的重要补充。同时,可以此为切入点,尝试突破成果转化瓶颈的新途径。相信这对于落实国家机器人创新战略,将是一种有益的探索。