商用无人机产品可以解决一些自动化任务,但是那些系统无法解决的一件事是艺术性地拍摄。卡内基·梅隆大学研究人员领导的一个团队已经提出了一种用于航空摄影的完整系统,该系统可以学习人类的视觉偏好。完全自主的系统不需要脚本场景,用GPS标签来定位目标或先前的环境地图。
CMU
机器人研究所的博士生Rogerio Bonatti说:“我们把一个主管的权力放在无人机内部(让它自由移动选择视角)。”无人机的定位是记录场景中最重要的方面。它能自主地理解障碍物所在场景的上下文、演员所在场景,并能主动地解释哪些视点将使场景更具视觉趣味性。这也是保持安全和场景不崩溃的原因。”
作为一个目标,“艺术上有趣”是主观的并且难以数学量化,因此相关人员使用称为“深度强化学习”的技术对无人机系统进行了训练。在用户研究中发现,人们在逼真的模拟器上观看了在正面,背面,左侧和右侧透视图之间切换的场景,还探讨了镜头的比例和距离,以及演员在屏幕上的位置,无人机制作的
视频,用户还可以根据场景的视觉吸引力和发现的艺术趣味对场景进行评分。
无人机拍摄可以系统拍摄到某些下意识动作,这比比其他动作更有趣。例如,其他自主无人机产品经常使用连续快照,因为它允许无人机沿着演员身后的清晰安全路径行驶。但是在用户研究中,参与者报告说,一段时间后持续不断的倒拍变得很无聊。他们还发现,无人驾驶飞机必须经常改变角度,以保持拍摄的趣味性,但他们不能经常切换,因此有些视角无人机做得更好。
Bonatti说,团队希望使学习到的行为具有普遍性,从模拟培训到现实生活场景中的部署。当演员在建筑物之间的狭窄走廊上行走时,系统会平均用户对镜头的偏爱,但它可以使用地形映射将这些偏爱
应用于类似的障碍物,例如森林小径。
“未来的工作可能会探索许多不同的参数,或者根据导演的风格或流派创造个性化的艺术偏好,”机器人研究所副研究员塞巴斯蒂安·谢勒(Sebastian Scherer)说。
空中系统还擅长于保持演员的清晰视野,避免所谓的遮挡。博纳蒂说:“我们是第一个提出处理遮挡新方法的人,这些方法不仅仅是二进制的,而且实际上可以量化遮挡的严重程度。”
其他创新包括可以预测演员运动轨迹的高效运动计划器,以及使用LiDAR的环境增量式高效映射系统。
该系统可能不仅仅用于娱乐和体育活动。今天,政府和警察部门已经将手动飞行的无人机用于许多应用,包括监视人群和了解交通模式。但是手动飞行的无人驾驶飞机需要很多注意力,而军官实际上无法花费精力看现场。博纳蒂说:“就像学习艺术原理一样,可以向机器学习其他应用程序(例如安全性)所需的镜头。”
博纳蒂说:“研究的目的不是要取代人类。我们仍然会有训练有素的专业专家的市场。” “目标是使无人机摄影民主化,并使人们真正专注于对他们而言重要的事情。”这项工作将在2019年
智能机器人与系统国际会议上发表,并已被发表在Journal of Field Robotics上。