机器人视觉伺服系统是
机器视觉和
机器人控制的有机结合，是一个非线性、强耦合的复杂系统，其内容涉及图象处理、机器人运动学和动力学、控制理论等研究领域。随着摄像设备性能价格比和计算机信息处理速度的提高，以及有关理论的日益完善，视觉伺服已具备实际
应用的技术条件，相关的技术问题也成为当前研究的热点。
所谓机器视觉，美国制造工程师协会（smesocietyofmanufacturingengineers）机器视觉分会和美国机器人工业协会（riaroboticindustriesassociation）的自动化视觉分会给出的定义是：“机器视觉是通过光学的装置和非接触的传感器自动地接收和处理一个真实物体的图像，以获得所需信息或用于控制机器人运动的装置。”
机器视觉作为与人眼类似的机器仿生系统，从广义角度凡是通过光学装置获取真实物体的信息以及对相关信息的处理与执行都是机器视觉，这就包括了可见视觉以及非可见视觉，甚至包括人类视觉不能直接观察到的、物体内部信息的获取与处理等。
视觉伺服的定义：
人类对于外部的信息获取大部分是通过眼睛获得的，千百年来人类一直梦想着能够制造出智能机器，这种智能机器首先具有人眼的功能，可以对外部世界进行认识和理解。人脑中有很多组织参与了视觉信息的处理，因而能够轻易的处理许多视觉问题，可是视觉认知作为一个过程，人类却知道的很少，从而造成了对智能机器的梦想一直难以实现。随着照相机技术的发展和计算机技术的出现，具有视觉功能的智能机器开始被人类制造出来，逐步形成了机器视觉学科和产业。所谓机器视觉，美国制造工程师协会(smesocietyofmanufacturingengineers)机器视觉分会和美国机器人工业协会(riaroboticindustriesassociation)的自动化视觉分会给出的定义是：
“机器视觉是通过光学的装置和非接触的传感器自动地接收和处理一个真实物体的图像，以获得所需信息或用于控制机器人运动的装置。”
机器视觉作为与人眼类似的机器仿生系统，从广义角度凡是通过光学装置获取真实物体的信息以及对相关信息的处理与执行都是机器视觉，这就包括了可见视觉以及非可见视觉，甚至包括人类视觉不能直接观察到的、物体内部信息的获取与处理等。
机器人视觉发展历程
上个世纪60年代，由于机器人和计算机技术的发展，人们开始研究具有视觉功能的机器人。但在这些研究中，机器人的视觉与机器人的动作，严格上讲是开环的。机器人的视觉系统通过图像处理，得到目标位姿，然后根据目标位姿，计算出机器运动的位姿，在整个过程中，视觉系统一次性地“提供”信息，然后就不参与过程了。在1973年，有人将视觉系统应用于机器人控制系统，在这一时期把这一过程称作视觉反馈(visualfeedback)。直到1979年，hill和park提出了“视觉伺服”(visualservo)概念。很明显，视觉反馈的含义只是从视觉信息中提取反馈信号，而视觉伺服则是包括了从视觉信号处理，到机器人控制的全过程，所以视觉伺服比视觉反馈能更全面地反映机器人视觉和控制的有关研究内容。
上个世纪80年以来，随着计算机技术和摄像设备的发展，机器人视觉伺服系统的技术问题吸引了众多研究人员的注意。在过去的几年里，机器人视觉伺服无论是在理论上还是在应用方面都取得了很大进展。在许多学术会议上，视觉伺服技术经常列为会议的一个专题。视觉伺服已逐渐发展为跨机器人、自动控制和图像处理等技术领域的一门独立技术。
机器人视觉伺服系统分类：
目前，机器人视觉伺服控制系统有以下几种分类方式：
●按照摄像机的数目的不同，可分为单目视觉伺服系统、双目视觉伺服系统以及多目视觉伺服系统
单目视觉系统只能得到二维平面图像，无法直接得到目标的深度信息;多目视觉伺服系统可以获取目标多方向的图像，得到的信息丰富，但图像的信息处理量大，且摄像机越多越难以保证系统的稳定性。当前的视觉伺服系统主要采用双目视觉。
●按照摄像机放置位置的不同，可以分为手眼系统(eyeinhand)和固定摄像机系统(eyetohand或standalone)
在理论上手眼系统能够实现精确控制，但对系统的标定误差和机器人运动误差敏感;固定摄像机系统对机器人的运动学误差不敏感，但同等情况下得到的目标位姿信息的精度不如手眼系统，所以控制精度相对也低。
●按照机器人的空间位置或图像特征，视觉伺服系统分为基于位置的视觉伺服系统和基于图像的视觉伺服系统
在基于位置的视觉伺服系统中，对图像进行处理后计算出目标相对于摄像机和机器人的位姿，所以这就要求对摄像机、目标和机器人的模型进行校准，校准精度影响控制精度，这是这种方法的难点。控制时将需要变化的位姿转化成机器人关节转动的角度，由关节控制器来控制机器人关节转动。
在基于图像的视觉伺服系统中，控制误差信息来自于目标图像特征与期望图像特征之间的差异。对于这种控制方法，关键的问题是如何建立反映图像差异变化与机器手位姿速度变化之间关系的图像雅可比矩阵；另外一个问题是，图像是二维的，计算图像雅可比矩阵需要估计目标深度(三维信息)，而深度估计一直是计算机视觉中的难点。
雅可比矩阵的计算方法有公式推导法、标定法、估计方法以及学习方法等，前者可以根据模型推导或标定得到，后者可以在线估计，学习方法主要利用神经网络方法。
●按照采用闭环关节控制器的机器人，视觉伺服系统分为动态观察-移动系统和直接视觉伺服
前者采用机器人关节反馈内环稳定机械臂，由图像处理模块计算出摄像机应具有的速度或位置增量，反馈至机器人关节控制器；后者则由图像处理模块直接计算机器人手臂各关节运动的控制量。
