基于视觉的机器人模糊自适应阻抗控制

李二超，李战明，李炜

(兰州理工大学 电气与信息工程学院，甘肃省工业过程先进控制重点实验室，甘肃 兰州，730050)

摘要：对未知环境下具有6个自由度工业机器人的视觉/力反馈混合控制进行研究。首先，建立被跟踪曲线图像特征与机器人关节角度的映射关系；其次，由机器人离散阻抗控制规律描述机器人末端在受限表面移动时与受限表面产生连续接触的条件，并根据接触力的变化对阻抗模型参数进行模糊调节；最后，在未知物体表面对末端固定安装单摄像机和力传感器的6个自由度机器人进行力跟踪试验研究。研究结果表明：该阻抗控制具有较强的未知物体表面曲线跟踪能力和较高的力控制精度，曲线跟踪算法简单，不要求对视觉传感器进行精确标定，模糊控制器实时地调整阻抗参数，使系统稳定而且具有良好的动态品质，是一种有效的视觉/力反馈混合控制方法。

关键词：机器人；视觉；阻抗控制；模糊控制

中图分类号：TP242.6          文献标志码：A         文章编号：1672-7207(2011)02-0409-05

Fuzzy adaptive impedance control of robot based on vision

LI Er-chao, LI Zhan-ming, LI Wei

(Key Laboratory of Gansu Advanced Control for Industrical Processes, College of Electrical and Information Engineering,

Lanzhou University of Technology, Lanzhou 730050, China)

Abstract: Hybrid control for visual/force servoing was studied in an unknown environment with six degrees of freedom industrial robot. Firstly, the one-to-one mapping relations between the image features of the curved line and the joint angle of the robot were derived. Secondly, an impedance control law was used to describe the conditions of the constant contact resulted from the end effector and the constrained surface while it was in motion, and then a fuzzy tuning mechanism was used to generate the impedance model. Lastly, the effectiveness of the presented approach was verified using six degrees of freedom robot with a CCD camera and a force/torque sensor installed in its end effector. The experimental results show that the strategy has a stronger curve tracking capabilities of the unknown surface and higher accuracy of force control, and parameters of camera need not be calibrated precisely; impedance parameters are modified real-time by fuzzy controller; the stability and dynamic behavior are improved, and the strategy is an effective controller for visual/force servoing.

Key words: robot; vision; impedance control; fuzzy control

接触性的作业任务是工业机器人所完成的典型作业任务之一，例如插孔可通过机器人来实现^[1]。然而，打磨和抛光等作业任务对机器人来说，具有相当大的难度，必须在控制位置的同时，还必须对机械手和环境之间的接触力进行控制^[2-6]。Huang等^[4]指出力控制是在机器人末端操作手总是与环境接触这个假设的基础上工作的，否则很难建模，即使在一些假设的基础上建立了模型，也会因为控制器的设计太复杂而无法应用。为了完成复杂的任务，必须采用多传感器融合控制。Namiki等^[7]提出了一种分层的多传感器混合体系结构，但该体系结构硬件条件要求高，控制复杂，并不适合视觉/力反馈等较少数量传感器的信息融合。Nelson等^[8]给出了一种视觉/力反馈传感器融合的体系结构，有一管理层对不同的传感信息进行处理，结构简单，但它的缺点是要对视觉传感器、力觉传感器和环境进行精确标定。Liu等^[9]基于视觉反馈和速度控制方法实现了单轴的目标跟踪和抓取，但这种方法应用于曲线跟踪效果不理想。Hosoda等^[10]用眼在手上结构和视觉阻抗的概念实现了平面机器人的目标抓取，并用Lyapunov方程证明了系统的稳定性，但需要摄像机的精确标定。目前，国内机器人视觉/力反馈混合控制成果较少^[11-13]，仅仅是在机器人装配过程中利用一管理器对不同的传感信息进行处理，以便在不同阶段使用不同的传感信息。从本质上说，这还不属于视觉/力反馈混合控制，在此，本文作者结合文献[14]提出一种新的视觉/力反馈混合控制方法。在视觉伺服控制时，该方法使用神经网络逼近被跟踪曲线图像特征与机器人关节角度的映射关系，并不要求对视觉传感器进行精确标定；同时，利用模糊自适应阻抗控制对约束环境的法线方向进行力控制。

1  被跟踪曲线图像特征与机器人关节角度的映射关系

对具有6个自由度视觉伺服控制，需要6个互相独立的图像特征与机器人的6个关节角一一对应。本文选取的图像特征，如图1所示(其中：j代表第j个窗口，L和W为第j个窗口的长和宽。

图1  图像特征参数的定义

Fig.1  Definition of image feature parameter vector

在第j个窗口中，定义：

           (1)

这时，可以定义中每个元素的含义，以及重心坐标和、面积、等效椭圆的长轴和短轴、方向。

图像处理时间比机器人伺服控制时间长。令T为机器人伺服控制周期时间，图像提取特征时间视具体硬件和软件而定。这里假设图像特征提取时间为mT(其中，m为倍数)。在时间t=imT时，曲线图像特征和曲线图像特征增量为

，   (2)

在不同的加工环境中，影响机器人关节角变化Δθ的物理量不仅与Δξ有关，而且与ξ和θ都有关系。在某一具体作业任务中，可以先离线，用BP神经网络来学习这一非线性映射关系。神经网络的输入为[θ(k)，Δξ(k)，ξ^(j)(k)]^T，输出为，参考输出为Δθ_r(k)。

 (3)

式中：正整数S为学习的样本数量。对具有6个自由度的机器人，输入为θ_n(k+1)，输出为θ(k)。当神经网络训练完成投入使用后，在线训练指标为：

    (4)

        (5)

式中：d为神经网络训练完成后，初始值为θ(0)，ξ⁽⁰⁾(0)和Δξ(0)时神经网络的输出。

由于图像处理的采样周期比机器人伺服周期要长很多，所以，为使图像处理和机器人伺服控制同步，这里采用二阶保持器来处理图像数据。

              (6)

  ，  (7)

2  模糊自适应阻抗控制

阻抗控制是通过调节由用户设定的目标阻抗模型，使机器人终端达到柔顺运动^[2]。常用的目标阻抗模型为：

        (8)

式中：M，D和K分别为目标阻抗模型的惯性矩阵、阻尼矩阵和刚度矩阵；p_d(t)和p(t)分别为机器人终端的参考运动轨迹和实际运动轨迹；f(t)为终端对环境的作用力；f_d(t)为接触力的设定值。

p(t)由图2可以直接得到。工作空间坐标p(k)与机器人位形θ(k)表示的动力学方程为：

              (9)

式中：J为雅可比矩阵。

图2  视觉伺服控制方框图

Fig.2  Block diagram of visual servoing control system

假设p_d3(k)为p_d(k)中与环境垂直的法线分量，其余分量为：

，，

；i=1，2，4，5，6       (10)

f_d3(k)为f_d(k)中与环境垂直的作用力分量，其余分量f_di(k)=0；i=1，2，4，5，6。设p_c3(k)为工作空间中机械手末端与环境接触时的位置，利用p_c3(k)可以由下式得到环境法线分量p_d3(k)：

(11)

求得p_d3(k)后，可经过计算得到：

      (12)

考虑方程(8)，环境法线方向阻抗控制闭环系统可以重新写成下面的形式：

 (13)

令

     (14)

其中：e_fmin(k)=f_d3(k)-f_max(k)；e_fmax(k)=f_d3(k)；f_max(k)表示允许的最大接触力。

式(14)是保持机械手末端和受限接触面接触的条件。通过分别调整权值m_d3，d_d3和k_d3来决定，和对控制力的影响程度，而且加速度、速度、位置以及力误差的变化趋势都可以用来决定如何调整这些参数。但是，在实际中，很难获得加速度，所以，m_d3无法调节，在这种情况下，m_d3可以取1个很小的值来减小加速度误差对整个控制器的影响。考虑和对接触力的影响结果是不同的，定义1个新的变量来表示和对控制结果的   影响：

         (15)

式中：λ＞0，为常数。若使e₃(k)的权重大一点，则可以选择λ＞1。若k_m3=λd_m3，则阻抗控制方程(13)可以    写成：

        (16)

由文献[15]知：为了实现阻抗控制过渡过程的稳定，目标刚度应远小于环境刚度，同时，目标阻尼要足够大。本文在基本阻抗控制方案的基础上，根据不同阶段对阻抗的要求不同，应用模糊规则实时调整阻抗参数，在减小冲击力的同时，保证了过渡过程的稳定性。给出下面的模糊规则来调整d_m3。

若s(k)为正，e_f3(k)-e_f3max也为正，则d_m3取小值；若s(k)为正，e_f3(k)-e_f3min为负，则d_m3取大值；若s(k)为负，e_f3(k)-e_f3max为正，则d_m3取大值；若s(k)为负，e_f3(k)-e_f3min也为负，则d_m3取小值；若e_f3(k)-e_f3min为正，e_f3(k)-e_f3max为负，则d_m3取中值；d_m3的论域为[a₁，a₂]；a₁和a₂的具体值根据未知刚度的变化范围而定。

3  试验研究

为验证本文提出的机器人视觉/力反馈混合控制策略，在Adept-3机器人上进行跟踪未知轨线的实验研究。机器人控制参数见文献[16]，传感器采用中国科学院合肥智能机械研究所研制的SAFMS-11型六维腕力/力矩传感器。本文采用的摄像头图像尺寸为256像素×256像素，窗口长L为256像素，宽W为10像素。视觉伺服和力伺服的采样时间分别为150 ms和7 ms。

实验要求机器人终端夹持的球头触杆沿未知轨线运动，法向跟踪过程中保持80 N的接触力，图3~5所示为实验结果。从图3~5可见：所提出的视觉引导的机器人力/位混合控制策略的力跟踪精度较高。现有的工业装配机器人只要装备腕力传感器和摄像头，就可以用所示方法对未知约束在线估计及机器人主动柔顺控制算法进行柔顺作业控制，因此，该算法具有较大的实用价值。

图3  X轴方向的位置和力

Fig.3  Position and force of  X direction

图4  Y轴方向的位置和力

Fig.4  Position and force of Y direction

图5  法向分量的位置和法向力

Fig.5  Position of Z direction and force of normal direction

4  结论

(1) 在视觉伺服控制时，使用神经网络可以逼近被跟踪曲线图像特征与机器人关节角度的映射关系，不要求对视觉传感器进行精确标定。

(2) 利用模糊自适应阻抗控制对约束环境的法线方向进行力控制，增强了对接触环境参数变化的鲁  棒性。

(3) 采用二阶保持器处理图像数据可解决图像处理和机器人伺服控制不同步问题。为提高图像处理的速度，可以加入卡尔曼滤波器作为预测器预测特征点的下一个位置，从而准确地设置图像处理的窗口。

参考文献：

[1] 张锟, 韦庆, 常文森. 一种基于力/位混合控制进行插孔作业的策略[J]. 机器人, 2002, 24(1): 44-48.
ZHANG Kun, WEI Qing, CHANG Wen-sen. An insertion strategy based on force/position hybrid control[J]. Robot, 2002, 24(1): 44-48.

[2] 李二超, 李炜. 在未知环境下面向位控机器人的力/位混合控制[J]. 煤炭学报, 2007, 32(6): 657-661.
LI Er-chao, LI Wei. Hybrid force/position control for positional- controlled robotic manipulators in unknown environment[J]. Journal of China Coal Society, 2007, 32(6): 657-661.

[3] Joo E M, Yang G. Robust adaptive control of robot manipulators using generalized fuzzy neural networks[J]. IEEE Transactions on Industrial Electronics, 2003, 50(6): 620-628.

[4] Huang L, Ge S S, Lee T H. Fuzzy unidirectional force control of constrained robotic manipulators[J]. Fuzzy Sets and Systems, 2003, 134(1): 135-146.

[5] Lopes A, Almeida F. A force–impedance controlled industrial robot using an active robotic auxiliary device[J]. Robotics and Computer: Integrated Manufacturing, 2008, 24(3): 299-309.

[6] Meeussen W, Staffetti E, Bruyninckx H. Integration of planning and execution in force controlled compliant motion[J]. Robotics and Autonomous Systems, 2008, 56(5): 437-450.

[7] Namiki A, Komuro T, Ishikawa M. High-speed sensory-motor fusion based on dynamics matching[J]. Proceedings of the IEEE, 2002, 90(7): 1178-1187.

[8] Nelson B J, Morrow J D, Khosla P K. Fast stable contact transitions with a stiff manipulator using force and vision feedback[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems. Pittsburgh, 1995: 90-95.

[9] Liu Y, Handroos H, Alkkiom?ki O. Tracking of a moving target by combination of force/velocity control based on vision for a hydraulic manipulator[C]//IEEE International Conference on Mechatronics and Automation. Harbin, China, 2007: 3226-3231.

[10] Hosoda K, Igarashi K, Asada M. Adaptive hybrid control for visual and force servoing in an unknown environment[J]. Robotics & Automation Magazine, 1998, 5(4): 39-43.

[11] 席文明, 颜景平, 罗翔. 位置、力反馈和视觉融合控制的机器人轴孔装配[J]. 制造业自动化, 2001, 23(5): 43-45.
XI Wen-ming, YAN Jing-ping, LUO Xiang. The assembly of shaft and hole controlled by position,force feedback and vision[J]. Manufacturing Automation, 2001, 23(5): 43-45.

[12] 陈立国, 孙立宁, 荣伟彬. 基于显微视觉与微力觉柔顺混合控制的微操作机器人[J]. 高技术通讯, 2003, 12: 53-56.
CHEN Li-guo, SUN Li-ning, RONG Wei-bin. Micromanipulation robot based on hybrid control of micro-vision and micro-force flexible control[J]. Chinese High Technology Letters, 2003, 12: 53-56.

[13] 陈立国, 孙立宁. 基于显微视觉的MEMS微装配系统研究[J]. 机械与电子, 2005(5): 31-32.
CHEN Li-guo, SUN Li-ning. Research of MEMS assembly system based on micro-vision[J]. Machinery & Electronics, 2005(5): 31-32.

[14] XIAO Nan-feng. Learning-based force servoing control of a robot with vision in an unknown environment[J]. Journal of Systems Engineering and Electronics, 2004, 15(2): 171-178.

[15] 姜力, 蔡鹤皋, 刘宏. 基于滑模位置控制的机器人灵巧手模糊自适应阻抗控制[J]. 控制与决策, 2001, 16(5): 612-616.
JIANG Li, CAI He-gao, LIU Hong. Fuzzy adaptive impedance control of dextrous robot hand based on sliding mode position control[J]. Control and Decision, 2001, 16(5): 612-616.

[16] 乔兵. 智能机器人主动力/位学习控制研究[D]. 南京: 南京航空航天大学机电工程学院, 1999: 40-43.
QIAO Bing. The active learning position/force control for intelligent robotic manipulators[D]. Nanjing: Nanjing University of Aeronautics and Astronautics. College of Mechanical and Electronical Engineering, 1999: 40-43.

(编辑 陈灿华)

收稿日期：2009-12-11；修回日期：2010-03-20

基金项目：国家自然科学基金资助项目(60964003，61005026)；甘肃省工业过程先进控制重点实验室基金资助项目(XJK0901)

通信作者：李二超(1980-)，男，河北保定人，博士，讲师，从事机器人智能控制、机器视觉等研究；电话：0931-2973607；E-mail：ysdxlec@126.com