一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法[发明专利]

(12)发明专利申请

(10)申请公布号 CN 108044625 A(43)申请公布日 2018.05.18

(21)申请号 2017113995.X(22)申请日 2017.12.18

(71)申请人 中南大学

地址 410083 湖南沙市岳麓区麓山南

路932号(72)发明人 刘辉　段超　李燕飞　黄家豪　(74)专利代理机构 长沙市融智专利事务所

43114

代理人 龚燕妮(51)Int.Cl.

B25J 9/16(2006.01)B25J 3/00(2006.01)

权利要求书2页 说明书6页 附图2页

CN 108044625 A(54)发明名称

一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法(57)摘要

本发明公开了一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法，包括以下步骤：步骤1：设置手势采集装置；步骤2：基于手势采集装置采集控制机械臂的手势的leapmotion序列图像，并利用基于核极限学习机的手势识别

步骤3：利用预设的控制手模型对手势进行识别；

势与机械臂实际操作手势比例因子，获取机械臂操作目标终点；步骤4：获得机械臂运动方案；步骤5：选取最佳机械臂的操控方案。该方案使用多Leapmotion传感器采集手势序列图像，使用加权融合算法将手势图像进行融合，具有很强的容错性；使用多leapmotion手势识别装置，相比于现有机械臂示教器与体感设备，操控装置成本低，且操控性强、准确度高。

CN 108044625 A

权　利　要　求　书

1/2页

1.一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法，其特征在于，包括以下步骤：

步骤1：设置手势采集装置；

将至少两台leapmotion传感器设置在手势采集区域上、下表面内侧中心；步骤2：基于手势采集装置采集控制机械臂的手势的leapmotion序列图像，并利用基于核极限学习机的手势识别模型对手势进行识别；

所述基于核极限学习机的手势识别模型，是利用所述手势采集装置采集的各个手势的leapmotion序列图像依次作为输入数据，对应手势的类别编号作为输出数据，对核极限学习机进行机器学习训练获得，且采用RBF函数作为核极限学习机的核函数；

步骤3：利用预设的控制手势与机械臂实际操作手势比例因子，获取机械臂操作目标终点；

步骤4：将机械臂操作目标终点输入基于机械臂D-H模型的运动学方程中，获得机械臂运动方案；

步骤5：从所有的机械臂运动方案中选出每个机械臂运动方案的最大关节旋转角度，再从所选出的所有最大关节旋转角度中选出最小的关节旋转角度，以所选的最小的关节旋转角度对应机械臂运动方案作为对机械臂的操控方案。

2.根据权利要求1所述的方法，其特征在于，对基于手势采集装置采集控制机械臂的手势的leapmotion序列图像进行融合，得到融合后的手势数据；

输入基于核极限学习机的手势识别模型的数据和训练基于核极限学习机的手势识别模型的输入数据均为融合后手势数据；

所述融合过程如下：步骤S1：对至少两台leapmotion传感器采集的同一手势的leapmotion序列图像进行预处理；

步骤S2：对经过步骤S1处理后的数据提取Gabor特征；步骤S3：对经过Gabor特征提取后的图像数据按照以下公式进行加权数据融合，得到融合图像Pm：

Pm＝ωP1+(1-ω)P2其中，ω为融合权值，由花授粉算法确定，初始赋值为0.5，P1和P2分别为两台leapmotion测得的序列图像数据，Pm为融合后的图像数据。

3.根据权利要求2所述的方法，其特征在于，所述基于核极限学习机的手势识别模型中核极限学习机权值、核参数及阈值采用花授粉算法进行优化获得，具体过程如下：

步骤A：以花粉位置作为核极限学习机的权值、核参数、阈值以及融合权值，设置花粉种群参数；

种群数为N，取值范围N∈[300,500]，变异因子为ε取值范围ε转换概率0，0∈[0.3,0.7]，为p，取值范围p∈[0.4,0.9]，最大迭代次数为t，t＝1000，融合权值的初始赋值为0.5；

步骤B：设置适应度函数，并随机初始化每个花粉的位置，计算每个花粉的适应度函数值，t＝1；

将每个花粉位置对应的核极限学习机的权值、核参数、阈值以及融合权值参数代入基于核极限学习机的手势识别模型中，利用花粉位置确定的基于核极限学习机的手势识别模

2

CN 108044625 A

权　利　要　求　书

2/2页

型输出手势类别编号与实际对应的手势类别编号的差值的倒数作为适应度函数f(x)；

步骤C：生成随机数rand∈[0,1]，若转换概率p＞rand，则进行全局搜索执行交叉授粉操作，在全局中产生新的花粉，否则进行局部搜索执行自花授粉操作，在局部位置产生新的花粉；

步骤D：计算每个花粉的适应度函数值，并找出当前最优解；步骤E：判断是否达到最大迭代次数，若不满足，转步骤C，且令t＝t+1，若满足，转步骤F；

步骤F：输出最优位置花粉，并且得到最优花粉对应的基于核极限学习机的手势识别模型。

4.根据权利要求2或3所述的方法，其特征在于，对手势的leapmotion序列图像进行预处理是指对图像进行灰度变换和对比度增强处理。

5.根据权利要求2或3所述的方法，其特征在于，所述机械臂控制手势包括以下7类：1)右手向右平移手势对应机械臂末端向右平移；2)右手向左平移手势对应机械臂末端向左平移；

3)右手向前平移手势对应机械臂末端向前平移；4)右手向后平移手势对应机械臂末端向后平移；

5)右手握拳手势对应机械臂末端停止；6)左手五指伸开手势对应机械臂末端夹器松开；

7)左手握拳手势对应机械臂末端夹器抓取。6.根据权利要求2所述的方法，其特征在于，在对经过步骤S1处理后的数据提取Gabor特征后，再进行归一化处理前，采用PCA算法对所述Gabor特征进行降维处理。

3

CN 108044625 A

说　明　书

1/6页

一种基于多Leapmotion虚拟手势融合的机器人机械臂操控

方法

技术领域

[0001]本发明属于机械控制领域，特别涉及一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法。

背景技术

[0002]随着人工智能的发展，人机交互得到了越来越多人的关注。如何以简单快捷、低成本的方式实现人机交互是现在人工智能研究的重点之一。[0003]近些年来，已经出现许多应用穿戴设备实现人机交互的方案。穿戴设备是利用传感器将人体的数据采集并传送至控制器，以对机器人的控制。以手部穿戴设备为例，人带上形似手套的穿戴设备，该设备具有多种传感器，如角度传感器、位移传感器及力传感器等，传感器采集手部的数据，并将数据传送至控制器以完成对机器人的控制。传统地通过穿戴设备对机器人进行控制的方式太过复杂和昂贵，已经无法满足人机交互的发展。发明内容

[0004]本发明提供了一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法，其目的在于，克服现有技术中穿戴设备对机器人控制过程复杂的问题。

[0005]一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法，包括以下步骤：[0006]步骤1：设置手势采集装置；

[0007]将至少两台leapmotion传感器设置在手势采集区域上、下表面内侧中心；[0008]步骤2：基于手势采集装置采集控制机械臂的手势的leapmotion序列图像，并利用基于核极限学习机的手势识别模型对手势进行识别；[0009]所述基于核极限学习机的手势识别模型，是利用所述手势采集装置采集的各个手势的leapmotion序列图像依次作为输入数据，对应手势的类别编号作为输出数据，对核极限学习机进行机器学习训练获得，且采用RBF函数作为核极限学习机的核函数；[0010]步骤3：利用预设的控制手势与机械臂实际操作手势比例因子，获取机械臂操作目标终点；

[0011]步骤4：将机械臂操作目标终点输入基于机械臂D-H模型的运动学方程中，获得机械臂运动方案；[0012]步骤5：从所有的机械臂运动方案中选出每个机械臂运动方案的最大关节旋转角度，再从所选出的所有最大关节旋转角度中选出最小的关节旋转角度，以所选的最小的关节旋转角度对应机械臂运动方案作为对机械臂的操控方案。[0013]进一步地，对基于手势采集装置采集控制机械臂的手势的leapmotion序列图像进行融合，得到融合后的手势数据；

[0014]输入基于核极限学习机的手势识别模型的数据和训练基于核极限学习机的手势识别模型的输入数据均为融合后手势数据；

4

CN 108044625 A[0015]

说　明　书

2/6页

所述融合过程如下：

[0016]步骤S1：对至少两台leapmotion传感器采集的同一手势的leapmotion序列图像进行预处理；

[0017]步骤S2：对经过步骤S1处理后的数据提取Gabor特征；[0018]步骤S3：对经过Gabor特征提取后的图像数据按照以下公式进行加权数据融合，得到融合图像Pm：

[0019]Pm＝ωP1+(1-ω)P2[0020]其中，ω为融合权值，由花授粉算法确定，初始赋值为0.5，P1和P2分别为两台leapmotion测得的序列图像数据，Pm为融合后的图像数据。[0021]进一步地，所述基于核极限学习机的手势识别模型中核极限学习机权值、核参数及阈值采用花授粉算法进行优化获得，具体过程如下：[0022]步骤A：以花粉位置作为核极限学习机的权值、核参数、阈值以及融合权值，设置花粉种群参数；[0023]种群数为N，取值范围N∈[300,500]，变异因子为ε取值范围ε转换0，0∈[0.3,0.7]，概率为p，取值范围p∈[0.4,0.9]，最大迭代次数为t，t＝1000，融合权值的初始赋值为0.5；[0024]步骤B：设置适应度函数，并随机初始化每个花粉的位置，计算每个花粉的适应度函数值，t＝1；

[0025]将每个花粉位置对应的核极限学习机的权值、核参数、阈值以及融合权值参数代入基于核极限学习机的手势识别模型中，利用花粉位置确定的基于核极限学习机的手势识别模型输出手势类别编号与实际对应的手势类别编号的差值的倒数作为适应度函数f(x)；[0026]步骤C：生成随机数rand∈[0,1]，若转换概率p＞rand，则进行全局搜索执行交叉授粉操作，在全局中产生新的花粉，否则进行局部搜索执行自花授粉操作，在局部位置产生新的花粉；

[0027]步骤D：计算每个花粉的适应度函数值，并找出当前最优解；[0028]步骤E：判断是否达到最大迭代次数，若不满足，转步骤C，且令t＝t+1，若满足，转步骤F；

[0029]步骤F：输出最优位置花粉，并且得到最优花粉对应的基于核极限学习机的手势识别模型。[0030]利用花授粉算法寻找最佳基于核极限学习机的手势识别模型，且该识别模型确定了两台leapmotion测得的序列图像数据之间的最佳融合权值。[0031]进一步地，对手势的leapmotion序列图像进行预处理是指对图像进行灰度变换和对比度增强处理。[0032]进一步地，所述机械臂控制手势包括以下7类：[0033]1)右手向右平移手势对应机械臂末端向右平移；2)右手向左平移手势对应机械臂末端向左平移；

[0034]3)右手向前平移手势对应机械臂末端向前平移；4)右手向后平移手势对应机械臂末端向后平移；

[0035]5)右手握拳手势对应机械臂末端停止；6)左手五指伸开手势对应机械臂末端夹器松开；

5

CN 108044625 A[0036]

说　明　书

3/6页

7)左手握拳手势对应机械臂末端夹器抓取。

[0037]进一步地，在对经过步骤S1处理后的数据提取Gabor特征后，再进行归一化处理前，采用PCA算法对所述Gabor特征进行降维处理。[0038]有益效果

[0039]本发明提供了一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法，包括以下步骤：步骤1：设置手势采集装置；将至少两台leapmotion传感器设置在手势采集区域上、下表面内侧中心；步骤2：基于手势采集装置采集控制机械臂的手势的leapmotion序列图像，并利用基于核极限学习机的手势识别模型对手势进行识别；步骤3：利用预设的控制手势与机械臂实际操作手势比例因子，获取机械臂操作目标终点；步骤4：将机械臂操作目标终点输入基于机械臂D-H模型的运动学方程中，获得机械臂运动方案；步骤5：从所有的机械臂运动方案中选出每个机械臂运动方案的最大关节旋转角度，再从所选出的所有最大关节旋转角度中选出最小的关节旋转角度，以所选的最小的关节旋转角度对应机械臂运动方案作为对机械臂的操控方案。相对于现有技术而言，本方案具有以下优点：[0040]1.使用多Leapmotion传感器采集手势序列图像，使用加权融合算法将手势图像进行融合，具有很强的容错性和较短的处理时间；[0041]2.使用花授粉算法对极限学习机的权值、核参数及阈值进行优化，该极限学习机可快速准确的进行手势识别，具有较高的准确率；[0042]3.使用多leapmotion手势识别装置，相比于现有机械臂示教器与体感设备，操控装置成本低，且操控性强、准确度高。附图说明

[0043]图1为本发明所述方案中的采集装置结构示意图；[0044]图2为本发明所述方案的流程示意图；

[0045]图3为本发明所述的机械臂D-H模型示意图。

具体实施方式

[0046]下面将结合附图和实施例对本发明做进一步的说明。

[0047]一种基于多Leapmotion虚拟手势融合的机器人机械臂操控方法，包括以下步骤：[0048]步骤1：设置手势采集装置；

[0049]将至少两台leapmotion传感器设置在手势采集区域上、下表面内侧中心；[0050]步骤2：基于手势采集装置采集控制机械臂的手势的leapmotion序列图像，并利用基于核极限学习机的手势识别模型对手势进行识别；[0051]所述基于核极限学习机的手势识别模型，是利用所述手势采集装置采集的各个手势的leapmotion序列图像依次作为输入数据，对应手势的类别编号作为输出数据，对核极限学习机进行机器学习训练获得，且采用RBF函数作为核极限学习机的核函数；

[0052]对基于手势采集装置采集控制机械臂的手势的leapmotion序列图像进行融合，得到融合后的手势数据；

[0053]输入基于核极限学习机的手势识别模型的数据和训练基于核极限学习机的手势识别模型的输入数据均为融合后手势数据；

6

CN 108044625 A[0054]

说　明　书

4/6页

所述融合过程如下：

[0055]步骤S1：对至少两台leapmotion传感器采集的同一手势的leapmotion序列图像进行预处理；

[0056]对手势的leapmotion序列图像进行预处理是指对图像进行灰度变换处理。[0057]在本实例中，灰度变换采用对数变换公式：s＝c·log(1+r)；[0058]其中，s为变换后的像素点灰度，r为变换前的像素点灰度，c为常数；运用该灰度变换能够对图像中低灰度细节进行增强；[0059]步骤S2：对经过步骤S1处理后的数据提取Gabor特征；[0060]在对经过步骤S1处理后的数据提取Gabor特征后，再进行归一化处理前，采用PCA算法对所述Gabor特征进行降维处理；[0061]步骤S3：对经过Gabor特征提取后的图像数据按照以下公式进行加权数据融合，得到融合图像Pm：

[0062]Pm＝ωP1+(1-ω)P2[0063]其中，ω为融合权值，由花授粉算法确定，初始赋值为0.5，P1和P2分别为两台leapmotion测得的序列图像数据，Pm为融合后的图像数据。

[00]所述基于核极限学习机的手势识别模型中核极限学习机权值、核参数及阈值采用花授粉算法进行优化获得，具体过程如下：[0065]步骤A：以花粉位置作为核极限学习机的权值、核参数、阈值以及融合权值，设置花粉种群参数；[0066]种群数为N，取值范围N∈[300,500]，变异因子为ε取值范围ε转换0，0∈[0.3,0.7]，概率为p，取值范围p∈[0.4,0.9]，最大迭代次数为t，t＝1000，融合权值的初始赋值为0.5；[0067]步骤B：设置适应度函数，并随机初始化每个花粉的位置，计算每个花粉的适应度函数值，t＝1；

[0068]将每个花粉位置对应的核极限学习机的权值、核参数、阈值以及融合权值参数代入基于核极限学习机的手势识别模型中，利用花粉位置确定的基于核极限学习机的手势识别模型输出手势类别编号与实际对应的手势类别编号的差值的倒数作为适应度函数f(x)；[0069]步骤C：生成随机数rand∈[0,1]，若转换概率p＞rand，则进行全局搜索执行交叉授粉操作，在全局中产生新的花粉，否则进行局部搜索执行自花授粉操作，在局部位置产生新的花粉；

[0070]步骤D：计算每个花粉的适应度函数值，并找出当前最优解；[0071]步骤E：判断是否达到最大迭代次数，若不满足，转步骤C，且令t＝t+1，若满足，转步骤F；

[0072]步骤F：输出最优位置花粉，并且得到最优花粉对应的基于核极限学习机的手势识别模型。[0073]利用花授粉算法寻找最佳基于核极限学习机的手势识别模型，且该识别模型确定了两台leapmotion测得的序列图像数据之间的最佳融合权值。[0074]步骤3：利用预设的控制手势与机械臂实际操作手势比例因子，获取机械臂操作目标终点；

[0075]步骤4：手部移动与机械臂末端移动距离是线性关系，手部移动a mm，则机械臂末

7

CN 108044625 A

说　明　书

5/6页

端移动k*a mm，其中k为比例因子，可根据需要自由调节。[0076]所述机械臂控制手势包括以下7类：

[0077]1)右手向右平移手势对应机械臂末端向右平移；[0078]2)右手向左平移手势对应机械臂末端向左平移；[0079]3)右手向前平移手势对应机械臂末端向前平移；[0080]4)右手向后平移手势对应机械臂末端向后平移；[0081]5)右手握拳手势对应机械臂末端停止；

[0082]6)左手五指伸开手势对应机械臂末端夹器松开；[0083]7)左手握拳手势对应机械臂末端夹器抓取。[0084]步骤4：将机械臂操作目标终点输入基于机械臂D-H模型的运动学方程中，获得机械臂运动方案；

[0085]对机械手的建模采用Denavit和Hartenberg提出的的D-H机器人标准建模方法，具体过程如下：

[0086]给机械臂的每个关节都指定一个参考坐标系，从第一个关节的参考坐标系开始变化到下一个关节的参考坐标系，直至变换到最后一个关节。[0087]应用D-H建模法得到齐次变换矩阵：

[0088][00]

这里，nx、ny、nz、ox、oy、oz和ax、ay、az代表终端坐标系坐标轴方向向量的分量，px、py

0

和pz代表初始坐标系原点到最终坐标系原点位移向量的分量。T6代表总变换矩阵，A0、A1、A2、A3、A4、A5代表六个关节的变换矩阵。

[0090]

[0091]

式中C和S为cos与sin的简写，αθd00为第一关节扭转角度，0为第一关节旋转角度，为第一关节中心点z轴坐标，Tran()表示关节坐标平移矩阵，Rot()表示关节坐标旋转矩阵。

8

[0092]

CN 108044625 A[0093]

说　明　书

6/6页

与上述方法相同，可以列出A0、A1、A2、A3、A4、A5。通过计算可得nx、ny、nz、ox、oy、oz、

ax、ay、az。机械臂的运动学正解可以对齐次变换矩阵进行解耦得到，步骤如下：

[0094][0095][0096][0097]

(1)(2)(3)(4)

的3,4元素对应相等，1,4元素和2,4元素对应相等。的1,4元素和2,4对应相等。的1,3元素和2,3元素相等。

的1,3元素和2,3元素相等，第2,1元素和

第2，2元素对应相等，得到该6自由度机械臂可能存在8种解。[0098]步骤5：从所有的8个机械臂运动方案中选出每个机械臂运动方案的最大关节旋转角度，再从所选出的所有最大关节旋转角度中选出最小的关节旋转角度，以所选的最小的关节旋转角度对应机械臂运动方案作为对机械臂的操控方案。[0099]综上所述，利用本发明所述的操控方法，能够对手势进行快速且准确的识别，操控精度较高。

[0100]本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

9

CN 108044625 A

说　明　书　附　图

1/2页

图1

图2

10

CN 108044625 A

说　明　书　附　图

2/2页

图3

11