复杂环境下智能机器人高危作业虚拟仿真实验
登录

复杂环境下智能机器人高危作业虚拟仿真实验教学指导书

实验基本信息

实验名称

复杂环境下智能机器人高危作业虚拟仿真实验

服务课程

《机器人控制技术》

《机器人控制技术创新创业实践》

实验背景

随着我国电力系统的快速发展,电网覆盖区域不断扩大,电力线路带电运维作业任务不断增长,保障电网安全稳定运行关乎着国计民生。智能带电作业机器人是电力线路运维自动化领域创新驱动发展的新方向,国家急需培养大量智能机器人方面的工程精英人才,研发适应各种复杂环境,能够安全可靠地执行高危作业任务的新一代智能机器人。

实验目的

1. 帮助学生熟悉智能机器人系统的主要组成,掌握智能机器人的工作原理,提高学生智能机器人系统方案的设计能力;

2. 帮助学生熟悉多自由度机械臂运动学模型,掌握机械臂运动路径规划方法,提高学生双机械臂协同控制系统的设计能力;

3. 帮助学生熟悉智能机器人的视觉系统,掌握图像预处理与双目测距原理,提高学生复杂环境感知系统的设计能力;

4. 帮助学生了解智能机器人控制技术前沿,掌握机器人系统创新设计的基本技能,提升学生未来在机器人控制领域的创新创业能力。

实验内容

机器人认知与组装

运动控制模块设计

<o:p> </o:p>

智能识别模块设计

高危作业综合设计

面向专业

自动化、电气工程及其自动化

实验教材

《机器人学》

实验属性

研究探索性

课程属性

专业课

实验学时

4

实验网址

https://mool.njust.edu.cn/robot

END

项目团队信息

授课教师团队

序号

姓名

单位

职称

手机号码

电子邮箱

承担任务

1

郭毓

自动化学院

教授

13236540336

guoyu@njust.edu.cn

主持人

(授课教师、课程服务)

2

吴益飞

自动化学院

副教授

13851792312

wuyifei@njust.edu.cn

方案策划

(授课教师、课程服务)

3

李福

自动化学院

工程师

15850792448

lifu@njust.edu.cn

实验设计

(课程服务、技术支持)

4

李胜

自动化学院

副教授

13512503509

livic@126.com

实验设计

(授课教师、课程服务)

5

周慧

自动化学院

副研

究员

15002078893

zhouhui0511@163.com

实验方案

(课程服务)

顾问服务团队

序号

姓名

单位

职务

职称

承担任务

1

郭健

自动化学院

处长

教授

方案论证

2

王海梅

自动化学院

实验中心主任

副教授

实验设计

3

陈庆伟

自动化学院

教授

实验设计

4

  巍

自动化学院

无(博士研究生)

实验设计

5

郑先杰

自动化学院

无(硕士研究生)

软件设计

6

高俊彦

自动化学院

无(硕士研究生)

软件设计

7

殷洪海

江苏省电力有限公司常州供电分公司

高级工程师

带电作业指导

8

黄奇峰

江苏省电力有限公司常州供电分公司

工程师

带电作业指导

9

沈健江

南京恒点信息

技术有限公司

工程师

服务支持,软件支持

10

朱俊

南京恒点信息

技术有限公司

工程师

软件服务

END

实验网络及硬件配置要求

网络条件要求
(1)客户端到服务器的带宽要求:20M下行对等带宽。
(2)能够支持的同时在线人数:服务器最佳响应并发数为300。

用户硬件配置要求(如主频、内存、显存、存储容量等)
计算机硬件配置要求:Web端用户硬件要求

处理器:Intel(R)Core(TM)i5
主频   :2.4GHz
内存   :8GB
显卡   :NVIDIA GeForce GTX GT740 2G

用户操作系统要求
(1)计算机操作系统和版本要求:Windows7、Windows8、Windows10、Deepin15.7(国产Linux系统)
(2)非操作系统软件要求:谷歌浏览器、火狐浏览器(无需特定插件)

END

实验基本操作

实验网址:https://mool.njust.edu.cn/robot ,使用谷歌或火狐浏览器打开。

注册登录后点击“进入实验”

 

图1 进入实验


查看实验简介,包括实验目的、实验背景以及实验流程。

 

功能操作可参考新手引导。

 

END

交互性操作步骤:共4个环节,16步操作

1

环节一:机器人认知与组装

以引导认知为主,还原电力作业非结构化复杂环境,加强对机器人系统模块化组装的理解。


步骤一:电力作业场景认知

该步骤主要介绍电力作业场景中的各组成部分,并查看每个部件的模型,熟悉其在电力工作中发挥的功能。

 

(1) 点击右侧的部件名字,阅读其文字描述。
(2) 使用鼠标拖动其在右侧窗口中的模型,观察其三维结构。
(3) 同时观察左侧红色高亮部分,观察电力场景中该部件的具体位置。
(4) 选择下个部件,重复操作(1)-(3),直至完成所有电力作业场景各部件的认知。


评分标准


三线电杆各部件认知(3分):完成所有部件学习+3分,遗漏一项扣0.5分。


步骤2. 机器人系统认知

该步骤主要对智能机器人系统进行认知,对系统中各组成部分进行认知,同时根据各部件功能,培养学生搭建整个系统的能力。

 

 

(1) 点击实验页眉,选择“机器人系统认知”,进入场景观察机械臂系统搭建后的整体模型,点击该模型,观察其散开后各部件的摆放。
(2) 点击右侧部件的名字,阅读其功能描述。使用鼠标拖动,观察其三维结构。
(3) 同时观察左侧桌面上的红色高亮物体。
(4) 选择下个部件,重复步骤(2)-(3),直至完成所有部件的认知。


评分标准
机器人系统各部件认知(6分):完成所有部件学习+6分,遗漏一项扣0.5分。

步骤3. 硬件系统构建
通过组装整个智能机器人系统,让学生明白整个系统自下而上的组成,进一步了解系统的整体构成。




(1) 点击实验页眉,选择“硬件系统构建”,进入界面后观察设备库中的设备。
(2) 点击设备库中的设备,根据实验指示拖动设备,进行智能机器人系统组装。
(3) 完成步骤(1)和(2)后,根据步骤引导,点击设备库中的连接线,拖动至相应设备间,完成各设备的连接。

评分标准
机器人硬件系统构建(6分):正确完成机器人系统连接+3分,少连接一个扣0.5分;正确完成机器人系统装配+3分,少安装一个扣0.5分

2

环节二:运动控制模块设计

步骤4. D-H参数法
该步骤以辅机械臂为例,让学生理解描述机械臂各连杆与关节之间的平移和旋转关系的方法。


 

(1) 建立关节坐标系,观察各连杆长度、偏执距离、连杆扭角以及关节角在三维图中图示,点击相应参数在左侧图中有高亮显示或箭头指引。
(2) 点击右侧填写方框,填入机械臂相关参数。
(3) 该环节若出现参数填写错误,系统将进行错误提示。

 

学生可点击左侧“步骤引导”和“知识提示”,查看本步骤的任务要求以及相关知识

评分标准
D-H参数表学习(2分):完成参数学习+2分,遗漏一项扣0.5分。
D-H参数表填写(3分):完成所有空缺参数填写+3分,填错一项扣0.5分。


步骤5. 机器人运动学正解
本步骤研究机械臂关节状态到末端坐标系位姿表示的求解方程。

(1) 点击实验页眉,选择“机器人运动学正解”,或者在上步实验中点击“下一步”按钮。

 

(2) 根据任务要求,通过拖拉调节关节角,点击“运行”可查看机械臂的运动状态以及与要求位姿的契合度,修改关节角机械臂运动状态将随之改变,学生可实时查看关节对应关系、参数改变对关节运动状态的影响。
(3) 点击“重置”各关节将回到初始位置,学生可反复调试参数直至达到题目要求。

评分标准
关节角调节(6分):正确调节所有关节角+6分,单个关节角误差超过20%扣1分;


步骤6. 运动学逆解
本步骤研究了机器人在工作空间下末端姿态表示到构型空间关节角向量的映射。

(1) 点击实验页眉,选择“机器人运动学逆解”,或者在上步实验中点击“下一步”按钮。查看左侧“步骤引导”和“知识角”,了解本实验的任务要求以及相关知识。

 

(2) 根据正解任务给出的6个关节角初值,计算机械臂末端的位姿。
(3) 通过计算出的机械臂末端位姿,反解出6个关节角对应的值。通过计算得到8组解,学生需要从另外的7组解中任选一组作为结果输入。

 

点击“运行”可查看机械臂运动状态,点击“重置”机械臂将恢复初始状态,点击“下一步”将进入下一步骤。

评分标准
运动学逆解计算(5分):从8组解中的剩余7组任选一组填写+5分,位姿误差10%以内+4分,位姿误差10%~15%之间+2分,位姿误差超过15%不得分。


步骤7. 关节空间路径规划
本步骤主要研究对每个关节基于关节运动约束条件来规划一段光滑运动轨迹。

实验步骤
(1) 点击实验页眉,选择“关节空间路径规划”,或者在上步实验中点击“下一步”按钮。查看左侧“步骤引导”和“知识角”,了解本实验的任务要求以及相关知识。
(2) 根据任务给出的要求,选取4个中间点的角度,角速度以及角加速度。
(3) 修改参数,点击“运行”可查看机械臂运动状态及角度、角速度以及角加速度曲线;点击“重置”可重新设置参数并调节运动状态。

 

评分标准
关节空间路径规划(5分):正确设置路径点的角度、角速度、角加速度,且角速度、角加速度不超过限定范围+5分,超限10%以内+4分,超限10%~20%之间+2分,超限20%以上不得分。


步骤8. 笛卡尔空间轨迹规划
本步骤主要研究了当机械臂初始位置和目标位置确定后,两个位置之间的轨迹规划问题。

实验步骤
(1) 点击实验页眉,选择“笛卡尔空间轨迹规划”,或者在上步实验中点击“下一步”按钮。查看左侧“步骤引导”和“知识角”,了解本实验的任务要求以及相关知识。

 

(2) 选取合适的作业目标位置,输入目标的三维坐标,然后点击“直线轨迹规划”查看规划效果。

 

(3) 点击“重置”按钮,再次选取合适的作业目标位置,输入目标的三维坐标,然后点击“圆弧轨迹规划”,查看规划效果。

 

(4) 轨迹期间可能会因选取的目标位置不合适,而造成机械臂发生奇异,此时应重新选取合适的目标位置,重新进行规划。点击“调试记录”可查看历史调节记录,完成任务后,点击“调整完毕”。

 


 

评分标准
笛卡尔直线轨迹规划(3分):目标位置在机器人任务空间内,并正确进行直线轨迹规划+3分,超出工作空间不得分;
笛卡尔圆弧轨迹规划(3分):目标位置在机器人任务空间内,并正确进行圆弧轨迹规划+3分,超出工作空间不得分;
笛卡尔姿态轨迹规划(3分):目标姿态在正确范围内+3分,超出正确范围不得分。


步骤9. 笛卡尔空间姿态调整
实验步骤
(1) 点击“姿态调整”按钮,输入机械臂末端姿态终止值,点击“运行”查看机械臂末端姿态变化。
(2) 无误后,点击“调试记录”,查看效果,点击“调整完毕”。

 

评分标准
笛卡尔空间姿态调整(3分):目标姿态在正确范围内+3分,超出正确范围不得分。

3

环节三:智能识别模块设计

步骤10. 图像预处理
为了使高危作业智能机器人能够准确地识别作业目标,必须对采集的图像进行预处理,对于整体灰度值偏低和偏高的图像采用gama校正的方法进行图像增强。

实验步骤
(1) 点击“智能识别模块设计”,直接进入到“图像预处理”模块。查看左侧“步骤引导”和“知识角”,了解本步骤的任务要求以及相关知识。

 

(2) 点击“正常光照”,填写光照gamma值,点击“查看效果”,观察图片的明暗度以及提示信息,该环节可反复调节参数,直至显示出满意结果。

 

(3) 学生可选择在不同光照条件下进行参数调节,学习gamma参数调节处理图像的方法。
(4) 完成所有的图像预处理工作后,点击“调整完毕”进入下一个环节。


评分标准
调整正常光照gamma值(2分):gamma值在参考范围内+2分,误差10%以内+1分,误差超过10%不得分;
强光照、弱光照gamma参数评分标准同正常光照。


步骤11. 目标识别
实验步骤
本步骤利用二值化后的图像,提取出作业物体的轮廓,计算出轮廓的最小外接矩形。

(1) 当完成“图像预处理”模块后,点击“调整完毕”进入目标识别。查看左侧“步骤引导”和“知识角”,了解本实验的任务要求以及相关知识。

 

(2) 设置合理的H、S和V的上下限值,点击“查看效果”,验证左右相机是否框出了作业对象。当参数调节错误时,系统将给出具体提示。

 

(3) 准确识别目标后,可点击“确定”按钮进入下一步骤。

 

评分标准
目标识别(6分):调整H、S、V通道值:相应参数上下限值均正确+6分,误差10%以内+4分,误差10%~20%之间+2分,误差超过20%不得分;


步骤12. 双目测距
实验步骤
本步骤基于双目测距原理计算得到作业目标在相机坐标系下的位置。

(1) 当完成目标识别模块后,点击“确定”进入本步骤,查看左侧“步骤引导”和“知识角”,了解任务要求以及相关知识。

 

(2) 设置合理的U0、V0和基线B的值,点击查看效果,判断相机坐标系下真实值和测量值的误差。
(3) 根据提示内容,重新调整U0、V0和基线B的值,直到效果满意。
(4) 调试完成后,点击“确定”,完成该模块实验。


评分标准
基线参数B(1分):参数正确+1分,误差10%以内+0.5分,误差超过10%不得分;
主点坐标u0(1分):参数正确+1分,误差10%以内+0.5分,误差超过10%不得分;
主点坐标v0(1分):参数正确+1分,误差10%以内+0.5分,误差超过10%不得分;

4

环节四:高危作业综合设计

步骤13. 复杂作业场景下的目标识别与测距
实验步骤
通过自主操作感受智能机器人自主感知环境、调整控制路径、完成控制作业的全过程,使学生具备智能机器人结构组装、系统设计、简单功能调试的能力。

(1) 点击“高危作业综合设计--避雷器拆卸”按钮,进入实验。查看左侧“步骤引导”和“知识角”,了解本实验的任务要求以及相关知识。
(2) 根据前面实验的内容,设置合理的H、S和V的值,点击“查看效果”进行目标的识别,完成后点击“开始测距”的按钮。

 

(3) 设置合理的U0、V0和基线B的值,点击“查看效果”进行对目标的测距,完成后点击“开始拆装”的按钮。

 

评分标准
双目识别与测距(5分):双目识别参数上下限值均正确+2分,误差10%以内+1分,误差超过10%不得分;②双目测距基线参数B正确+1分,误差10%以内+0.5分,误差超过10%不得分,主点坐标、参数评分标准同基线B


步骤14. 智能机器人拆卸避雷器实验
实验步骤

 

(1) 进行主机械臂的路径规划,通过设置过渡位置,使其最终可以到达避雷器上半部。设置过渡位姿和作业位姿,完成后点击“直线轨迹规划”观察效果;
(2) 根据提示判断,是否到达目标位置,到达后,系统会有相应的提示,然后该步骤结束。
(3) 如遇效果不理想可点击“重置”按钮,进行重新规划。
(4) 到达作业点后,点击“手抓闭合”按钮,夹住避雷器上螺帽。
(5) 回到主机械臂操作界面,点击“拆上”按钮,主机械臂执行拆旧避雷器螺母步骤,拆除旧避雷器上螺帽。
(6) 点击“辅机械臂”按钮,进行辅机械臂的路径规划,使其到达引线位置。设置过渡位姿和作业位姿,完成后点击“直线轨迹规划”观察效果,效果不理想可点击“重置”按钮,进行重新规划。
(7) 到达作业点后,点击“手抓闭合”按钮,抓住线缆。然后点击“移动线缆”按钮。
(8) 点击“主机械臂”按钮,将避雷器上端螺母装回,点击操作“装上”按钮,完成后,点击“手爪张开”按钮,然后进行下半部螺母的拆卸,点击“卸下”按钮。
(9) 完成上述步骤后将点击避雷器更换。

该环节为复杂场景下的电力作业,学生可根据步骤引导一步步完成避雷器拆卸工作,感受整个工作流程,加深对前三个环节调试知识点的理解和应用。对于实验中危险操作系统将进行警告提示。

 

操作过程中若出现错误,系统将给出相应提示。


评分标准
主机械臂路径规划(6分):控制机械臂末端工装到达目标位置,位姿误差1%以内+6分,误差1%~5%之间+4分,误差5%~10%之间+2分,误差超过10%不得分
拆卸避雷器作业流程(9分):完成全部作业步骤,并按照正确作业流程操作+9分,步骤顺序错误+6分,遗漏一项扣1分



步骤15. 智能机器人安装避雷器实验
实验步骤
在体会完旧避雷器拆卸的全过程之后,学生对于电力作业的全过程有了一定的认知。

(1) 点击“高危作业综合设计/避雷器安装”按钮,进入实验。查看左侧“步骤引导”和“知识角”,了解本实验的任务要求以及相关知识。
(2) 进行主机械臂的路径规划,使其到达避雷器位置。设置过渡位姿和作业位姿,完成后点击“直线轨迹规划”观察效果。在实际应用中,可能会产生多种干扰,使得目标位姿发生变化,因此根据实际情况,需要重新规划整个过程。
(3) 完成步骤16,然后进行第(4)步。
(4) 到达作业点后,将自动进行避雷器的安放。完成后在主机械臂界面点击“手爪张开”按钮,然后点击“装下”按钮,进行避雷器下螺母的安装,完成后点击“手爪闭合”按钮,然后点击“拆上”按钮,进行上螺母的拆卸。
(5) 然后辅机械臂进入辅机械臂的操作界面,然后点击“移动线缆”按钮,对线缆进行移动。
(6) 点击“主机械臂”按钮,回到主机械臂操作界面,点击“装上”按钮,进行上半部螺母的安装,完成后点击“手爪张开”。
(7) 点击“辅机械臂”按钮,点击“手爪张开”,将线缆移走。
(8) 完成所有操作后,点击“实验方案”,无误后点击“提交”,然后可查看小结报告,核对分数。
(9) 点击屏幕左上角按钮,回到起始界面,点击实验报告。

 

评分标准
(1) 主机械臂路径规划(6分):控制机械臂末端工装到达目标位置,位姿误差1%以内+6分,误差1%~5%之间+4分,误差5%~10%之间+2分,误差超过10%不得分;
(2) 拆卸避雷器作业流程(9分):完成全部作业步骤,并按照正确作业流程操作+9分,步骤顺序错误+6分,遗漏一项扣1分。
(3) 平台扰动补偿(5分):补偿计算结果误差1%以内+5分,误差1%~5%之间+4分,误差5%~10%之间+2分,误差超过10%不得分。

步骤16. 平台扰动补偿计算
实验步骤
在实际应用中,可能会产生多种干扰,使得目标位姿发生变化,因此根据实际情况,需要重新规划整个过程。

 

由于扰动,目标位姿发生变化,根据新的目标位置与姿态,进行笛卡尔空间的路径规划。

 

综合设计部分可多次实验方案设计,最终提交最佳方案。

 

完成后返回步骤(15)的(4)

评分标准
平台扰动补偿(5分):补偿计算结果误差1%以内+5分,误差1%~5%之间+4分,误差5%~10%之间+2分,误差超过10%不得分。

END