浙工大这项技术让机器人“盲眼识物”

发布者:机械工程学院发布时间:2023-06-13浏览次数:245

  触觉是人与外界事物交互时的重要感知功能,弥补了视觉在复杂环境状况下无法精准识别的缺陷。以柔性触觉传感器为媒介,赋予机器人精密的触觉感知能力,实现对外部复杂刺激的精确解耦与动态反馈交互,对扩宽机器人在微创医疗、神经假肢与人机协作等领域的应用至关重要。

柔性触觉手套在智能分拣上的应用

 近日,我校机械工程学院吴化平教授团队博士后裘烨,联合机械工程学院梁利华教授,成功研发了能让机器人“盲眼识物”的柔性触觉手套,实现了从触觉感知到触觉认知的创新突破。

柔性触觉手套的设计思路及其在物体识别上的应用展示

  当前机器人用于物体识别或抓取的触觉感知技术,通常是基于压力感知反馈机理。然而,对于软硬度类似的物体,就无法通过接触压力来区分。而不同物体的导热率不同,要想提高识别精度,就要把物体的机械特征与热特征相结合。但具有多功能的柔性触觉传感器在结构和制造方案上往往比较复杂,且在感知多个刺激时会相互干扰。此外,大面积传感阵列的集成与采集仍然是一个巨大的挑战。

        团队利用丝网印刷与点焊的工艺,制备集成有致密压力和温度传感阵列的柔性触觉手套(80个压力传感器和32个温度传感器),并提出多次测量解析法用于解决阵列电阻网络因高度集成化所引起的交叉耦合问题。利用此阻值测量方法搭建触觉传感阵列信号无线采集系统,该柔性触觉手套能实现对微小压力与温度变化的无线检测与映射。

柔性触觉手套的结构设计及实物图

        团队还研发了由触觉分布实时显示、数据采集以及物体识别模块构成的物体识别显示系统,通过触觉手套的抓握就能精确识别不同形状、大小和材质的物体(20种触觉数据库)。该柔性触觉手套可将压力与温度感知等多模态信息进行融合,并利用深度学习算法从而大幅度提高物体识别准确率。比如可将基于单压力触觉数据集的86.25%识别率,提高到基于多模触觉感知的95%识别率。

柔性触觉手套在物体识别上的应用

        因此,该项研究工作对于视障人士的认知学习、神经假肢和虚拟空间的构建具有重要的现实价值,并有助于机器人领域的人机交互、自适应抓取和灵巧操作等应用的开发,在使机器人更准确地感知和与周围环境的交互上具有重大意义。

       相关研究成果以A multisensory-feedback tactile glove with dense coverage of sensing arrays for object recognition”为题,于202212月发表于工程技术与化学化工领域国际顶级期刊《Chemical Engineering Journal》。浙江工业大学吴化平教授和梁利华教授为论文的通讯作者,博士后裘烨为论文的第一作者。该研究工作得到了国家自然科学基金(116722691197232312002308),中国博士后科学基金(2022M710129)和浙江省自然科学基金(LQ22A020009LR20A020002LR19E020004)等项目的支持。

     论文信息

Ye Qiu, Zhiqiang Wang, Pengcheng Zhu, Binbin Su, Chang Wei, Ye Tian, Zheng Zhang, Hao Chai, Aiping Liu, Lihua Liang*, Huaping Wu*. A multisensory-feedback tactile glove with dense coverage of sensing arrays for object recognition[J]. Chemical Engineering Journal, 2023, 455, 140890.

全文链接

https://www.sciencedirect.com/science/article/abs/pii/S1385894722063707

作者介绍

 

吴化平,浙江工业大学教授,博士生导师,浙江工业大学余杭智能制造与技术研究院副院长,高端激光制造装备省部共建协同创新中心专职副主任。2009年博士毕业于哈尔滨工业大学(导师中国工程院院士杜善义教授、吴林志教授),同年进入浙江工业大学工作,主要从事仿生智能机械、柔性电子器件、多功能传感器、智能感知与软体机器人方面的研究工作。目前担任浙江省力学学会理事,获浙江省杰出青年基金项目支持。共主持国家自然科学基金4项,在Advanced Functional MaterialsNano EnergyNature communicationsnpj Flexible ElectronicsACS NanoAPLSoft MatterLangmuirJMPSIJSSJAP等学术知名期刊上发表SCI收录论文100余篇,授权发明专利10余项。曾荣获全国徐芝纶力学优秀教师奖、入选“浙江省高校领军人才培养计划”、高等学校“院士结对培养青年英才计划”(结对导师中国科学院院士陈云敏教授)、浙江省“新世纪151人才工程”、浙江省高校中青年学科带头人;获得中国商业联合会科学技术奖三等奖等奖励。

梁利华,浙江工业大学教授,博士生导师。现任浙江工业大学余杭智能制造技术与装备研究院院长,现兼职中国仿真产业联盟理事、浙江省力学学会副理事长、浙江省风机标委会副主任委员、浙江省缙云锯床和特色机械装备产业创新服务综合体首席专家。长期从事智能制造高端装备研发、微电子封装技术和柔性可穿戴电子技术研究,发表高水平论文100多篇,获专利授权40多项(发明专利20多项),出版学术专著3本,出版教材共2本,主持国家基金、省基金、省重大专项项目、重大军工项目等40余项。获得浙江省教学成果一等奖1项。

 

裘烨,2021年毕业于浙江工业大学获机械工程博士学位,同年作为“超级博士后”进入浙江工业大学动力工程及工程热物理博士后流动站开展科学研究工作。主要从事智能感知与仿生机械的研究,在智能感知系统与人机协作、柔性多功能传感阵列及物性识别、自适应软体机器人方面等基础研究取得一系列创新研究成果。截至目前,主持国家自然科学基金青年项目、中国博士后科学基金面上一等资助、浙江省自然科学基金探索项目、之江国际青年人才基金。近年来在Advanced Functional MaterialsNano Energynpj Flexible Electronics等知名期刊发表高水平SCI论文。