科研概述

随着计算机视觉在二维图像处理中取得了显著的进展,业界对于三维空间中的数据处理也有了更多的探索。《中国制造2025》的出台意味着工业自动化的步伐将开始加快起来,机器人操控以及与计算机视觉的联合应用也成为了一个关键性的研究课题。
机器人灵巧操作问题(Manipulation)是指机器人通过视觉等传感器感知操作对象,并对其进行抓取、放置等操作。传统机器视觉基于经验的、人工设计的特征和特征描述子的识别方法,在实际应用中极易受到多环境因素的干扰,对于场景的适应性不强,不同的光照条件或者不同的物体材质都将影响系统的稳定性,由此极大地限制了其在诸多机器人任务中的实用性。因此,本课题组有效融合3D视觉和深度学习技术的优势,针对复杂环境下的物体识别(Object Recognition)和6D位姿估计(6D Pose Estimation)问题展开研究,致力于构建一个通用的、高精度的、可实际应用到机器人三维视觉系统。
主要研究内容包括:基于多源数据融合的点云数据修补策略,构建消费级的高质量三维数据获取系统,打破昂贵的3D传感器对于3D视觉系统大规模推广的制约;设计深度神经网络实现对多种类不规则物体、尤其是弱纹理物体(Texture-less Object)的目标分割和六自由度姿态估计,同时融合迁移学习的思想,构建通用、高精度的位姿估计框架;基于深度强化学习的机器人抓取策略的研究,有效结合虚拟抓取训练与现实抓取训练,进一步提升机器人的智能化水平。
目前,课题组已完成了一个较为通用的bin-picking随机分拣的三维视觉系统,并且成功运用到实际工业机械臂,完成工件的抓取,针对散乱堆叠的弱纹理工件,检测的位置误差在1mm以内,角度误差在1度以内。

视频集锦


版权所有©同济大学机器人与人工智能实验室
地址:上海市嘉定区曹安公路4800号 同济大学 智信馆 邮编:20180