背景:随着大数据时代的到来,以及骨骼识别、机器学习等技术的迅猛发展,我们会发现目前对机械臂的操控存在着很大的弊端。比如对于机械臂来说,针对不同的应用场景和项目,需要工程技术人员对其进行程序设定或者至少需要做的示教工作。如果物料单元发生变化,包括数量和位置的变化等,此时也需要对机械臂进行人为的再次调试和数据输入。这样的现状造成机械臂的操纵过于复杂,普通人无法随心所欲的操纵机械臂。 因此,我们急需寻求一种解决方案,设计出一款可以简单操控的机械臂且以其为基体打造一套全新体验的多用途机械臂设备解决方案。我们团队针对以上的背景问题设计了一款基于姿态识别的智能机械臂。该机械臂结合了姿态识别技术,控制板对摄像头采集的数据进行处理,提取人体姿态的特征,对人体姿态进行识别,之后驱动舵机完成其相应的工作,来实现对人的动作的模仿。本产品具有易操纵、灵活度高的特点,可随操纵者的意愿做出指定动作,无需复杂的编码过程。我们可以利用此技术,使用户能轻松控制我们的机械臂,体验控制机器手完成各种动作的感觉。
机器的控制从鼠标键盘,到语音输入,再到如今的人机交互,正在发生着第三次变革,各种图像识别等技术正在快速发展,目的是为了赋予机器“视觉”,是机器更加智能,提升体验感,交互感。
实现的功能是:能够根据人的手部动作,实现远程操控机械臂,使机械臂根据人手部动作模仿出完全一致的动作, 同时具有记忆功能,可以记录人手部动作进行重复性操作。
本产品实现的机械臂通过单目摄像头与姿态识别、深度学习等算法,实现了根据人手臂、以及手部动作同步模仿“基于姿态识别的智能机械臂”核心是一种可以 1:1 模仿人手动作的机械臂,由于我们独创的三维重建等算法,使得机械臂有着操纵简单,灵敏度高,精准度高,成本低等特点。