安富利手势识别平台又进化了,在树莓派上,安富利实现了摄像头和毫米波雷达融合的手势识别方案。摄像头负责识别静态手势,摄像头读取的图像,经过openCV和机器学习分类器后,完成手势识别,最后输出1,2,3,4 等结果。后期借助于TensorFlow架构将Hand Tracking GPU整合进融合平台。毫米波雷达负责动态手势的识别, 相对于摄像头,毫米波雷达可以更好的保护客户隐私,而且算法简单不需要GPU以及神经网络的支持,因此反应更快功耗更低。目前安富利借助于英飞凌BGT60TR13芯片,实现了挥手,旋转手势以及揉搓手指等6种手势识别。关于毫米波雷达的手势控制具体内容和演示视频可参考往期文章《利用毫米波完成精细化手势识别》。
硬件平台
摄像头负责采集图像,在树莓派上借助于Python开发环境,实现了手势提取和识别。利用摄像头完成手势识别,目前有很多架构和开源代码可以参考,目前比较火热甚至被玩坏的 Hand Tracking GPU,这款应用基于TensorFlow 目前已经开源,小伙伴们可以尽情的玩起来了。
英飞凌60GHz雷达处理芯片BGT60TR13,5GHz的扫频带宽,在FMCW工作模式中,可以实现3cm的距离分辨率,可以识别精细的手势。安富利目前的手势识别算法运行在60GHz的毫米波雷达平台上,扫频带宽为3GHz,目前已经实现旋转,左右挥手,上下挥手以及揉搓手指等手势识别。树莓派作为中央处理器,接收来自摄像头和毫米波雷达的传感器数据,并完成手势识别并显示在显示屏上,方案如图 1所示。
图 1安富利手势识别平台
软件流程 安富利北京实验室目前已经完成一整套代码开发,方便客户做二次开发。具体功能如图 2所示,在毫米波雷达方向上信号流为2-D FFT变换, 基于硬件加速的峰值搜索,恒虚警算法筛选潜在目标,基于相差比较方法计算角度波达方向角,以及在SDK环境下的手势分类识别,最后将手势识别结果显示在GUI上。在摄像头方向上,借助于openCV完成摄像头采集,轮廓提取并借助于scikit-learn库函数中的SVC分类器完成手势分类。
图 2 软件功能框图
演示效果截图
在截图中,第一排显示的是基于摄像头的手势识别,简单演示了识别1,2,3,4,5。第二排,主要是演示了基于毫米波雷达的手势识别,能够识别左挥手,右挥手,顺时针旋转手势,逆时针旋转手势。以及包括揉搓手指的微多普勒手势,包括接近雷达和远离雷达。
-
芯片
+关注
关注
455文章
50771浏览量
423396 -
手势识别
+关注
关注
8文章
225浏览量
47788 -
毫米波雷达
+关注
关注
107文章
1043浏览量
64354
原文标题:手势识别,可以玩起来了
文章出处:【微信号:AvnetAsia,微信公众号:安富利】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论