盘点:那些炫酷的“隔空操作”黑科技

2016-06-13
5520 6
在 2015 年 5 月的 Google I/O 大会上,Google 第一次向外界公布 Project Soli 这项手势操作感应技术的原型。 上个月 Google I/O 2016 公布了 Project Soli 的最新进展,可以通过手掌和手指的简单手势来控制智能手表和智能音箱。

  上个月 Google I/O 2016 公布了 Project Soli 的最新进展,可以通过手掌和手指的简单手势来控制智能手表和智能音箱。

  Soli 是一块极小的雷达芯片,它可以适配大多数可穿戴设备,实时追踪你的手部动作,检测手指的位置、相对距离和运动,通过动作进行数据和指令的传达,让你摆脱触摸屏。

  Google Project Soli 发展概述

  在 2015 年 5 月的 Google I/O 大会上,Google 第一次向外界公布 Project Soli 这项手势操作感应技术的原型。由 Google ATAP 与 Infineon 合作研发,使用雷达技术来探测细微的动作和手势,并把它们进行转化和信息输入。这项能隔空操控屏幕界面的技术引起了人们极大的兴趣。

0__4_.gif

· 使用手势操作手表,设备感知手指细微的调频动作

  紧接着在 10 月份,Google 将此技术的开发者版本(Project Soli dev kit)开放给了 60 个开发单位和开发者。这些开发者个体或组织利用 Project Soli dev kit 进行二次开发,应用到了不同的领域当中,如物体识别、车载应用、新媒体展示应用等。

project_soli_google_io_3__1_.jpg

  · 基于 Project Soli dev kit 开发者套件开发手势识别应用

  在今年的 Google I/O 大会上,Google 公布了这项技术的突破性进展:体积缩小至最初模型的 1/3,功耗降低了 22 倍(由 1.2W 降低到了 0.054 W ),性能提高了 256 多倍。

  Project Soli 采用 60 GHz,波长 5mm 的极高频毫米波无线电波捕捉动作、距离、速度等信息,感应精确度达到毫米级。据 Infineon 负责人称,其无线电探测器捕捉图像的帧率为每秒 1.8 万帧。

chip-prototypes-collage_2x.jpg

  · Project Soli 外观演进图(2014.7~2015.5)

  Google 用了 10 个月的时间将 Soli 从 PC 主机大小缩小到了硬币大小。为了提高精度,还使用了 2 个发射器与 4 个接收器。

Google-IO-2015-ATAP-event-15.jpg

· 硬币大小的 Soli,包含 2 个发射器与 4 个接收器

  另外,Google 将这项技术应用到两件产品之中并进行了现场演示:一个是 LG 智能手表,另一个是 JLB 音箱。

0-14.gif

  这款 LG 智能手表支持触控和语音输入,但它真正的微妙之处在于,你只要通过手指细微的动作,就能在表盘上实现切换、点击等功能。

nexus2cee_Soli_Speaker_Prototype_thumb.jpg

  Google ATAP 与 Harman 联手打造的 JLB 音箱,箱体无任何按键,通过手势可进行歌曲的播放、暂停、切换等操作,正面的环形光圈具有进度条显示的功能。

  Google Project Soli 雷达技术的运作原理

  Google Project Soli 主要运用雷达技术,通过持续发射和接受手部反射的电磁信号,测量精细、复杂的动作变化,而后转码分析、识别。

0-13.gif

  · 手指运动的同时,造成反射波频谱的连续变化。

  Google Project Soli 雷达通过 RDM (Range Doppler Map,距离-多普勒映射), IQ data 以及 Spectrogram(频谱图) 获得手势信息,进一步使用 Machine Learning 估算出手势。

how-it-works-software.png

  · 频谱图,图片来源于 Google Preject Soli 官网

  手势识别技术的主流方案

  目前,手势识别技术的主流方案有光学和穿戴,非主流方案包含雷达、磁力、肌肉电、电磁波等。

  基于光学的手势识别技术

  光学方案包括三种,按简单到复杂的程度进行排序为:二维手型识别、二维手势识别、三维手势识别。

  二维手型识别也称为静态二维手型识别,该技术通过获得的二维信息,可识别一指到五指张开或握拳等「静态」手势,但不能识别持续变化、动态的手势。代表公司为一家在 2013 年成立的印度公司 Flutter(已被 Google 收购)。

Google-Buys-Gesture-Recognition-App-to-Improve-Interface-2.jpg

· 来自印度的团队 Flutter 通过静态手型控制视频

  二维手势识别即为动态手势识别,与二维手型识别相同的是,它们只能实现对二维空间内的感知,同样不具备对深度信息的识别。但比起二维手型识别,该技术增加了对手势「动态」的感知,可追踪手势的简单运动信息,比如通过挥手动作,实现播放、暂停等操作。代表公司为以色列的 PointGrab,EyeSight 等。

PointGrab-Header01-940x371.jpg

  · 来自以色列的团队 PointGrab 通过动态手势操控电脑

  相比前两种手势识别技术,三维手势识别技术就复杂多了,除了手型和动作信息,它同时还需要获得深度信息,而深度信息的获得主要靠这三种技术:机构光(Structure Light )、光飞时间(Time of Flight)、多角成像(Multi-camera)。代表性团队将在下文提到。

  基于穿戴传感的手势识别技术

  穿戴式的手势识别的运作原理为:通过手上佩戴的 IMU 传感器获得手势、指关节等运动信息,在计算机中建模得到相关手势。对运动手势建模的技术相对更复杂,也是目前许多创业者尝试的方向。国内的诺亦腾是使用该项技术的代表公司。(关于这家公司的情况,可阅读相关文章:他们正致力于把人的身体放进虚拟世界;以及:以酷炫动捕技术闻名的诺亦腾,是怎么做「智能硬件」的?)

020_perception_neuron.jpg

· 通过穿戴传感进行动作捕捉而闻名的诺亦腾

  手势识别技术的非主流方案

  Google Project Soli 是雷达技术应用典型代表,其技术原理就不再赘诉。磁力技术的原理与 IMU 传感器的运用原理相类似,通过获取力的大小、方向、距离等信息,计算机对手势进行建模。

  这里重点讲述一下比较有意思的肌肉电技术,应用该项技术的典型产品为加拿大创业公司 Thalmic Labs 推出的手势臂环——MYO,通过感知手臂上的肌肉运动可识别出近 20 种手势,例如用户可利用手势进行一系列的触屏操控动作。

maxresdefault-2__1_.jpg

  · 佩戴上 MYO 手环,通过感知手臂肌肉运动,实现对大屏幕游戏的操控。

dnews-files-2013-02-myo-armband-660-jpg.jpg

· 肌肉电技术示意图

  但 MYO 臂环的使用上也存在一些弊端:由于在一天当中,人体体征是变化着的,如果你将长期佩戴的臂环拆下再戴上时,则它有可能会停止工作。但总的来说,其应用效果也相当酷炫,不多说,上段视频一睹为快:

  电磁波方案,其最具代表性的则是一项由卡耐基梅隆大学(CMU)团队所研发的 SkinTrack 技术,该系统由一个能连续发射高频交流信号的指环,和嵌入智能手表的内置传感器的手环组成。

  该设备采用 80MHz 的电信号进行皮肤传播,让你手上的皮肤成为「触摸屏」。手环可以追踪所佩戴指环的运动轨迹,并与皮肤上的拓展触摸屏产生交互感应,通过手指在皮肤上的滑动,提取相位差等建模信息。该团队曾提到,在使用过程中,人体出汗和持续运动都会影响指环的电路和信号的发射,他们接下来也会着重解决这个问题。

skintrack.jpg

       国内应用手势识别技术的团队

  光学作为手势识别的主流方案之一,以国外的 Leap Motion 为主要典型代表。使用三维手势识别技术也是国内较多团队应用的一个方向,其中有三家具代表性的公司:

  uSens 凌感科技

  uSens 凌感是一家由硅谷科技人才创立、专注于 VR/AR 研发的创新企业,其核心团队拥有视觉算法、人工智能、机器学习、光学、人机交互、系统软件等方面的先进技术,公司在美国硅谷、杭州、北京、深圳均设有团队。在 2015 GDC 上,uSens 就展示了一款支持三维手势控制的移动 VR+AR 设备 Impression Pi(印象湃)。

impressionpi1.png

  值得一提的是,uSens 研发的手势追踪技术,结合机器视觉算法,实现无需佩戴任何手柄等外设进行手势捕捉。另外,uSens 通过计算机视觉技术已经在位移追踪方面取得新的突破,并将其逐步移植到移动端,把那些复杂的电线抛弃掉。

  奥比中光

  来自深圳的奥比中光是一家专注于三维传感技术的创新性企业,而这家不到 80 人的企业在国内率先自主研发了 3D 计算芯片以及 3D 传感器,主要被运用于安防、智能装备、辅助驾驶等不同领域。

  他们研发出了指甲盖大小的(4.5mm*4.5mm*4 mm)的消费级别芯片,是一套可用于手机、平板电脑的嵌入式 3D 模组,目前全球只有 4 家公司能做,奥比中光是其中之一,并且是亚洲唯一一家实现量产的企业。

5566c80dbfd9a.jpg

  乐视、创维、海信等知名品牌电视机已应用上了奥比中光 3D 传感器芯片。奥比中光 CEO 黄源浩曾表示:「不出几年,机器人、无人机会逐步搭载 3D 摄像头,3D 传感技术还会被运用于 VR、AR 的领域。」

  锋时互动

  体感创业公司锋时互动由一个四人组合 Sharpnow Group 创立。

  在 2013 年 2 月, Leap Motion 发布了其主要面向 PC、Mac 的体感控制器,而据了解,锋时互动早在 2012 年就提出了近场体感的概念,但碍于投资环境,他们直到 2013 年底才发布原型机。

  2014 年 7 月,锋时互动正式发布了用于识别人体手势操作的设备——微动(VID),能精确识别用户的手指及动作,并转化为操作指令,实现双手悬空操作电脑、玩体感游戏等功能。此外,微动产品还增加了独立的预算单元,可完成大量的数据处理工作。

BC8331F9199D9135D88AC7CB7CA28C1A.jpg

       总结

  在 Google I/O 大会上,Google ATAP 的负责人 Ivan Poupyrev 给大家展示了雷达技术在手势识别上的应用和实现方式,以及技术的突破性进展,给业界提供了很好的示范。

  目前,包括手势识别、语音识别在内的人机交互技术尚未成熟,较高的学习成本以及有待提高的交互体验,都是技术迭代过程中所要攻克的难题。Ivan Poupyrev 曾表示,即使目前他们还不确定能否将技术完整实现,但他们依旧会坚持下去。

  文章转载自深圳湾


tonysky2016-06-14 18:12:14
在我来看手势识别其实就是体感的精细版,被广泛应用估计不会太远了~~~
0 0 回复
云中抹布极客达人2016-06-14 13:04:37
隔空操作的技术未来将运用于每个家庭里。
0 0 回复
静静他爸极客达人2016-06-14 09:52:26
黑的要黑的有道理,实用才行
0 0 回复
渺渺望水极客达人2016-06-14 08:49:25
部分效果还是很好的 实际不需要所有都这样
0 0 回复
生根的乡愁2016-06-14 08:08:30
隔空操作的新技术确实让人感觉眼前一亮。
0 0 回复
时光去那里了2016-06-14 06:41:02
科技进步也太快了吧!这不就是一块芯片吗?
0 0 回复
玫子卿茶

没事发发短分享~

72变 - 开启你的智能生活