IT的身体语言
- 来源:计算机世界 smarty:if $article.tag?>
- 关键字: smarty:/if?>
- 发布时间:2009-09-01 09:38
2007年是重要的一年,这一年微软发布了Surface,苹果发布了iPhone。虽然两者差距千里,却共同推动了一种技术进入主流视野,那就是多点触摸技术以及由此引申而来的手势操控界面。在这一技术的支持下,人们开始用手指、手势乃至肢体动作操纵哪些早已熟悉的IT产品,一个与我们的一举一动息息相关的全新it时代正在悄然来临。
现在手势操控技术发展红火,作为其中的一个分支,多点触摸技术最先走向了市场并获得成功,甚至山寨产品也能找到硬件和软件实现这样的操控,这是人机界面的巨大变革。随后,苹果在它的Macbook上全面引入多点触摸,而微软也会在Windows7中采用这个技术,多点触摸技术的全面爆发已经指日可待。
多点触摸的背后
目前多点触摸技术已经形成了两个主要派别:一种是基于硬屏幕传感器的方式,iPhone就是如此;另一种是通过摄像头进行坐标转换,从而实现姿势意图的判断,微软的Surface就属于这一种。
在同一个时期,两个重要的姿势控制在空间上对撞了。我们可以回顾一下历史,上溯到20多年前,类似的图景已经展开。1983年,贝尔实验室开始研究这个问题,1984年便小有成果。但主要的突破在1991年,当Pierre Wellner发表了一篇描述他做的Digital Desk的论文,这个设为能够支持多手指触碰功能。从那个时候起,人们开始意识到,这个用户界面的巨大突破,不仅仅需要硬件方面的支持,更需要软件方面的突破。
在微软和苹果的产品中,两个公司起到了决定性的作用。微软购买了3DV System公司,这家公司在通过摄像头实现的手势控制方面相当有地位,他们通过摄像头进行手势的定位,从而实现操作。Surface借助一个小的摄像头和内部的投影机,实现了30英寸的桌面,可以应用到办公、商业演示、娱乐等等方面。
站在iPhone后面的则是Fingerworks公司,这个公司在2005年被苹果收购,苹果由此诞生了历史上最重要的转型产品——iPhone。在iPhone推出之前,苹果与AT&T合作过一款手机,还没有成型就夭折了,据说设计跟Moto的Razor比较类似,虽然浪费了大约1.4亿美元,但苹果得到了AT&T的大力支持。在研发iPhone的时候,据说不少硬件都是AT&T提供给苹果的。
Fingerworks的产品突破了以前的传统,虽然在概念上比不上微软的有弹性,但是适合小尺寸屏幕使用,并且一举突破了手机屏幕尺寸的问题。使得iPhone上网相当方便,也构成了iPhone成功的重要基础。它的技术采用多个传感器,而不是以前的单个或者少数几个传感器,能够扫描和处理多个触点的信息。硬件方面的问题处理好之后,在后台的软件上,需要针对其做有针对性的调教,虽然有不少公司都能提供类似的方案,但从目前来看,苹果的方案无疑还是最好的。
在苹果的带动下,多点触摸技术迅速风靡。除了手机,华硕的EeePC 900以及Dell Inspiron Mini/Latitude XT和Sharp 的Mobius都开始陆续采用多点触摸技术。
让我们丢掉遥控器
最有意思的是家电厂商也要进入这个市场。日立和东芝都有支持手势操作的电视推出,可以摆脱遥控器对电视的控制。这属于另外一个类型的产品,比简单的多点触摸更为复杂,而且也要比微软的Surface采用的方案更复杂。
这样的方案需要面对比较复杂的局面,首先需要有识别边界的能力,能够区分人和其他事物;其次要有距离感觉,能够判断手势代表的含义。例如Canesta公司开发的CCD摄像头就拥有复杂的功能,除了拍摄操控的人之外,还要记录这个操作者手势的幅度,如果在用户界面的设计上不注意的话,手势操作会累死人。
而且这一技术对摄像头的反应速度也有要求。如果摄像头反应太慢,无法采集到足够多的运动点,就无法构成轨迹,形成操作命令。此外,对付多人的操作也是问题,到底以谁为主?过多的用户是否会导致电视机混乱,起身或者接电话时的手势如果恰好符合某个指令,也会为使用带来麻烦。
当然,要是打个响指就能开启电视,这就太有意思了。就是这样的诱惑,让微软继续投入,准备在游戏机上实现这样的用户界面,从而带来完全不同的体验。与仅仅依靠手势不同的是,微软的游戏界面是全身的运动。也就是说,摄像头捕捉的信息是全面的,游戏可以利用几个关键点来实现控制,比如跳舞、拳击等游戏,玩家能够真实的体验与电脑的对战。
大约在5年前,通过摄像头玩的游戏就已经开始出现,游戏中的主角头像可以设置为玩家自己的照片,可以通过手势运动在游戏中敲击气球。任天堂的Wii则通过重力传感器实现了另外一种姿势的控制。
如果微软把全身的姿势控制成功引入游戏机,那么,未来的减肥游戏和运动游戏就将不只是坐着不动了,这将构成全新的游戏体验。在这一领域,Fraunhofer的iPoint 3D更有意思,它是针对立体显像的手势操作,这将大幅度提高用户参与游戏和互动内容的感觉。
我们可以看到,随着技术的发展,摄像头的功能将复杂化,将不再只是一个可以拍摄自己大头像的配件,它好像成了机器的眼睛,与机器的互动完全可以借助摄像头实现。而用户界面得改变也改变了我们跟机器的交流方式,未来手势技术的发展将会不局限在显示领域,利用这一技术,未来可以实现灯光的智能跟踪,只在有人活动的地方提供合适的照度,而相应降低其他区域的亮度。这一技术拓展的唯一缺点是,我们感觉像被监视了。而未来机器是否能够正确地理解人类的行为,器通过网络获得的“智慧”是否真有可能让人喜出望外或者是惊恐万分?这都需要进一步研究。
用动作指挥技术
Jefferson Y. Han在2006年的TED上,展示了惊人的多点触摸模型,远比我们现在讨论的复杂和精彩。其系统可以用十个以上的手指进行触摸和控制,而且功能强大。图片的放大缩小仅仅是其中很小部分的功能,未来,它甚至可以供设计人员使用。这是一个在技术上完全实现了人类想法的触摸技术,最重要的是,即便是一个没有怎么学习和熟悉过这个界面的用户,也能很容易地使用这个系统。
紧接着,Han创立的Perceptive Pixel公司,开始提供此类产品,它最有名的产品包含供给CNN两个电视墙,长度达到2.4米,高度达到0.9米。由于它的技术相对比较复杂,因此采用了不同的理念——通过红外LED和红外摄像头感知触点,并把触点的操作转变成为数字世界的操作。根据演示的效果来看,这一技术能够实现类似沙画的效果,查看GIS、3D内容也很方便,在这一技术的影响下,人很容易产生进入数字世界的错觉。
另一个迅速发展的技术就是由麻省理工媒体实验室开发的第六感。这个技术更是惊人,它包含一个用来连接网络的设备——现在来看就是手机,一个微型的投影机——好像是激光投影机,以及几个戴在手指上的传感器。激光投影机可以在任何介质上投影,而一个神秘的镜片能够把信息反馈到控制系统,这个系统通过阅读这些信息,就能够对这些资料进行查找。比如打开一本书,它就会连接上Amazon这样的网站,并且把书的作者的介绍和评价都显示出来。
这个设备甚至可以投射出一个键盘在你的手里,通过按手里的投射的数字,就可以实现电话的拨打。同时,还能够根据需要在手臂上投射手表等等,这是肢体操控技术与人类生活最接近的一种。这也是为什么开发它的Pattie Maes把它命名为第六感的原因。
毫无疑问,这一技术使人类能够进入网络中。在需要调整系统功能的时候,可以把画面投射在任意地方,然后通过手指选择;我们甚至可以如同Harry potter一样看报纸,可以利用投影机在报纸上播放视频的新闻;或者通过人脸识别,看到对方的时候就能够把这个人的资料全部调出来。
触控技术的延伸
当然,这一技术不应该只用在传统的设备上,在更新的一些应用领域,我们将看到他们的身影。比如针对某些人的特定动作习惯进行分析,从而使用这样的特征码进行加密——只要通过扫描人们在特定区域内的动作信息,再加上其他信息的对比,就可以实现童话中“芝麻开门”的效果;在汽车上,可以将挡风玻璃当作信息显示平台,甚至方向盘的具体功能都可以省略,改用肢体控制,这样,开车就会变得和聊天一样,通过机器可以识别的手势,驾车者将不会因为分心或者心情不好导致交通问题,还能够避免违章带来的众多问题;在超市,通过设立在商品旁边的触控技术信息服务终端,人们就可以找到需要的东西,多点触摸能够大大节省查阅的时间,同时,这些信息点还能够提供各种产品的具体区域,以方便像不常逛超市的人查询;甚至政府也可以设立一些公众信息的显示墙,用户可以在特定的区域了解一些其他信息,比如选举、旅游、地图,甚至周围的便利店。手势的操作能够充分利用显示墙的功能,使得很多人可以通过同时操作一个屏幕获得各自需要的信息;在工业上,触控技术还可以用来培训工人,降低因为操作不规范引起的危险,还可以通过机器扫描出框架,大幅度降低员工培训的成本,提高生产效率;未来运动员的训练也可以通过设定标准动作实现训练的监控,这样会比现在通过摄像的方式方便得多,如果能够通过使用了触控技术的游戏减肥、锻炼,肯定也会很有意思。
基于姿势的动作语言,改变了我们跟机器打交道的方式,正是因为有了这个层面的互动,聪明的机器才真的有了基础。除了为我们的生活带来便利,这一简单的操作也会扩大机器作为工具的能力,使机器能跟人进行互动,这将完全改变我们的行为方式。如果可能,机器的互动还将变得更有趣,机器的协同工作可能不再需要复杂电线等设备,只要有合适的摄像头或者激光束扫描就行。我们将能够操作机器以及虚拟空间,甚至在设计三维动画的时候,进行动作捕捉也不再需要复杂的流程,这将会大幅度降低工作的复杂程度。
实际上,基于姿势的用户界面,并不是一个简单的娱乐产品,它真正涉及到人与机器交流的核心。在这一技术的基础上,人类可以通过与机器的手势、肢体动作等方面的交流,构建更为有趣和高效的现实世界。
……
现在手势操控技术发展红火,作为其中的一个分支,多点触摸技术最先走向了市场并获得成功,甚至山寨产品也能找到硬件和软件实现这样的操控,这是人机界面的巨大变革。随后,苹果在它的Macbook上全面引入多点触摸,而微软也会在Windows7中采用这个技术,多点触摸技术的全面爆发已经指日可待。
多点触摸的背后
目前多点触摸技术已经形成了两个主要派别:一种是基于硬屏幕传感器的方式,iPhone就是如此;另一种是通过摄像头进行坐标转换,从而实现姿势意图的判断,微软的Surface就属于这一种。
在同一个时期,两个重要的姿势控制在空间上对撞了。我们可以回顾一下历史,上溯到20多年前,类似的图景已经展开。1983年,贝尔实验室开始研究这个问题,1984年便小有成果。但主要的突破在1991年,当Pierre Wellner发表了一篇描述他做的Digital Desk的论文,这个设为能够支持多手指触碰功能。从那个时候起,人们开始意识到,这个用户界面的巨大突破,不仅仅需要硬件方面的支持,更需要软件方面的突破。
在微软和苹果的产品中,两个公司起到了决定性的作用。微软购买了3DV System公司,这家公司在通过摄像头实现的手势控制方面相当有地位,他们通过摄像头进行手势的定位,从而实现操作。Surface借助一个小的摄像头和内部的投影机,实现了30英寸的桌面,可以应用到办公、商业演示、娱乐等等方面。
站在iPhone后面的则是Fingerworks公司,这个公司在2005年被苹果收购,苹果由此诞生了历史上最重要的转型产品——iPhone。在iPhone推出之前,苹果与AT&T合作过一款手机,还没有成型就夭折了,据说设计跟Moto的Razor比较类似,虽然浪费了大约1.4亿美元,但苹果得到了AT&T的大力支持。在研发iPhone的时候,据说不少硬件都是AT&T提供给苹果的。
Fingerworks的产品突破了以前的传统,虽然在概念上比不上微软的有弹性,但是适合小尺寸屏幕使用,并且一举突破了手机屏幕尺寸的问题。使得iPhone上网相当方便,也构成了iPhone成功的重要基础。它的技术采用多个传感器,而不是以前的单个或者少数几个传感器,能够扫描和处理多个触点的信息。硬件方面的问题处理好之后,在后台的软件上,需要针对其做有针对性的调教,虽然有不少公司都能提供类似的方案,但从目前来看,苹果的方案无疑还是最好的。
在苹果的带动下,多点触摸技术迅速风靡。除了手机,华硕的EeePC 900以及Dell Inspiron Mini/Latitude XT和Sharp 的Mobius都开始陆续采用多点触摸技术。
让我们丢掉遥控器
最有意思的是家电厂商也要进入这个市场。日立和东芝都有支持手势操作的电视推出,可以摆脱遥控器对电视的控制。这属于另外一个类型的产品,比简单的多点触摸更为复杂,而且也要比微软的Surface采用的方案更复杂。
这样的方案需要面对比较复杂的局面,首先需要有识别边界的能力,能够区分人和其他事物;其次要有距离感觉,能够判断手势代表的含义。例如Canesta公司开发的CCD摄像头就拥有复杂的功能,除了拍摄操控的人之外,还要记录这个操作者手势的幅度,如果在用户界面的设计上不注意的话,手势操作会累死人。
而且这一技术对摄像头的反应速度也有要求。如果摄像头反应太慢,无法采集到足够多的运动点,就无法构成轨迹,形成操作命令。此外,对付多人的操作也是问题,到底以谁为主?过多的用户是否会导致电视机混乱,起身或者接电话时的手势如果恰好符合某个指令,也会为使用带来麻烦。
当然,要是打个响指就能开启电视,这就太有意思了。就是这样的诱惑,让微软继续投入,准备在游戏机上实现这样的用户界面,从而带来完全不同的体验。与仅仅依靠手势不同的是,微软的游戏界面是全身的运动。也就是说,摄像头捕捉的信息是全面的,游戏可以利用几个关键点来实现控制,比如跳舞、拳击等游戏,玩家能够真实的体验与电脑的对战。
大约在5年前,通过摄像头玩的游戏就已经开始出现,游戏中的主角头像可以设置为玩家自己的照片,可以通过手势运动在游戏中敲击气球。任天堂的Wii则通过重力传感器实现了另外一种姿势的控制。
如果微软把全身的姿势控制成功引入游戏机,那么,未来的减肥游戏和运动游戏就将不只是坐着不动了,这将构成全新的游戏体验。在这一领域,Fraunhofer的iPoint 3D更有意思,它是针对立体显像的手势操作,这将大幅度提高用户参与游戏和互动内容的感觉。
我们可以看到,随着技术的发展,摄像头的功能将复杂化,将不再只是一个可以拍摄自己大头像的配件,它好像成了机器的眼睛,与机器的互动完全可以借助摄像头实现。而用户界面得改变也改变了我们跟机器的交流方式,未来手势技术的发展将会不局限在显示领域,利用这一技术,未来可以实现灯光的智能跟踪,只在有人活动的地方提供合适的照度,而相应降低其他区域的亮度。这一技术拓展的唯一缺点是,我们感觉像被监视了。而未来机器是否能够正确地理解人类的行为,器通过网络获得的“智慧”是否真有可能让人喜出望外或者是惊恐万分?这都需要进一步研究。
用动作指挥技术
Jefferson Y. Han在2006年的TED上,展示了惊人的多点触摸模型,远比我们现在讨论的复杂和精彩。其系统可以用十个以上的手指进行触摸和控制,而且功能强大。图片的放大缩小仅仅是其中很小部分的功能,未来,它甚至可以供设计人员使用。这是一个在技术上完全实现了人类想法的触摸技术,最重要的是,即便是一个没有怎么学习和熟悉过这个界面的用户,也能很容易地使用这个系统。
紧接着,Han创立的Perceptive Pixel公司,开始提供此类产品,它最有名的产品包含供给CNN两个电视墙,长度达到2.4米,高度达到0.9米。由于它的技术相对比较复杂,因此采用了不同的理念——通过红外LED和红外摄像头感知触点,并把触点的操作转变成为数字世界的操作。根据演示的效果来看,这一技术能够实现类似沙画的效果,查看GIS、3D内容也很方便,在这一技术的影响下,人很容易产生进入数字世界的错觉。
另一个迅速发展的技术就是由麻省理工媒体实验室开发的第六感。这个技术更是惊人,它包含一个用来连接网络的设备——现在来看就是手机,一个微型的投影机——好像是激光投影机,以及几个戴在手指上的传感器。激光投影机可以在任何介质上投影,而一个神秘的镜片能够把信息反馈到控制系统,这个系统通过阅读这些信息,就能够对这些资料进行查找。比如打开一本书,它就会连接上Amazon这样的网站,并且把书的作者的介绍和评价都显示出来。
这个设备甚至可以投射出一个键盘在你的手里,通过按手里的投射的数字,就可以实现电话的拨打。同时,还能够根据需要在手臂上投射手表等等,这是肢体操控技术与人类生活最接近的一种。这也是为什么开发它的Pattie Maes把它命名为第六感的原因。
毫无疑问,这一技术使人类能够进入网络中。在需要调整系统功能的时候,可以把画面投射在任意地方,然后通过手指选择;我们甚至可以如同Harry potter一样看报纸,可以利用投影机在报纸上播放视频的新闻;或者通过人脸识别,看到对方的时候就能够把这个人的资料全部调出来。
触控技术的延伸
当然,这一技术不应该只用在传统的设备上,在更新的一些应用领域,我们将看到他们的身影。比如针对某些人的特定动作习惯进行分析,从而使用这样的特征码进行加密——只要通过扫描人们在特定区域内的动作信息,再加上其他信息的对比,就可以实现童话中“芝麻开门”的效果;在汽车上,可以将挡风玻璃当作信息显示平台,甚至方向盘的具体功能都可以省略,改用肢体控制,这样,开车就会变得和聊天一样,通过机器可以识别的手势,驾车者将不会因为分心或者心情不好导致交通问题,还能够避免违章带来的众多问题;在超市,通过设立在商品旁边的触控技术信息服务终端,人们就可以找到需要的东西,多点触摸能够大大节省查阅的时间,同时,这些信息点还能够提供各种产品的具体区域,以方便像不常逛超市的人查询;甚至政府也可以设立一些公众信息的显示墙,用户可以在特定的区域了解一些其他信息,比如选举、旅游、地图,甚至周围的便利店。手势的操作能够充分利用显示墙的功能,使得很多人可以通过同时操作一个屏幕获得各自需要的信息;在工业上,触控技术还可以用来培训工人,降低因为操作不规范引起的危险,还可以通过机器扫描出框架,大幅度降低员工培训的成本,提高生产效率;未来运动员的训练也可以通过设定标准动作实现训练的监控,这样会比现在通过摄像的方式方便得多,如果能够通过使用了触控技术的游戏减肥、锻炼,肯定也会很有意思。
基于姿势的动作语言,改变了我们跟机器打交道的方式,正是因为有了这个层面的互动,聪明的机器才真的有了基础。除了为我们的生活带来便利,这一简单的操作也会扩大机器作为工具的能力,使机器能跟人进行互动,这将完全改变我们的行为方式。如果可能,机器的互动还将变得更有趣,机器的协同工作可能不再需要复杂电线等设备,只要有合适的摄像头或者激光束扫描就行。我们将能够操作机器以及虚拟空间,甚至在设计三维动画的时候,进行动作捕捉也不再需要复杂的流程,这将会大幅度降低工作的复杂程度。
实际上,基于姿势的用户界面,并不是一个简单的娱乐产品,它真正涉及到人与机器交流的核心。在这一技术的基础上,人类可以通过与机器的手势、肢体动作等方面的交流,构建更为有趣和高效的现实世界。
