登陆注册
4996300000019

第19章 体感计算域体感交互(2)

体感行为建模问题,可以使用数学方法:维度空间、非线性、统计、灰色理论、随机过程等方法。把人的身体运动行为模型化,目的是在于计算机实现身体运动行为的形式化,以便于实现体感计算交互系统。

体感运动进行度量的工作涉及到心理学、认知科学等很多研究领域。虽然由于体感的复杂性以及人类对身体运动变化规律的研究尚不完善,使得这项工作十分困难,但是对于体感度量的探索已经出现了进展,加深了各学科对体感运动的认知。如本书的前几章所述,目前已经有一些人体运动语言的研究成果,当然具体应用领域需要更为复杂细分的运动语义,所以还没有一个标准的规则,但是至少有些模型从功能的角度可以实现有限的体感行为交互。

体感交互需要任务的具体语义、特定的功能。使计算机模拟人类的身体运动智能,或者模仿身体运动行为,对于个性化体感交互是有意义的。

用于体感交互系统的数学模型可以有如下几种类别:

(1)OCC认知模型

OCC模型已经成功的用于应用在情感识别中,主要方法是根据认知诱发条件来将情感分类。具体地说,情感由于正或负的诱力对由时间、智能体和对象组成的情境反应中产生,Ortony,Clore和Collins在这种结构中规定了22种情感类型,如图6.8所示的OCC认知模型25。

OCC模型也可以用在合成体感交互内容,是事件、对象、智能体等情境综合的结果。用于某一种体感状态,其本身就是一种情境。

在体感计算中,OCC模型不仅能用于推断体感状态,也可以用于激起其它的体感产生的影响,如激起身体感觉的主观体验,并将其和这时的情境联系在一起。

(2)有表情的智能虚拟化身

在每个有表情智能虚拟化身中可以允许常见的几种情感表达,比如:中性、高兴、不高兴、兴奋、非常高兴(希望)、焦虑(恐惧)、满意、失望、惊奇和宽慰。潜在的情感状态,由一个结果修正的OCC模型的子集确定。

(3)动画角色的情感和情绪

由动画角色产生的情感影响了一些认知活动,如新目标和新行为的产生。

目前,动画角色的情感和行为规则,认知和行为的影响大部分是硬编码的(hand-coded),能够通过艺术家或程序员手动改变,使其适应新的人物和情境。

其中包括社交规则,人们可能会认为,在一个自然的体感交互模型中,这些应该是能学习的而不是硬编码的。艺术家可以有意的控制人物及其发展,如果规则和体感又被体感影响的社交的事实,还是迈出了重要的一步。

在体感行为合成中,人的情感体验不完全决定行为,情感体验仅仅影响行为的方式。其他的因素,如创造物和环境的类型,它的个性特征,它的价值等,这些因素和体感一起影响行为。

(4)社会关系中的体感

为了让体感智能虚拟化身有身体感觉的共鸣以及其他基于用户和其他智能体的体感,它必须对其他人评价世界的假定方法,具有一种内部表示。这种内部表示,不仅能产生共鸣反应,也能产生对其他人的行为表现所引发的体感。对于用户和其它智能虚拟化身的共鸣反应是体感虚拟化身的主要成分,体感智能交互虚拟化身将会在下一节介绍。

体感虚拟化身的另外两个重要方面是:

根据假定的评价和事件,猜想其它智能虚拟化身的体感是基于逻辑的前向推理。

根据其它智能体的表达和条件,推测其潜在的体感语义,从而推测其它智能体认定的交互评价。这些方面对赋予计算机识别情感的能力来说都是重要的,但是它们是基于环境将如何产生情感的高级推理,而不是基于表达模式。

(5)RosEman的认知评价模型

RosEman模型是因为简洁性和基于人类的评价智商,具有很好的效果,如图6.9所示54。但是该模型的一个局限是,它不能处理可作多种评价的复杂情境,该模型提供了可能适用于这种案例的一种结构。总之,在计算机中实现体感产生的推理和实现基于认知评价智商的情感产生中,它将有利用的价值。

体感状态在同时运行多任务的机器上产生内部控制信号,在到了需要改变的时候提醒计算机注意,这些信号不仅可以对学习产生影响,而且也能对记忆、感觉以及其它重要功能产生影响。

本章描述了使计算机开始具备识别和表达体感能力的模型。特别是根据模式识别分析,提出了可用于识别和合成手势、面部表情、识别和合成语调,识别对应感知状态的生理信号模型,以及体感行为建模的工具。

本书把这个模型运用到手势体感输入到需要体感交互信息的移动设备的设计中。

在应用中体感计算的最关键的问题是,在体感识别系统的首要原则和应用中,如何设法通过测量生理运动信号来识别用户的体感状态,构建一个个性化的体感识别模型。识别用户的体感状态的目的是尽可能的获得与人一样的自然人机交互,无缝的适应人的体感状态,并且通过各种各样的情感应用来影响用户的情感。

体感行为模型一方面是需要简化人的体感以便于行为建模,另一方面是要通过各种各样的生理信号识别来推断用户最终的体感状态,并且,不同的应用情境具有不同的行为交互语义。

体感行为模型是利用数学和信息科学的手段对人类身体运动过程进行模拟、识别和理解,使机器能够产生类人的体感和情感,并与人类进行自然和谐的人机交互的研究领域。

6.3体感交互的虚拟化身

体感交互的用户界面,也就是人和体感系统进行交互的接口,包括系统给用户提供各种体验性认知的信息反馈,及用户通过运动传感器等输入设备进行情感信息的输入操作媒介。

体感系统需要设计的简洁易用,人性化,类似人与人之间的交流习惯。用户界面主要包括各种图形界面的控件以及控件间的组织机制,合适的用于处理输入及响应消息机制,用于绘制用户界面的渲染模块。

以往的人机交互一直是强调满足可用性的要求,极少注意如何设计令人愉快且有情感的界面。然而情感界面对于系统可用性是很重要的,本书提出的体感交互的虚拟化身,具有的情感表达方式,可以表现为智能虚拟化身的声音、表情和动作等。本书提出的一个体感交互界面设计方法,是使用富含表情的智能虚拟化身来表达情感状态。这个虚拟化身除了能够满足用户的交互需求,还可以表达生动有趣的体感信息,让用户感觉具有人性关怀,富有亲和力和吸引力。

体感交互的虚拟化身主要用于:一、表达系统体感交互的状态;二、引起和刺激用户的情感反应,如轻松、舒适、受鼓舞和开心等。

体感交互虚拟化身的设计与交互的类型、整体风格联系的十分紧密,系统可以预设很多个虚拟化身的角色,以供不同需求的用户选择。为了实现更为人性化的体感计算,体感虚拟化身应该有以下的特征:

1.应该根据用户的性格特点提供合适的体感类别。

2.要根据具体的交互需求来决定虚拟化身的气质风格。

3.还应考虑国情和文化的需求,代表不同的运动行为符号。要考虑到所处国家的风土人情和习俗。避免干扰性内容在体感虚拟化身的交互中出现。

人性化对于系统可用性是非常重要的,所以要设计智能化的体感虚拟化身,可以充分满足用户的需求,激发用户主动参与交互的积极性。在图6.10的体感化身的示意图中,描述了把体感虚拟化身设计并用到用户界面中的概念图。

基于运动感知的体感虚拟化身,可以根据用户不同的情绪,来调节情感互动交流。比如,当需要抒情的舒缓的手部运动时,如果用户的运动比较急促,虚拟化身就可以用温和的声音去提醒用户要放慢节奏,也可以同步适时地在用户的体感语义提示下,伴随着柔和的音乐或者舞蹈来进行体感互动。

本书按照虚拟化身的拟人化程度以及它们模仿的对象,可以把虚拟化身份成以下几类:合成人物、动画虚拟化身和形象化的对话界面等。

体感交互虚拟化身可以像教师或者教练一样,在交互学习中指导用户的运动行为。体感虚拟化身可以采用动画角色的形式,使得用户产生浓厚兴趣的互动期盼,也可以让体感虚拟化身实现个性化、智能化,可信任的交互互动。

在设计虚拟化身时,关键问题是如何提高虚拟化身的可信度。所谓可信度是指与虚拟化身交互时,用户可以在何种程度上相信虚拟化身具有自己的行为个性、思想和愿望91。也就是说,能让用户信服的虚拟化身,应该是能够消除用户疑虑的,其中一个关键因素是,化身的个性与性格必须与它的行为相符。因此,我们需要明确什么样的行为才能代表不同类型的情感或情绪。例如,如何表达非常高兴?用户是否容易辨别虚拟化身的各种不同身体运动特征?虚拟化身能够表达多少体感语义?

如上所述,虚拟化身的行为应该同它的情感状态相吻合,例如,当虚拟化身表达生气的心情时,它的肢体语言、动作和面部表情应该能够体现它的情绪。如何有效的实现呢?我们可以借鉴虚拟化身的表情、动作,以突出化身的体感状态,实现更为生动的体感表达和交互体验,刺激用户的认知系统。

在设计体感虚拟化身时要使用以用户为中心的方法,研究用户的行为和交互语境,捕捉用户的行为特征,在整个开发的过程中都应该向用户咨询,然后做出决策。

6.4体感计算的框架模型

体感计算的体系结构是在用户模型和行为模型的基础上以模块化的方式建立起来的,在系统模型中要考虑到整个体感交互的框架。

如图6.11所示,体感计算交互系统模型根据交互信息处理功能的不同分为三层:

交互层:位于用户界面最底层,由输入和输出设备模块以及数据预处理模块体感计算和渲染模块组成,主要是用户对于系统的操作方法。其中输入设备模块主要包括进行运动感知的信号采集设备,可以是单一的通道或者是多通道的信号采集,具体包括运动传感器、摄像头、麦克风、鼠标、数据手套、键盘等。采集到的身体运动信号直接输入到数据预处理模块或者其他相关模块,然后进行信号分析和识别。例如增强、滤波、提取特征、参数记录等,以便于进行行为识别模块或者其他相关的模块使用。渲染模块与输出设备模块负责将表达合成模块的输出信息转换成用户能够感知的图形、声音等,也可以转换成体感交互虚拟化身的身体动作或者表情。交互层在整个用户界面结构中相当于词法层或者语义层。

表示层:是体感计算系统模型的中间层,主要包括了运动行为识别和合成模块。行为识别模块负责对采集到的人体信号进行复杂的特征提取或者分类识别,此外还可以进行运动跟踪等工作。运动体感识别的结果主要是以语义的形式提供给对话管理模块进行整合处理。表示合成模块用于将对话管理模块输出的语义信息转换成多媒体数据的形式。其中可以提供对于体感信息的可视化、虚拟现实、语音合成等对象的具体转换功能。为了提高体感计算系统的人性化和智能化,表现层的形式应该尽可能的多元化,并且要简单清晰。

对话层:是在体感计算系统结构中用户最先接触体验到的一层。对话层除了包括处理交互层和表示层之间的沟通协调外,还要负责语义级的数据整合、理解和体感模拟、表达等。为了更好的拟合高层次的知觉和思维,对话层中还应该有上下文的管理功能。此外通讯对象可以与其余的交互应用互相沟通,具有一定的网络体感系统的功能。

在体感计算系统模型中,可以采用多通道和多媒体的交互方式。因此,很多输入和输出设备在固件和驱动层面都已经提供了比较高层次的功能,体感计算系统模型的输入设备与数据预处理模块、渲染与输出模块可以整合在一起,以便于提高系统可用性和系统开发效率。

对于体感交互的识别与处理,体感计算系统采用机器学习的方法,先进行身体运动行为的训练采样,然后再分类识别,训练的动作数据先存放在训练数据中。

当在正式进行交互过程中,用户的动作结果预处理后经过系统识别模块的识别处理,然后再通过事件输入到对话管理模块进行整合理解,然后输入到上层应用。

为了向用户提供直接的反馈,表达合成模块适时地处理识别结果事件,进行交互输出,并且驱动体感交互虚拟化身。

体感计算系统通过有限的人体运动数据而得到人的体感动作语义,并借助体感计算系统的动作数据库以相对精确的方式与用户进行体感交互的互动。

6.5本章小结

本章融合了人类的外在行为和内部情感,并且探讨体感计算交互的概念模型和基于运动感知的体感计算交互模型,解析了人的行为体验模型和体感交互的虚拟化身,最后分析了在体感计算系统的设计、开发过程中的原则和方法等。

本书面向个性化学习提出全新的交互方式-行为交互,计算机可以通过用户的身体运动语言去识别和预测用户的意图、潜在状态和需求,以便于进一步满足用户的需要和做出积极的反馈。在系统捕获到人的肢体运动后,判断人的交互意图,分析相应的语义,系统随即做出反应。

同类推荐
  • 三维动画审美谈

    三维动画审美谈

    数字时代,美的标准充满更多的不确定性。而三维动画以数字图像形式成为这个图时代的代表。三维动画及三维图像不仅仅是由于应用了仿真数字图像技术而带来的虚拟空间,还有更多的是由三维图像技术所引发或引导的被扩展的图像技术,这些技术无不应用在现代视觉设计领域的各个方面,并且,由此引起社会的追热,引起审美观念的改变。这些改变是在进行中的,变化中的,也是在发展中的。对于未知的美,我们做的只是追寻和记录,我们不知道以后的美将会是什么样,尽管我们苦苦追寻,孜孜探讨,同时也在默默审视。我们在追寻中享受美,在探讨中认知美,在审视中体验美……
  • 信息革命

    信息革命

    随着经济社会的快速发展,电子产品走进了千家万户,与电子产品相伴的信息技术也已渗透到人们生产生活的方方面面。加强信息技术普及,已成为业内人士的共识。鉴于此,在有关部门的大力支持下,经过认真筹划,我们编辑出版了《信息革命》一书。该书以时间为经,在记述信息技术发展历程的同时,深入浅出地介绍了信息技术的相关知识,对人们更好地利用现代信息技术服务经济社会建设和个人生产生活必将产生积极作用。本书由李大东主编。
  • 一本书读懂大数据

    一本书读懂大数据

    本书是深入研究互联网思维的经典之作,从互联网思维的定义到互联网思维应用的具体案例表现。作者深入浅出、条分缕析,全面阐述互联网思维的内核与精神,逐一点评当前关于互联网思维的各种观点。本书从最初级的互联网思维应用到高端的粉丝经济,平台建设,自媒体营销的方法都有详细讲解介绍。让读者了解什么是互联网思维的同时还能学会把互联网思维运用到自己的工作学习已经生活中。
  • 现代企业财务软件应用教程

    现代企业财务软件应用教程

    本书内容包括财务软件概论、系统管理、企业应用平台、总账管理、报表管理、薪资管理、固定资产管理、应收款管理、应付款管理等。
  • 悟道:一位IT高管20年的职场心经

    悟道:一位IT高管20年的职场心经

    本书是一位有20多年职场经验的IT企业高管撰写的一系列有关职场悟道的短文集成,讲述的是在企业里如何修炼自己,如何摆平自己的心态,怎样做到“世事洞明”和“人情练达”,如何“搞定老板”,怎样做到工作和生活平衡等诸多话题,涉及到跳槽、转行、升迁、环境、沟通、老板、下属、老外等等。每一篇都以作者的亲身经历或者身边的故事说明道理,语言简洁流畅,妙趣横生,更有不少经典片段和发人深省的职场警句,读起来就像是一个睿智幽默的老朋友坐在你面前娓娓道来。
热门推荐
  • 钦定宪法大纲

    钦定宪法大纲

    本书为公版书,为不受著作权法限制的作家、艺术家及其它人士发布的作品,供广大读者阅读交流。
  • 走进中南海

    走进中南海

    在写作过程中,参阅了大量的文档资料、报刊材料和回忆录,吸收了党史、国史、民国史、革命史研究的一些成果。内容包括:从西柏坡到香山、离开最后一个农村司令部、西柏坡群贤毕至、毛泽东绘制新中国蓝图等。
  • TFBOYS之偶像时代

    TFBOYS之偶像时代

    一次尴尬的邂逅让三只与三个女生相遇,在最好的时间遇到最美好的对方。三个们相遇在一起,经过时间的考验,他们最终在一。真正的爱情力量是无私的,在时间的考验下有情人终成眷属。
  • 归田稿

    归田稿

    本书为公版书,为不受著作权法限制的作家、艺术家及其它人士发布的作品,供广大读者阅读交流。
  • 为爱疯狂

    为爱疯狂

    如果,你以为这只是一本普通的都市小说。我只能深情地对你说一句,太天真了,往下看吧!我是个小人物,没有主角光环。我是个四无青年,为了工作而烦恼。混迹在繁华的大都市,我只是想平凡地活下去。
  • 你该说点什么

    你该说点什么

    财经记着玳钦,有敏锐的新闻嗅觉却特立独行。也因为性格特质,迎来工作收获的同时,常常被职场排挤。她能跳出职业纷争却绕不开情感磨难……偶然必然中,玳钦靠近了一位冉冉升起的政治明星,却也看到他猝然崩塌的结局。小说半纪实体,是经历也是教训。
  • 旋风少女续写之以牙还牙

    旋风少女续写之以牙还牙

    百草打败了婷宜,她和若白的爱情遇到重重考验,他们能否坚持他们的美丽爱情呢?*(本文开头几章和其他作者的一样,有时楼楼还会借鉴,但后来就不一样了,欢迎欣赏!)
  • 梦魇:有你有我

    梦魇:有你有我

    爱上你,还会有选择?就算无法拥有你就让我在你背后看看你吧,你过得好我就好你知道吗?-------无忧【滚蛋啊,我有毒.还有病.脾气也不好.还会早死。...........................................................媳妇啊,我百毒不侵忘了告诉你现在我向你道歉啊而且呢我会治病.还有呢我不怕死只怕没有你------------------------------一景轩
  • 晋境之河洛传

    晋境之河洛传

    21世纪的齐云沛好不容易鼓足勇气约会自己心中的女神,竟一不小心穿越到了西晋,还变成了一个十几岁的士族公子?这一切是宿命还是阴谋?明知历史无法改变,却依然飞蛾扑火,“一代妖后”贾南风真的就是自己难以割舍的挚爱吗?......根据西晋真实历史人物和史实改编的诚意之作,不断更新。欢迎爱考据的历史党;爱侠客的武侠党;爱穿越的玄幻党;爱真爱的纯爱党,乱入.......
  • 【柯南+死神】无尽旅程的终点

    【柯南+死神】无尽旅程的终点

    我是“死神”,只要死了就能穿越,每一个时空都成为了我人生中的旅游景点。这次,我穿越到了柯南所处的时代,与他相识,顺便培养培养感情,和他成为至交朋友。原以为再离开,也不会对这里留恋,却不料,我的心里已经满满的都是他的影子。肿么办?只好留下来陪他喽!