在本书探讨的面向个性化学习的体感计算研究的基础上，实现了一个基于运动感知的水墨画临摹的交互实验，通过把身体运动行为和艺术感知理论结合起来，细致分析了面向儿童水墨画学习的创造性体验，主要是从实验的过程、实验结果、用户体验和可用性的分析等内容展开。
7.1书空临摹的研究背景
从体验性认知的角度，本章探讨的中国水墨画艺术需要表现出非常强烈的个性和特色，比如郑板桥用他特殊的运笔和用力的方法，来表达他自己的内在感受。因此，他画的竹子表现出非常强烈的个性和特色，这种个性和特色主要是在用笔方法上抓住了竹子的瘦劲孤高、豪迈凌云的特色。一般来说，水墨画艺术是通过个性化的笔画处理来表达作画者的艺术感知和理念124。而水墨画的艺术感知和理念也是要通过用户的艺术感知来学习体验，并转化为自己的个性化水墨画认知，通过身体感觉来产生艺术的共鸣，在潜移默化中掌握艺术行为符号，以实现艺术教育的目的。
此外，中国传统水墨画有固定的写意表达程式，所谓“程式”是指经过艺术夸张、提炼加工而定型的规范化、格式化的形象创造、情感抒发、画面构成、运笔方法和线条运用等，如画兰叶的起手式为：一笔长，两笔短，三笔交凤眼125，即线条依次的交错、呼应等。水墨画通过运笔和用力的规范化技巧去追求线条的节奏、韵律、动态、气势之美126。一般来说，水墨画的学习和艺术感知体验是从临摹这些程式技法开始的，虽然临摹是熟记水墨画技法的有效方式，但对于儿童（7至14岁），这样的临摹背默显得有些枯燥乏味。
在电子学习领域，随着计算机技术的发展以及数字化学习的兴起，如何有效地激发儿童对于艺术的探索和情感表达的兴趣，如何寓教于乐地为儿童提供简洁有力的学习指导，如何在潜移默化中提升他们的艺术涵养，成为数字化学习的主流方向之一。而在探讨面向儿童用户的水墨画学习的交互方式，要在数字化学习环境中实现水墨画的临摹，很自然地想到了笔式用户界面127，目前也已实现了不少基于笔式用户界面的绘画系统，其中比较着名的国内外研究工作包括：TakeoIgarashi128等实现的一系列三维儿童涂鸦软件，利用笔势可以完成三维建模。SteveTsang129等使用笔势命令输入与草图三维网格建模进行交互。AaronAdler130等提出用语音和笔势来模拟用户的二维草图意图。李杰等人131设计的基于笔和语音的面向儿童的多通道三维交互系统，用笔来勾画三维的场景和小动物等实体，同时用笔和语音同场景和场景中的实体进行一定的交互。然而，尽管笔式用户界面比传统的图形用户界面在绘画交互上具有更大的自由度，但依然面临手势空中姿态的缺失，灵活性和趣味性不足等问题。因此，本书力图探索研究水墨画的体验性认知和感知，通过身体运动的交互方式来临摹学习水墨画。
对于水墨画学习的体验性认知的方法，可以追溯到传统的学习记忆方法，据《汉语大辞典》的注解，所谓书空132是用手或手指在空中虚划，是表达艺术情感和加强笔画程式记忆的重要方式之一。书空绘画在形式上允许用户以个性化的手势控制笔画，在目标上是以寓教于乐的方式帮助儿童学习绘画，在技术实现上，书空临摹的核心是如何有效获取手的空中姿态。当前有两种基本的获取手势的方法：运动传感器和基于光学传感的计算机视觉技术。由于光学传感器自身的局限性，对环境光照的要求相对于运动传感器来说较高，并很难处理手势的遮挡等问题，运动场景的信息量相对比较大，超出一般计算机的处理能力，不一定能适应多种变化的场景，或者抗噪声能力差等133，更为适合于在理想的实验室环境中进行；而随着微机电技术的发展，运动传感器有体积小、适应性强、价格低廉等优势，并且运动传感器的数据量较小，更为适合于实时交互场合134。因此，本书采用了基于运动传感来实现书空临摹，所使用的运动传感器是任天堂的游戏手柄WiiRemote，可以利用其内置加速度传感器，可以获取运动的实时加速度。目前，世界上已经有很多WiiRemote用于如音乐指挥演奏、击剑游戏、各种球类竞赛等135-139游戏娱乐领域中的应用实例，所以是很适合于寓教于乐的数字化学习的场合的。
本章探讨的面向儿童水墨画学习的体感计算的实验，具体的实验内容是儿童用户在水墨画样例的提示下，使用WiiRemote作出绘画手势，练习背默水墨画的步骤和笔画技巧。为了增强趣味性，通过对比采样与实际手势在方向和强度上的差异率对笔画进行相应的变形，以样例示范和手势运动交互的方式来探索书空临摹对儿童学习水墨画技法程式的影响。
7.2书空临摹的交互模型
书空临摹是基于书空行为与水墨画笔画运用手法的隐喻，其目标是提供足够自由的空中输入来帮助用户记忆、理解和表达各种笔画技法。就水墨画的学习而言，临摹的主要任务是背默记忆水墨画的各种程式，如用笔、用力方法以及作画步骤等。作为面向个性化学习的体感计算的一个案例，采用运动传感来实现书空交互的基本出发点为：用简单的手势交互方式和实时的交互意图信息的处理与情感表达的反馈来引导儿童积极主动地参与到学习过程中来，以寓教于乐的方式让儿童体验到水墨画学习的乐趣，产生心理满足感，提升儿童对于传统水墨画的直观美学感受。
基于上述要求，并结合运动传感技术的特点，本书提出如图7.1所示的书空交互框架流程。儿童首先观察书空界面的笔画步骤等交互信息，然后根据系统预设的绘画步骤和手势提示，手持运动传感器做出手势。如果手势识别错误，系统即产生“报错”命令反馈给用户；如果手势识别正确，则作为笔迹在画面中预设的笔画锚点位置进行绘制，通过对比原始手势的加速度，做笔画变形处理，把变形后的笔画围绕锚点映射输出到绘画区域。其中，书空手势的输入是基于WiiRemote中的加速度传感器，并通过其蓝牙通讯接口传输到计算机中进行手势识别。为增强趣味性，同时考虑到运动的加速度数据也部分反映出手部用力的大小，增加了通过比对当前输入手势与预先设定的标准手势在加速度量值上的差异变化，对标准笔画进行恰当的变形处理，使得最后输出的绘画结果并不是简单的再现预先采集下来的标准笔画，而是在一定程度上体现了用户个性化差异，并提供了丰富变化的绘画结果。每个笔画都在画面中预设固定的锚点，笔画围绕锚点在一定的范围内变形，以保证画面的整体构图，不会变形太离谱。
7.3书空手势的设计与识别
从技术实现的角度看，在确定书空临摹的交互框架流程后，接下来的核心任务是设计出适合表达艺术感知体验的书空手势，并采用适当的手势识别技术来有效地理解用户所作出的各种笔画手势。根据书空笔画的特点，本书是根据被临摹的绘画作品的笔画路径来设计书空手势。所设计出的书空手势要尽可能地接近画家在实际使用毛笔作画过程中手的运动轨迹，手腕在平均有力的基础上有控制有规律地提按、行顿、转折、疾徐等，以产生丰富的线条形态的变化。但是笔画的艺术语言是通过用笔的轻重、疾徐、顿挫、虚实而产生曲直、浓淡等各种线条，将这些线条有规律、有节奏地组织在一起，构成整个画面的情感意蕴，产生一种节奏感、运动感和美感，从而使画面具有和谐统一的音乐般的韵律和意境。不同的绘画用笔方法可以产生不同的气质，传达不同的感情体验，波浪似的曲直的线，使人有一种轻快活泼的运动感；均衡流畅的线条，使人有一种宁静、舒展的感觉；强烈的大小团块，使人有一种紧锣密鼓的感觉等140。执笔的空中姿态和运动轨迹，既能够表达作画者的艺术感知，又可以充分地显示水墨画作品的内容和韵味，增强作品的艺术感染力。
笔画样例从真实的纸面上采集并放在样例库中，根据运笔方向设计手势，如图7.2所示《兰花》和《荷花》的部分笔画和对应手势。设计手势时尽可能地增加相似手势之间的区别，以避免识别错误。为减轻用户记忆复杂手势的负担，系统应具有很好的上下文步骤提示，同时使用手势识别算法以提高手势识别率。
在基于WiiRemote的手势识别方面，目前已经有很多方法，其中比较典型的一种方法是采用机器学习的技术来识别手势，例如，ThomasSchl¨omer提出用WiiRemote做手势识别，基于隐马尔科夫模型(HiddenMarkovmodel，HMM)实现用少数的训练样本来识别率；Hofmann提出尽可能优化WiiRemote的手势识别，对采样手势进行过滤和分类。本书也采用了机器学习的方法，基于隐马尔科夫模型来训练和识别书空手势。
隐马尔科夫模型是一个通过概率模型来生成和分析时间序列的双随机过程，由一个隐藏的有限状态马尔科夫链和一个与状态相对应的观察密度集合组成，在某个时间点，处于某个状态，观察序列的生成由与状态相对应的概率密度函数支配，状态之间的转移则由转移概率来支配。HMM可以表示为：λ={S，π，A，{bi(ot)}}。其中，S是状态数，π为状态初始概率分布，A={aij}是概率转移矩阵，aij=P(qt+1=j|qt=i)，bi(ot)表示在时刻t状态i的观测概率值或概率密度。HMM可分为离散HMM和连续HMM，前者的状态i与输出观测值之间的概率关系用离散的概率值表示；后者的状态i与输出观测值之间的概率关系用连续的概率值表示。
