智能科学与技术丛书
移动传感器与情境感知计算
Mobile Sensors and Context-Aware Computing
点击查看第二章
 点击查看第三章

[美] 玛尼什· J.贾加（Manish J. Gajjar）著
陈彦如　张媛媛　陈良银　译
第1章
Mobile Sensors and Context-Aware Computing

绪　　论

本章内容

移动计算的定义
移动计算系统面临的约束与挑战
历史视角与市场影响
市场趋势与发展领域

1.1　移动计算的定义

移动计算（mobile computing）是指当用户在移动中使用各种类型的计算设备进行交互时发生的计算。硬件组件（如计算芯片、各种传感器与I/O设备）、软件组件（如与底层硬件通信的程序、设备驱动程序、应用程序以及支持通信协议的软件堆栈）以及通信协议（如Wi-Fi协议和超文本传输协议（HTTP）等）是移动计算的一些主要组件。通过这些组件，可以进行用户到计算机或计算机到计算机间的通信与计算。
以下是移动计算的三大主要分支：

手机：手机主要用于语音通信，但随着智能手机的出现，通过Wi-Fi或其他无线网络，手机可以进行应用程序、游戏和数据访问等计算，计算能力也越来越强。
便携式计算机：便携式计算机是仅具有基本计算组件和I/O端口的设备。它去除了诸如磁盘驱动器之类的不重要的I/O设备，转而使用紧凑型硬盘驱动器等，使其重量比台式机轻。当然在必要时可通过USB和Firewire等额外连接端口来连接外部I/O驱动器或其他设备。这些小巧轻便的计算机具有全字符集键盘和操作系统，如Windows、Android和Mac OS等。便携式计算机包括笔记本电脑、平板电脑等。
可穿戴计算机：这些移动计算设备可以通过无线通信协议连接到外部世界网络，并且具有时尚价值。这些设备具备感应、计算、运行应用程序、发送通知以及连接等功能。例如手表、手环、项链、无键植入物等，它们可以接受语音命令，或感测各种环境或健康参数，并与移动电话、便携式计算机或互联网进行通信。

让我们评估一下移动计算设备与其他计算设备的差异，如表1-1所示。

表1-1　不同形式的移动计算设备的快速比较

1.2　移动计算系统面临的约束与挑战

由于用户在计算或连接时正处于移动状态，通常需要对这些设备的空间、重量和形状因素施加限制，因此移动计算设备的体积比传统台式机小，而体积的限制又会对设备的技术和设计增加约束。以下简单列出了一些约束。

1.2.1　资源不足

计算机系统需要各种组件来处理、计算或连接外部设备，因此计算机系统中的（或连接到计算机系统的）任何设备都是资源。这些资源可以是物理或虚拟组件，包括CPU、RAM、硬盘、存储设备、各种I/O设备（如打印机）以及连接组件（如Wi-Fi或调制解调器）。然而移动计算设备的资源是有限的，例如，屏幕和键盘很小、I/O连接和RAM较少、电力存储不足等，这都会使得它们的使用、编程和操作具有挑战性。
我们可以通过使用输入、存储、数据处理等替代方法来缓解资源的限制。例如，可以使用语音或手写识别替代键盘输入，可以使用云存储代替硬盘，云计算也可用于其他计算处理，从而节省设备CPU的电量消耗。不过，这些方法需要设备具有高效的通信功能。

1.2.2　低安全性和低可靠性

所有计算设备都有重要的资源且存储着有价值的数据和程序，所以通过用户识别和认证来保护对这些计算资源和数据的访问是非常重要的。在执行相关的隐私准则和协议时，应该部署适当的安全机制来保护底层数据和应用程序。由于设备大多处于移动状态，非法设备可能使用无线信道、公共资源或网络轻松地访问这些移动系统，因此移动设备的安全问题变得越来越具有挑战性。
随着智能手机使用的爆炸式增长，很多个人信息被保存在智能手机中。用户使用智能手机进行通信、规划、组织活动以及访问和处理金融交易。
因此，支持这些功能的智能手机和信息系统会携带越来越多的敏感数据，从而引发新的安全风险，同时增加隐私访问和处理的复杂性。
一些安全风险的来源如下：

通过消息系统，如短信、彩信。
通过连接渠道，如Wi-Fi网络、GSM。
通过软件或操作系统漏洞进行外部攻击。
通过恶意软件和欺骗用户。

一些缓解措施如下：

使用加密方法（有线等效保密：WEP；Wi-Fi保护访问：WPA/WPA2）。
使用VPN或HTTPS访问Wi-Fi/Internet。
只允许已知的MAC地址加入或连接到已知的MAC地址。

1.2.3　间断性连接[1]

移动计算设备可能会远离各种通信基础设施（如Wi-Fi或互联网）相当长的一段时间。但是，要访问存储在远程位置的数据和程序，即使只是间断性连接，也必须要为其提供相应的支持。这种间断性连接需要一种不同类型的数据传输机制，可以处理电源管理、数据包丢失问题等。
移动设备需要缓冲数据，以应对仅可以与网络进行间断性连接的情况。为防止数据丢失，移动设备中的数据传输机制需要处理比网络连接更频繁地生成或接收数据的任务，还可能存在中断、干扰、停机等，进而导致通信链路中断。电力不足也可能导致设备断开通信。在这种情况下，移动设备及其数据传输机制应该能够高效地管理所有的可用资源和连接，同时避免用户数据丢失。
移动设备还应该能够处理和部署额外的机制，以支持通信协议之间的互操作性（速率、路由和寻址方法），因为它可能会在设备传输期间从一种协议动态移动到另一种协议。

1.2.4　能耗限制[2]

由于缺乏体积更小、资源更紧凑的电源来满足电力存储、复杂的数据管理、安全要求以及连接性要求，因此能源可用性和电池寿命成为移动设备的关键约束。
此外，移动设备使用耗电的传感、存储和通信功能，同时也具有一些非常严格的功耗和散热要求。这些设备没有风扇，有表面积限制，且经常与用户皮肤紧密接触，因此它们的峰值功耗需要受到限制，以保证用户体验不会受到设备温度的影响。这进一步强调了为什么电源管理和电池寿命是移动设备的关键设计参数。
针对这些挑战的解决方式包括强调平台电源优化和用户体验优化的电源管理：

平台电源优化：电源管理政策应包含移动平台的可用硬件资源，并管理其运行以提高能效。
用户体验优化：移动设备的使用从CPU或图形密集型使用扩展到传感器使用。各种基于位置的服务和应用需要传感器（如加速度计、陀螺仪和摄像头）的支持。使用触摸功能的应用程序需要从功耗管理状态中快速退出，而游戏应用程序需要更高的吞吐量和更亮的显示。电源管理系统应考虑这些使用情况以及相应的系统响应要求。

因此，移动设备需要能够提供各种低功耗状态以及能量感知操作系统和应用的硬件资源。硬件和软件都应该是智能的，以便将用户交互、传感器输入、计算和协议优化及其动态行为或负载结合起来。

1.3　历史视角与市场影响

以下是影响移动计算的一些关键因素，其中一些因素也影响移动计算的形式。

1.3.1　增强用户体验

移动计算改变了我们的连接方式：怎样连接到不同的地理位置、不同的文化、不同的用户以及使用怎样的过程。它改变了我们基于各种传感应用和基于位置的服务来收集、交互和处理信息的方式。移动计算增强了我们对数字世界的认知，并将数字世界与我们的物理世界融为一体；它增加了我们对传统独立式和固定式计算机的计算能力，同时使我们能够将这种增强的计算体验带到任何需要的地方。
改进应用程序以利用硬件资源：许多领先的供应商（如Apple和Google）都提供了大量扩展智能手机和其他移动设备功能范围的应用程序，例如使用智能手机后置摄像头来测量心率的应用程序。这些应用程序使用硬件来实现主要功能以外的其他功能，从而将移动设备的功能扩展到传统应用之外。

1.3.2　改进相关技术

随着技术的改进，移动设备现在具有更长的电池寿命、更快的处理器、更好的用户体验度、更轻便的制造材料、更高能效且更灵活的显示器和更高带宽的网络。这些设备还拥有众多传感器，如生物识别传感器、温度和压力传感器、污染传感器和位置传感器。另外还有红外键盘、手势和回放跟踪传感器、增强的人工智能以及情境感知用户界面。所有这些功能都可以增加视频、图像、文本等的清晰度，随之出现了新的使用方案和应用程序，从而可以制作出各种形状和设计风格的移动设备。

1.3.3　新的影响因素

用户与移动设备的交互方式以及用户使用移动设备的方式都将随着底层技术的进步而改变。例如，用户必须每天多次（通常每天150次）从口袋中掏出智能手机来满足日常使用，但随着时间的推移，可穿戴设备用户量增加，与智能设备的交互将变得更加容易。同时，从移动设备上传的数据量和内容也在以惊人的速度增长，上传的内容包括图像、视频、音乐等。随着可穿戴设备（如Nike Fuel和Google Glass）的使用日益增多，更多与健身、财务、位置服务等有关的个人数据将被上传。

1.3.4　新增的连接项/计算项

现在，通过蜂窝移动网络、无线局域网、蓝牙、ZigBee、超宽带网络、Wi-Fi和卫星网络等手段可以获得大量的无线连接；此外，随着云计算的诞生，用户还可以获得共享资源和连接，而无须再被绑定到特定的位置或设备以上传、访问或共享数据。个人和企业用户可以使用多种连接和“共享计算”，在这些网络上添加更多的移动设备或计算设备，以提高其可移动性并降低商业或个人的数据共享成本。

1.4　市场趋势与发展领域

移动计算设备的发展有三个基本的驱动因素：新传感器技术和产品、传感器融合以及新应用领域。

1.4.1　新传感器技术和产品[3-5]

传感器是移动设备功能增长的基础。诸如麦克风、摄像头、加速度计、陀螺仪和磁力计等移动MEMS（微电子机械系统）传感器的技术进步和功能增强，使导航、环境感知、基于位置的服务和移动增强现实等在移动计算设备中得以实现。
摄像机和显示技术在触摸传感器、灵活且高效节能的显示器方面展现出相当大的创新性，这些显示器为图像、视频乃至3D感知提升了真实感。例如，使用多台摄像机来跟踪用户的眼球运动，以突出显示屏的相关部分，同时屏蔽显示屏其他部分中 “不需要”的文本或图像。
还有一些新的可穿戴技术纷纷涌现，特别是与健康和健身相关的技术，这些技术极大地依赖于测量身体温度、压力、湿度、身体活动和其他关键方面的传感器。
预计到2019年，全球可穿戴计算设备市场[6]（可穿戴设备）将达到1.261亿个的规模，终端用户对可穿戴设备的接受程度越来越高，越来越多的设备供应商将会进入市场。
目前市场分析主要有以下内容：

2019年不运行第三方应用的基础可穿戴设备将达到5230万个。
运行第三方应用程序的智能可穿戴设备的增长速度将高于基础可穿戴设备，预计2019年将达到7380万个。
到2019年，腕戴式可穿戴设备将占所有可穿戴设备出货量的80%。
到2019年，全球可穿戴设备市场的收入预计将达到279亿美元。

未来5年市场分析可能受到以下潜在情境的影响：

移动市场到达平稳状态，PC市场重获牵引力，MEMS市场冷却。这看上去似乎不太可能，但5年前没有人预测到PC市场会像现在这样停滞。
可穿戴设备起着很大的促进作用，从Google Glass到Kindle Glass和iGlass，为MEMS传感器带来了更大的提升。
新型器件出现，推动对MEMS的需求。

图1-1展示了基础和智能可穿戴设备的全球占有量。

图1-1　2017～2019年按产品类别划分的全球可穿戴设备出货量[7]

图1-2显示了基础和智能可穿戴设备的全球平均售价（ASP）。

图1-2　2017～2019年按产品类别划分的全球可穿戴技术ASP [7]

图1-3显示了基础和智能可穿戴设备的全球设备收入。

图1-3　2017～2019年按产品类别划分的全球可穿戴设备收入[7]

1.4.2　传感器融合

传感器融合（sensor fusion）[7]是对来自不同传感器的数据进行合并的过程，使得最终输出数据所传递的信息比每个传感器所传递的信息都要多。
由于无法完全利用和重新定义固有传感器的功能，今天的智能手机和平板电脑并不是完美的传感平台。如今，制造商试图保持产品紧凑和价格竞争力，且因为传感器受到磁性异常、温度变化、冲击和振动等不利影响，底层传感器的可靠性受到损害。
开发人员可能会认为传感器数据不准确或不可靠，并且避免开发需要使用或增强底层传感器数据的应用程序。以下是影响传感器数据准确性和可靠性的两个依赖关系：

带有传感器的移动设备的操作系统：Android、iOS和Windows Phone可能不适合处理实时任务，例如按需传感器采样。因此传感器样本上的时间戳是不可靠的。
传感器数据的过滤和死区：如今的传感器数据使用低通滤波和死区方法进行处理，这些方法可能会丢弃其他有用的数据，从而使传感器的可靠性降低，响应能力变弱。（死区是不会发生任何动作的。）

例如，陀螺仪有很多误差源，其中一个误差源是陀螺仪偏置，偏置是陀螺仪在没有任何旋转时的信号输出，代表旋转速度。这种偏置会随着温度、时间、噪声等变化而变化。当设备处于静止状态时，带有XY°/s偏置的陀螺仪可能会产生旋转误差（如图1-4所示）。

图1-4　陀螺仪的基本知识[8]

磁力计测量地球的磁场，其读数用于计算刚体的航向，但是它也存在导致航向误差的错误（例如来自传感器中磁性材料和传感器内部磁性部件的噪声，或者附近铁质物体的噪声等）。
加速度计测量重力加速度，这是物体相对于自由落体所经历的加速度，也是人和物体感受到的加速度；但它也有偏差，这种偏差是理想的0g输出和传感器报告的0g输出之间的差异。在一个完美的水平面上，如果没有偏置误差，那么传感器输出将读取X轴和Y轴上理想的0g偏置电压，以及Z轴上的+1g输出电压，但由于偏置误差，会显示其他值而非理想值。
可见，每个单独的传感器都有偏差和错误。传感器融合是一种可以处理来自同一事件不同传感器的传感器测量值，以分离出实际数据和噪声/传感器误差的算法。通过适当采用这些算法，可以保持理想的响应感知，同时弥补单个传感器的偏置误差和缺点，从而提供有用和可靠的结果。
例如，如果使用陀螺仪、加速度计和磁力计来确定设备的绝对方向（3D旋转角度），则传感器融合过程可通过收集三个不同传感器的数据来合成信息，并执行数学计算以消除个体传感器的偏差和错误，将结果数据转换成开发人员可用的格式，并表示为同一形式的“解释事件”。这样的解释事件可视为“虚拟传感器”的输出，并以与原始传感器事件相同的形式来表示。这些虚拟传感器提供了无法从任何单个传感器获得的解决方案和测量结果，虚拟传感器的测量结果介于实际传感器测量值和开发人员所需的理想测量值之间。传感器融合算法可以驻留在底层代码、传感器本身，或作为应用程序的一部分，这种算法可以消除偏差和错误，从而为设计人员提供更大的选择和组合传感器组件的灵活性。
Android传感器框架可以访问许多传感器，其中一些是基于硬件的，而另一些则是基于软件的。基于软件的传感器通过从多个硬件传感器获取数据来模拟硬件传感器。这些虚拟传感器也被称为合成传感器。
Android提供了四个主要的虚拟传感器[9]：

TYPE_GRAVITY：这种传感器类型可以用硬件或软件来实现，它可以测量移动设备在X、Y和Z物理轴上的重力，测量单位是m/s2。
TYPE_LINEAR_ACCELERATION：这种传感器类型可以用硬件或软件实现，它可以测量分别从X、Y和Z物理轴方向施加在移动设备上的加速力（不包括重力），测量单位是m/s2。
TYPE_ROTATION_VECTOR：该传感器类型可以用硬件或软件实现，它提供设备旋转向量的元素，该设备的旋转向量代表设备旋转角θ与轴。
TYPE_ORIENTATION：该传感器类型可以用软件实现，它提供设备围绕三个物理轴（X,Y,Z）旋转的角度。

同样，Windows 8有四个虚拟传感器[10]：

ORIENTATION SENSOR：该传感器提供有关三维设备旋转的信息。它类似于Android的TYPE_ROTATION_VECTOR传感器，而不是Android的TYPE_ORIENTATION。
INCLINOMETER：该传感器提供与设备X、Y和Z轴旋转角度相对应的欧拉角（偏航角、俯仰角、滚动角）值的信息。
TILT-COMPENSATED COMPASS：该传感器根据垂直于重力的平面内的传感器能力，提供关于设备相对于真北或磁北的航向（设备的方向[11]）信息。
SHAKE：此传感器在设备振动时（任何方向）报告事件。

上述Android和Windows虚拟传感器是通过传感器融合实现的，它们提供与用户情境相关的信息，因此有助于开发情境感知应用程序。
图1-5是由基础传感器产生的融合传感器罗盘示例[11]。

图1-5　通过组合来自多个传感器（罗盘）的输出来进行传感器融合

图1-6是由基础传感器产生的用于设备定向的融合传感器示例。

图1-6　通过组合来自多个传感器（设备方向）的输出来进行传感器融合

图1-7是由基础传感器产生的融合传感器倾角仪示例

图1-7　通过组合来自多个传感器（倾角仪）的输出来进行传感器融合

1.4.3　新应用领域

随着新改进的传感器和传感器算法的出现，新的应用和模型也将应运而生。下面给出一些示例：

智能手机的配套设备：这些是基于传感器的附加设备，可以向智能手机发送通知，例如可以连接到用户的智能手表并向其发送通知或健身信息，或者可以连接到智能手机健身应用程序，还可以提供电话通知和音乐控制功能。
医疗保健产品：随着基于这些传感器的生物传感器和医疗保健应用的出现，新的设备正在开发中，可以测量压力、葡萄糖和心率等各种生物数据，并上传到专用的云服务，以便数据能与家人和医生共享。例如，光照强度传感器可以测量每日总暴露量，其相关的应用程序可以根据用户的习惯和皮肤类型提供防晒建议，同时给用户发送有关何时涂抹防晒霜、戴帽子或戴太阳镜的通知。使用这类设备/传感器应用的个人健康市场正在快速增长。
专业运动产品：专业运动员总是期待分析他们的表现。例如，传感器可用于测量网球运动员球拍的陀螺仪数据和振动数据，相关应用程序可提供一些提示来改进击球和控制的技巧。通过传感器实时测量棒球、高尔夫球或网球的挥杆数据，专业人士可以使用这些数据来完善挥杆动作。对于游泳运动员，心跳传感器可以提供心率的即时视觉反馈。另外，带有低功率传感器的GPS手表和健身追踪器可以在健身训练过程中跟踪使用者。这些设备和传感器在专业体育和教练市场中都价格不菲。
生活记录设备：生活记录设备和应用程序可帮助用户将内容直接上传到社交网站。这些设备具有Wi-Fi、蓝牙、LTE和蜂窝网络功能，可以通过云服务直接向社交网站传输内容。像极限运动爱好者那样，可以在社交应用中分享实时内容。
纳米传感器：这是正在开发的新型柔性传感器，可用于衣服、身体和其他物体，以跟踪应变、压力、触觉和生物电子信号等。这些设备将促进诸如衣服等物体中嵌入式传感器的创新，并且可以在体育（运动员健康追踪）、医疗保健（精确的病人监控）、游戏（沉浸式和精确控制）以及娱乐（手势控制）等领域广泛应用。

据预测[12]，到2020年，可穿戴设备的应用数量将以每年81.5%的复合增长率增长。智能手表应用程序、游戏和企业级智能眼镜将支持增强现实技术，并将推动增长。
人工智能和机器学习应用领域也有望出现显著增长，这对可穿戴设备、汽车和家庭环境中的用户体验至关重要。

带你读《移动传感器与情境感知计算》之一：绪论

绪　　论

1.1　移动计算的定义