虚实空间的叠加和融合
2022-10-12 来源：智造苑
「1. 虚实融合技术」
因为AR和MR技术的发展，人们有可能把虚拟空间和现实空间叠加或融合在一起。
AR是基于现实环境的叠加数字图像，具有一些动作追踪和反馈技术。但与VR明显的不同是，用户会看到现实的景物，而不是双眼被罩在一个封闭式头戴中。AR设备的表现形式通常为具有一定透明度的眼镜，同时集成影像投射元件，让用户在现实环境中看到一些数字图像。目前消费市场中的AR设备有微软HoloLens全息眼镜、谷歌探戈项目（Project Tango）平板电脑等。从技术门槛的角度来说，VR的技术门槛比AR低一个数量级，VR技术只要把人类的眼睛用头显蒙住就能沉浸到虚拟世界，而AR技术要解决隔离问题、将头显透明化（甚至去头显化），让人类可以在真实世界里随意加入虚拟世界的东西。
增强现实和混合现实的相关技术包括三维注册技术、标定技术和人机交互技术等。
1）三维注册技术
如果想让图像准确地叠加到真实环境中，就必须有很好的跟踪定位技术。为了实现虚拟信息和真实环境无缝结合，将虚拟信息正确地定位在现实世界中至关重要，这个定位过程就是注册（registration）。三维注册技术在一定程度上决定了增强现实系统的性能优劣。三维注册的目的是准确计算摄像机的姿态与位置，使虚拟物体能够正确地放置在真实场景中。三维注册技术通过跟踪摄像机的运动计算出用户当前的视线方向，根据这个方向确定虚拟物体的坐标系与真实环境的坐标系之间的关系，最终将虚拟物体正确叠加到真实环境中。因此，解决三维注册问题的关键就是要明确不同坐标系之间的关系。
2）标定技术
在增强现实系统中，虚拟物体和真实场景中物体的对准必须十分精确。当用户观察的视角发生变化时，虚拟摄像机的参数也必须随之进行调整，以保证与真实摄像机的参数保持一致。同时，还要实时跟踪真实物体的位置和姿态等参数，对参数不断进行更新。在虚拟对准的过程中，增强现实系统中的一些内部参数始终保持不变，如摄像机的相对位置和方向等，因此需提前对这些参数进行标定。
3）人机交互技术
增强现实技术的目标之一是实现用户与真实场景中的虚拟信息之间更自然的交互，因此人机交互技术成为了衡量增强现实系统性能优劣的重要指标之一。增强现实系统需要通过跟踪定位设备获取数据，以确定用户对虚拟信息发出的行为指令，对其进行解释，并给出相应反馈结果。
AR、MR技术在制造中的典型应用是装配维修。
应用AR技术于装配指导，企业需要通过复杂装配的3D可视化提升生产系统的效率和品质。在带有AR指导的装配过程中，需要装配引导信息传递、对动作的捕捉、对动作的开始和结束状态的精准识别、以及对装配结果的校验等。这些信息的传输与反馈加载、存储与反馈，都需要强大的网络通讯给予支撑。AR用于装配作业的指导过程中，需要将大量数据（图像、视频、音频、文字、模型等）和计算密集型任务转移到云端，如图1所示。AR眼镜的显示内容必须与AR设备中摄像头的运动同步，以避免视觉范围失步现象（反应时间小于20ms）。无线网络的双向传输时延在10ms内才能满足实时性体验的需求，LTE网络无法满足，通常需要5G支撑。
因为AR和MR技术的发展，人们有可能把虚拟空间和现实空间叠加或融合在一起。
AR是基于现实环境的叠加数字图像，具有一些动作追踪和反馈技术。但与VR明显的不同是，用户会看到现实的景物，而不是双眼被罩在一个封闭式头戴中。AR设备的表现形式通常为具有一定透明度的眼镜，同时集成影像投射元件，让用户在现实环境中看到一些数字图像。目前消费市场中的AR设备有微软HoloLens全息眼镜、谷歌探戈项目（Project Tango）平板电脑等。从技术门槛的角度来说，VR的技术门槛比AR低一个数量级，VR技术只要把人类的眼睛用头显蒙住就能沉浸到虚拟世界，而AR技术要解决隔离问题、将头显透明化（甚至去头显化），让人类可以在真实世界里随意加入虚拟世界的东西。
增强现实和混合现实的相关技术包括三维注册技术、标定技术和人机交互技术等。
1）三维注册技术
如果想让图像准确地叠加到真实环境中，就必须有很好的跟踪定位技术。为了实现虚拟信息和真实环境无缝结合，将虚拟信息正确地定位在现实世界中至关重要，这个定位过程就是注册（registration）。三维注册技术在一定程度上决定了增强现实系统的性能优劣。三维注册的目的是准确计算摄像机的姿态与位置，使虚拟物体能够正确地放置在真实场景中。三维注册技术通过跟踪摄像机的运动计算出用户当前的视线方向，根据这个方向确定虚拟物体的坐标系与真实环境的坐标系之间的关系，最终将虚拟物体正确叠加到真实环境中。因此，解决三维注册问题的关键就是要明确不同坐标系之间的关系。
2）标定技术
在增强现实系统中，虚拟物体和真实场景中物体的对准必须十分精确。当用户观察的视角发生变化时，虚拟摄像机的参数也必须随之进行调整，以保证与真实摄像机的参数保持一致。同时，还要实时跟踪真实物体的位置和姿态等参数，对参数不断进行更新。在虚拟对准的过程中，增强现实系统中的一些内部参数始终保持不变，如摄像机的相对位置和方向等，因此需提前对这些参数进行标定。
3）人机交互技术
增强现实技术的目标之一是实现用户与真实场景中的虚拟信息之间更自然的交互，因此人机交互技术成为了衡量增强现实系统性能优劣的重要指标之一。增强现实系统需要通过跟踪定位设备获取数据，以确定用户对虚拟信息发出的行为指令，对其进行解释，并给出相应反馈结果。
AR、MR技术在制造中的典型应用是装配维修。
应用AR技术于装配指导，企业需要通过复杂装配的3D可视化提升生产系统的效率和品质。在带有AR指导的装配过程中，需要装配引导信息传递、对动作的捕捉、对动作的开始和结束状态的精准识别、以及对装配结果的校验等。这些信息的传输与反馈加载、存储与反馈，都需要强大的网络通讯给予支撑。AR用于装配作业的指导过程中，需要将大量数据（图像、视频、音频、文字、模型等）和计算密集型任务转移到云端，如图1所示。AR眼镜的显示内容必须与AR设备中摄像头的运动同步，以避免视觉范围失步现象（反应时间小于20ms）。无线网络的双向传输时延在10ms内才能满足实时性体验的需求，LTE网络无法满足，通常需要5G支撑。
图1 AR装配指导
蒂森克虏伯电梯与微软合作把MR技术用于电梯的维保。他们探索出了最具针对性的HoloLens应用软件，以满足电梯维修的具体要求。此应用就需要把现场实景与用于维修指导的虚拟指示融合在一起，工人在HoloLens及相应系统的帮助下，可大大提高工作效率。2015年，蒂森克虏伯电梯推出业内首个预测性维保解决方案MAX，这是蒂森克虏伯电梯与微软的首次合作。利用微软Azure物联网（IoT）技术的MAX解决方案可以提供更省时的解决方案，每年可新增950万小时的电梯运行时间。MAX解决方案现已运用于全球数千部电梯，而通过云平台与MAX相连的标志性建筑也包括纽约新世贸中心一号楼。根据预测，电梯维保服务的全球收益每年将以4.9%的速度增长，在2019年将达到563亿美元。因此，HoloLens和MAX的推出是非常及时的。利用物联网技术、推出类似MAX和HoloLens的解决方案，蒂森克虏伯电梯正向着数字时代迈进了一步，而这也有助于革新电梯行业的传统维保方式。
AR、MR在工业中的应用将越来越广泛，未来会成为很多企业的刚需。通过对虚实空间的融合，人们有可能更方便地阅读和操纵工业现实世界。制造、装配、巡检、维修、操作培训等可能是AR和MR在制造业中的应用增速最快领域。
「2. 虚实融合的交汇点：人的体验」
想象一位从事企业智能制造的资深人士，时而徜徉在虚拟世界中，时而又沉入制造的现实世界里，尤其看到令他惊讶无比的效果时，突然眼前一片模糊，心里一片空白。许久蹦出一个问题：数字世界和物理世界是两个平行世界吗？
的确，在现实世界中的无奈，在虚拟世界中的彷徨，在虚拟和现实世界中不知如何来回切换，仿佛虚拟和现实世界是两个平行的世界。其实，两个世界显然是能够融合的，因为虚拟和现实世界交汇于人的体验。
1）日常现实体验
这是“日本社会5.0”中人们思考的若干情景：
（1）无人机送货；
（2）AI家电普及；
（3）智能医疗与介护；
（4）全自动驾驶。
某种意义上，“日本社会5.0”就是基于老百姓体验的基础上。给老百姓美好的体验，就是满足老百姓对美好生活的向往。我国已经有一些企业意识到满足用户体验的重要性，海尔强调以用户体验为中心，通过工业互联网平台整合用户的碎片化需求，以开发出让用户有良好体验的（甚至是个性化的）家电产品。
不仅制造商要立足用户体验，连经销商也可以从用户体验中寻找销售商机。如购车体验：
奥迪经销商提供的基于HTCVive和OculusRift的虚拟购车服务，能够让用户体验VR购买过程。戴上VR眼镜，用户能以自己喜欢的方式定制奥迪提供的52款汽车中的任意一款，可以选择不同颜色、款式和配置的车型，这些在制造商网站上以图片显示的车型，通过VR，变成可以近距离观察和了解的真实形态。用户能够打开车门和后面的发动机箱，甚至能看到引擎真实的细节，再配上环绕立体声的耳机，还能听见虚拟场景里打开车门、发动机启动等声音。除此之外，用户还能模拟驾驶员，从驾驶员的角度环顾整个车体内部的设计。EVOX Images日前发布了“豪车模拟（RelayCars）”的6.0版本，这是一款让喜欢汽车的粉丝们能够足不出户就可以在其中由内到外地探索多达700多辆豪华汽车的VR体验，是基于三星GearVR的游戏。在游戏中，整个场地被分成了6个不同的虚拟展示厅，用户可以在其中观赏市面上的各种不同的豪华汽车( 从SUV到美式肌肉车)，当然也有之前提到的保时捷。此外，捷豹和特斯拉等也是一应俱全。
2）专业体验
数字化和智能化的企业中，很多智能软件或产品是供专业人员使用的。这种智能软件或产品当然应该基于专业人员的体验。
很多软硬件产品的设计都强调应该统一考虑“人—机器—环境”系统总体性能的优化，也就是说要使机器的设计符合人的生理、心理特点，有利于人安全、高效、舒适地工作。有一些专门的学术方法支撑类似的考虑，如人类工效学（ergonomics）是研究人在某种工作环境中的解剖学、生理学和心理学等方面的各种因素，还有类似的人因工程学（human factors engineering）或人的因素学（human factors）等。这些都和人的体验相关。但这些基于人的因素或人机关系的方法还不能完全覆盖本文中所指的专业人员体验问题，因为专业人员对某一专业领域问题的体验涉及到其对专业问题的洞察。因此，对于专业人员而言：
如CAD系统，能够帮助设计者快速地进行三维建模，能够免去传统设计中大量查手册的繁冗工作，能够进行某些工程分析（如有限元等）等，这些都能给设计者带来不错的体验。但是智能CAD系统则不会止步于此。根据对设计者的设计目标的理解，系统能够快速地展示各种相关的可重用系统；它能够根据约束条件和优化目标自动地进行结构拓扑优化和性能分析；或许它还能与设计者对话，提示和扩展设计者的联想，更容易获得创新的设计……也就是说，这样的智能CAD系统具有在特定的领域超越人类专家对特定专业问题的洞察。
又如，设备的维修，一个维修人员的水平很大程度上取决于其经验的积累。现在，带有AR的智能系统逐步进入工业应用。但大部分的解决方案只是简单地利用AR提高效率，只有极少数有意识地进行关于员工的大数据采集和专业经验沉淀。智能维修系统则通过AR可对获得的工业大数据进行采集、过滤、沉淀、清洗等一系列处理操作，或从云端服务器处理获取分析处理结果——进行经验的沉淀及流程的优化，同时也帮助维修人员体验和凝练维修知识与经验。这里的AR系统对于工业大数据的意义在于：打通人和机器的物理隔离；走完了大数据采集和输出的最后一米；能够客观地采集到工作中人的大数据。读者需要注意的是，这里的“体验”水平主要不是体现在AR带来的直观、快速定位、提高效率等，更重要的是在于维修经验的沉淀。人类专家不是一样可以沉淀维修经验吗？不同之处在于智能系统具有更高的感知能力，对数据具有更精细的过滤、清洗能力，对数据中潜藏的知识具有更强的挖掘能力……这些都是人类专家之能力所不及的。人类专家从这样的智能系统中所获得的专业体验自然也在更高的层次上。
还有些专业体验是针对特殊环境的训练和学习。图2显示了真正的宇航员在德国亚琛工业大学的AixCave系统的虚拟国际空间站上进行他们的训练。特殊环境的构建本身就需要基于对特殊环境的深刻体验，如此而形成的地面虚拟空间站方能给受训者真实的体验。
图2 供宇航员训练的虚拟国际空间站
3）尘世中的超现实体验
几千年前，我们的祖先就有关于月球的遥想，就有嫦娥奔月的故事。要是能够遨游于太空，又能以神仙的视角俯视我们生存的大地，让我们在尘世中尽享超现实的体验，那才是最美妙的！
VR能给我们如此的体验！
谷歌公司开发了一款免费应用——Google Earth VR，给了人们一个坐在家里就能上天入地、周游全世界的机会。这款虚拟现实软件就是Google Earth软件加上VR体验功能的结果，实际效果从官方的一分零四秒的宣传片中可以看得很清楚——我们只需戴上Vive头显，然后启动程序，呈现在我们面前的便是可以自由定位、旋转与缩放的VR景观，“世界任我遨游掌控”俨然已经变成了现实。虽然这款VR应用没有任何打打杀杀的成分，但对于所有从伊卡洛斯时代就在渴望摆脱重力向往天空的人类来说，Google Earth VR显然让人们向着梦想中的目标又迈近了一步。Google Earth VR中，开发团队为用户插上了能在天空自由翱翔的翅膀，因此用户大部分时间都会以“上帝视角”俯瞰地球。考虑到用户在“飞行”途中，四周的物体都会迅速移动，很多人可能会因此产生眩晕。技术团队利用“隧道视野”的方法，将视线聚焦在中心区域，模糊外围的景物，降低晕眩感。与人们熟悉的传统2D“谷歌街景”大不一样，Google Earth VR采用了精准的建模识别度和贴图渲染技术。开发团队依据专题、城市、自然风貌等进行分类，重点还原了那些全球著名景观建筑。开发团队不仅基于真实的地形数据，还原了山川湖泊，还用摄影测量法和航拍建筑物等方式，对它们进行3D建模，最后制造出了影院般沉浸式的逼真视觉效果，用户穿行其中完全如同身临其境。
世界上第一家虚拟现实太空旅游平台——初创公司Space VR和Nano Racks两家公司共同规划发射卫星Overview1。他们正在和Elon Musk合作，将使用SpaceX的猎鹰9号火箭搭载卫星上太空，通过卫星上的装置回传视频。Overview1上装着的VR相机拥有4K分辨率，用户戴上三星Gear VR或Oculus Rift等VR设备就可以看到其拍摄的地球全貌，还有整个宇宙空间。不仅如此，该VR相机拍出来的照片还可以合成为超高分辨率的360°图像，让每个人都有机会去感受宇宙的无边无际。
前不久谷歌发布的Access Mars帮助用户通过“浏览器+VR”的组合就能登陆火星。据外媒介绍，通过鼠标体验者可以变换当前景观，并且在某些区域还有白色标记，用户可以查看更多细节。这得益于此前火星探测器付出的努力，Curiosity（好奇号）原名“火星科学实验室”（Mars Science Laboratory），是美国国家航空航天局（NASA）的第三代火星探测中，也是目前为止最大的一台探测器。好奇号在火星进行的探测任务包括采集样本，因此用户能够看到的画面将更加真实、具体，并非一扫而过。通过开发者的不懈努力，未来这款应用或将进一步丰富，在交互体验上也将有所提升。
4）人感体验
设想一个情景，你驾车回家的最后一段路程时，车里内置的摄像头、麦克风、传感器会监测你的面部表情、声音，以及你使用汽车功能的方式，并通过计算机视觉、语音识别和深度学习等技术实时分析这些数据，判断你是否正处于疲劳或分心的状态。它观察到你颇显疲态，作为回应，这些基于AI的工具会调低恒温器的温度并调高收音机的音量，而语音助手则会温柔地提醒你靠边停车，或者在前方三英里的一家餐厅喝杯咖啡，稍作休息。
过去，机器受限于固化的互动规则。如今，系统将遵循规则，判断人的情绪，推测人的需求，并根据情境和情绪以合适的方式进行回应。目前，无数能够检测身体状态，比如警觉性的技术正被越来越多地用于推断人的情绪状态，比如开心或难过。现在，越来越多的AI驱动解决方案——被称为“情感计算”或“情感AI”——正在重新定义体验技术的方式。这些体验绝不仅仅局限于汽车领域。零售商正在将AI机器人与用户细分和客户关系管理（CRM)系统相结合，以实现个性化的客户互动。作为新兴的人感体验平台趋势的一部分，未来将有更多的公司通过加大技术的投入，更好地理解人类，给出更恰当的回应。系统用户愈发期待他们所依赖的技术能够与他们有更强的连接——这是一项不容忽视的需求。
回顾历史，计算机一直无法将事件与人类的情感或情感因素联系起来，但这种情况正因创新者目前大规模地将“情商”（EQ)添加到技术的“智商”（IQ)中而发生改变。通过使用数据和人本设计（HCD)技术，再结合目前用于神经学研究以更好地理解人类需求的技术，情感系统将可识别人的情绪状态及背后的情境，然后做出适当响应。早期趋势参与者认识到风险很高。但对于企业发展而言、利用情感智能平台识别并大规模使用情感数据，将成为企业未来最大、最重要的机会之一。
人感体验平台覆盖的范围会有扩大的趋势，不仅包括客户，还包括员工、商业合作伙伴和供应商——基本上包括互动的所有对象，从而进一步满足对深刻洞察和情感联结的需求。除了数据之外，人感体验平台还利用情感计算，如自然语言处理、面部表情识别、眼动追踪、情感分析算法等技术，识别和理解人们的情感，并作出回应。情感计算可以帮助实现颠覆性变革：能够在很大范围内都体验到人性。设想一下，如果你走进同一家店，屏幕上的机器人认出了你，还喊了你的名字。技术以人性化的方式与你互动，而你在这家店铺的体验就会变得非常特别，也更加自然。人工智能和情感技术可提供极其人性化的体验，并且影响到整个商业环境。
人感体验平台趋势颠覆了传统的设计方法，它首先确定我们想要实现的人性化和情感体验，而后决定使用何种情感和AI技术组合能够达成这一效果。企业将面临的一大挑战是，如何针对不同的客户群体、员工群体和其它利益相关者，确定能引起他们共鸣和引发他们情绪的具体响应或行为，并进一步开发情感技术，使其能够识别和复制某一段体验中的特质。
现在已经有一些企业开始应用虚拟代理。客户或员工需要帮助或信息的时候，往往第一时间接触到的就是虚拟代理。一些企业正在尝试将整合虚拟代理的问题解决能力和人类代理所能提供的情感联结能力，这使用户的期望也开始随之改变。这些企业越来越多地为开发复杂的虚拟支持平台投入资金，这些平台将智能系统和情感计算结合在一起——有人称之为“认知代理”。认知代理最有价值的地方在于可以帮助建立信任。如此一来，人们就会利用它来处理愈加复杂的问题。认知代理想要有效建立信任关系，需要有效执行三个步骤：表示理解、归类问题、以及选择适当的后续步骤。在许多企业环境中，人工客服和认知代理都经过培训，能够在回答问题和请求时遵循设定脚本。人工客服能够本能地对来电者进行镜像回应，表达相应情绪，表示理解。之后，人工代理会试图进入到设定好的下一步。认知代理则利用情感分析等高端的Al技术来监测并镜像回应来电者的情感，然后再进入下一个步骤。其次，认知代理可以通过AI文本分析以及自然语言处理（NLP)进行学习，自动识别并归类问题。通过情节记忆，认知代理能够在之后的对话中回忆起所需的信息，避免重复提问同一问题或者需要假设信息的情况。借助NLP的最新改进，认知代理将可以处理新的短语、表达和俗语。
计划使用认知代理的企业仔细观察和学习他们最高效的人工客服在不同场合回应不同背景客户的方式，研究他们如何遵守规则，给出预设的回答，以及如何回应客户的情绪，进而从中得出训练模型，并设立认知代理的标准操作流程。要给经验丰富的员工以及认知代理更大的自由，让他们作出主观判断。经过适当的培训，认知代理可以和人工客服的表现相当，甚至更好，因为认知代理能够比人工客服接触更多的客户和情景并进行学习。认知代理能够全天候工作，并且，仅是增加它的运算能力，它便能回应更多的需求。
从以上的介绍可以看出，虚实空间的融合是智能制造的核心问题，而人的体验则是虚实空间融合的交汇点。因此，无论从智能产品的开发，还是数字-智能技术的应用，抑或是智能制造的推进，人的体验都是最基本、最关键的要素。
引自：《智能制造概论》（作者：李培根，高亮）
相关新闻
版权声明
1、凡本网注明“来源：中国轻工业网” 的作品，版权均属于中国轻工业网，未经本网授权，任何单位及个人不得转载、摘编或以其它方式使用。已经本网授权使用作品的，应在授权范围内使用，并注明“来源：中国轻工业网”。违反上述声明者，本网将追究其相关法律责任。
2、凡本网注明 “来源：XXX（非中国轻工业网）” 的作品，均转载自其它媒体，转载目的在于信息之传播，并不代表本网赞同其观点和对其真实性负责。
3、如因作品内容、版权和其它问题需要同本网联系的，请于转载之日起30日内进行。
4、免责声明：本站信息及数据均为非营利用途，转载文章版权归信息来源网站或原作者所有。
