借刀剑神域浅谈MR现状、未来发展与观点
作者:互联网
Chapter 1 辨析 VR/AR/MR
混合现实 ( Mixed Reality ) 是继虚拟现实 ( Virtual Reality ) 和增强现实 ( Augmented Reality ) 之后的又一种观看与输入方法的呈现方法,按照笔者的理解,混合现实是增强现实的一种高级表现形式。
用户在体验虚拟现实时,通常是在程序指定的一个空间范围内,通过头部的显示器与多种传感器体验被打包好的空间场景、音效等数字内容,更高级的虚拟现实配合专用的设备可以体验到风、雨、气味和温度等内容。虚拟现实的特点是用户视野内的一切物体与变化均由计算机计算产生,也就是通过计算机模拟的画面与环境来完全替代掉使用者所处的真实环境。这是虚拟现实的一个突出特征。
增强现实与完全脱离真实环境的虚拟现实不同,增强现实通过头戴设备或其他设备上的图像采集模块来采集真实环境的视频影像,通过配合多种姿态传感器对视频影像中的物体进行注册与定位,最终将真实的环境视频与虚拟的影像合成的结果通过显示手段展示到使用者的头戴设备上。
混合现实与增强现实在概念的划定上很难有所区分。我个人更倾向于将具有以下技术栈的实现方法划分为增强现实:
- 头戴式显示设备 ( Head Mounted Display ) 采用的是具有无限远成像原理或多焦点成像原理的光学原理的穿透式 HMD ( Optical See-through HMD ) 技术;
- 较高的沉浸感;
- 具有环境感知、空间感知能力;
- 虚拟元素融合进真实环境而非将虚拟画面合成在真实环境;
- 可以随时脱离手机或电脑等外部计算设备进行独立运行;
- 与系统交互时不使用或少使用类似于手柄等需要手持的设备;
这样一来,满足上述的特点的到目前为止只有 Microsoft HoloLens 系列的头显了。
Chapter 2 谈谈现状
虽然各种技术已经提出了相当长的时间了,但是在市场上依旧很难看到一款体验较好的设备。目前普及最广的当属 VR/AR 设备了,就单2021年全年,中国 VR/AR 头显设备的销量就达到了 265 万台,全球销量破千万,被看好是 VR/AR 元年,但是这真的不是昙花一现吗?
目前这些设备的运行大多数都要依靠强大的计算机来提供计算能力,并且在使用的时候需要插上至少一根数据线。现阶段的 VR/AR 设备更像是电脑或手机的一个扩展组件。
再来看 Microsoft HoloLens 系列的设备,本人有幸体验过一代的设备。这种设备给第一次使用的人会留下非常深刻的印象:从来没有见过的虚拟与现实真实融合的景象、没有手持的辅助设备,使用手势进行操作等等等等。不过最大的问题在于可视角度出奇的低,分辨率也低,可用的应用非常少。虽然第二代有所升级,不过碍于机器的平台的变化,部分的应用又不可用了,这个操作与 Windows Phone 7 升级到 Windows Phone 8 的操作如出一辙,再加上 HoloLens 使用了许多非常激进的技术,以至于其高昂的售价注定了这个设备只能服务于工业、医疗等特定的行业,除非价格可以降低到普通民众可以接受的程度且软件的生态可以变得更加多元化,不过在近两三年里是不可能实现的,至于以后就不好说了。
目前来看,我们在头戴式设备的这颗科技树与功能树上还未点亮许多亮点。
Chapter 3 聊聊刀剑神域
刀剑神域 ( ソードアート・オンライン ) 故事的开始介绍到主角使用的是 NERvGear 头盔,以一种叫做”完全潜行“的方式与其他玩家一同联机,通过这种方式玩家可以在一个假想空间里活动角色,现实中的身体并不会跟着动作,意识也不会进入到游戏中,不会受到外界的干扰。 这个头盔的外形更像是早期的 VR 设备,运行理念与特点也更接近于 VR 的定义也就是完全虚拟不受外界干扰,但是从工作原理上与现有的 VR 设备完全不同,现有的设备更像是介于 AR 与 VR之间的一个状态。
刀剑神域-序列之争- ( ソードアート・オンライン -オーディナル・スケール- ) 中的 Augma 可以在意识清醒的状态下安全使用。
以下是原文对 Augma 的描述:
将Augma挂在左耳上就会自动启动,视野中央显示出Augma的图标,这个图标是通过纤细的机体尖端的投影棱镜直接投射在我的眼睛上的,内置了矩阵板的后脑部支撑臂也会同时连接到我的大脑。
—— 刀剑神域剧场版 BD特典 Cordial Chords
在 29:30 的时候,可以看到电影中绘制了这个眼镜的一部分显像方式。(PS:克莱因真惨)
在电影里,可以通过这个设备使用社交媒体、辅助授课、查询公共交通信息、进行网络购物、还可以身临其境地体验游戏、与好友联机等等功能。除此之外这个装置也可以做到 NERvGear 的完全潜行功能。
如果导航地图可以做到这个效果,恐怕使用者会很难再迷路了罢。下图是目前能做到的较为优秀的导航能力,效果惨不忍睹。
除了这些功能之外,可以从 Augma 上看到目前较为先进的物联网应用、空间感知与高速网络通信等技术的身影。首先来说,在今年也就是 2022 年的苹果 WWDC 上,新推出的 iOS16 操作系统,集成了 RoomPlan 功能,这个功能相较于其他家现有的 VR 设备的空间感知能力有了一个很大的提升,在采集空间信息的过程也相较于 Microsoft HoloLens 第二代和 Quest 2 要流畅、要自然了许多。
还有一个就是高速无线网络通信,像是多人联机交互的应用或者是较为重型的计算任务(例如下图这样极其复杂的 FHD / 2K / 4K 虚拟视频图像实时渲染),需要交给计算中心、软件服务供应商或者是自定义的计算中心(公司内网计算节点或者是个人家庭内的高性能计算机)。笔者认为这个是目前 5G 通信技术在个人终端领域的一个较为有效的、具有颠覆性的应用。
虽然在作品中将 Augma 划分为了 AR 设备,但我个人更愿意将其划分为 MR 设备。因为其体验的沉浸感从各个角度来讲都强于 AR 的定义,特别是虚拟元素融合进真实世界当中:虚拟导航路标融合进真实道路环境、价签融合进商场的货架与自动售货机、游戏场景与真实的场景空间完美融合等等。
Chapter 4 聊聊与序列之争有关的技术
第一个肯定是我们身边最常见的智能可穿戴设备--智能手表。这种设备目前受限于电池的续航能力,普及范围不敌智能手环。但这里为何要提智能手表呢?因为智能手表的体积相较于智能手环而言要大出几倍,这就意味着其可以在去除无关功能之后,可以安放更大容量的电池、更大算力的MCU以及其他传感器。目前市面上有相关的肌电传感器可以实现对于机械臂的控制,那么这项设备可以用于辅助 MR 设备进行手部的姿态以及动作判断。由于手表等智能穿戴设备通常靠近手腕佩戴,配合 X 轴马达可以完成触摸感知的操作,我个人认为这可以解决 VR/AR/MR 设备缺少震动或触摸反馈的问题。
第二个是固态激光雷达,通过点云可以对空间进行精确扫描并建模,通过获取彩色摄像头的数据可以对模型创建贴图,不过这些操作对于设备的算力要求很大。
第三个是高精度定位,通过高精度加速度传感器 + UWB 定位 + 蓝牙定位 + WiFi 定位 + 类似 YOLO 的物体识别捕获技术 + 激光雷达扫描等技术,可以在多人联机场景下对他人、物体的位置进行绑定注册。这样在类似游戏交互、多人协作等场景下的交互准确度就可以得到提升。
第四个是热插拔式的多节点计算。通过高速无线网络或高速连接器像是连接了一块外置显卡那样将计算任务分配给计算中心或者是具有闲置算力的安装有专用软件的计算机·,这样一来可以拓宽设备的应用场景二来在相对固定的使用环境内可以提高使用体验:比方说在家使用 MR 设备的时候,设备自动通过家庭内的无线接入点连接至计算机,通过计算机来完成图像渲染或数据计算任务,可以提高整体的流畅度和续航时间。准备外出之后,设备自动将轻量计算任务切换至本机进行离线渲染,至于重型计算任务可以由使用者自行决定是本机计算还是通过网络上传至电脑进行计算。进入单位之后,可以连接至单位内部的计算节点进行计算,在多人协同例如多人一同查看同一个具有多装配体的模型,或者是在教室老师向多名同学展示复杂的化学变化或者力学演示。这里有个前提,在外连接家庭内部的高性能计算机时,该计算机或该家庭应当拥有一个公网 IP 地址,这个想法在 IPv4 时代根本不敢想,现如今推出了 IPv6 大大缓解了 IP 地址紧缺的问题,相信在将来可以实现每户一个固定公网 IPv6 地址这个愿望。
第五个是通过电极对肌肉进行控制。这个点子来源于 Bilibili 上搬运的一个视频,这位程序员通过手柄控制面部肌肉。我在想可以将这项技术应用于触摸反馈上,与上述第一个 X 马达一同完成整个触摸/力反馈效果:当手指点击某个按钮之后,马达提供震动反馈,电极控制肌肉阻碍手指继续按下去,就像是真实地点击在了一块屏幕上一样。
Chapter 5 展望
个人认为未来配合 5G 甚至是 6G 网络, MR 设备会取代现有的手机,成为新的个人移动终端设备首选。 MR 设备不会取代个人计算机,因为这二者能实现的功能完全不同,个人计算机从某种意义上来讲可以代表生产力,这是由其强大的单机性能以及使用用途决定的。我们不能指望人人都像电焊工那样在虚拟世界书写与绘图。至于说元宇宙,以目前的技术点来看这只是一个圈钱的概念,打着元宇宙的旗号搞NFT。除非材料、显示设备、电池、芯片与传感器都取得了突破性成就,否则元宇宙最多只能在工业等特殊领域普及使用,就像是上个世纪的计算机那样,如果没有半导体的发明,也就没有个人计算机的普及。
标签:浅谈,神域,计算机,可以,VR,AR,MR,设备 来源: https://www.cnblogs.com/kd-mercury/p/16393489.html