《元宇宙：概念、技术与生态》知识点总结3

本篇是《元宇宙：概念、技术与生态》第三章的总结，没有读过前两篇的读者可以先跳转过去看一下：

第三篇总结详见下文：

第三章介绍的是沉浸式交互技术，包括：虚拟现实、增强现实、混合现实，扩展现实等几种。

虚拟现实即Virtual Reality(VR)通过对现实的虚拟，给用户提供沉浸式的体验。属于拟像理论仿造阶段。目前大部分VR眼镜使用的就是VR技术。

增强现实即Augmented Reality（AR)通过在现实世界叠加一层虚拟层，实现对现实世界体验的强化。目前大部分AR眼镜使用的是该技术。

混合现实即Mi-xed Reality（MR)是VR和AR的混合体，能够创造出可交互的虚拟物体。属于拟像理论的生产阶段。

扩展现实即eXtended Reality（XR)是VR、AR和MR技术的混合体，可在现实世界创造出以假乱真的可交互的虚拟世界。属于拟像理论的仿真阶段。

虚拟现实（VR）

虚拟现实(VR)技术主要涉及计算机、电子信息、仿真技术。VR通过设备隔绝了所有现实世界的画面，创造出一个完整的虚拟环境。

VR是元宇宙的1.0时代，类似于以台式电脑为主要入口的互联网1.0时代。使用时间及空间均受到限制。利用台式电脑或者手机的VR设备拥有更好的性能，能够运行更加复制的虚拟程序。特别是游戏，在利用了外接设备之后，性能可以大大提升。

增强现实(AR)

增强现实(AR)技术通过在现实世界中叠加图像和使用全息图像，将虚拟物体与现实世界相结合。

AR是元宇宙的2.0时代，类似于以手机为主要入口的互联网2.0时代。目前的AR技术相对不是很成熟，离商业应用还有大概3~5年的时间，这个周期会比互联网进入到移动互联网的周期更短。AR设备为入口的元宇宙时代，用户可以随时随地进入元宇宙。

混合现实(MR)

混合现实(MR)是指真实和虚拟世界融合后产生的新的可视化环境，在该环境下真实实体和数据实体共存，同时能实时交互。

MR是元宇宙的3.0时代，类似于融入了物联网的互联网3.0时代。当然还需要有强大的边缘计算和高速的网络技术作为支撑。在以MR设备为入口的元宇宙时代，线上与线下边界被进一步打通。

扩展现实(XR)

扩展现实(XR)是指通过计算机将真实与虚拟相结合，打造一个可以人机交互的虚拟环境，这也是AR、VR、MR等多种技术的统称。

沉浸式交互的支撑技术

沉浸式交互技术的支撑技术主要包括：图像显示原理、数据可视化和计算机图形学，以及其他技术。

图像显示原理依靠头戴式设备，其核心是头戴式设备屏幕，包含两大基本元素:光学(optics)和图像显示(image display)。

数据可视化(data visualization)就是将抽象的数据转化为人类更容易感知的图形及图像的过程。

计算机图形学的主要研究内容就是如何在计算机中表示图形以及如何利用计算机进行图形的计算、处理和显示的相关原理与算法。

如实现高同步的通信技术解决大量用户同时在线问题的云计算技术，以及用于图像渲染的GPU和作为虚拟世界基础架构的算法等。

图像显示原理之光学

人的两只眼睛都能看到的图像的总角度称作视场 (Field of View，FoV)，人类的水平双目视场为200度，双目重叠占到了120度。双目重叠对立体视觉的建立非常重要。与水平视场不同，垂直视场约为130度。

瞳孔间距 (Inter-Pupillary Distance，IPD)就是瞳孔之间的距离，与种族、性别、年龄有关。不合适的IPD可能会使得晶状体产生畸变，或导致眼睛疲劳和头痛。儿童的最小IPD大约是40毫米，而成人IPD的平均值约为63毫米。人类的每只眼睛通过合并两个独立的视角来获得景深以及浸入式的感觉，但需要大脑为图像成形消耗大量的计算能力。

光学设计系统分为两种结构（或者说是AR/VR的基础架构），分别为直视型结构（pupil forming，PF）以及非直视型结构（non-pupil forming，NPF），这两个结构的观察效果如左图所示。单独的镜片通过组合形成了NPF，经过设计，通过放大镜直接投射到显示屏上。在进行光的渲染时，会有一个明显的缺点：枕形失真（pincushion distortion，PD）。而在PF下，单个镜片产生PD后，第二个镜片会产生桶形失真（barrel distortion，BD），从而抵消了第一个镜头产生的畸变，最后得到一个更为真实和清晰的图像。这种设计被广泛应用在那些并不需要高度沉浸感的设备中，比如Hololens和Google Glass。

光波导是一种引导光波传播的介质器件，也称为介质光波导。它通过光的全反射原理，实现光在光路中的低损耗传输。光波导应用占用空间小，有利于AR眼镜的薄型化，但由于其制作复杂，成本高，并且不同颜色的光的折射率不同会产生彩虹效果，因此光学设计难度大。

波导是一种物理光学结构设计，可以使光线曲折进入人的眼睛，被用于内部的反射以及光线进出的控制。工业上有四种波导结构设计，分别 是 全 息 波 导( holographic waveguide）、衍射波导（diffractive waveguide）、偏振波导（polarized waveguide）与反射波导（reflective waveguide）。全息波导是光学元件中一种相当简单的波导类型，例如用于通过一系列内部反射进行耦合和外耦合。

目前的显示技术分为：全沉浸式、光学透视型、视频透视型三种。全沉浸式显示器与传感器结合在一起，完全挡住了用户视野。在“光学透视眼镜”中，用户可以直接通过光学元件查看现实。Hololens和Google Project Glass是最近通过智能眼镜进行光学透视的例子。借助视频透视型智能眼镜，用户可以观看由摄像头捕获的图像，将这些相机视图与计算机生成的图像结合起来，可提升用户观感。

图像显示技术发展非常迅猛，目前有四大显示技术：液晶显示器 (LCD) 、发光二极管(OLED)、数字光处理 (DLP)与LCoS，而LCoS又称为LCD与CMOS集成电路有机结合的反射型新型显示技术。

LCD在高清电视中很常见，它由包含液晶分子的单元阵列组成，该单元夹在两个偏振片之间。这种装置安置于数百万个晶体管的薄玻璃基板之间。单个RGB液晶单元称为子像素，三个子像素形成一个像素。对于彩色LCD，将包含红色、绿色和蓝色滤光片的附加基板，放置在该基板的每个单元上方。

图像显示原理之图像显示

图像显示技术包括：液晶显示器（LCD）、发光二极管(OLED)、数字光处理(DLP)与LCoS，而LCoS又称为LCD与CMOS集成电路有机结合的反射型新型显示技术。

液晶显示器（LCD）技术的原理是电流流过玻璃材料，改变电流可以使LCD调节光的通过以产生精确的颜色。如果所有子像素都完全打开，则会产生白光。由于液晶单元本身不发光，因此需要通过背光来实现。液晶单元只能改变光的通过以产生所需的颜色并随后产生图像。

相比于LCD，OLED由于不需要外部背光，因此结构相对简单，可以做得非常薄。不仅如此，设备功耗大大降低，屏幕图像刷新速度更快，具有更高的对比度和更加出色的色彩还原，分辨率更高。大多数完全浸入式头戴式显示器都使用此技术。