彩色点云在虚拟现实中的应用

共 3302字，需浏览 7分钟

· 2021-09-27

点击下方卡片，关注“新机器视觉”公众号

视觉/图像重磅干货，第一时间送达

来源 | 3D视觉工坊

在虚拟世界中直接利用密集的彩色点云有很多原因。使用 3D 映射方法生成点云本身是有效的。新 VR 技术提供的沉浸式可视化非常适合几何复杂的数据集，例如室内点云。随着与点云兼容的计算机硬件解决方案和游戏引擎的发展，VR 中的点云可视化变得越来越容易实现——因此也与地理信息相关。

得益于 3D 制图技术的不断进步，获取 3D 点云的效率从未如此之高。可以使用测量级系统（例如车载移动激光扫描）和消费类技术（例如移动设备中的激光雷达传感器）获取彩色点云。同步定位和地图绘制 (SLAM) 系统使 3D 地图绘制在室内和室外都可使用。

当代的室内 SLAM 系统可以在几何复杂的环境中以高效率运行。除了激光扫描系统，摄影测量软件的不断发展不仅为市场带来了更先进的专业工具，而且还引入了更多友好的开源摄影测量3D重建软件。这在使用无人驾驶飞行器（UAV 或“无人机”）进行 3D 绘图时尤为重要；毕竟，相机仍然是他们最重要的传感器。如今，即使是消费级迷你无人机也配备陀螺稳定的高分辨率相机。

密集的彩色点云以高细节描绘真实世界的环境，并且可以在合适的可视化环境中产生近乎真实的场景。

在消费类技术中，深度相机以及激光雷达传感器已集成到手持设备中，从而实现实时 3D 重建。它们还用于 3D 扫描仪和自主机器人设备。由于这些发展的结合，日常生活中遇到的大多数环境现在都可以在三维上进行数字化。

从地图到沉浸式体验

因此，使用 3D 传感技术的挑战正在从数据获取转向数据利用。点云仍然是 3D 传感中比较基础的，因此它们是最具吸引力的数据类型，可以利用点云的解决方案与各种传感技术兼容。最简单的应用形式是点云的可视化。在台式计算机和传统显示器上，这可以通过多种商用和开源软件解决方案来执行。同样，基于浏览器的点云可视化由许多公开可用的 Javascript 库和在线服务实现。

在过去十年中，使用头戴式显示设备 (HMD) 的虚拟现实 (VR) 可视化已成熟为消费技术。设备可从多个制造商处获得，但发布应用程序的商业生态系统正在围绕几个主要参与者进行融合。出现了可以支持多种 VR 头显的开发工具和开放标准，例如 OpenXR，简化了应用程序的开发。

为了构建超越单纯数据可视化的交互式 VR 应用程序和体验，商业游戏引擎是事实上的标准环境。在这里，VR 社区受益于庞大的开发人员库，这些开发人员可以将他们的游戏开发经验和热情转移到商业游戏引擎中。对于游戏开发者来说，

虚拟现实和点云

由于大多数用于 HMD 的 VR 应用程序都是使用游戏引擎构建的，因此这些游戏引擎能够支持点云非常重要。点云已通过内置功能或可用插件直接作为许多游戏引擎中的数据类型可用。

然而，VR 中的点云可视化由于对渲染的严格性能要求而变得更加复杂，尤其是对高帧率的要求。在通过普通显示器研究的交互式可视化中，低帧率至多令人讨厌。在 VR 中，降低的渲染速度会导致渲染图像与人类感官系统之间的不匹配。这会导致用户感到不适，并且在极端情况下会导致身体眩晕恶心。

VR 为探索点云提供了完整的六个自由度。

点云的 VR 可视化需要高效的系统来进行空间索引、细节级别处理以及从渲染（剔除）中剔除不可见点。这些系统允许引擎确定虚拟摄像机实际看到的点云部分，并仅渲染具有足够细节水平的部分。此外，渲染必须进行操作，以便在从云的更远部分渲染时最终确定的点更少，处理最少。通过将空间索引与剔除和多级细节（由距离决定）相结合，并通过调整光栅化点的大小，可以将要渲染的点总数保持在限制范围内。

由于 VR 可视化本身也提供第一人称视角，因此密度变化通常会产生潜在的透视效果和问题，尤其是非结构化的室内点云。因此，必须实现动态点大小调整。在游戏引擎中，这与用于实际绘制点的方法有关。最常见的是，点可以直接绘制为像素集，也可以通过几何对象（例如正方形或圆形）绘制，几何对象用于代替点并通过引擎的传统三角形渲染管道进行渲染。

动态资产支持丰富的交互

虚拟环境和用户之间丰富的交互通常是对游戏引擎可视化感兴趣的关键驱动因素。传统的游戏引擎场景是由一组网格模型、摄像机、灯光、演员等构建的。通过动态脚本交互，这些将场景从静态渲染转变为交互式环境。为了尽量减少计算资源的使用，通常会组合虚拟场景，以便只有用户可以与之交互的对象才会对模拟碰撞、重力和更复杂的照明模型做出响应。简化的几何图形（例如原始形状和凸包）用于模拟碰撞和检测重叠。

如果点云的使用不仅仅是简单的可视化，还必须使点云与游戏引擎应用程序中常用的功能兼容，例如实时照明、模拟碰撞和交互对象。在这里，照明主要是渲染问题，与可视化系统相关。然而，实现单独的对象也对点云本身提出了要求。

因此，将密集的点云转变为有用的游戏引擎场景需要将点云分离为可交互的对象，并结合其简化版本以允许动态模拟。同时，所使用的索引和渲染解决方案必须与在场景中移动的对象兼容。