使用 LichtFeld-Studio 和 RealityScan 制作 3D Gaussian Splatting 教

本教程演示了从拍摄素材到生成 3D Gaussian Splatting 模型的完整流程。主要步骤包括：以高帧率拍摄视频或照片，使用 Sharp-Frames 网页工具提取清晰帧，在 RealityScan 中进行 SfM（运动恢复结构）对齐并导出数据，最后在 LichtFeld-Studio 中加载数据进行训练。教程强调了素材清晰度对最终结果的重要性，并指出了不同镜头类型（广角/非广角）在软件设置中的对应选项。

你会学到

• 素材清晰度至关重要：如果训练模型时使用了模糊的图片，最终结果会非常糟糕。
• 高帧率拍摄的优势：推荐以 60 FPS 拍摄视频，因为更多的帧意味着更有可能提取到清晰的画面。
• SfM 对齐检查：在 RealityScan 中，如果看到多个独立的组件（Components），说明拍摄过程有问题，程序无法确定它们在空间中的相对位置，需要重新拍摄。
• 广角镜头设置联动：如果在 RealityScan 中未勾选“undistorted images”（针对广角镜头），则必须在 LichtFeld-Studio 中勾选 GUT 选项。
• 自动模式拍摄设置：如果拍摄时相机处于自动模式（ISO 和快门速度随环境变化），建议在 LichtFeld-Studio 中勾选 PBISP 选项。
• 硬件需求：RealityScan 过程非常消耗 CPU，LichtFeld-Studio 过程主要消耗 GPU，具体负载取决于图片大小、数量及参数设置。

步骤与时间轴

1. 00:00 · 拍摄素材 (Capture)
   拍摄对象可以是视频或静态图片。若选择视频，推荐 60 FPS，分辨率尽可能高（如 4K 或 1080p）。若选择静态图片，务必确保图片不模糊。本例中作者选择了 1080p 60 FPS 的视频录制。
2. 00:56 · 提取清晰帧 (Frame extraction)
   使用免费网页工具 Sharp-Frames。将视频拖入页面，保持默认帧率设置（10），点击 extract frames。提取完成后，选择 batch selection，点击 download frames，将文件保存到一个新建的文件夹中（命名为 data set）。
3. 01:59 · 检查并整理图片 (Check images)
   解压 data set 文件夹中的图片。快速浏览图片，删除模糊或被手指遮挡画面的帧。将剩余的 zip 文件移动到上层文件夹备用。
4. 02:24 · SfM 对齐 (SfM in RealityScan)
   打开 RealityScan，将整个 data set 文件夹拖入软件。进入 alignment 标签页，点击 align images。等待处理完成，检查点云和相机位置。确认所有图片都被包含在一个组件中（若出现多个组件需重新拍摄）。进入 export and registration 设置，在项目中创建 training data set 文件夹。根据镜头类型设置 undistorted images 选项（本例选 Yes），勾选 Export images，点击 OK 导出。
5. 04:06 · 训练模型 (Training model in LichtFeld-Studio)
   打开 LichtFeld-Studio，将 training data set 文件夹拖入并点击 load。在右侧参数面板中，根据拍摄条件调整设置：若使用广角镜头且未在 RealityScan 中去除畸变，需勾选 GUT；若拍摄时为自动模式（ISO/快门变化），需勾选 PBISP。点击开始训练。训练完成后，在 training data set 文件夹下的 output 文件夹中可找到 PLY 格式的场景文件。最后导出场景。

要点与注意

• 拍摄时尽量使用最高画质，60 FPS 有助于获得更清晰的单帧。
• 在 RealityScan 导出注册数据时，注意根据是否使用广角镜头正确设置 undistorted images 选项，这直接影响后续 LichtFeld-Studio 中 GUT 选项的选择。
• 如果 RealityScan 对齐后出现多个分离的组件，说明拍摄覆盖不足或重叠不够，需要重新拍摄。
• LichtFeld-Studio 的训练过程对 GPU 要求较高，具体负载取决于数据量和参数。

适合谁看

国内 CG、3D 及 AI 创作从业者，特别是希望尝试 3D Gaussian Splatting 技术、使用 RealityScan 和 LichtFeld-Studio 工作流的创作者。