开源2026年8月2日

QuerySplat

一种前馈式3D高斯泼溅框架,通过几何先验与外观解耦,实现无需相机位姿的高保真新视角合成。

概览

以几何为先,外观独立表达。

QuerySplat通过一次前馈推理,从图像预测可渲染的3D高斯场景。即使没有预先提供相机位姿,也能用于新视角合成。

模型将理解场景空间结构所需的信息,与复现视觉外观所需的信息分离开来,在提升空间表达灵活性的同时保留高频外观细节。

官方发布包含自定义图像预处理、3D高斯预测与渲染、VGGT-Omega相机和深度预测,以及可选的测试时优化。

规格参数

模型类型前馈式3DGS
输入多视角场景图像
相机位姿无需预先提供位姿
输出可渲染的3D高斯场景
架构双分支Query解码器
基准测试DL3DV新视角合成

核心能力

无需位姿的几何理解

预训练视觉几何模型提供空间先验,使模型无需用户提供相机位姿即可理解场景几何。

几何与外观显式解耦

几何分支和外观分支分别建模,减少预测3D高斯时空间结构与视觉细节之间的耦合。

高频细节恢复

专用外观路径恢复细腻的纹理与颜色细节,让新视角比早期Query模型更加清晰。

前馈式推理

使用官方推理流程处理自定义图像,并可在需要额外重建质量时启用测试时优化。

评测

在DL3DV上实现领先的新视角合成效果

在具有挑战性的DL3DV基准测试中,相较最强无需位姿基线,QuerySplat平均PSNR提升2.30 dB;相较最强需要位姿基线,提升1.04 dB。

+2.30 dB

相较最佳无需位姿基线的平均PSNR提升

+1.04 dB

相较最佳需要位姿基线的平均PSNR提升

方法

以视觉几何为基础的Query解码器

QuerySplat采用双分支Query解码器。几何分支从预训练视觉几何模型的空间感知记忆中读取信息,并定义场景坐标系;几何Query解码空间高斯参数,外观Query读取RGB与Plücker记忆,恢复其余属性。最终通过可微泼溅,在视觉几何模型定义的坐标系中监督生成的高斯。

体验

把空间重建带出论文

在网页或iOS上探索InSpatio的空间体验。这些产品入口用于体验重建场景;完整的QuerySplat实现与模型权重仍在研究发布中开放。

开源资源

运行官方发布版本

$ git clone https://github.com/inspatio/querysplat.git

仓库提供推理代码、配置、预处理、渲染和模型权重说明。QuerySplat与VGGT-Omega权重需分别从Hugging Face下载。

QuerySplat自研代码采用Apache-2.0许可。仓库内的VGGT-Omega/DINOv3第三方组件保留其原始许可。

常见问题

QuerySplat是什么?

QuerySplat是一种前馈式3D高斯泼溅框架。它使用几何先验并显式解耦几何与外观表征,从多视图图像预测可渲染的3D高斯场景。

QuerySplat需要相机位姿吗?

不需要预先提供相机位姿。几何分支利用预训练视觉几何模型进行空间理解,并在其定义的坐标系中预测相机和3D高斯。

QuerySplat在DL3DV上的表现如何?

QuerySplat在DL3DV新视角合成基准上达到领先水平,相较最佳无需位姿与需要位姿基线,平均PSNR分别提升2.30 dB和1.04 dB。

QuerySplat是否开源?

是。官方GitHub仓库提供推理实现,QuerySplat模型权重在Hugging Face发布。QuerySplat自研代码采用Apache-2.0许可,第三方组件适用各自许可。