网站背景图
洗子の小窝 但行己路 无问山海
博主

10小时前在线

洗子の小窝
但行己路 无问山海
Title

CVPR2026|PolarGuide-GSDR:偏振先验与延迟反射驱动的3D高斯溅射

洗子

·

🎓学习录

·

Article

拍一辆停在楼下的汽车,车身上会同时出现两类信息:一类来自汽车本身,另一类来自映在车漆和玻璃上的楼房、树木与天空。

对人来说,这很容易区分。我们知道车窗里的树不是长在车里的,车盖上的楼房也不是车盖表面的几何结构。可对一个只看照片、试图搭建三维场景的模型来说,这个区别并不天然成立。

如果模型把倒影当成表面纹理,换个视角,倒影就可能黏在错误的位置;如果它用额外的三维基元去解释高光,甚至会把反光“搭”成不存在的结构。

PolarGuide-GSDR从偏振图像中增加了一组线索:光不仅有颜色和亮度,还有与反射过程相关的偏振状态。作者先利用这些线索分出镜面与漫反射,再让偏振法线与3D高斯几何互相校正,帮助模型区分真实表面和表面上的反射。

这篇论文的核心,是让偏振告诉3DGS“怎样解释反光”,同时让逐渐改善的3DGS几何帮助偏振解决方向歧义。

汽车反射的新视角合成比较

图1|从左到右为真实图像、GNeRP、3DGS、3DGS-DR、Ref-GS与本文方法。蓝框及放大区域展示车盖反射细节。来源:原论文图1。

论文信息

项目内容
英文标题PolarGuide-GSDR: 3D Gaussian Splatting Driven by Polarization Priors and Deferred Reflection for Real-World Reflective Scenes
中文标题PolarGuide-GSDR:偏振先验与延迟反射驱动的3D高斯溅射,用于真实世界反光场景
发表CVPR 2026,26000–26009页
作者Derui Shan、Qian Qiao、Hao Lu、Tao Du、Peng Lu
机构北方工业大学、北京邮电大学、北京科技大学
论文入口https://arxiv.org/abs/2512.02664
代码入口https://github.com/junxiaofanchen/PolarGuide-GSDR
代码状态截至2026年11月18日,仓库仅有README发布说明,尚未提供可运行实现
关键词偏振成像、3D高斯溅射、延迟反射、反射分离、法线消歧、新视角合成

一、为什么普通3DGS容易被倒影“骗过”?

3DGS用大量三维高斯基元表达场景。每个基元带有位置、尺度、方向、不透明度和外观参数,投影并混合后生成图像。

其中,球谐函数可以表达颜色随观察方向变化的现象。但有限阶数的球谐更擅长平缓变化;明亮、尖锐、随着视角迅速移动的反射,往往更难表达。

问题还不只是颜色变化太快。训练时,模型只知道“这张图应该长成这样”,却不一定知道某个亮斑来自表面,还是来自环境反射。为了降低图像误差,它可能改变几何,添加虚假的高斯来拟合亮斑。

这样得到的训练图像可能不错,新视角却容易出现模糊反射、漂浮伪影或者错误法线。

已有的3DGS-DR把普通高斯渲染与延迟反射分成两个通路,增强了反射表达。但如果只监督最后混合出来的RGB图像,模型仍可能把本应由反射通路解释的内容放进基础颜色中。

有了两个输出通路,还需要告诉模型:什么内容应该进入哪条通路。

偏振在这里提供的是分工依据。

二、偏振能提供什么:同一个像素,多看几个偏振方向

普通RGB图像记录颜色强度。偏振相机则能得到不同线偏振分析角度下的观测。本文使用4个角度:$0^\circ$、$45^\circ$、$90^\circ$和$135^\circ$。

可以想象,在相机前转动一片偏振片。同一块表面在某个角度比较亮,转动后变暗;亮暗变化的幅度和方向,携带着反射方式与表面朝向的信息。

论文先由4幅图计算线偏振所需的Stokes分量:

$$ \begin{aligned} S_0&=\frac12\left(I_{0^\circ}+I_{45^\circ}+I_{90^\circ}+I_{135^\circ}\right),\\ S_1&=I_{0^\circ}-I_{90^\circ},\\ S_2&=I_{45^\circ}-I_{135^\circ}. \end{aligned} \tag{原式1} $$

为什么要这样加减?用线偏振分析的标准关系解释最直观:

$$ I(\phi)=\frac12\left[S_0+S_1\cos(2\phi)+S_2\sin(2\phi)\right]. $$

这是对原式1的基础展开解释。把$\phi=0^\circ$和$90^\circ$代入,两者之差恰好留下$S_1$;把$45^\circ$和$135^\circ$代入,差值留下$S_2$。4个方向求和后再乘$1/2$,就得到$S_0$。

这里的$S_0$是总强度,$S_1$和$S_2$描述两个方向上的线偏振差异,并非额外的深度通道。本文不使用圆偏振分量$S_3$。

接下来得到线偏振度DoLP与线偏振角AoLP:

$$ d=\mathrm{DoLP}=\frac{\sqrt{S_1^2+S_2^2}}{S_0}, \qquad \mathrm{AoLP}=\frac12\operatorname{atan2}(S_2,S_1). \tag{原式2、5} $$

DoLP回答“线偏振变化有多明显”,AoLP回答“主要偏振方向在哪里”。

令$A=\sqrt{S_1^2+S_2^2}$、$\psi=\mathrm{AoLP}$,便有$S_1=A\cos2\psi$、$S_2=A\sin2\psi$。代回强度表达式,可整理为:

$$ I(\phi)=\frac12\left[S_0+A\cos2(\phi-\psi)\right]. $$

于是强度极值分别是$(S_0+A)/2$和$(S_0-A)/2$,两者之差除以两者之和,正好等于DoLP。这个展开把公式与转动偏振片时的亮暗变化联系起来:变化越明显,DoLP越大。

但DoLP大不等于法线一定正确。它说明信号中的线偏振特征更强,具体方向仍受反射类型、折射率假设和偏振歧义影响。

三、先分反射:不要让所有颜色都挤进基础图像

偏振反射分离

图3|依次为原图、偏振漫反射与镜面反射的合成图、偏振漫反射、偏振镜面反射、未偏振漫反射。最后一列较暗,是本文采用简化模型的示例依据;不意味着所有场景的未偏振部分都可以忽略。来源:原论文图3。

作者将反射建模为偏振镜面反射和偏振漫反射两部分,分别关联Fresnel反射与次表面散射,并在本文框架中忽略未偏振漫反射项。

论文使用偏振片Mueller矩阵$M_{\mathrm{pol}}$、反射矩阵$M_R$和透射矩阵$M_T$描述两部分:

$$ S_{sp}=M_{\mathrm{pol}}(\theta)M_R S_i, \qquad S_{dp}=M_{\mathrm{pol}}(\theta)M_T S_d. $$

理解这里不必把矩阵逐项背下来。它们描述光经过不同物理过程后,强度和偏振状态怎样改变。原文还使用$S_d\approx S_i-S_{sp}$作为高效分离的近似,所得结果用于引导重建。

模型随后从DoLP反求角度$i$,结合折射率通过Snell定律得到折射角$r$,再计算两种反射的强度极值。论文写出的方向变化形式是:

$$ I_{sp}(\phi_{pol})= \frac{I_{\max}^{sp}+I_{\min}^{sp}}{2} +\frac{I_{\max}^{sp}-I_{\min}^{sp}}{2}\cos(2\theta), \tag{原式3} $$

$$ I_{dp}(\phi_{pol})= \frac{I_{\max}^{dp}+I_{\min}^{dp}}{2} +\frac{I_{\max}^{dp}-I_{\min}^{dp}}{2} \cos\!\left[2\left(\theta-\frac\pi2\right)\right]. \tag{原式4} $$

原文用$\phi_{pol}$表示偏振通道角度,$\theta$表示偏振方向与$x$轴的夹角;上面保留其写法,重点看两类反射的相位关系。

两个式子都是“平均亮度+随方向变化的部分”。第二项的幅度由最大与最小强度之差决定,而两类反射的偏振方向相差$\pi/2$。

利用恒等式$\cos[2(\theta-\pi/2)]=-\cos2\theta$,可以看到它们在该模型中的调制趋势相反。结合Fresnel系数和角度信息,就能给镜面与漫反射提供不同的图像先验。

这里并不是把最亮的像素全部判为镜面反射,也不是直接把图像最小值当成纯漫反射。作者利用的是偏振变化与反射模型之间的联系。

这些分离图也不是已经测得的、完全准确的物理真值。固定折射率、未偏振项的省略和强度近似都会带来误差,因此还需要RGB和几何监督共同约束。

四、从偏振到法线:为什么一个方向会有多个答案?

表面法线,就是垂直于局部表面的方向。玻璃看起来平不平、车盖怎样弯曲、反射应该往哪里偏,都与法线有关。

论文用AoLP建立方位角$\sigma$的候选关系,并由DoLP与折射率得到角度$i$,构造初始法线:

$$ \mathbf{ n }_{pol}= \begin{bmatrix} \sin i\cos\sigma\\ \sin i\sin\sigma\\ \cos i \end{bmatrix}. \tag{原式6} $$

这个表达式来自单位方向的球坐标形式:$\cos i$控制法线朝向相机轴的程度,$\sin i$给出图像平面内分量的长度,再由$\cos\sigma$与$\sin\sigma$把它分配到两个轴。

难点在于,偏振并不能直接给出唯一的$\sigma$。由于强度变化包含二倍角,方向转过$\pi$后会产生相同的周期响应;镜面与漫反射之间又存在$\pi/2$方向关系。

因此,偏振法线天然带有方向歧义。模型可能知道“这一块表面应该倾斜到某种程度”,却还不能确定朝哪边倾斜。

低DoLP区域的情况更困难。$S_1$和$S_2$本来就很小,噪声对AoLP的相对影响会增大,直接把这些法线当作强监督,反而可能把错误写入几何。

五、双向纠错:3DGS先帮偏振选方向,偏振再帮3DGS改几何

完整方法框架

图2|下方从偏振观测提取反射图与法线先验;上方是高斯渲染、延迟反射与最终混合。3DGS几何参与偏振法线消歧,偏振先验再监督渲染与法线。来源:原论文图2。

作者先训练出一个初步的3DGS几何,再用它的法线方向帮助筛选偏振法线候选。

原文给出的候选集合为:

$$ \mathcal C=\left\{ \mathbf{ n }_{pol},-\mathbf{ n }_{pol}, R_{\pi/2}(\mathbf{ n }_{pol}),-R_{\pi/2}(\mathbf{ n }_{pol}) \right\}, $$

其中$R_{\pi/2}$表示绕$z$轴旋转$90^\circ$。模型根据余弦相似度,选择与当前3DGS法线较一致的候选。

这里按论文保留候选定义;它是用于训练的方向选择机制,不应把它理解成对所有偏振歧义都成立的唯一物理解。

同时,只有DoLP高于阈值$\tau$的位置参与偏振法线监督。这样做是在较可靠的区域使用方向信息,而不是要求整张图都服从同样强度的偏振约束。

但初始3DGS本身也可能错误。如果只在一开始消歧一次,错误方向就可能固定下来。

因此,本文让两者随着训练持续交互:当前几何帮助偏振选候选,偏振法线与反射分量帮助改善几何,改善后的几何又为后续消歧提供更好的依据。

不同训练阶段的法线消歧

图4|从左到右为RGB、原始偏振法线、由3k迭代3DGS校正的法线,以及本文训练到30k、97k时的校正结果。挡风玻璃区域展示初始错误与后续修正。来源:原论文图4。

这张图比单独看一幅最终法线更能解释方法的动机:粗几何不是最终答案,而是一个会随着训练改善的参照。

这一闭环有助于减轻初始化错误,却没有给出必然收敛到真实几何的保证。当初始几何、偏振信号和反射分离同时不可靠时,仍然可能保留错误。

六、延迟反射:先得到屏幕上的属性,再计算反射

为什么叫“延迟”?这里并不是把反射效果延后几帧播放,而是改变渲染计算的顺序。

普通高斯渲染把基元投影到图像,混合其颜色;延迟反射框架则先得到基础颜色、法线、反射强度等图像空间属性,再由反射通路产生镜面外观,与基础通路混合。

本文建立在3DGS-DR框架上,使用高斯标量$r_i$表示反射强度,并通过相应的强度图协调两类输出。本文增加的关键约束,是分别监督基础图像、反射图像和法线,而不只检查最后一幅RGB图像。

这样,当车窗中出现倒影时,模型除了被要求“最终看起来像倒影”,还会受到反射分离图的约束,促使这部分信息由反射通路解释。

需要注意,基础颜色图并不等同于无光照、无阴影的固有反照率;镜面输出也不自动等于精确恢复的BRDF或环境照明。本文首先解决的是已有场景的反射重建与新视角合成,不能据此直接宣称实现任意换光或完整材质编辑。

基础与镜面反射通路比较

图7|左侧是RGB观测,中间两列为3DGS-DR的基础与镜面图,右侧两列为本文结果。三行分别展示汽车、陶瓷杯和积水场景。来源:原论文图7。

图中,3DGS-DR的基础图像仍承载较多最终外观,而镜面输出分离得不够理想;加入偏振监督后,两类输出的分工更明确。

这也是为什么本文不能只用“增加了法线监督”概括。反射分离告诉模型该由哪条通路解释颜色,法线监督则约束反射依附的几何方向,两者解决的问题不同。

七、损失函数:四种监督分别管什么?

论文使用4类损失。把它们按输入与目标对应起来,比只看一个总式更容易理解。

损失模型输出对照目标作用
$\mathcal L_{rgb}$最终混合图像RGB观测保持最终外观与真实图像一致
$\mathcal L_{refl}$镜面反射输出偏振分出的镜面图$I_{sp}$约束反射通路的内容
$\mathcal L_{base}$基础通路输出偏振分出的漫反射图$I_{dp}$减少基础通路对镜面内容的吸收
$\mathcal L_{normal}$3DGS预测法线消歧候选集,受DoLP筛选约束表面方向

前三类图像损失均采用L1与D-SSIM的组合。例如RGB损失为:

$$ \mathcal L_{rgb}=(1-\lambda_{rgb})\mathcal L_1(I_{final},I_{rgb}) +\lambda_{rgb}\mathcal L_{D\text{-}SSIM}(I_{final},I_{rgb}). $$

L1检查像素强度差,D-SSIM补充局部结构差异。镜面与基础通路沿用同样形式,只是换成各自的输出和目标。

法线项使用带掩码的候选余弦距离。为便于阅读,把原文的求和位置统一记为$p$,保持其监督含义:

$$ \mathcal L_{normal}=\frac1N\sum_p \mathbb 1_{d(p)>\tau} \min_{\mathbf{ c }\in\mathcal C(p)} \left[1-\cos\left(\mathbf{ n }_{pred}(p),\mathbf{ c }\right)\right]. $$

两个单位方向的余弦相似度等于点积;方向相同,损失为0;越偏离,损失越大。$\min$表示在候选中选最一致的方向,掩码表示低DoLP位置不参与该项。

所以,它并不是拿一个未经消歧的偏振法线,要求模型无条件贴合;也不是把DoLP直接当作连续权重。本文这里使用的是阈值筛选。

最终,4项加权组合:

$$ \mathcal L_{total}= \eta_{rgb}\mathcal L_{rgb} +\eta_{refl}\mathcal L_{refl} +\eta_{base}\mathcal L_{base} +\eta_{normal}\mathcal L_{normal}. \tag{原式7} $$

偏振信息只在训练中用来引导与监督,渲染新视角时不需要再次输入偏振图像。

预印本补充材料给出的训练顺序是:约10k次初始化、约30k–80k次偏振联合监督、约10k次RGB与偏振法线细化。具体配置仍需结合数据集和实现核对。

八、实验到底比较了什么?

本文在5个真实场景上评估:公共数据Gnome、Gundam,以及自采的汽车与玻璃、黑色陶瓷杯、室外积水。

它们覆盖了不同难度:汽车有强反射和曲面,杯子有光滑表面,积水包含室外反射;公共数据还存在视角稀疏、反射线索较弱等问题。

比较方法包括偏振神经重建方法GNeRP,以及3DGS、3DGS-DR和Ref-GS。图像质量使用PSNR、SSIM、LPIPS,速度使用FPS。

这里最容易混淆的是“几何更好”与“图像更好”。本文给出了法线可视化,但主文没有报告扫描真值下的Chamfer Distance、深度误差或法线角误差;因此,图像指标的提升不能直接换算成某种几何精度。

自采场景的新视角与法线比较

图5|汽车与玻璃、陶瓷杯、积水场景的比较,列序与图1一致。GT列中的法线由偏振数据估计,原文明确说明它们不是扫描测得的真实法线。来源:原论文图5。

从图中可以观察车盖的建筑反射、车窗边缘、杯子及积水中的反射细节。同时,法线图能显示噪声与连续性差异;但这些视觉证据仍不足以证明每处几何都已恢复正确。

九、量化结果:PSNR全部领先,其他指标各有胜负

下面保留主文表1中本文方法与两个相关反射基线的完整图像指标。括号内依次为PSNR↑、SSIM↑、LPIPS↓。

场景3DGS-DRRef-GSPolarGuide-GSDR
Gnome21.13 / 0.861 / 0.25221.65 / 0.880 / 0.24422.54 / 0.890 / 0.216
Gundam22.93 / 0.834 / 0.21722.85 / 0.823 / 0.23723.32 / 0.825 / 0.223
汽车与玻璃18.31 / 0.763 / 0.34317.78 / 0.754 / 0.36219.29 / 0.774 / 0.339
黑色陶瓷杯25.57 / 0.886 / 0.19926.48 / 0.902 / 0.18626.67 / 0.894 / 0.191
积水23.00 / 0.754 / 0.28323.01 / 0.761 / 0.27623.51 / 0.762 / 0.279

数据来自原论文表1;粗体只比较本表列出的3种方法。完整原表另含GNeRP与普通3DGS,积水场景的普通3DGS取得更低LPIPS 0.271。

相对3DGS-DR,本文5个场景的PSNR分别提高1.41、0.39、0.98、1.10、0.51 dB。这些差值直接由表1相减得到。

不过,相对Ref-GS,陶瓷杯的PSNR只提高0.19 dB,并非所有场景都提高约1 dB。Gundam的SSIM和LPIPS也没有超过3DGS-DR,陶瓷杯的SSIM与LPIPS没有超过Ref-GS。

因此,更准确的表述是:本文在这5个场景上取得最高PSNR,并在部分场景同时改善结构和感知指标,而不是所有指标全面领先。

公共数据集比较

图6|公共Gundam与Gnome数据的测试视角。列序为真实图像、3DGS-DR、Ref-GS、本文方法。稀疏视角产生的伪影仍然存在。来源:原论文图6。

十、法线和反射图,为什么要一起用?

消融实验比较了基础3DGS-DR、只保留偏振法线监督、去掉偏振法线监督,以及完整模型。

以汽车与玻璃为例,表2中的PSNR为:

配置PSNR↑
3DGS-DR基线18.31
只保留偏振法线监督17.84
去掉偏振法线监督18.74
完整PolarGuide-GSDR19.27

数据来自原论文表2。此处完整模型为19.27,表1为19.29,两表有细小差异,分别保留原值。

只加法线,性能反而低于基线。这个结果很有启发性:带歧义或受镜面成分影响的法线,并不是加上就能提高效果。缺少反射分量监督时,错误方向可能把优化带偏。

另一方面,只有分离图、没有法线约束,反射通路虽然有了图像目标,却缺乏足够的几何方向约束。完整配置把两类信息组合起来,才在这一场景中取得更高PSNR。

但这种互补也不意味着每个指标必然提高。Gundam上,完整模型的SSIM仍低于基线;积水消融中,完整模型的LPIPS 0.289也高于基线0.283。

表2的Gnome场景尤其能说明单独监督的风险:基线PSNR为21.13,只用法线为19.687,去掉法线为19.26,而完整模型为22.54。

这些结果支持联合监督的必要性,同时也说明偏振先验的质量、不同损失之间的配合,会影响最终收益。

十一、速度怎样:保持实时,但需要付出额外成本

主文表1的速度如下:

场景普通3DGS3DGS-DRRef-GSPolarGuide-GSDR
Gnome189.6253.7350.2143.57
Gundam182.3971.6924.4864.86
汽车与玻璃279.78118.3043.23104.63
黑色陶瓷杯255.50108.8336.7081.52
积水251.18102.0223.4395.30

单位为FPS,数据来自原论文表1。

本文达到43.57–104.63 FPS,保留了实时渲染能力,但在这5个场景中均慢于普通3DGS和3DGS-DR。

它也不是在所有场景都快于Ref-GS:Gnome上为43.57 FPS,低于Ref-GS的50.21 FPS,其余4个场景更快。

因此,它的价值是用额外计算换取更好的反射建模,并保持实时量级,而不是提高普通3DGS的速度。“训练时使用偏振、推理时不输入偏振”,也不代表整个渲染系统没有新增成本。

十二、这篇论文带来了什么,又留下了什么?

本文把偏振从一个附加输入,变成了训练过程中具有明确职责的监督信号:反射分离图约束通路分工,法线约束表面朝向,3DGS几何再为偏振消歧提供动态参照。

这一点比单纯叠加一种模态更值得关注。它利用不同信息的长处,让模型逐步减少“用错误几何解释反光”的自由度。

不过,方法仍有明确边界。作者在结论中说明,对非导体采用固定折射率1.5;在汽车场景中有效,不等于建立了所有金属、涂层和复杂材料都准确的偏振模型。低DoLP、混合反射和不可靠初始化也仍然需要处理。

论文强调全场景重建,是相对仅围绕单个掩码物体建模而言;它不意味着已经验证任意规模、任意动态场景。实验对象仍是本文给出的5类采集场景。

如果把它放到偏振辅助人脸重建的研究中,最有价值的启发是这种协同约束方式:偏振提供几何与反射线索,但应当带着可靠性判断进入优化;反射分离和法线估计也应相互配合。

至于能否进一步恢复毛孔级人脸几何,还需要人脸专门的反射模型、合适的采集分辨率,以及真实微几何的独立验证。本文展示的是反光场景的新视角合成能力,尚不能直接作为毛孔深度精度的证据。

汽车表面的倒影不再只能由模型凭颜色去猜。通过偏振与几何的反复校正,模型获得了更明确的解释路径:表面在哪里,反射应该依附怎样的方向,又该由哪条通路生成。

现在已有 27 次阅读,0 条评论,0 人点赞
Author:洗子
作者
CVPR2026|PolarGuide-GSDR:偏振先验与延迟反射驱动的3D高斯溅射
当前文章累计共 12135 字,阅读大概需要 13 分钟。
【光遇】拾光季任务
2024年3月13日 · 0评论
【FPGA】触摸按键控制LED灯
2024年3月24日 · 2评论
爱是创世者送给这个世界压轴的礼物
2024年5月21日 · 0评论
Comment:共0条
发表
搜索 消息 足迹
你还不曾留言过..
你还不曾留下足迹..
博主 不再显示
博主
未知作品 歌曲封面
博主 立即安装
前往评论 切换字号