拍一辆停在楼下的汽车,车身上会同时出现两类信息:一类来自汽车本身,另一类来自映在车漆和玻璃上的楼房、树木与天空。
对人来说,这很容易区分。我们知道车窗里的树不是长在车里的,车盖上的楼房也不是车盖表面的几何结构。可对一个只看照片、试图搭建三维场景的模型来说,这个区别并不天然成立。
如果模型把倒影当成表面纹理,换个视角,倒影就可能黏在错误的位置;如果它用额外的三维基元去解释高光,甚至会把反光“搭”成不存在的结构。
PolarGuide-GSDR从偏振图像中增加了一组线索:光不仅有颜色和亮度,还有与反射过程相关的偏振状态。作者先利用这些线索分出镜面与漫反射,再让偏振法线与3D高斯几何互相校正,帮助模型区分真实表面和表面上的反射。
这篇论文的核心,是让偏振告诉3DGS“怎样解释反光”,同时让逐渐改善的3DGS几何帮助偏振解决方向歧义。

图1|从左到右为真实图像、GNeRP、3DGS、3DGS-DR、Ref-GS与本文方法。蓝框及放大区域展示车盖反射细节。来源:原论文图1。
论文信息
| 项目 | 内容 |
|---|---|
| 英文标题 | PolarGuide-GSDR: 3D Gaussian Splatting Driven by Polarization Priors and Deferred Reflection for Real-World Reflective Scenes |
| 中文标题 | PolarGuide-GSDR:偏振先验与延迟反射驱动的3D高斯溅射,用于真实世界反光场景 |
| 发表 | CVPR 2026,26000–26009页 |
| 作者 | Derui Shan、Qian Qiao、Hao Lu、Tao Du、Peng Lu |
| 机构 | 北方工业大学、北京邮电大学、北京科技大学 |
| 论文入口 | https://arxiv.org/abs/2512.02664 |
| 代码入口 | https://github.com/junxiaofanchen/PolarGuide-GSDR |
| 代码状态 | 截至2026年11月18日,仓库仅有README发布说明,尚未提供可运行实现 |
| 关键词 | 偏振成像、3D高斯溅射、延迟反射、反射分离、法线消歧、新视角合成 |
一、为什么普通3DGS容易被倒影“骗过”?
3DGS用大量三维高斯基元表达场景。每个基元带有位置、尺度、方向、不透明度和外观参数,投影并混合后生成图像。
其中,球谐函数可以表达颜色随观察方向变化的现象。但有限阶数的球谐更擅长平缓变化;明亮、尖锐、随着视角迅速移动的反射,往往更难表达。
问题还不只是颜色变化太快。训练时,模型只知道“这张图应该长成这样”,却不一定知道某个亮斑来自表面,还是来自环境反射。为了降低图像误差,它可能改变几何,添加虚假的高斯来拟合亮斑。
这样得到的训练图像可能不错,新视角却容易出现模糊反射、漂浮伪影或者错误法线。
已有的3DGS-DR把普通高斯渲染与延迟反射分成两个通路,增强了反射表达。但如果只监督最后混合出来的RGB图像,模型仍可能把本应由反射通路解释的内容放进基础颜色中。
有了两个输出通路,还需要告诉模型:什么内容应该进入哪条通路。
偏振在这里提供的是分工依据。
二、偏振能提供什么:同一个像素,多看几个偏振方向
普通RGB图像记录颜色强度。偏振相机则能得到不同线偏振分析角度下的观测。本文使用4个角度:$0^\circ$、$45^\circ$、$90^\circ$和$135^\circ$。
可以想象,在相机前转动一片偏振片。同一块表面在某个角度比较亮,转动后变暗;亮暗变化的幅度和方向,携带着反射方式与表面朝向的信息。
论文先由4幅图计算线偏振所需的Stokes分量:
$$ \begin{aligned} S_0&=\frac12\left(I_{0^\circ}+I_{45^\circ}+I_{90^\circ}+I_{135^\circ}\right),\\ S_1&=I_{0^\circ}-I_{90^\circ},\\ S_2&=I_{45^\circ}-I_{135^\circ}. \end{aligned} \tag{原式1} $$
为什么要这样加减?用线偏振分析的标准关系解释最直观:
$$ I(\phi)=\frac12\left[S_0+S_1\cos(2\phi)+S_2\sin(2\phi)\right]. $$
这是对原式1的基础展开解释。把$\phi=0^\circ$和$90^\circ$代入,两者之差恰好留下$S_1$;把$45^\circ$和$135^\circ$代入,差值留下$S_2$。4个方向求和后再乘$1/2$,就得到$S_0$。
这里的$S_0$是总强度,$S_1$和$S_2$描述两个方向上的线偏振差异,并非额外的深度通道。本文不使用圆偏振分量$S_3$。
接下来得到线偏振度DoLP与线偏振角AoLP:
$$ d=\mathrm{DoLP}=\frac{\sqrt{S_1^2+S_2^2}}{S_0}, \qquad \mathrm{AoLP}=\frac12\operatorname{atan2}(S_2,S_1). \tag{原式2、5} $$
DoLP回答“线偏振变化有多明显”,AoLP回答“主要偏振方向在哪里”。
令$A=\sqrt{S_1^2+S_2^2}$、$\psi=\mathrm{AoLP}$,便有$S_1=A\cos2\psi$、$S_2=A\sin2\psi$。代回强度表达式,可整理为:
$$ I(\phi)=\frac12\left[S_0+A\cos2(\phi-\psi)\right]. $$
于是强度极值分别是$(S_0+A)/2$和$(S_0-A)/2$,两者之差除以两者之和,正好等于DoLP。这个展开把公式与转动偏振片时的亮暗变化联系起来:变化越明显,DoLP越大。
但DoLP大不等于法线一定正确。它说明信号中的线偏振特征更强,具体方向仍受反射类型、折射率假设和偏振歧义影响。
三、先分反射:不要让所有颜色都挤进基础图像

图3|依次为原图、偏振漫反射与镜面反射的合成图、偏振漫反射、偏振镜面反射、未偏振漫反射。最后一列较暗,是本文采用简化模型的示例依据;不意味着所有场景的未偏振部分都可以忽略。来源:原论文图3。
作者将反射建模为偏振镜面反射和偏振漫反射两部分,分别关联Fresnel反射与次表面散射,并在本文框架中忽略未偏振漫反射项。
论文使用偏振片Mueller矩阵$M_{\mathrm{pol}}$、反射矩阵$M_R$和透射矩阵$M_T$描述两部分:
$$ S_{sp}=M_{\mathrm{pol}}(\theta)M_R S_i, \qquad S_{dp}=M_{\mathrm{pol}}(\theta)M_T S_d. $$
理解这里不必把矩阵逐项背下来。它们描述光经过不同物理过程后,强度和偏振状态怎样改变。原文还使用$S_d\approx S_i-S_{sp}$作为高效分离的近似,所得结果用于引导重建。
模型随后从DoLP反求角度$i$,结合折射率通过Snell定律得到折射角$r$,再计算两种反射的强度极值。论文写出的方向变化形式是:
$$ I_{sp}(\phi_{pol})= \frac{I_{\max}^{sp}+I_{\min}^{sp}}{2} +\frac{I_{\max}^{sp}-I_{\min}^{sp}}{2}\cos(2\theta), \tag{原式3} $$
$$ I_{dp}(\phi_{pol})= \frac{I_{\max}^{dp}+I_{\min}^{dp}}{2} +\frac{I_{\max}^{dp}-I_{\min}^{dp}}{2} \cos\!\left[2\left(\theta-\frac\pi2\right)\right]. \tag{原式4} $$
原文用$\phi_{pol}$表示偏振通道角度,$\theta$表示偏振方向与$x$轴的夹角;上面保留其写法,重点看两类反射的相位关系。
两个式子都是“平均亮度+随方向变化的部分”。第二项的幅度由最大与最小强度之差决定,而两类反射的偏振方向相差$\pi/2$。
利用恒等式$\cos[2(\theta-\pi/2)]=-\cos2\theta$,可以看到它们在该模型中的调制趋势相反。结合Fresnel系数和角度信息,就能给镜面与漫反射提供不同的图像先验。
这里并不是把最亮的像素全部判为镜面反射,也不是直接把图像最小值当成纯漫反射。作者利用的是偏振变化与反射模型之间的联系。
这些分离图也不是已经测得的、完全准确的物理真值。固定折射率、未偏振项的省略和强度近似都会带来误差,因此还需要RGB和几何监督共同约束。
四、从偏振到法线:为什么一个方向会有多个答案?
表面法线,就是垂直于局部表面的方向。玻璃看起来平不平、车盖怎样弯曲、反射应该往哪里偏,都与法线有关。
论文用AoLP建立方位角$\sigma$的候选关系,并由DoLP与折射率得到角度$i$,构造初始法线:
$$ \mathbf{ n }_{pol}= \begin{bmatrix} \sin i\cos\sigma\\ \sin i\sin\sigma\\ \cos i \end{bmatrix}. \tag{原式6} $$
这个表达式来自单位方向的球坐标形式:$\cos i$控制法线朝向相机轴的程度,$\sin i$给出图像平面内分量的长度,再由$\cos\sigma$与$\sin\sigma$把它分配到两个轴。
难点在于,偏振并不能直接给出唯一的$\sigma$。由于强度变化包含二倍角,方向转过$\pi$后会产生相同的周期响应;镜面与漫反射之间又存在$\pi/2$方向关系。
因此,偏振法线天然带有方向歧义。模型可能知道“这一块表面应该倾斜到某种程度”,却还不能确定朝哪边倾斜。
低DoLP区域的情况更困难。$S_1$和$S_2$本来就很小,噪声对AoLP的相对影响会增大,直接把这些法线当作强监督,反而可能把错误写入几何。
五、双向纠错:3DGS先帮偏振选方向,偏振再帮3DGS改几何

图2|下方从偏振观测提取反射图与法线先验;上方是高斯渲染、延迟反射与最终混合。3DGS几何参与偏振法线消歧,偏振先验再监督渲染与法线。来源:原论文图2。
作者先训练出一个初步的3DGS几何,再用它的法线方向帮助筛选偏振法线候选。
原文给出的候选集合为:
$$ \mathcal C=\left\{ \mathbf{ n }_{pol},-\mathbf{ n }_{pol}, R_{\pi/2}(\mathbf{ n }_{pol}),-R_{\pi/2}(\mathbf{ n }_{pol}) \right\}, $$
其中$R_{\pi/2}$表示绕$z$轴旋转$90^\circ$。模型根据余弦相似度,选择与当前3DGS法线较一致的候选。
这里按论文保留候选定义;它是用于训练的方向选择机制,不应把它理解成对所有偏振歧义都成立的唯一物理解。
同时,只有DoLP高于阈值$\tau$的位置参与偏振法线监督。这样做是在较可靠的区域使用方向信息,而不是要求整张图都服从同样强度的偏振约束。
但初始3DGS本身也可能错误。如果只在一开始消歧一次,错误方向就可能固定下来。
因此,本文让两者随着训练持续交互:当前几何帮助偏振选候选,偏振法线与反射分量帮助改善几何,改善后的几何又为后续消歧提供更好的依据。

图4|从左到右为RGB、原始偏振法线、由3k迭代3DGS校正的法线,以及本文训练到30k、97k时的校正结果。挡风玻璃区域展示初始错误与后续修正。来源:原论文图4。
这张图比单独看一幅最终法线更能解释方法的动机:粗几何不是最终答案,而是一个会随着训练改善的参照。
这一闭环有助于减轻初始化错误,却没有给出必然收敛到真实几何的保证。当初始几何、偏振信号和反射分离同时不可靠时,仍然可能保留错误。
六、延迟反射:先得到屏幕上的属性,再计算反射
为什么叫“延迟”?这里并不是把反射效果延后几帧播放,而是改变渲染计算的顺序。
普通高斯渲染把基元投影到图像,混合其颜色;延迟反射框架则先得到基础颜色、法线、反射强度等图像空间属性,再由反射通路产生镜面外观,与基础通路混合。
本文建立在3DGS-DR框架上,使用高斯标量$r_i$表示反射强度,并通过相应的强度图协调两类输出。本文增加的关键约束,是分别监督基础图像、反射图像和法线,而不只检查最后一幅RGB图像。
这样,当车窗中出现倒影时,模型除了被要求“最终看起来像倒影”,还会受到反射分离图的约束,促使这部分信息由反射通路解释。
需要注意,基础颜色图并不等同于无光照、无阴影的固有反照率;镜面输出也不自动等于精确恢复的BRDF或环境照明。本文首先解决的是已有场景的反射重建与新视角合成,不能据此直接宣称实现任意换光或完整材质编辑。

图7|左侧是RGB观测,中间两列为3DGS-DR的基础与镜面图,右侧两列为本文结果。三行分别展示汽车、陶瓷杯和积水场景。来源:原论文图7。
图中,3DGS-DR的基础图像仍承载较多最终外观,而镜面输出分离得不够理想;加入偏振监督后,两类输出的分工更明确。
这也是为什么本文不能只用“增加了法线监督”概括。反射分离告诉模型该由哪条通路解释颜色,法线监督则约束反射依附的几何方向,两者解决的问题不同。
七、损失函数:四种监督分别管什么?
论文使用4类损失。把它们按输入与目标对应起来,比只看一个总式更容易理解。
| 损失 | 模型输出 | 对照目标 | 作用 |
|---|---|---|---|
| $\mathcal L_{rgb}$ | 最终混合图像 | RGB观测 | 保持最终外观与真实图像一致 |
| $\mathcal L_{refl}$ | 镜面反射输出 | 偏振分出的镜面图$I_{sp}$ | 约束反射通路的内容 |
| $\mathcal L_{base}$ | 基础通路输出 | 偏振分出的漫反射图$I_{dp}$ | 减少基础通路对镜面内容的吸收 |
| $\mathcal L_{normal}$ | 3DGS预测法线 | 消歧候选集,受DoLP筛选 | 约束表面方向 |
前三类图像损失均采用L1与D-SSIM的组合。例如RGB损失为:
$$ \mathcal L_{rgb}=(1-\lambda_{rgb})\mathcal L_1(I_{final},I_{rgb}) +\lambda_{rgb}\mathcal L_{D\text{-}SSIM}(I_{final},I_{rgb}). $$
L1检查像素强度差,D-SSIM补充局部结构差异。镜面与基础通路沿用同样形式,只是换成各自的输出和目标。
法线项使用带掩码的候选余弦距离。为便于阅读,把原文的求和位置统一记为$p$,保持其监督含义:
$$ \mathcal L_{normal}=\frac1N\sum_p \mathbb 1_{d(p)>\tau} \min_{\mathbf{ c }\in\mathcal C(p)} \left[1-\cos\left(\mathbf{ n }_{pred}(p),\mathbf{ c }\right)\right]. $$
两个单位方向的余弦相似度等于点积;方向相同,损失为0;越偏离,损失越大。$\min$表示在候选中选最一致的方向,掩码表示低DoLP位置不参与该项。
所以,它并不是拿一个未经消歧的偏振法线,要求模型无条件贴合;也不是把DoLP直接当作连续权重。本文这里使用的是阈值筛选。
最终,4项加权组合:
$$ \mathcal L_{total}= \eta_{rgb}\mathcal L_{rgb} +\eta_{refl}\mathcal L_{refl} +\eta_{base}\mathcal L_{base} +\eta_{normal}\mathcal L_{normal}. \tag{原式7} $$
偏振信息只在训练中用来引导与监督,渲染新视角时不需要再次输入偏振图像。
预印本补充材料给出的训练顺序是:约10k次初始化、约30k–80k次偏振联合监督、约10k次RGB与偏振法线细化。具体配置仍需结合数据集和实现核对。
八、实验到底比较了什么?
本文在5个真实场景上评估:公共数据Gnome、Gundam,以及自采的汽车与玻璃、黑色陶瓷杯、室外积水。
它们覆盖了不同难度:汽车有强反射和曲面,杯子有光滑表面,积水包含室外反射;公共数据还存在视角稀疏、反射线索较弱等问题。
比较方法包括偏振神经重建方法GNeRP,以及3DGS、3DGS-DR和Ref-GS。图像质量使用PSNR、SSIM、LPIPS,速度使用FPS。
这里最容易混淆的是“几何更好”与“图像更好”。本文给出了法线可视化,但主文没有报告扫描真值下的Chamfer Distance、深度误差或法线角误差;因此,图像指标的提升不能直接换算成某种几何精度。

图5|汽车与玻璃、陶瓷杯、积水场景的比较,列序与图1一致。GT列中的法线由偏振数据估计,原文明确说明它们不是扫描测得的真实法线。来源:原论文图5。
从图中可以观察车盖的建筑反射、车窗边缘、杯子及积水中的反射细节。同时,法线图能显示噪声与连续性差异;但这些视觉证据仍不足以证明每处几何都已恢复正确。
九、量化结果:PSNR全部领先,其他指标各有胜负
下面保留主文表1中本文方法与两个相关反射基线的完整图像指标。括号内依次为PSNR↑、SSIM↑、LPIPS↓。
| 场景 | 3DGS-DR | Ref-GS | PolarGuide-GSDR |
|---|---|---|---|
| Gnome | 21.13 / 0.861 / 0.252 | 21.65 / 0.880 / 0.244 | 22.54 / 0.890 / 0.216 |
| Gundam | 22.93 / 0.834 / 0.217 | 22.85 / 0.823 / 0.237 | 23.32 / 0.825 / 0.223 |
| 汽车与玻璃 | 18.31 / 0.763 / 0.343 | 17.78 / 0.754 / 0.362 | 19.29 / 0.774 / 0.339 |
| 黑色陶瓷杯 | 25.57 / 0.886 / 0.199 | 26.48 / 0.902 / 0.186 | 26.67 / 0.894 / 0.191 |
| 积水 | 23.00 / 0.754 / 0.283 | 23.01 / 0.761 / 0.276 | 23.51 / 0.762 / 0.279 |
数据来自原论文表1;粗体只比较本表列出的3种方法。完整原表另含GNeRP与普通3DGS,积水场景的普通3DGS取得更低LPIPS 0.271。
相对3DGS-DR,本文5个场景的PSNR分别提高1.41、0.39、0.98、1.10、0.51 dB。这些差值直接由表1相减得到。
不过,相对Ref-GS,陶瓷杯的PSNR只提高0.19 dB,并非所有场景都提高约1 dB。Gundam的SSIM和LPIPS也没有超过3DGS-DR,陶瓷杯的SSIM与LPIPS没有超过Ref-GS。
因此,更准确的表述是:本文在这5个场景上取得最高PSNR,并在部分场景同时改善结构和感知指标,而不是所有指标全面领先。

图6|公共Gundam与Gnome数据的测试视角。列序为真实图像、3DGS-DR、Ref-GS、本文方法。稀疏视角产生的伪影仍然存在。来源:原论文图6。
十、法线和反射图,为什么要一起用?
消融实验比较了基础3DGS-DR、只保留偏振法线监督、去掉偏振法线监督,以及完整模型。
以汽车与玻璃为例,表2中的PSNR为:
| 配置 | PSNR↑ |
|---|---|
| 3DGS-DR基线 | 18.31 |
| 只保留偏振法线监督 | 17.84 |
| 去掉偏振法线监督 | 18.74 |
| 完整PolarGuide-GSDR | 19.27 |
数据来自原论文表2。此处完整模型为19.27,表1为19.29,两表有细小差异,分别保留原值。
只加法线,性能反而低于基线。这个结果很有启发性:带歧义或受镜面成分影响的法线,并不是加上就能提高效果。缺少反射分量监督时,错误方向可能把优化带偏。
另一方面,只有分离图、没有法线约束,反射通路虽然有了图像目标,却缺乏足够的几何方向约束。完整配置把两类信息组合起来,才在这一场景中取得更高PSNR。
但这种互补也不意味着每个指标必然提高。Gundam上,完整模型的SSIM仍低于基线;积水消融中,完整模型的LPIPS 0.289也高于基线0.283。
表2的Gnome场景尤其能说明单独监督的风险:基线PSNR为21.13,只用法线为19.687,去掉法线为19.26,而完整模型为22.54。
这些结果支持联合监督的必要性,同时也说明偏振先验的质量、不同损失之间的配合,会影响最终收益。
十一、速度怎样:保持实时,但需要付出额外成本
主文表1的速度如下:
| 场景 | 普通3DGS | 3DGS-DR | Ref-GS | PolarGuide-GSDR |
|---|---|---|---|---|
| Gnome | 189.62 | 53.73 | 50.21 | 43.57 |
| Gundam | 182.39 | 71.69 | 24.48 | 64.86 |
| 汽车与玻璃 | 279.78 | 118.30 | 43.23 | 104.63 |
| 黑色陶瓷杯 | 255.50 | 108.83 | 36.70 | 81.52 |
| 积水 | 251.18 | 102.02 | 23.43 | 95.30 |
单位为FPS,数据来自原论文表1。
本文达到43.57–104.63 FPS,保留了实时渲染能力,但在这5个场景中均慢于普通3DGS和3DGS-DR。
它也不是在所有场景都快于Ref-GS:Gnome上为43.57 FPS,低于Ref-GS的50.21 FPS,其余4个场景更快。
因此,它的价值是用额外计算换取更好的反射建模,并保持实时量级,而不是提高普通3DGS的速度。“训练时使用偏振、推理时不输入偏振”,也不代表整个渲染系统没有新增成本。
十二、这篇论文带来了什么,又留下了什么?
本文把偏振从一个附加输入,变成了训练过程中具有明确职责的监督信号:反射分离图约束通路分工,法线约束表面朝向,3DGS几何再为偏振消歧提供动态参照。
这一点比单纯叠加一种模态更值得关注。它利用不同信息的长处,让模型逐步减少“用错误几何解释反光”的自由度。
不过,方法仍有明确边界。作者在结论中说明,对非导体采用固定折射率1.5;在汽车场景中有效,不等于建立了所有金属、涂层和复杂材料都准确的偏振模型。低DoLP、混合反射和不可靠初始化也仍然需要处理。
论文强调全场景重建,是相对仅围绕单个掩码物体建模而言;它不意味着已经验证任意规模、任意动态场景。实验对象仍是本文给出的5类采集场景。
如果把它放到偏振辅助人脸重建的研究中,最有价值的启发是这种协同约束方式:偏振提供几何与反射线索,但应当带着可靠性判断进入优化;反射分离和法线估计也应相互配合。
至于能否进一步恢复毛孔级人脸几何,还需要人脸专门的反射模型、合适的采集分辨率,以及真实微几何的独立验证。本文展示的是反光场景的新视角合成能力,尚不能直接作为毛孔深度精度的证据。
汽车表面的倒影不再只能由模型凭颜色去猜。通过偏振与几何的反复校正,模型获得了更明确的解释路径:表面在哪里,反射应该依附怎样的方向,又该由哪条通路生成。



