把一个陶瓷摆件拍成三维模型,再放进虚拟房间里,模型表面的反光应该跟着新环境变化:窗户换了位置,高光就换位置;房间从白天变成夕阳,物体的受光颜色也应改变。
但一个在原始照片里看起来很像的模型,换个环境后可能会变色、过曝,或者在凹陷处留下不合时宜的阴影。它学会了重现拍摄时的样子,却未必分清物体本身的颜色、表面的反射特性与周围的照明。
PhyGaP 研究的就是这个问题。作者在高斯表示中加入偏振观测,通过物理模型同时约束形状、材质和光照;再用局部环境贴图处理物体自身造成的遮挡,让恢复出的模型更适合重新打光。

图1|论文总览。左侧展示偏振采集与物理属性恢复,右上比较外观、漫反射和镜面反射,右下展示新环境下的重打光。来源:原论文图1。
这张图中,外观渲染只是结果的一部分。更关键的是能否恢复底色、粗糙度、折射率与法线,并把漫反射和镜面反射合理分开。后面的重打光,正是在检验这些解释能否经受环境变化。
论文信息
| 项目 | 内容 |
|---|---|
| 英文标题 | PhyGaP: Physically-Grounded Gaussians with Polarization Cues |
| 中文标题 | PhyGaP:利用偏振线索构建物理一致的高斯表示 |
| 作者 | Jiale Wu、Xiaoyang Bai、Zongqi He、Weiwei Xu、Yifan Peng |
| 机构 | 香港大学、浙江大学 |
| 项目主页 | https://kelvar00.github.io/PhyGaP/ |
| 代码 | https://github.com/Kelvar00/PhyGaP |
| 关键词 | 偏振成像、高斯溅射、逆渲染、反射分解、局部环境贴图、重打光 |
一、为什么模型“看起来像”,换光之后却不像?
想象一个白色陶瓷摆件放在黄色灯光下。相机拍到的黄色,既可能来自陶瓷本身,也可能来自灯光。如果附近还有一扇窗,摆件上的亮斑又可能是窗户的镜面反射。只要最终像素颜色相似,优化过程就可能在这些解释之间互相补偿。
普通三维高斯溅射擅长合成新视角。它可以为不同观察方向拟合不同颜色,把反射造成的外观变化记录下来。但重打光还需要知道这些变化是怎样产生的,才能在光源改变之后重新计算。
为此,一些高斯方法引入了延迟渲染(Deferred Rendering,DR):先将几何与材质渲染成二维属性图,再根据照明计算像素颜色。法线描述表面朝向;反照率描述底色;粗糙度影响高光的集中程度;环境贴图记录各个方向的入射光。
这个流程给模型提供了物理解释,却没有自动消除歧义。法线稍微偏一点,可能通过调整粗糙度补偿;底色偏暗一点,也可能通过把环境光调亮补偿。在训练照明下,图像仍然可以很像。
PhyGaP 在已有 Ref-Gaussian 框架上增加了两个对应的设计:PolarDR 利用偏振状态约束反射分解,GridMap 则让不同表面位置看到不同的局部照明。 前者处理观测信息不足,后者处理单张全局环境贴图忽略自身遮挡的问题。
二、偏振比普通颜色多告诉了我们什么?
普通 RGB 像素主要记录不同颜色通道的强度。偏振成像还记录光在不同振动方向上的差异。表面反射和透射会改变这种差异,因此偏振状态与表面朝向、材质折射率存在联系。
一个直观例子是旋转偏振片。某些反光会明显变暗,继续旋转又会变亮。这意味着同一个表面点在偏振片不同方向下,并不是简单输出同一个亮度。这样的变化,就是普通 RGB 图像之外的额外观测。
论文使用 Stokes 向量表示偏振状态:$\mathbf{s}=[s_0,s_1,s_2,s_3]^\top$。其中 $s_0$ 是总强度,$s_1,s_2$ 描述线偏振,$s_3$ 描述圆偏振。本文主要考虑线偏振,因此核心计算关注前三个分量。
补充说明:怎样理解这些分量? 对理想、同一条光线的偏振测量,可写成 $s_0=I_0+I_{90}$、$s_1=I_0-I_{90}$、$s_2=I_{45}-I_{135}$。下标表示偏振分析器的方向。线偏振度由 $\sqrt{s_1^2+s_2^2}/s_0$ 给出,偏振角可用 $\tfrac12\operatorname{atan2}(s_2,s_1)$ 表示;正负号随坐标约定而变化。这些是理解Stokes参数的基础关系,不是PhyGaP新增的公式。
在非偏振入射光的假设下,镜面反射通常携带更明显的线偏振信息,漫反射分量也有与透射、散射过程有关的偏振响应。两者的偏振方向具有特定关系,论文所采用模型中体现为约90°的方向差异。
于是,两个 RGB 颜色接近的候选解释,可能产生完全不同的 $s_1,s_2$。模型既要解释亮度,也要解释偏振方向和强度差异,就更难任意把高光塞进底色。
这并不意味着偏振观测能直接、唯一地读出几何和材质。它增加了约束,仍需要依赖照明、材质与几何模型联合求解。
三、先看整体流程:从高斯属性到偏振图像

图2|整体方法。左侧2DGS生成材质与法线图,并提供用于构建GridMap的几何;中部根据全局或局部环境照明计算漫反射与镜面反射Stokes向量;右侧用偏振、深度法线及掩膜等监督优化。来源:原论文图2。
PhyGaP 沿用 Ref-Gaussian 的二维高斯溅射基础。这里的“二维”,指每个高斯是在三维空间中放置的一片局部表面,而不是说它只处理二维照片。每片高斯具有位置、两条切向方向和相应尺度;两条切向的叉积给出表面法线。
这种表示相比没有明确表面方向的三维椭球,更便于将几何朝向与反射计算联系起来。论文原式(3)给出局部坐标中的高斯权重:
$$ G(u,v)=\exp\left(-\frac{u^2+v^2}{2}\right). \tag{3} $$
$u,v$ 是当前表面高斯上的局部坐标。离中心越远,贡献越弱。沿相机射线,模型将多个高斯按前后顺序进行透明度混合,得到当前像素的属性。
补充解释:透明度混合为什么能表达遮挡? 通常可写成 $C=\sum_iT_i\alpha_ic_i$,其中 $T_i=\prod_{j<i}(1-\alpha_j)$。前面高斯越不透明,后面高斯能够贡献的比例就越小。把颜色 $c_i$ 换成法线、粗糙度等属性,就可以先生成相应的二维属性图。这与论文补充材料式(14)的基本形式一致。
PhyGaP 为高斯建模反照率 $\lambda$、折射率 $\eta$、粗糙度 $r$ 和法线 $\mathbf{n}$。注意,底色 $\lambda$ 与后面损失函数中的权重 $\lambda_1,\lambda_2$ 等是不同变量。
这些属性经过混合,形成每个视角的材质与法线图。接着才进入 PolarDR:查询照明,计算反射强度,将强度转换成偏振状态,最后与真实观测比较。
四、PolarDR:让渲染器同时解释颜色和偏振
从入射光,算出表面反射的亮度
普通物理渲染要解决的问题,是表面从各方向接收到的光,最终有多少沿相机方向反射出去。原论文式(4)写为:
$$ L(\boldsymbol\omega_o)=\int_\Omega L_i(\boldsymbol\omega_i) f_r(\boldsymbol\omega_i,\boldsymbol\omega_o) \langle\boldsymbol\omega_i\cdot\mathbf n\rangle \,\mathrm d\boldsymbol\omega_i. \tag{4} $$
$\boldsymbol\omega_i$ 和 $\boldsymbol\omega_o$ 分别是入射与出射方向,$L_i$ 是入射辐亮度,$f_r$ 是双向反射分布函数(BRDF),$\Omega$ 为表面上方半球。尖括号在这里表示非负的余弦贡献。公式的含义是:把每个方向的入射光,按照材质反射响应与表面朝向加权,然后累加。
论文把出射光拆成漫反射 $L_d$ 与镜面反射 $L_s$,即 $L_o=L_d+L_s$。漫反射采用朗伯模型的基本项 $\lambda/\pi$;镜面反射采用 Cook–Torrance 模型,原式(6)为:
$$ f_r^s(\boldsymbol\omega_i,\boldsymbol\omega_o)= \frac{DGF}{4\langle\boldsymbol\omega_o,\mathbf n\rangle \langle\boldsymbol\omega_i,\mathbf n\rangle}. \tag{6} $$
这里 $D$ 描述微表面朝向的分布,受粗糙度影响;$G$ 表示微表面遮蔽与掩蔽;$F$ 是菲涅耳反射项,描述反射强度怎样随材质和角度变化。
实际计算没有对每个像素穷举所有光路,而采用分离求和近似,把部分材质响应预先放进查找表,把环境照明预过滤成不同层级的立方体贴图。粗糙度较大时使用更模糊的环境层级,以近似更宽的反射分布。
折射率也直接参与物理反射。对于本文关注的电介质,补充材料式(18)给出正入射反射率:
$$ F_0=\frac{(1-\eta)^2}{(1+\eta)^2}. \tag{18} $$
补充数值例子: 当空气一侧折射率近似为1,物体折射率 $\eta=1.5$ 时,$F_0=0.04$。这是正入射时的反射率示例,不能理解成所有角度都固定反射4%的光。
把亮度变成Stokes向量
计算出镜面和漫反射亮度之后,PolarDR 进一步预测它们各自的偏振状态。原论文式(7)、(8)为:
$$ \mathbf S^s_{\omega_o}= \begin{bmatrix} 1\\ \beta_s(\theta_n)\cos2\phi_n\\ -\beta_s(\theta_n)\sin2\phi_n \end{bmatrix}L_s(\boldsymbol\omega_o), \qquad \beta_s=\frac{R^\perp-R^\parallel}{R^\perp+R^\parallel}. \tag{7} $$
$$ \mathbf S^d_{\omega_o}= \begin{bmatrix} 1\\ \beta_d(\theta_n)\cos2\phi_n\\ -\beta_d(\theta_n)\sin2\phi_n \end{bmatrix}L_d(\boldsymbol\omega_o), \qquad \beta_d=\frac{T^\perp-T^\parallel}{T^\perp+T^\parallel}. \tag{8} $$
第一行保存对应分量的强度,后两行描述线偏振。$R^\perp,R^\parallel$ 和 $T^\perp,T^\parallel$ 来自菲涅耳反射、透射关系;垂直与平行是相对于入射面而言。它们与折射率和角度有关。
$\theta_n$ 描述法线与观察方向之间的天顶角,$\phi_n$ 描述法线投影在相机图像平面中的方位。式中的负号对应本文使用的Stokes坐标约定,不能脱离坐标定义单独解释。$\beta_s,\beta_d$ 则是带符号的偏振响应系数,不应全部当成始终非负的偏振度。
这些式子看起来复杂,核心可以拆成两步理解:$\beta$ 决定两个线偏振分量相对总强度有多大,$\cos2\phi_n$ 与 $\sin2\phi_n$ 决定它们落在哪个方向。出现两倍角,是因为线偏振方向旋转180°后具有相同物理状态。
这两条式子怎样从偏振理论得到?
补充推导: 表面与光的相互作用可用 Mueller 矩阵描述,写成 $\mathbf S_{out}=M\mathbf S_{in}$。在非偏振入射光的假设下,$\mathbf S_{in}=[L_i,0,0,0]^\top$。矩阵相乘时,只有第一列被激活。因此,不必追踪任意入射偏振的全部组合,也能得到由强度、法线方向和菲涅耳系数决定的输出。
对镜面反射,把第一列的强度项记为 $R^+=(R^\perp+R^\parallel)/2$,线偏振幅度记为 $R^-=(R^\perp-R^\parallel)/2$。将反射强度提取出来,剩下的相对幅度就是 $R^-/R^+=\beta_s$,再经过坐标旋转得到两倍角项,即原式(7)的结构。
漫反射则涉及光进入表面、散射并离开的过程。在论文采用的近似下,将整体漫反射强度提取出来,出射透射系数的差与和决定归一化线偏振响应,于是得到式(8)。论文补充材料进一步列出了Mueller矩阵与相关推导;这里展开的是帮助理解的代数路径。
最后,两类反射的Stokes向量相加,得到像素的总Stokes预测。由于线偏振分量可能带相反符号,两类反射的偏振贡献也可能部分抵消。所以总偏振度并不等于镜面反射所占比例,单凭一个偏振度数值也无法直接完成全部反射分离。
训练时,模型既要匹配 $s_0$,也要匹配 $s_1,s_2$。这就把颜色、法线、折射率和反射分量联系在了同一个可优化的模型中。
五、GridMap:凹进去的地方,看到的环境并不一样
即使材质解释合理,光照模型仍可能出错。例如雕像的下巴下面、耳朵后面和胸前凹陷处,并不能无遮挡地接收周围整个房间的光。有些方向被雕像自身挡住,另一些方向收到的则是雕像其他部位反射过来的光。
一张放在无限远处的全局环境贴图,只按方向描述照明。如果所有表面位置都直接查询同一张贴图,就容易把本该遮住的光照进凹陷处。
一种补偿办法,是给每个高斯额外学习一组间接光颜色。但这些颜色可能同时记住原场景的环境与反射。换一张环境贴图后,它们不会自然变成新场景中的间接光,旧光照便可能残留在模型上。
完整的多次反射光线追踪更接近目标,但计算代价较大。GridMap 选择用一组可更新的局部环境贴图近似这种空间变化。

图3|在物体包围盒上设置锚点相机;从锚点向周围方向发射射线,结合全局环境与物体自身颜色生成局部立方体贴图。右下比较局部与全局环境下的漫反射照明。来源:原论文图3。
锚点实际记录什么?
作者在包围盒上设置52个锚点位置,底面不额外放置锚点相机。对每个锚点,生成六个方向的立方体贴图,每个面分辨率为 $D\times D$,论文设置 $D=64$。
从锚点沿某个方向追踪一条射线。如果没有碰到物体,该方向就读取全局环境;如果碰到物体,则利用交点的法线、附近高斯的近似反照率,以及全局漫反射照明,估计这个方向上看到的物体颜色。
于是,局部贴图的一部分可能是房间,另一部分可能是物体自己的耳朵、肩膀或底座。与完全无遮挡的全局环境相比,它更接近局部位置实际看到的环境。
这里对命中物体部分采用近似漫反射着色,并未递归追踪任意次镜面反射。GridMap改善了自身遮挡和部分间接光的表示,但它仍是一种近似。
怎样把多个局部结果合成一个像素?
对待渲染像素对应的表面点 $\mathbf p$,分别使用各锚点的局部贴图做PolarDR计算,再混合得到局部漫反射Stokes。原论文式(9)为:
$$ \widetilde{\mathbf S}_d= \frac{\sum_{i=1}^{N}\|\mathbf p-\mathbf c_i\|_2\, \widetilde{\mathbf S}^{(i)}_d} {\sum_{i=1}^{N}\|\mathbf p-\mathbf c_i\|_2}. \tag{9} $$
$\mathbf c_i$ 是第 $i$ 个锚点位置,$\widetilde{\mathbf S}^{(i)}_d$ 是使用对应局部环境得到的漫反射Stokes,$N$ 是锚点数。归一化的加权组合让结果随空间位置连续变化,减少不同局部贴图之间的突变。
需要留意原式的具体写法:它的权重正比于距离,并非通常所说的逆距离权重。 因此,不能把这条公式直接解释成“越近权重越大”。这里按原文保留,不擅自更改;若要据此复现,还应对照实现确认其具体权重规则。
局部镜面项也进行类似处理,但只替换按反射方向判断被物体自身遮挡的像素;其他情况仍使用全局环境。这样的安排与优化有关:GridMap在计算中不保留梯度,若所有光照都经这一分支,全局环境便不能直接通过局部混合获得所需梯度。
局部贴图每300次迭代更新一次。它们随当前几何、材质与全局环境重新计算,没有另外训练一套把原场景间接光固定记住的逐高斯颜色参数。换光时,也需要根据新照明生成相应局部结果。

图13|从左到右为GT、基于SH的间接光表示、GridMap。红框放大雕像胸前区域,展示直接照明与间接照明交界处的差异。来源:原论文图13。
图13中的白色或灰色异常斑块,说明仅把原场景中的间接光记成一组颜色,在新光照下可能产生不一致。GridMap让局部照明与新的全局环境重新建立联系,因此在展示案例中有更自然的过渡。
六、训练时,哪些约束分别负责什么?
原论文式(10)把训练目标写成:
$$ \mathcal L=\mathcal L_{rgb}+\lambda_1\mathcal L_{pol} +\lambda_2\mathcal L_{mask}+\lambda_3\mathcal L_{depth} +\lambda_4\mathcal L_{smooth}. \tag{10} $$
$\mathcal L_{rgb}$监督总强度,由L1与DSSIM组合;$\mathcal L_{pol}$监督两个线偏振分量,即 $\|s_1-\hat s_1\|_1+\|s_2-\hat s_2\|_1$。这里帽号表示真实观测,$\lambda_1$ 决定偏振误差在优化中占多大比重。
掩膜损失要求渲染的不透明度与物体区域一致,帮助减少漂浮在表面之外的高斯。深度法线一致性损失让高斯法线与深度图计算出的法线相符。法线平滑项则倾向于在图像平滑区域限制不必要的朝向波动,同时允许边缘处保留变化。
这些约束与两个核心模块有直接关系。PolarDR依赖合理的表面朝向;GridMap还要使用从深度重建的网格做遮挡判断。几何上漂浮的一小片高斯,可能变成一块错误遮挡,继续污染局部照明。
七、没有完整偏振相机,也能训练吗?
作者还测试了两台普通RGB相机加线偏振片的采集方式。两个偏振片分别大致水平、垂直放置,采集到的是部分偏振信息。相机基线约10厘米,围绕物体采集50–80个视点,总计约100–160张图像。
关键是把“偏振片怎样改变光”也放进前向模型。预测出表面Stokes向量后,乘以偏振片的Mueller矩阵,取输出强度与相机实拍亮度比较。
补充推导: 理想线偏振片矩阵的第一行为 $\tfrac12[1,\cos2\theta,\sin2\theta,0]$。因此,方向为 $\theta$ 的偏振片后,预测强度为:
$$ I_\theta=\frac12\left(s_0+s_1\cos2\theta+s_2\sin2\theta\right). $$
这个式子由论文补充材料原式(31)的第一行直接得到,不是新增的成像假设。原式(32)的监督关系为:
$$ \mathcal L=\left\|[M_{LP}(\theta)\mathbf S_{out}]_0-I\right\|_1. \tag{32} $$
下标0表示只取矩阵乘积后的强度分量。偏振片角度也可以与其他参数一起优化,在名义水平或垂直方向附近做调整。
这里不要求先从两张照片算出完整Stokes向量。事实上,仅两个偏振方向一般不足以独立确定所有线偏振分量,作者利用的是多视角、几何和材质共享所带来的联合约束。
还应注意,两台相机观察方向不同,不能把它们同位置的像素直接相加或相减,当作同一条光线的完整偏振测量。前面的 $I_0,I_{90}$ 关系是同一光线的理想解释,实际系统通过各自相机位姿和成像模型进行优化。

图10|左两列为两个偏振片方向下的实拍图像,后面依次为渲染、漫反射、镜面反射、反照率和法线。红蓝框强调两路图像中的反光差别。来源:原论文图10。
图10展示了这种低门槛采集方式的可行性。但这些结果主要属于真实场景的定性展示,不能仅凭图像就断言它与完整偏振相机在所有精度指标上等价。
八、实验真正支持了哪些结论?
新视角合成与法线恢复,要分开看
主实验包含9个场景:PANDORA的owl、vase,RMVP3D的frog、dog,SMVP3D的squirrel、snail、david,以及用Mitsuba3生成的matpre.和teapot。前两组是真实采集数据,后两组为合成数据。
高斯方法训练30,000次迭代,使用RTX4090D;PANDORA和NeRSP分别使用不同的训练迭代数与V100硬件。更重要的是,论文说明这两个NeRF方法的训练数据包含测试视角,因此相关分数只能作有限比较,不能忽略协议差异进行严格排名。

图4|上行为真实frog场景,下行为合成snail场景。彩色图表示表面朝向,不是误差热图;N/A表示未提供对应结果。来源:原论文图4。
表1使用PSNR衡量新视角图像,用余弦距离衡量法线差异。下面摘录不同表现的场景,保留原数值,避免只选有利结果:
| 方法 | owl PSNR ↑ | frog PSNR ↑ | dog PSNR ↑ | teapot PSNR ↑ | frog法线余弦距离 ↓ | dog法线余弦距离 ↓ |
|---|---|---|---|---|---|---|
| Ref-Gaussian | 22.39 | 34.13 | 37.94 | 29.67 | 0.0501 | 0.1565 |
| 3DGS-DR | 24.20 | 34.68 | 39.59 | 29.07 | 0.0933 | 0.1420 |
| PolGS | 24.99 | 28.25 | 28.15 | — | 0.0491 | 0.1085 |
| PhyGaP | 28.14 | 32.92 | 37.82 | 29.69 | 0.0467 | 0.0910 |
数据摘自原论文表1,非完整表;PSNR单位为dB。
owl上的图像提升比较明显;frog和dog上,PhyGaP的PSNR并没有超过这里列出的全部RGB方法。dog的法线余弦距离则明显优于Ref-Gaussian。可见,图像拟合、法线准确性和材质分解不是同一个目标,不应把它们压缩成“每项都最好”。
看重打光,才更接近本文的主问题

图6|各列为渲染、反照率、漫反射、镜面反射及环境贴图。N/A表示对应方法未显式提供该属性。来源:原论文图6。
读图6时,要特别区分“反照率”和“漫反射图”。前者描述底色,后者仍包含光照与朝向的影响。一个带阴影的漫反射图,即使视觉上很像物体,也不能直接当作适合换光的底色。

图5|不同方法恢复出的环境贴图与参考环境。亮区位置、整体强度及伪影共同反映光照估计的差异。来源:原论文图5。
更接近参考环境,也不意味着完全复原了房间。环境中未被物体反射有效观测到的方向,约束仍可能较弱。补充材料中,真实frog和owl场景没有环境真值,因而不能仅靠其环境图外观判断数值精度。
作者进一步替换环境贴图,对david场景重打光。原表2的对应结果如下:
| 方法 | 重打光PSNR ↑ | SSIM ↑ | LPIPS ↓ |
|---|---|---|---|
| R3DG | 11.42 | 0.916 | 0.0754 |
| GS-IR | 16.90 | 0.957 | 0.0359 |
| GIR | 18.02 | 0.960 | 0.0327 |
| PhyGaP | 19.18 | 0.973 | 0.0255 |
摘自原论文表2右侧,为david在sunset环境下的实验,不能概括为所有场景、所有环境的平均结果。
相对GIR,PSNR增加1.16 dB,SSIM增加0.013,LPIPS减少0.0072。这些是对表中数值的算术比较,原表没有提供显著性检验。

图7|顶部为替换的环境贴图,随后依次比较GT和不同方法的重打光结果。右侧环境中,R3DG出现明显过曝。来源:原论文图7。
图7关注的是模型在换光后能否保持材质解释。正确的底色与反射响应,应允许照明改变物体的明暗和受光颜色,同时避免原场景的阴影或高光固定残留。
PolarDR和GridMap,各自贡献在哪里?

图9|PDR表示PolarDR,GM表示GridMap。四行对应不同组合,展示反照率和环境贴图差异。来源:原论文图9。
| 设置 | 重打光PSNR ↑ | SSIM ↑ | LPIPS ↓ |
|---|---|---|---|
| 不使用偏振监督,也不使用GridMap | 15.56 | 0.955 | 0.0369 |
| 使用偏振监督,不使用GridMap | 17.81 | 0.967 | 0.0321 |
| 完整PhyGaP | 19.18 | 0.973 | 0.0255 |
摘自原表2。原文“no PDR”通过令偏振损失权重 $\lambda_1=0$ 实现,因此严格说是在关闭偏振监督,并非删除整个物理渲染计算。
加入偏振监督后,底色与镜面反射更容易分开,环境估计也随之改善。再加入GridMap,凹陷位置不必把遮挡造成的变暗解释为底色变暗,重打光指标进一步提高。
完整方法并非在所有环境贴图指标上最高。原表2中,teapot的环境PSNR从不使用GridMap时的12.17变成11.50,david从13.00变成12.39;matpre.则由15.82升到17.46。局部遮挡处理、全局环境恢复和最终重打光之间存在不同权衡,不能只摘录全面提升的结论。
九、几何恢复到了什么程度?
偏振可以约束法线,但法线看起来平滑,不代表整个表面位置就已精确。论文因此在补充材料中进一步评价了网格几何。

图12|从左到右为GT、PhyGaP、PolGS,分别展示david、squirrel和snail。来源:原论文图12。
作者从深度图反投影三维点,再用统一的Poisson重建流程生成网格。原表5如下:
| 场景 | PhyGaP ↓ | PolGS ↓ | GIR ↓ | GS-IR ↓ |
|---|---|---|---|---|
| david | 6.535 | 6.537 | 62.075 | 77.032 |
| squirrel | 9.527 | 6.604 | 13.118 | 28.148 |
| snail | 8.627 | 9.652 | 21.847 | 21.288 |
原论文表5完整转写,单位为毫米。david中PhyGaP的6.535略低于PolGS的6.537,差距仅0.002毫米,不能据此描述为明显领先。
这里有一个容易混淆的缩写:主文法线评价的CD指余弦距离,此处网格表中的CD指Chamfer Distance。此外,尽管表题写Chamfer Distance,作者具体协议使用的是预测网格到真值网格的单向L1距离,并限制在真值包围盒内;不能默认它就是双向、平方欧氏距离版本。
这组结果说明,PhyGaP的几何质量在这些场景中可与PolGS比较,对GIR和GS-IR有更小的报告误差,但没有在三个场景中全部优于PolGS。图12也能直接看到,部分精细几何仍被平滑。论文没有提供毛孔级人脸重建的验证。
十、哪些情况下,这套方法仍会失效?
GridMap 的锚点位于包围盒附近。如果物体非常薄,或者具有很深的凹陷,固定位置采到的局部环境未必能代表真实表面周围的照明。把锚点简单移近表面,也不一定解决问题:重建网格和高斯表面若有偏差,锚点可能反而落入物体内部。

图15|最左为物体主体与底座的参考色块,中间是GridMap恢复的反照率,右侧为近表面锚点方案。凹陷、自遮挡及锚点位置问题造成了偏红伪影。来源:原论文图15。
多次镜面互反射也是当前近似难以覆盖的情况。局部贴图中命中物体后的颜色采用简化估计,不能完整替代多次反射路径积分。
此外,本文的主要偏振模型针对电介质。金属需要复数折射率和相位等更复杂描述,不能因为论文展示了高光物体,就将其理解为对所有金属表面均适用。有限距离的实际环境光源,也可能与环境贴图的无限远假设产生差异。
GridMap还增加了计算。论文补充材料报告训练和推理开销分别增加24.1%与26.8%;这不等同于完整方法相对所有基线的总体运行时间,也不是实时性能保证。
还有一个影响阅读总览图的条件:作者在代码说明中提醒,图1的部分结果来自加偏振片的实拍输入,这类图像并非完全适配普通RGB方法,因此该处基线效果会受到输入条件影响。判断整体优势,应优先看协议更清楚的定量实验,而不能只凭总览图排名。
十一、这项研究带来的启发
PhyGaP 把两个问题放在同一套模型里处理:利用偏振观测,让材质与几何的解释更有依据;利用局部环境近似,让照明随表面位置变化。它们分别对应“哪些参数能被观测约束”和“光怎样真正到达这个位置”。
这也解释了为什么重打光是重要检验。只合成训练环境里的新视角,允许很多因素互相补偿;改变环境之后,错误底色、旧阴影和不一致的反射更容易显现。
以下是延伸思考。 若把这种路线用于高精度人脸,值得继续检验的不是增加偏振后图像是否更亮或更像,而是偏振能否稳定约束皮肤微小法线变化,几何与反射是否仍被正确分离,以及这些约束在皮下散射、微小运动和眼部强反光下是否成立。现有物体实验给出了思路,还需要人脸专门的采集与几何真值评价。
回到最初的陶瓷摆件:当它被放进另一间房间,可靠的模型应根据新光照重新生成明暗与反射。PhyGaP所展示的进展,是让高斯表示中的颜色、形状和照明解释更接近这一目标,同时用实验指出这套物理近似仍然受到哪些条件限制。



