<aside> 💡 Notion Tip: You can leave a comment by selecting any word or text snippet and choosing Comment from the menu that pops up. When your report is final you can export it to a PDF by clicking the ••• icon at the upper right corner of any Notion page then choose Export from the dropdown menu.

</aside>

Motivation & Framework

目标:减少训练需要的迭代次数 → always training the rays with the highest loss values, instead of the traditional method of training each ray with a uniform probability. → 选择具有更高损失值的像素(光线)进行采样训练

问题:为了避免对于每个iteration,计算所有光线loss的巨大开销(才能筛选到最高的loss values)

方法:

  1. 提出一种基于渲染梯度的损失传播算法,从而更加高效地评估损失值。
  2. 为了能够进一步缩小估计损失和真实损失之间的距离,使用Upper Confidence Bound(UCB)作为强化学习策略来控制光线的采样可能性,补偿损失估计的偏差。

Method

  1. 对于NeRF中的光线采样:

    截屏2024-10-08 20.06.51.png

    其中,R为光线束batch,每个iteration都会使用uniform sampling从所有光线中采样。其中theta为当前radiance fields网络,而phi为正则函数。

    对于active ray sampling的潜在gains,作者进行了实验,对所有光线的actual loss进行了计算,并评估了最终结果。(由于这里nerf本来就由于效率原因不会对所有光线进行采样,所以如果计算了所有的loss并直接排序,那么就会将概率问题转化为确定问题,并有效地优化对应点空间点)

    截屏2024-10-08 20.24.21.png

  2. 由于上面提到,优化对应空间点确实会提高性能,因此更准确地进行采样,从而使用概率逐渐逼近真实情况,会使得采样效率更高,从而提高优化效率,关键在于NeRF的采样计算过于耗时,因此每次只能sample十分有限的光线,从而选择更高loss的光线会有所提升。但对于gs该策略可能会陷入困境,带来的提升可能是由于影响了gs的稠密化和剪枝策略导致的。或者是由于先关注了重要部分,从而在优化的过程中,减少低梯度处对高斯块的影响,从而优化更加稳定。

  3. 框架

    截屏2024-10-08 20.45.35.png

    对光线集合中的每一个光线都维持一个估计的损失数值,使用estimated loss进行光线选取,计算得到的损失数值除了用来优化当前的NeRF,还需要用来进行下一时刻estimated loss的更新。

    1. 光线损失传播

      为了能在每个iter的时候更新更多光线,将loss传播到所有观察到同一点的光线,使用下面的公式定位采样点

      截屏2024-10-08 20.51.24.png

      由于遮挡和光照,可能采样点不同,通过如下方式计算采样点相似度,相似度足够大的时候再进行传播计算。

      截屏2024-10-08 20.57.29.png

      根据下面的传播公式,如果相差过大,则不需要传播,不传播时直接继承原来的loss

      截屏2024-10-08 20.57.39.png

      截屏2024-10-08 20.57.56.png

    2. UCB-based Decision-Making

      1. RL algorithm have low complexity
      2. no priors from pre-training data, for unseen scenes.
      3. use UCB to not only estimate the loss for each ray + but also estimate the confidence interval of the loss
      4. select the rays with high upper confidence bounds, thereby reducing the impact of inaccurate estimated loss.

      估计UCB → Hoeffding’s Inequality 假设loss满足常量分布,对数函数有界,因此对其对数使用Hoeffding’s Inequality

      截屏2024-10-09 09.38.54.png

      注意这里m为当前光线采样数量。

      截屏2024-10-09 09.39.43.png

      这里yita是光线r距离上次被采样的时间间隔(iteration作为单位)

      P是对当前光线评估损失的confidence置信度,

      截屏2024-10-09 09.44.11.png

      看作一个小量,从而求出上界为(10)所示

      截屏2024-10-09 09.56.03.png

      截屏2024-10-09 09.56.22.png

      最后添加exp函数

      截屏2024-10-09 10.00.08.png

      第一项为loss的几何平均,可以看作估计的光线loss,从而使用我们的估计loss进行替换,gama可以被看作是温度控制。最终,采样概率通过对U进行softmax即可得到

      截屏2024-10-09 10.02.42.png

Evaluation

截屏2024-10-09 10.03.29.png

截屏2024-10-09 10.04.20.png