12 KiB
我在进行一项针对RTXGI中DDGI方法的probe的放置进行优化的工作,用pytorch复刻DDGI可微管线,以最小化着色点处间接光照的mse为目标训练优化得到最佳的probe位置参数。请帮我查找有无相似或者相关的工作。
我查到的结果是:有不少“probe placement / adaptive probes / differentiable lighting optimization”的相关工作,但我没有找到与你描述完全同构的工作,即“用 PyTorch 复刻 DDGI/RTXGI 的可微管线,把 probe 位置作为连续可训练参数,并以 shading point 处间接光照 MSE 为目标端到端优化”。最接近的是下面几类。
1. 最接近:light / radiance probe placement 优化
Vardis et al., “Illumination-driven Light Probe Placement”, Eurographics 2021 这篇非常接近你的目标函数思想。它先生成一个高密度 light probe 集合,再在 evaluation points 上计算参考 radiance,然后迭代删除对重建误差影响最小的 probe,以保留对间接光照分布最重要的 probe。它的目标明确是“preserves the indirect illumination distribution”,并且用 evaluation points 上的 radiance error 指导简化。区别是:它是离散 pruning / graph simplification,不是可微优化;也不是专门针对 DDGI/RTXGI 的 probe gather 与 visibility encoding。(graphics.cs.aueb.gr)
Wang et al., “Fast Non-uniform Radiance Probe Placement and Tracing”, I3D 2019 这篇是自动非均匀 probe placement。它用 3D scene skeleton 和 gradient-descent-based refinement 来保证几何覆盖、减少 grazing angle sampling bias,并通过非均匀 probe 结构改善 tracing 性能。与 DDGI 很相关,因为 NVIDIA DDGI 文档和 presentation 也把它列为 probe placement 的相关工作。区别是它主要围绕几何/可见性采样覆盖与运行时 tracing 结构,不是直接最小化 shading point 的 indirect lighting MSE,也不是 PyTorch 可微端到端训练。(cs.mcgill.ca)
Chajdas et al., “Assisted Environment Map Probe Placement”, SIGRAD 2011 这是较早的 artist-assisted probe placement。它从预计算 irradiance volume 中找 irradiance gradient field 的重要位置,再聚类候选 probe,目的是减少手工放置 environment map probes 的工作量。它显式提到 probe placement 在游戏开发中 tedious and time-consuming,并通过候选点辅助 artist。区别是它针对 environment map/reflection probes,更偏启发式和工具流,不是 DDGI,也不是可微优化。
Teuber et al., “Geometry-based light probe placement for realtime lighting in Gaussian Splatting environments”, The Visual Computer 2025 这是较新的 light probe placement 工作,针对 AR/VR/3D Gaussian Splatting 环境,提出 realtime geometry-based probe placement,并与 ground-truth ray tracing 比较。它强调“careful placement of a minimal number of probes”可以复现复杂环境中的 realistic lighting。区别是它是 geometry-based realtime placement,不是 DDGI 的可微 MSE 训练。(Springer)
“Improving Probe and Surfel Placement for Dynamic Diffuse Global Illumination”, 2024 MSc thesis 这篇直接针对 DDGI / probe-and-surfel placement。它把原本 dense regular grid 改成基于 octree 的层次化 probe 分布,根据 probe 周围几何复杂度自适应放置 probe,以减少 probe 数量并保持视觉质量。区别是它仍然是几何复杂度驱动的 adaptive placement,不是把 probe 坐标作为可训练参数进行 differentiable optimization。
2. DDGI / RTXGI 本身及其扩展
Majercik et al., “Dynamic Diffuse Global Illumination with Ray-Traced Irradiance Fields”, JCGT 2019 DDGI 原始工作本身强调 uniform-grid probe placement 已经可以使用,甚至说 naive uniform-grid probe placement 可避免大量传统手工 probe placement 问题。它也明确提到 probe count/density 比 probe angular resolution 更影响结果,低 probe density 会导致 subtle light leaking;并把 optimized probe selection / adaptive probe updates 留作 future work。你的工作可以直接把这里的 future direction 推进一步:不是简单 selection/update,而是对 probe 位置做可微优化。(jcgt.org)
Majercik et al., “Scaling Probe-Based Real-Time Dynamic Global Illumination for Production”, 2021 这是 RTXGI 生产化方向的扩展,贡献包括 self-shadow bias、probe state machine、cascaded volumes、transition heuristics 等,目标是改进质量、性能、内存和 artist control。它与 RTXGI/DDGI 工程实现高度相关,但核心不在连续 probe placement 优化。(arXiv)
Adaptive Dynamic Global Illumination, 2023 这篇做的是 DDGI 的 adaptive extension,重点是在检测到 lighting/geometry/radiosity 动态变化的区域更高效地放置/分配 samples,并更新 irradiance/visibility cache。它更接近“probe update / sampling budget allocation”,不是直接优化 probe 坐标。(arXiv)
Importance-Based Ray Strategies for DDGI, I3D 2023 这篇 IS-DDGI 针对的是 DDGI 中 probe ray tracing 的 ray allocation,用 MIS 和 temporal/history 分析来把 ray 资源分配到更重要的地方,报告了 DDGI 总时间和 probe ray tracing 时间的加速。它与你的工作互补:它优化的是每个 probe 如何发 ray,你优化的是probe 放在哪里。(allenliuzihao.github.io)
Dynamic Diffuse Global Illumination Resampling, 2021 这篇把 screen-space reservoir resampling 和 sparse world-space probes 结合,用于提高 diffuse transport 的 sample efficiency。它和 DDGI/probe representation 相关,但不是 probe placement 优化。(arXiv)
3. 可微渲染 / 可微 GI 优化方向
Lipp et al., “View-Independent Adjoint Light Tracing for Lighting Design Optimization”, TOG 2024 这是最值得你在“可微优化目标”层面对比的工作。它通过 differentiable light tracing 连续优化 luminaire arrangement,可以直接在 3D scene 上定义 illumination target,而不是只在 image-space 定义 loss,并且考虑 global illumination。它优化的是 light source 的位置、方向、强度等,不是 probe 位置;但它与你的共同点是:以场景中表面/空间上的照明误差为目标,优化连续空间中的位置参数。(arXiv)
Mitsuba differentiable rendering / inverse rendering 系列 Mitsuba 的可微渲染文档展示了如何枚举并优化 scene parameters,例如材质、发光体 radiance、mesh vertex positions 等。它是方法论上的背景,但没有直接处理 DDGI probe placement。(mitsuba2.readthedocs.io)
Inverse Global Illumination using a Neural Radiometric Prior, SIGGRAPH 2023 这篇关注 inverse rendering under global illumination,用 neural radiometric prior 避免对大量 path integrals 直接 auto-diff,降低噪声和计算成本。它与“可微 GI”相关,但目标是恢复 scene parameters,不是优化 irradiance probes。(arXiv)
Differentiable Light Transport with Gaussian Surfels via Adapted Radiosity, 2025 这篇把 Gaussian surfels 和 radiosity-style differentiable light transport 结合,推导 backward pass,用于 relighting 和 geometry reconstruction。它说明近年的趋势是把 GI 近似结构本身做成可微计算图;但它不是 DDGI probe placement。(arXiv)
4. 可以怎么定位你的创新点
你的工作最容易和现有工作的差异表述为:
已有 probe placement 工作大多是启发式、几何驱动、illumination-driven pruning、artist-assisted 或 adaptive sampling;而你的方法把 DDGI/RTXGI 的 probe gather、visibility weighting、interpolation 等过程复刻为可微管线,直接对最终 shading point 的 indirect illumination MSE 反传,优化 probe 的连续位置参数。
更具体地说:
| 方向 | 代表工作 | 和你工作的关系 | 关键差异 |
|---|---|---|---|
| DDGI uniform grid | Majercik et al. 2019 / RTXGI | 你的基础算法 | 它强调 uniform grid 可用,未做端到端位置优化 |
| Non-uniform placement | Wang et al. 2019 | 很相关 | 几何/visibility 驱动,不是 indirect-lighting MSE 可微训练 |
| Illumination-driven pruning | Vardis et al. 2021 | 最接近 loss 思想 | 删除 probe 的离散简化,不是连续坐标优化 |
| Artist-assisted placement | Chajdas et al. 2011 | 早期相关 | 工具流/候选点,不是 DDGI |
| DDGI adaptive sampling/update | ADGI, IS-DDGI | 与 DDGI 性能优化互补 | 优化 sample/ray/update budget,不优化 probe 坐标 |
| Differentiable lighting optimization | Lipp et al. 2024 | 方法论相似 | 优化 luminaire,不优化 probe cache / DDGI representation |
5. 结论
我建议你重点引用并对比这几篇:
- DDGI 原始论文:说明 uniform grid baseline、probe density 影响、以及 adaptive/optimized probe selection 的开放性。
- Wang et al. 2019:代表非均匀 radiance probe placement。
- Vardis et al. 2021:代表以 illumination/radiance error 为目标的 probe set simplification,是最接近你的“用照明误差指导 probe 配置”的工作。
- Chajdas et al. 2011:代表早期 assisted probe placement。
- Lipp et al. 2024:代表可微 lighting design / continuous spatial parameter optimization。
- ADGI / IS-DDGI:说明 DDGI 后续优化主要集中在 adaptive sampling、ray allocation、update 策略,而不是可微 probe coordinate optimization。
从我查到的公开资料看,你的题目有比较明确的新意:把 probe placement 从启发式/离散选择问题改写成 DDGI 渲染误差上的端到端连续优化问题。