Daily Trend [11-17]

【1】ZeroNVS: Zero-Shot 360-Degree View Synthesis from a Single Real Image

【URL】http://arxiv.org/abs/2310.17994

【Time】2023-10-27

一、研究领域

single-image 野外场景新视图合成。

二、研究动机

从真实 single-image 做 full-scene NVS；研究 SDS 用于 3D 场景合成的局限性和解决方案。

三、方法与技术

训练过程很简单：首先训练 2D 扩散模型 pθ 来执行新颖的视图合成，然后利用它来执行 3D SDS 蒸馏。核心贡献在于改进scene representation，conditional information design，以及sds distillation 使之能够完成场景重建任务。

（1）REPRESENTING OBJECTS/GENERIC SCENES FOR VIEW SYNTHESIS：对于object的生成任务，zero123提出了3DoF camera parameterization，但是它有损于场景任务，于是作者提出了6DoF+1 camera parameterization。

（2）ADDRESSING SCALE AMBIGUITY WITH A NEW NORMALIZATION SCHEME：可见内容在场景中的是不明确的，因此在condition中引入了这种比例信息以校正尺度模糊性。

（3）IMPROVING DIVERSITY WITH SDS ANCHORING：由于 SDS 倾向于生成单一模式，因此对于大的角变化，新视图合成也是一个问题。因此作者提出了 “SDS anchoring” ，先通过迭代去噪，从均匀分布的姿势中直接采样 k 个新视图 ˆ Xk = { ˆ Xj }k j=1 最大场景覆盖的方位角。在优化 SDS 目标时，不是以输入视图为cond，而是以 SO(3) 上距 ˆ Xk ∪ {Xi} 的测地距离中最近的视图为cond。

四、总结

解决的都是很实际的问题，绝对是SDS用于真实野外场景合成的一大突破性工作。