yangkang2021 / nerf-learn

记录对nerf各种算法、应用、软件等等的学习过程

Nerf(神经辐射场)学习笔记

本人的科研方向是三维重建与对抗生成，Nerf让人惊叹，争取搞清楚每一个数学公式和每一行代码

一. nerf的数学基础

0. Nerf的右手三维坐标系与OpenGL相同
1. 二维和三维的几何变换--还没开始
2. 小孔成像与相机模型
3. 小孔成像的逆过程--没有完成，而且有错误

二. nerf的基本原理

1. 概述
2. 工作流程与基本原理
3. 光线的数学表示与光线采样
4. NeRF最核心公式推导-光线成像模型
5. 相机小孔成像模型的逆变换

三. 读pytorch-nerf项目

6. pytorch-nerf项目介绍
7. pytorch-nerf数据格式与数据加载
8. pytorch-nerf模型创建1之概述
9. pytorch-nerf模型创建2之位置编码
10. pytorch-nerf模型创建3之创建NeRF
11. pytorch-nerf模型训练1之概述
12. pytorch-nerf模型训练2之计算光线
13. pytorch-nerf模型训练3之渲染(光线成像)
14. pytorch-nerf模型训练4之损失函数
15. pytorch-nerf模型测试与推理
16. pytorch-nerf总结

四. 读instant-ngp 源码系列

1. ngp的各个实现版本列表
2. 下载编译运行ngp
3. 读HashNeRF-pytorch项目
4. 读ngp官方cuda代码
5. 用colormap和Record3D准备ngp需要的数据集
6. ngp的模型结构与模型导入导出

五. 读NeuMan (注意：后面的都没有完全整理好)

1. neuman简介
2. neuman环境搭建
3. neuman数据准备
4. neuman运行demo
5. neuman的数据预处理
6. neuman的train.py代码框架
7. neuman训练数据加载
8. neuman背景训练
9. neuman人体训练
10. neuman推理之渲染360度人体动作
11. neuman推理之渲染测试视角
12. neuman推理之渲染新的指定动作
13. neuman推理之多人合并一起渲染

---

六. nerf模型提升的变种

1. mip-NeRF
2. instant-ngp
3. Block-NeRF
4. Plenoctree
5. Plenoxels：即使没有神经网络，从头训练一个辐射场（radiance field）也能达到 NeRF 的生成质量，而且优化速度提升了两个数量级。
6. Neus
7. RobustNeRF
   • 项目地址：https://robustnerf.github.io/public/
   • 文章地址：https://arxiv.org/pdf/2302.00833.pdf
8. TensoRF-张量辐射场
9. KeypointNeRF
10. point-NeRF
    • 训练更快
11. PixelNeRF
12. IBRNet
13. 压缩模型
    • https://mp.weixin.qq.com/s/hltAHEEVd4_ZTeLXxF1-ow
14. AdaNeRF
    • 自适应采样用于神经辐射场实时渲染
    • https://mp.weixin.qq.com/s/XJTrg-iAOC8PQLjsnmL1oQ
15. NeRF++
16. DVGO
    • https://github.com/sunset1995/DirectVoxGO
    • https://blog.csdn.net/weixin_50973728/article/details/126922818
17. NoPe-NeRF：Optimising Neural Radiance Field with No Pose Prior.
    • 主要内容：本文提出了一个无需相机位姿的NeRF重建系统，先对输入图像估计深度，然后借助相邻帧之间估计的深度图构造loss，实现对相机位姿和NeRF模型的同步优化，成为了同步优化位姿和NeRF方向的新SOTA。
    • 项目地址：https://nope-nerf.active.vision/

七. 各种应用场景

1. NGP
   • hash编码的nerf，几秒钟就完成训练。
   • https://github.com/NVlabs/instant-ngp
2. NeuMan
   • 基于Nerf的从单个视频实现人体三维重建。
   • 总结：根据已知人体动作使得重建人物运动，不再是简单的360转动场景，人物跳舞了。
   • https://github.com/apple/ml-neuman
3. SadTalker：头、唇运动超自然，中英双语全能，还会唱歌
   • 代码：https://github.com/Winfredy/SadTalker
   • 论文链接：https://arxiv.org/pdf/2211.12194.pdf
   • 项目主页：https://sadtalker.github.io/
   • 介绍:https://mp.weixin.qq.com/s/s2AxhDuqG4IoaAG1mjRLCg
4. UV Volumes for Real-time Rendering of Editable Free-view Human Performance
   • 以30FPS实时渲染，可自由编辑人体视图
   • 神经体积渲染能够在自由视图中对人类表演者进行照片逼真的渲染，这是沉浸式VR/AR应用中的一项关键任务。但是，由于渲染过程中的高计算成本，这种实践受到了严重限制。为了解决这个问题，我们提出了UV体积，这是一种新的方法，可以实时渲染人类表演者的可编辑自由视图视频。它将高频（即非平滑）的人类外观从3D体积中分离出来，并将其编码为2D神经纹理堆栈（NTS）。平滑的UV体积允许更小、更浅的神经网络在3D中获得密度和纹理坐标，同时在2D NTS中捕捉详细的外观。对于可编辑性，参数化人体模型和平滑纹理坐标之间的映射使我们能够更好地概括新颖的姿势和形状。此外，NTS的使用可以实现有趣的应用，例如重新纹理。在CMU Panoptic、ZJU Mocap和H36M数据集上进行的大量实验表明，我们的模型可以以30FPS的平均速度渲染960 x 540幅图像，其照片逼真度与最先进的方法相当。
   • 项目主页：https://fanegg.github.io/UV-Volumes/
   • 论文地址：https://arxiv.org/pdf/2203.14402.pdf
5. ELICIT
   • 单张图片生成数字人
   • 总结：连视频或者图像集合都不需要，直接从单张图像重建。
   • 项目：https://elicit3d.github.io/
   • 代码：https://github.com/huangyangyi/ELICIT
   • https://mp.weixin.qq.com/s/76-klqy_kiExjAyh2CVQvA
6. Neural Human Performer: Learning Generalizable Radiance Fields for Human Performance Rendering
   • https://github.com/YoungJoongUNC/Neural_Human_Performer
   • https://youngjoongunc.github.io/nhp/
7. Animatable Neural Radiance Fields for Modeling Dynamic Human Bodies
   • https://zju3dv.github.io/animatable_nerf/

---

1. Learning Neural Volumetric Representations of Dynamic Humans in Minutes
   • 在几分钟内学习动态人体的神经体积表示
   • https://zju3dv.github.io/instant_nvr/
   • 个人总结：对NeuMan的速度提升
   • 很快会开源代码
2. Structured Local Radiance Fields for Human Avatar Modeling
   • 基于NeRF自动构建可驱动的实时全身数字人
   • https://arxiv.org/pdf/2203.14478.pdf
   • 没有开源
   • 个人总结：解决NeuMan的问题和效果提升
   • 视频讲解：https://apposcmf8kb5033.pc.xiaoe-tech.com/detail/l_63e4f0bae4b06159f7389b4a/4
3. InstantAvatar
   • 从 60 秒单目视频中学习数字人化身
   • 项目主页：https://tijiang13.github.io/InstantAvatar/
   • 论文：https://arxiv.org/pdf/2212.10550.pdf
   • 介绍：https://mp.weixin.qq.com/s/4Ad72-s--jL0AWkkGE7gAw
   • 没有开源
   • 
4. vid2avatar
   • 一键从视频直接提取角色重建3D动态模型
   • https://moygcc.github.io/vid2avatar/
   • 很快会开源代码
   • https://www.bilibili.com/video/BV1MM41147v5/
5. HeadNeRF
   • 一个实时的基于nerf的参数化的人类头部模型
   • A Real-time NeRF-based Parametric Head Model
   • 论文地址：https://arxiv.org/pdf/2112.05637.pdf
   • 项目主页: https://crishy1995.github.io/HeadNeRF-Project/
   • 代码链接: https://github.com/CrisHY1995/headnerf
   • 介绍：https://m.thepaper.cn/baijiahao_18092004
6. 4D-Facial-Avatars
   • 头部位姿和面部表情重建
   • 总结：直接可以重建动态表情，不是静态模型。
   • https://github.com/gafniguy/4D-Facial-Avatars
   • https://blog.51cto.com/u_15717531/5477328
7. AD-NeRF
   • 由音频驱动的nerf，实现Talking Head。
   • 总结：音频驱动，三维重建人物可以说话了。
   • https://yudongguo.github.io/ADNeRF/
   • https://github.com/YudongGuo/AD-NeRF
8. CLIP-NeRF
   • 文字-图像驱动的NeRF操作
   • 总结：用文字或者图像就能驱动图像变成三维模型
   • https://cassiepython.github.io/clipnerf/
   • https://mp.weixin.qq.com/s/DDt6rVGk4inBFkDnlgBpQA
9. NeRFFaceEditing
   • 使用NeRF进行人脸编辑
   • http://geometrylearning.com/NeRFFaceEditing/
   • https://mp.weixin.qq.com/s/cv6g-5i9C5ej2CQtI0tEGw
10. FENeRF
    • 使用NeRF进行人脸编辑
    • https://mrtornado24.github.io/FENeRF/
    • https://mp.weixin.qq.com/s/G6b9M3PrMjhwRWLJw6GmpQ
11. MoFaNeRF
    • 变脸
    • http://github.com/zhuhao-nju/mofanerf
    • https://mp.weixin.qq.com/s/Wmx6l3IDOBV8PH1taka71w
12. SURF-GAN
    • 在StyleGAN中注入可控三维感知，NeRF-GAN用于可编辑人像合成
    • https://github.com/jgkwak95/SURF-GAN
    • https://mp.weixin.qq.com/s/QcLsHTKEEgB53Z0oi7kaPA
13. ENeRF
    • 真正的动态场景
    • https://zju3dv.github.io/enerf/
    • https://github.com/zju3dv/ENeRF
    • https://mp.weixin.qq.com/s/xuZ6x-ff4WHmGc-vW5j6dw
14. StyleNeRF
    • 结合了NeRF和StyleGAN
    • https://github.com/facebookresearch/StyleNeRF
15. StylizedNeRF
    • NeRF的风格化
    • http://intelligentgraphics.net/StylizedNeRF/
16. HumanNeRF
    • 专注人体三维重建
    • https://grail.cs.washington.edu/projects/humannerf/
    • https://github.com/chungyiweng/humannerf
17. DiffRF:
    • 跟扩散模型的结合
    • Rendering-guided 3D Radiance Field Diffusion
    • https://sirwyver.github.io/DiffRF/
18. NeRF-SLAM
    • 具有神经辐射场的实时密集单目SLAM
    • https://arxiv.org/pdf/2210.13641.pdf
    • https://mp.weixin.qq.com/s/7ez-Jh9BQMQFtxd6x5OP4Q
19. NeRF-Art
    • 如何把一个正常人变成僵尸风格？用NeRF-Art就可以做到！
    • 论文：https://arxiv.org/abs/2212.08070
    • 代码：https://github.com/cassiePython/NeRF-Art
    • https://mp.weixin.qq.com/s/UlAQLMzAvWNKHi4c6u7ckA
20. 非刚体NeRF
    • https://graphics.tu-bs.de/publications/kappel2022fast
    • https://mp.weixin.qq.com/s/FCmY1Z3ChYEHf-j5P5yKEQ (Nerf集合)
21. ClimateNeRF
    • 它可以渲染出真实的天气效果，包括雾霾、雪和洪水
    • https://arxiv.org/pdf/2211.13226.pdf
    • https://mp.weixin.qq.com/s/6KVUMSk-gLpBtNd9kqjeZw
22. 查看更多0
23. 查看更多1
24. 查看更多2
25. 查看更多3
26. Nerf集合

八. 一些nerf项目

1. SMPL-NeRF：https://github.com/HannesStark/SMPL-NeRF
2. block-nerf：https://waymo.com/intl/zh-cn/research/block-nerf
3. nerf-from-image: https://github.com/google-research/nerf-from-image

九. nerf工具箱

1. nerfstudio：https://github.com/nerfstudio-project/nerfstudio
2. multinerf：https://github.com/google-research/multinerf
3. xrnerf：https://github.com/openxrlab/xrnerf

十. 各种参考资料/课程/视频

1. https://www.bilibili.com/video/BV1xW4y1g79Q
2. https://www.bilibili.com/video/BV1RM411B7pm

十一. 商业应用案例

1. NeRF APP
   • 基于NeRF的APP上架苹果商店！照片转3D只需一部手机
   • 这个名叫Luma AI的“NeRF APP”，正式上架App Store后爆火。
   • 苹果appstore下载：https://apps.apple.com/cn/app/luma-ai/id1615849914
   • 

十二. 关于虚拟数字人，数字克隆人

1. Rodin: A Generative Model for Sculpting 3D Digital Avatars Using Diffusion
   • 用扩散模型生成 3d数字人
   • https://3d-avatar-diffusion.microsoft.com/
2. SMPL人体模型
3. 郑泽荣的论文集合：https://zhengzerong.github.io/
4. NeuMan：https://github.com/apple/ml-neuman
5. SMPL-NeRF：https://github.com/HannesStark/SMPL-NeRF
6. HumanNeRF：https://github.com/chungyiweng/humannerf
7. Audio2Face/Audio2Gesture
8. 视觉动作捕捉
9. 语音识别、NLP语音对话、推荐系统、TTS语音合成
10. 人体模型SMPL/+H/-X、SMPLify/+H/-X
11. HybrIK：https://jeffli.site/HybrIK/
12. Photo Wake-Up:
    • 照片大变活人(3D Character Animation from a Single Photo)
    • https://grail.cs.washington.edu/projects/wakeup/
    • 

十三. 关于性能指标

在默认设置情况，V100上训练乐高数据：Speed十每秒的迭代次数。

Model	Split	PSNR(峰值信噪比)	Train Speed	Test Speed
instant-ngp (paper)	trainval?	36.39	-	-
TensoRF (paper)	train (30K steps)	36.46	-	-
Instant-ngp (JNeRF)	-	36.41(5min)	-	-

十四. 问答

1. 记录网友的一些问题