aipixel / GPS-Gaussian

[CVPR 2024 Highlight] The official repo for “GPS-Gaussian: Generalizable Pixel-wise 3D Gaussian Splatting for Real-time Human Novel View Synthesis”

Home Page:https://shunyuanzheng.github.io/GPS-Gaussian

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

如何自建数据集?

463f opened this issue · comments

Thks for your excellent work!!!
作者您好,我想问一下:

  1. 如何把自己的数据集转换为 GPS-Gaussian 训练的格式呢?有没有文档呢?

自己数据集的格式:

|-image
    |- 00 # cam
        |- 0000.jpg # frame
        |- ...
|- extri.yaml
|- intri.yaml
  1. 如果想在自己的数据集上测试的话,格式是不是要和 real_data.zip 中的所示一致呢?real_data/parm/0001 每一帧下面都有16个相机的内外参,我理解的是相机是固定的,不是可以共用一组内外参吗?为什么还要重复呢?

Note: At the first training time, we do stereo rectify and determine the disparity offline, the processed data will be saved at render_data/rectified_local.
请问如果相机的部署比较随意,比如有的相机拍摄的人物横着的,会影响立体矫正的效果吗?

同问。

Thks for your excellent work!!! 作者您好,我想问一下:

  1. 如何把自己的数据集转换为 GPS-Gaussian 训练的格式呢?有没有文档呢?

自己数据集的格式:

|-image
    |- 00 # cam
        |- 0000.jpg # frame
        |- ...
|- extri.yaml
|- intri.yaml
  1. 如果想在自己的数据集上测试的话,格式是不是要和 real_data.zip 中的所示一致呢?real_data/parm/0001 每一帧下面都有16个相机的内外参,我理解的是相机是固定的,不是可以共用一组内外参吗?为什么还要重复呢?

针对问题1,有需要的话之后我将会写一个更详细的数据说明文档。外参是w2c的,matting使用RVM或者Background Matting V2。
针对问题2,,测试场景相机内外参确实是每个视点一样的,为了和训练数据保持同样的格式,所以我每一帧复制了一份,固定相机的话修改一下dataloader就好。此外,网络的训练需要深度真值,所以建议在虚拟数据上训练,在真实数据上测试。

Note: At the first training time, we do stereo rectify and determine the disparity offline, the processed data will be saved at render_data/rectified_local.
请问如果相机的部署比较随意,比如有的相机拍摄的人物横着的,会影响立体矫正的效果吗?

可以看一下立体矫正之后图像的效果,如果人还在画面中就是可以的。随机的相机布置需要虚拟一些随机基线的数据进行训练来覆盖这些场景。

Thks for your excellent work!!! 作者您好,我想问一下:

  1. 如何把自己的数据集转换为 GPS-Gaussian 训练的格式呢?有没有文档呢?

自己数据集的格式:

|-image
    |- 00 # cam
        |- 0000.jpg # frame
        |- ...
|- extri.yaml
|- intri.yaml
  1. 如果想在自己的数据集上测试的话,格式是不是要和 real_data.zip 中的所示一致呢?real_data/parm/0001 每一帧下面都有16个相机的内外参,我理解的是相机是固定的,不是可以共用一组内外参吗?为什么还要重复呢?

针对问题1,有需要的话之后我将会写一个更详细的数据说明文档。外参是w2c的,matting使用RVM或者Background Matting V2。 针对问题2,,测试场景相机内外参确实是每个视点一样的,为了和训练数据保持同样的格式,所以我每一帧复制了一份,固定相机的话修改一下dataloader就好。此外,网络的训练需要深度真值,所以建议在虚拟数据上训练,在真实数据上测试。

请问有没有更详细的数据说明文档呢?最近也想训练自己的数据集

Thks for your excellent work!!! 作者您好,我想问一下:

  1. 如何把自己的数据集转换为 GPS-Gaussian 训练的格式呢?有没有文档呢?

自己数据集的格式:

|-image
    |- 00 # cam
        |- 0000.jpg # frame
        |- ...
|- extri.yaml
|- intri.yaml
  1. 如果想在自己的数据集上测试的话,格式是不是要和 real_data.zip 中的所示一致呢?real_data/parm/0001 每一帧下面都有16个相机的内外参,我理解的是相机是固定的,不是可以共用一组内外参吗?为什么还要重复呢?

针对问题1,有需要的话之后我将会写一个更详细的数据说明文档。外参是w2c的,matting使用RVM或者Background Matting V2。 针对问题2,,测试场景相机内外参确实是每个视点一样的,为了和训练数据保持同样的格式,所以我每一帧复制了一份,固定相机的话修改一下dataloader就好。此外,网络的训练需要深度真值,所以建议在虚拟数据上训练,在真实数据上测试。

请问有没有更详细的数据说明文档呢?最近也想训练自己的数据集

抱歉,最近其他事有点多,可能需要再过段时间。训自己的数据有问题加我微信私聊吧,这样高效一些。微信号:Tau97_Zheng