Panoptic nuScenes
birdflies opened this issue · comments
您好 ，目前这个工作可以用在bev图的场景分割吗？
KITTI-360是目前唯一将边界框标注信息覆盖整个三维场景的城市数据集，nuScenes的边界框标注只覆盖了前景的部分类别，可能无法适用该工作。但同期的一个工作PNF可以适用。
您好，
自采数据集有点云和车辆，行人和障碍物等3D框标注，可以在PanopticNeRF上训练吗？
您好，
1.
PanopticNeRF目前支持静态场景，如果场景内存在动态物体(行人、自行车、摩托等)建议参考PNF（CVPR'22）的做法，若行人、车辆在不同帧之间可近似为静态，则仍然可采取PanopticNeRF的训练。
2. PanopticNeRF的训练需要场景内每个物体都有3D框标注，若存在标注框的缺失则建议把这部分class的2D pseudo
label标注为0(unknown class)，再进行训练。
3. 在城市场景的2D pseudo label建议采取 (Tao et al. https://arxiv.org/abs/2005.10821
)的预训练模型获得。
祝好
…On Tue, Feb 21, 2023 at 8:10 PM xiaoquan wang ***@***.***> wrote:
您好，
自采数据集有点云和车辆，行人和障碍物等3D框标注，可以在PanopticNeRF上训练吗？
—
Reply to this email directly, view it on GitHub
<#2 (comment)>,
or unsubscribe
<https://github.com/notifications/unsubscribe-auth/AKNAP2BIM7UOPELCH5ITVJ3WYSWBTANCNFSM5YFXN2EA>
.
You are receiving this because you modified the open/close state.Message
ID: ***@***.***>
--
Xiao Fu
Researcher at Shanghai AI Lab
Incoming Ph.D. at MMLab (Multmedia Lab), CUHK
Homepage: https://fuxiao0719.github.io/
Tel: (+86) 19858125696
您好，
- 是在低速的场景，应该可以近似成静态场景下？
- 天花板，天空，路面，围栏，墙面和柱子的3D框标注要怎么标注啊？
您好，
1. 如果您认为场景物体的移动相对相机来说是静止的，则可以用Panoptic NeRF训练。
2. 路面、围栏、墙面和柱子的标注框可参考下图，都是采取三角片组成的convex
primitives(这里为方体)包裹而成，天空无需标注框(pretrained
model对于天空分割一般都是准确的)，天花板也可参考类似的convex primitives包裹而成。PanopticNeRF对convex
primitive的类型(方体、多边形等)是比较鲁棒的。
[image: image.png]
…On Wed, Feb 22, 2023 at 8:17 PM xiaoquan wang ***@***.***> wrote:
您好，
1. 是在低速的场景，应该可以近似成静态场景下？
2. 天花板，天空，路面，围栏，墙面和柱子的3D框标注要怎么标注啊？
—
Reply to this email directly, view it on GitHub
<#2 (comment)>,
or unsubscribe
<https://github.com/notifications/unsubscribe-auth/AKNAP2HEHBVSZZ3Z6IIX2WDWYX7V7ANCNFSM5YFXN2EA>
.
You are receiving this because you modified the open/close state.Message
ID: ***@***.***>
--
Xiao Fu
Researcher at Shanghai AI Lab
Incoming Ph.D. at MMLab (Multmedia Lab), CUHK
Homepage: https://fuxiao0719.github.io/
Tel: (+86) 19858125696
您好，
- 您给的图片应该损坏了，无法查看。
- convex primitive的类型(方体、多边形等)的标注，有没有相应的标注软件推荐啊？
- 图片见下
- 标注软件可参考KITTI-360的标注软件：https://github.com/autonomousvision/kitti360LabelTool
感谢感谢！
您好, @fuxiao0719
请问一下，PNF有开源吗，或者有相关的代码可以参考吗？
PNF未开源，但是其它可以参考的papers&repos：
- PNF的**基于NSG，这是NSG的开源code ： https://github.com/princeton-computational-imaging/neural-scene-graphs
- PNF的本质上为object decomposition，提供一些相同**的文章(不少已开源)：Neural Scene Graphs (NSGs) | ObjectNeRF | ObjectSDF | Panoptic Lifting | OSFs | Editable free-viewpoint video
您好，请教个问题哈。
objectNeRF的场景编辑需要一个bbox.json，您知道bbox.json是怎么生成的吗，或者bbox.json里面数值的含义是什么吗？
下面是bbox.json的内容。
{ "labels": [ { "id": "1", "data": { "position": [ 2.2837844942793737, 0.6488003671313685, 6.001685665511459 ], "rotation": [ 1.8946632971215467, -0.1095624676165341, 0.553559251247026 ], "quaternion": [ 0.771054293372373, -0.2522670140662573, 0.11654286129474664, 0.5729348931312866 ], "scale": [ 3.9938567122761546, 1.853964693824193, 1.8692240780858735 ] } },