exiawsh / StreamPETR

[ICCV 2023] StreamPETR: Exploring Object-Centric Temporal Modeling for Efficient Multi-View 3D Object Detection

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

远处目标有较多重影,近处同向目标较为正常,应如何解决

Gaondong opened this issue · comments

你好,我使用streampetr训练了前视三个相机数据,发现存在远处目标学习不好,有重复检测的情况,当前可视化confidence 阈值为0.2,请问有什么方式可以解决吗,depth分布使用的LID,这是否会有影响
image

不需要更改depth分布。是否有尝试过延长训练时间,通常30米以上就会出现较多重影。可以参考下面的方法解决,使用query denosing构造类似的FP样本进行学习;
https://github.com/LiewFeng/RayDN 或者
https://github.com/megvii-research/Far3D

不需要更改depth分布。是否有尝试过延长训练时间,通常30米以上就会出现较多重影。可以参考下面的方法解决,使用query denosing构造类似的FP样本进行学习; https://github.com/LiewFeng/RayDN 或者 https://github.com/megvii-research/Far3D

还没有尝试过延长时间,当前有300万bundle数据,bs=8*8gpu,训练时长为46万次迭代(10 epoch),学习率为4e-4,请问应该如何调整

学习率6e-4,应该不需要延长时间。主要是模型问题,试一下我提的那两个query denosing和deformable attention

学习率6e-4,应该不需要延长时间。主要是模型问题,试一下我提的那两个query denosing和deformable attention

image
看起来rag-denosing还使用了多尺度,且3D position embedding也有所不同,我当前是只需要把这个工程中ray-denoise相关的代码拿到streampetr head中试试吗?

是的,您就只需要把denosing搬过来,之后再试试repdetr3d中的多尺度:
https://github.com/exiawsh/StreamPETR/blob/main/projects/configs/RepDETR3D/repdetr3d_vov_800_bs2_seq_24e.py

What kind of learning data did you use?

nuscene? or custom data?

@Gaondong thank you!