Ivan-Tang-3D / Point-PEFT

(AAAI2024) Point-PEFT: Parameter-Efficient Fine-Tuning for 3D Pre-trained Models

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

Difference between code and paper

123456789asdfjkl opened this issue · comments

您好!非常感谢您的杰出工作!您论文中前L个Stage使用的Point-prior Prompt, 后(N-L)Stage不使用Prompt,但是看您的代码实现Point_Mask_Rev_FT_scan.py,Prompt是始终使用的,在后几个Stage加入的Point-prior Prompt。好像与论文说的不一样,想问您一下我代码理解的是对的吗?

您好!非常感谢您的杰出工作!您论文中前L个Stage使用的Point-prior Prompt, 后(N-L)Stage不使用Prompt,但是看您的代码实现Point_Mask_Rev_FT_scan.py,Prompt是始终使用的,在后几个Stage加入的Point-prior Prompt。好像与论文说的不一样,想问您一下我代码理解的是对的吗?

The L is different for models and Downstream Tasks. In ScanObjectNN, for Point-M2AE, L is 12. Please Refer to the 4.1.1 and 4.1.2 sections in my paper.

我知道L针对不同的数据集和任务时改变的,我想问您的是代码里Prompt是一直有的,Point-prior Prompt是插入到最后一个Stage中的,好像跟论文的图2不一样。图2是在前L个层插入Point-prior Prompt,后面的层不使用Prompt

image

我知道L针对不同的数据集和任务时改变的,我想问您的是代码里Prompt是一直有的,Point-prior Prompt是插入到最后一个Stage中的,好像跟论文的图2不一样。图2是在前L个层插入Point-prior Prompt,后面的层不使用Prompt
image

I'm sorry, the paper is not clear about this aspect. L is targeted for Prompt tokens. The Point-Prior Prompt is only applied in the last stage in Point-M2AE. So the L is 12 for Point-M2AE, which ensures the point-prior prompt for last stage. This derives the faster training and fewer parameters

我明白了,感谢您的解答 !@Ivan-Tang-3D

我明白了,感谢您的解答 !@Ivan-Tang-3D

You are Welcome.