KaihuaTang / Long-Tailed-Recognition.pytorch

[NeurIPS 2020] This project provides a strong single-stage baseline for Long-Tailed Classification, Detection, and Instance Segmentation (LVIS). It is also a PyTorch implementation of the NeurIPS 2020 paper 'Long-Tailed Classification by Keeping the Good and Removing the Bad Momentum Causal Effect'.

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

关于classifier normalize?

HX-idiot opened this issue · comments

你好,看了您的paper受益匪浅。
这边有个问题想问一下,paper中提到,借鉴propensity score的**,对logit进行normalize。不知道这个是什么原理呢?如果不加normalize对de-confound的影响大吗?

可以参考“An Introduction to Propensity Score Methods for Reducing the Effects of Confounding in Observational Studies”这篇文章。如果不用normalization相当于de-confound不彻底,会导致之后TDE不work,即,因为confound path的存在,所以得不到direct effect

follow了一下,所以您是将当前观测到的样本当作是从do(x)之后的distribution中采样来的,因此给他们赋予了一个$weight = 1/P(x|M=m)$对吧?那为什么P(x|M=m) 可以近似为 L2-norm呢?这是基于什么得出的呢?

关于怎么设计这个normalization,我们还是偏经验主义。因为Propensity Score的**只告诉我们需要对effect做balancing,但具体怎么设计其实是很开放的。

@KaihuaTang
您好,您有试过 例如加入 circle loss ,数据不平衡的训练中加入该CausalNormClasseifer, 因为您的论文中有特征图的可视化,发现学习到的特征图更紧凑, 所以考虑 是否可以加入CausalNormClasseifer 分支 当作辅助训练,

@KaihuaTang
您好,您有试过 例如加入 circle loss ,数据不平衡的训练中加入该CausalNormClasseifer, 因为您的论文中有特征图的可视化,发现学习到的特征图更紧凑, 所以考虑 是否可以加入CausalNormClasseifer 分支 当作辅助训练,

我没有试过,听起来好像挺靠谱的。你可以试一下看work不work

@KaihuaTang
好的,我试一下,然后反馈一下。
我是直接加一个 CausalNormClasseifer + crosse+entropy loss, 使用它有什么超参数需要注意的吗?