On Pixel-Wise Explanations for Non-Linear Classifier Decisions by Layer-Wise Relevance Propagation
subinium opened this issue · comments
Introduction
이번 정리는 아래 도움되는 자료의 내용가 확실히 잘 설명해주고 있음
- 저널 논문은 처음인 느낌(?)
- image classification 시스템에서 모델의 해석은 중요
- 모델 결과를 픽셀 단위로 decomposition 하여
- heatmap style로 visualization!
General Concept
- d차원 입력 x의 각 차원의 relevance score를 계산하는 것이 목적
- f(x) = \sigma_{i=i}^d R_i
- 각 픽셀의 기여(relevance)하는 값의 합 = 결과
- 기여도가 양수면 그렇게 예측한 이유, 음수면 그것을 방해한 이유
Layer-wise relevance propagation
- 각 layer 층에 대해서 기여도의 합은 보존