Measuring the Quality of Explanations: The System Causability Scale (SCS)
subinium opened this issue · comments
Subin An commented
Subin An commented
Definition
- https://arxiv.org/pdf/1912.09024.pdf
- Andreas Holzinger, Andr´e Carrington, Heimo M¨uller
- 의료 도메인에서 나온 논문 (FRT라는 의료 시스템에 적용했다고 함)
- XAI 시스템에서 사용성 평가를 할 수 있는 요소를 고민해볼 수 있는 논문
statement
그리고 상황을 해석하고자 하는 모델도
-
$r$ : representations of an unknown fact$u_e$ related to an entity (데이터의 gt를 나타내는 표현)-
u_e
represents a ground truth$gt$
-
-
$k$ : pre-existing knowledge (사전지식)- embedded in machine
- explicit, implicit, tacit knowledge
-
$c$ : context (문맥)- technical runtime enviroment
- physical enviroment the decision was made
Explainability & Causability
가장 이상적인 시나리오는 ground truth가 적합한 환경에서
하지만 현실은 2가지 문제가 존재한다.
- ground truth는 언제나 well-defined가 아니다.
- 사람 및 과학적 방법론은 인과 메커니즘(causal mechanism)에 대한 충분한 이해가 바탕이지만, machine model은 상관관계/유사도/거리를 바탕으로 한다.
ML은 확률적인 방법론으로 인과모델을 만들기 위한 기초만 제공해줄 수 있고, 따라서 기계의 explainability를 논의하기 위해서는 다음 두 용어를 구별할 것을 제안한다.
-
Explainability : 기술적인 의미에서 machine representation
$r_m$ 과 machine model$m_m$ 이 결정(decision)과 관련된 부분을 강조합니다. 즉, 모델 정확도 및 특정 예측에 기여한 부분을 강조합니다. - Causability : (사용자에게) 상태에 대한 설명이 특정 상황에서 효율성, 효과성, 만족도(effectiveness, efficiency, satisfaction)와 함께 특정 수준의 인과에 대한 이해를 달성하는 정도를 의미합니다.
SUS & SCS
**SUS(System Usability Scale)**는 동의 수준을 평가하는 10개의 문항으로 긍정과 부정을 점수로 매겨 사용성을 평가하는 방법입니다.
이것에 대한 확장으로 10가지 질문(SCS, System Causability Scale)을 만들었습니다.
- I found that the data included all relevant known causal factors with sufficient precision and granularity.
- I understood the explanations within the context of my work.
- I could change the level of detail on demand.
- I did not need support to understand the explanations.
- I found the explanations helped me to understand causality.
- I was able to use the explanations with my knowledge base.
- I did not find inconsistencies between explanations.
- I think that most people would learn to understand the explanations very quickly.
- I did not need more references in the explanations: e.g., medical guidelines, regulations.
- I received the explanations in a timely and efficient manner.