A Multiscale Visualization of Attention in the Transformer Model

[Takumi MARUYAMA]

A Multiscale Visualization of Attention in the Transformer Model

BERTやGPT2の中身を可視化するツール。Attention-head view, Model view, Neuron viewの3つの視点から可視化を行っている。これによってモデルに含まれるバイアスや単語間の関係性などの解釈が容易になる。

文献情報

• 著者: Jesse Vig
• リンク: https://arxiv.org/abs/1906.05714
• 学会: ACL 2019