NeuroX神经网络分析工具包

[www.ziwang.com]

https://github.com/fdalvi/NeuroX
NeuroX提供了所有必要的工具来执行以探测为中心的（深度）神经网络的解释和分析。具体而言，该工具包提供：

支持从流行模型（包括整个变压器）中提取激活，并计划在不久的将来扩展对OpenNMT-py等其他模型的支持
支持在这些激活之上、模型的整个激活空间、特定层甚至特定神经元集上训练线性探针。
支持与特定概念相关的神经元提取，使用线性相关分析方法（什么是沙漠中的一粒沙？分析深度NLP模型中的单个神经元。该工具包可以提取对特定目标类重要的神经元的局部排名，也可以提取对所有目标类重要的神经元的全局排名。
通过去除或归零特定神经元来确定其功能和重要性来支持消融分析。
支持跨各种分词器（包括 BPE 和转换器库中的所有分词器）进行子词和字符级聚合。
支持对常规文本的激活可视化，以生成特定句子神经元活动的定性样本。
可以使用此工具包提供的许多功能的演示。