wj-Mcat / transformer

add transformer related blogs & codes

transformer Blog

在这里记录在学习和工作当中对于Transformer的理解和实践知识点。

知识点

• 基础

  • 模型结构
  • Embedding
  • Self Attention
  • Multi Head Attention
  • Encoder
  • Decoder
  • Cross Attention

• 进阶话题

  • 模型类型
  • encoder-only和decoder-only在模型和应用上的区别
  • [ ]

• 高频面试答案

  • 理论基础
    • s

相关论文