NLP-Funda-2023-Spring

2023 Sping NLP Fundamental Course 2023 春季 NLP 基础课程

Course Hour：Every Weekend 16:00pm-17:30pm

Syllabus

NLP基础概念及评价标准
- 语言模型及NLP的概念
- NLP的度量指标
- 语言模型生成文本的思路
基于统计的NLP模型之 N-Gram
- N-Gram概念
- N-Gram 平滑优化
基于统计的NLP模型之概率图模型
- Markov Model 马尔科夫模型
- HMM 隐藏马尔科夫模型
- MEMM 最大熵马尔科夫模型
- CRF 条件随机场模型
NLP之文本预处理技术
- 文本分词
- 停用词过滤
- 拼写纠错
- 词性还原
- 词干提取
NLP之基于统计的文本表示技术
- One Hot 表示
- 词袋模型表示
- TF-IDF模型表示
NLP之基于神经网络的文本表示技术
- Word2Vect概念
- C-BOw模型
- Skip-Gram 模型
- 负采样与层次Softmax
NLP之基于统计和神经网络的文本表示技术
- 共现矩阵的概念
- Glove 模型概念
NLP之神经网络模型RNN
- RNN 模型
- RNN 的缺陷：梯度爆炸，梯度消失
NLP之先进RNN模型
- LSTM 模型
- GRU 模型
- 双向RNN模型
- 多层RNN模型
NLP之 Seq2Seq模型
- Encoder-Decoder 模型
- Seq2Seq的优化演进
NLP之 Transformer模型
- Transformer模型概述
- Word Embedding 与 Positional Encoding
- Encoder 编码器详解
- Decoder 解码器详解
NLP之 Bert模型
- Bert模型概述
- Bert的预训练任务
NLP之 GPT模型
- GPT模型概述
- GPT1.0模型
- GPT2.0模型
- GPT3.0模型
- Instruct GPT
NLP之 Prompt Learning
- 预训练模型概述
- Pre-Training 和 Fine Tunning 范式
- Prompt 范式