cjf9028 / finch

Deep NLP Examples in TensorFlow 深度学习与自然语言

---

Why This Project?

• simplifies code by using high-level TF interfaces: tf.layers, tf.data, tf.estimator;

• produces lots of clean Notebooks to make life easy;

• can be run on CPU in reasonable time;

---

Contents

• Word Embedding（词向量）
• Text Classification（文本分类）
• Text Generation（文本生成）
• Text Matching（文本匹配）
• Sequence Labelling（序列标记）
• Sequence to Sequence（序列到序列）
• Question Answering（问题回答）
• Knowledge Graph（知识图谱）
• TensorFlow Detail（TensorFlow 细节）

---

Requirements

• Python 3 and Jupyter Notebook are required

  (CPU User) $ pip3 install tensorflow sklearn scipy bunch tqdm wget
  
  (GPU User) $ pip3 install tensorflow-gpu sklearn scipy bunch tqdm wget
  

---

Word Embedding（词向量）

• Penn Treebank（PTB 语料库）

  • Skip-Gram     Notebook

  • CBOW     Notebook

Text Classification（文本分类）

• IMDB Movie Reviews Sentiment（电影评论情感分类）

  • TF-IDF + LR     Notebook

  • Text-CNN     Notebook

  • Gated CNN     Notebook

  • Bi-RNN     Notebook

  • ConvLSTM     Notebook

  • Attention-Pooling     Notebook

Text Generation（文本生成）

• Language Model（语言模型）

  • RNN LM     Notebook

  • Character-Aware LM     Notebook

  • Dilated-CNN LM     Notebook

  • Self-Attention LM     Notebook

• Speech Recognition（语音识别）

  • CTC     Notebook

Text Matching（文本匹配）

• User-Item Matching     Folder

• Question Matching     Folder

Sequence Labelling（序列标记）

• POS Tagging（词性识别）

  • Bi-RNN + CRF     Notebook

  • CNN + CRF     Notebook

• Chinese Segmentation（中文分词）

  • Bi-RNN + CRF     Notebook

  • CNN + CRF     Notebook

Sequence to Sequence（序列到序列）

• Learning to Sort（机器排序）

  • Seq2Seq + Attention + Beam-Search     Notebook

  • Pointer Network     Notebook

  • Transformer     Notebook

• Learning to Dialog（机器对话）

  • Transformer     Notebook

• Learning to Reconstruct（重建句子）

  • VAE (RNN)     Notebook

    • TF Distributions:     Notebook

  • VAE (Dilated-CNN)     Notebook

    • TF Distributions:     Notebook

  • VAE (Self-Attention)     Notebook

• Learning to Control（定向重建句子）

  • VAE + Discriminator     Folder

Question Answering（问题回答）

• Memory Network（记忆网络）

  • End-to-End Memory Network     Notebook

  • Dynamic Memory Network     Notebook

Knowledge Graph（知识图谱）

• Knowledge Representation（知识表示）

  • RDF + SPARQL     Notebook (WN18)

• Link Prediction (链路预测)

  • DistMult (1-1 Scoring)     Notebook (WN18)

  • DistMult (1-N Scoring)     Notebook (WN18)

  • ConvE (1-N Scoring)     Notebook (WN18)

TensorFlow Detail（TensorFlow 细节）

• Loading Data (导入数据)

  • TFRecord: Fixed Length

  • TFRecord: Padded Batch

• Project Template（项目模版）

  • TF Estimator Template

  • TF Dataset Template