本文是对 NLP 技术的总结,言简意赅地直接剖析概念,抽出该领域骨架重组,写作和总结是知识、技能内在化的基石。对“ NLP 是什么”,这是一个人摸不全的大象,本人初衷不是追求概念上的正统、全面,而是乐于看到不同**、技术理念、NLP 实践百花齐放,吾辈站在巨人肩膀上,有所思考,有所收获,即知足。
这是两个流行的 NLP 通用工具,看过第一部分的总结,再看 jupyter notebook 中的示例,效果更好。
这是《自然语言处理入门》作者的开源框架,它用 Java 开发,提供的 Python 接口兼容 Python2、Python3,点击查看随书代码。
对话机器人是NLP技术极其有代表性的落地项目,受限于 GPU 算力,我不能探索更复杂的网络,该对话机器人程序使用 keras、TensorFlow 构建。
推荐李嫣然博士的课程,该课程是对聊天机器人/对话机器人这个应用领域的科普。
-
词向量技术
one-hot,词袋,word2vec,fasttext,glove,elmo....,它是当前NLP任务开战的重要步骤,直接影响后续操作的结果.
-
序列问题
分词,词性标注,命名实体识别,依存句法分析
-
机器学习算法
逻辑回归,SVM,决策树,boost,K-means,crf,朴素贝叶斯
-
深度学习算法
CNN,RNN,LSTM,attention,transformer,gpt,bert等.
-
其它技术
基于机器学习的预处理,ML技术与NLP的交叉,如基于深度学习的端到端,关键提取,知识图谱