从零到一搭建经典的机器学习模型和深度学习模型
-
深度学习框架和机器学习库对机器学习模型进行非常高的封装，也使得不是该领域内的算法工程师和爱好者都能够快速训练和部署自己模型，但是对于一直长期从事机器学习相关算法的算法工程师，基础的日常熟练掌握非常重要，故有重新对相关的算法温故,采用pandas、numpy和python三方库(面向对象程序设计方案)实现这些模型
-
从零重写了scikit-learn 关于机器学习的经典算法函数
经典机器学习模型
线性回归(Linear Regression) 🚀 ToDo
逻辑回归(Logistic Regression)
决策树(Decision Tree)
Kmeans
SVM
SVD
PCA
random_forest
AdaBoost
GBDT
XGBoost
LightGBM
CatBoost
HMM
GMM
KNN
LDA
贝叶斯(Bayesian model)
CRF
......
参考文献
Machine_Learning_Code_Implementation
深度学习模型
CNN
RNN
Transformer
Transformer-x
Attention(self-attention)
Seq2Seq
GNN
embeddding method
word2vec
fasttext
node2vec
......
参考文献
best-of-ml-python 深度学习中的 Attention 机制总结与代码实现（2017-2021年）
xmu-xiaoma666/External-Attention-pytorch
Graph Neural Networks for Natural Language Processing: A Survey 一文看尽深度学习中的各种注意力机制（1998-2020年） 深度学习笔记3：手动搭建深度神经网络（DNN）
PTM(Pretrained Model)
- PTM模型大部分是基于上面基础深度学习网路，通过某种策略，搭建而成