rainaJung / Statistical-Learning-Methods

《统计学习方法》python实现

使用python实现《统计学习方法》中所有算法

系列博客见：https://blog.csdn.net/philpanic9/category_8099542.html
实验数据来源：MNIST，人民日报2014NER数据

第二章：感知机（适用于线性可分的二分类问题）

任务	训练集规模	测试集规模	测试集精度
区分>=5和<5的数字	60000	10000	0.76
区分0和1	12665	2115	0.99

第三章：K近邻（适用于多分类问题）

任务	训练集规模	测试集规模	测试集精度
区分0-9	60000	500	0.97

第四章：朴素贝叶斯（适用于特征相关性低的多分类问题）

任务	训练集规模	测试集规模	测试集精度
区分0-9	60000	10000	0.84

第五章：决策树（ID3）（分类回归均可，这里只实现了分类）

任务	训练集规模	测试集规模	测试集精度
区分0-9	60000	10000	0.87

第六章：逻辑回归（二分类）

任务	训练集规模	测试集规模	测试集精度
区分>=5和<5的数字	60000	10000	0.87
区分0和1	12665	2115	0.99

第六章：最大熵（多分类）

任务	训练集规模	测试集规模	测试集精度
区分0-9	20000	2000	0.84

第七章：支持向量机（二分类）

任务	训练集规模	测试集规模	测试集精度
区分01	1042	211	0.99

第八章：Adaboost（二分类）

任务	训练集规模	测试集规模	测试集精度
区分01	1042	211	0.99

第九章：EM（高斯混合模型）

第十章：隐马尔可夫模型（序列标注，语言模型）

任务	训练集规模	测试集规模	测试集精度
人民日报2014NER	1600	400	0.87

第十一章：条件随机场（序列标注）

只在小样本上做了测试