rainaJung / Statistical-Learning-Methods

《统计学习方法》python实现

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

使用python实现《统计学习方法》中所有算法

系列博客见:https://blog.csdn.net/philpanic9/category_8099542.html
实验数据来源:MNIST人民日报2014NER数据

第二章:感知机(适用于线性可分的二分类问题)

任务 训练集规模 测试集规模 测试集精度
区分>=5和<5的数字 60000 10000 0.76
区分0和1 12665 2115 0.99

第三章:K近邻(适用于多分类问题)

任务 训练集规模 测试集规模 测试集精度
区分0-9 60000 500 0.97

第四章:朴素贝叶斯(适用于特征相关性低的多分类问题)

任务 训练集规模 测试集规模 测试集精度
区分0-9 60000 10000 0.84

第五章:决策树(ID3)(分类回归均可,这里只实现了分类)

任务 训练集规模 测试集规模 测试集精度
区分0-9 60000 10000 0.87

第六章:逻辑回归(二分类)

任务 训练集规模 测试集规模 测试集精度
区分>=5和<5的数字 60000 10000 0.87
区分0和1 12665 2115 0.99

第六章:最大熵(多分类)

任务 训练集规模 测试集规模 测试集精度
区分0-9 20000 2000 0.84

第七章:支持向量机(二分类)

任务 训练集规模 测试集规模 测试集精度
区分01 1042 211 0.99

第八章:Adaboost(二分类)

任务 训练集规模 测试集规模 测试集精度
区分01 1042 211 0.99

第九章:EM(高斯混合模型)

第十章:隐马尔可夫模型(序列标注,语言模型)

任务 训练集规模 测试集规模 测试集精度
人民日报2014NER 1600 400 0.87

第十一章:条件随机场(序列标注)

只在小样本上做了测试

About

《统计学习方法》python实现


Languages

Language:Python 100.0%