LiangXiaoEr / ML_Lab_two

Machine Learning Experiment Two

ML_Lab_two

Machine Learning Experiment Two 机器学习实验二

逻辑回归与随机梯度下降

1. 读取实验训练集和验证集。
2. 逻辑回归模型参数初始化，可以考虑全零初始化，随机初始化或者正态分布初始化。
3. 选择Loss函数及对其求导，过程详见课件ppt。
4. 求得部分样本对Loss函数的梯度G。
5. 使用不同的优化方法更新模型参数（NAG，RMSProp，AdaDelta和Adam）。
6. 选择合适的阈值，将验证集中计算结果大于阈值的标记为正类，反之为负类。在验证集上测试并得到不同优化方法的Loss函数值，，和。
7. 重复步骤4-6若干次，画出，，和随迭代次数的变化图。

线性分类与随机梯度下降

1. 读取实验训练集和验证集。
2. 支持向量机模型参数初始化，可以考虑全零初始化，随机初始化或者正态分布初始化。
3. 选择Loss函数及对其求导，过程详见课件ppt。
4. 求得部分样本对Loss函数的梯度G。
5. 使用不同的优化方法更新模型参数（NAG，RMSProp，AdaDelta和Adam）。
6. 选择合适的阈值，将验证集中计算结果大于阈值的标记为正类，反之为负类。在验证集上测试并得到不同优化方法的Loss函数值L_NAG，L_RMSProp，L_AdaDelta和L_Adam。
7. 重复步骤4-6若干次，画出L_NAG，L_RMSProp，L_AdaDelta和L_Adam随迭代次数的变化图。