KaygoYM / Big-Data-Prediction

Trying to do predictions via Big-Data Technology and Machine-Learning.

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

大数据预测模型

DEMO version

在Intern的时候帮某客户做一个预测的模型。因而想到从该模型中抽一部分出来做一个DEMO,旨在和大家分享一下一般建立预测模型框架的思路。
因涉及项目机密,本程序不会使用原数据,而用相似的boston数据集。
区别在于原数据集数据量少而特征多,所以要做特征工程,而boston数据集则是数据量多而特征少。
项目经验告诉我们,【特征工程】的好坏对最终效果有非常大的影响!
因而本项目也不会开完整源代码。本程序旨在分享一般搭建模型框架的思路。

本程序只是一个demo版本,仅用于学习使用!
This project is for learning only!

文件介绍_Introduction

  • main.py:主函数入口

一般建模思路_Frame


具体细节,请细看demo代码的注释部分!

效果_Results

对于DEMO部分,最终验证的MSE: 12.7812MAE: 2.5694。验证效果图如下:

对于实际项目部分,(脱敏后的)结果展示如下:

可见,我们的模型的验证表现还是相当不错的。


当然我们也尝试了多种方法和不同的评价指标。
可见【特征工程】+【模型】的选择好坏对最终效果有非常大的影响!(具体用了啥就不透露啦~)

备注_Tips

XGB原理详解
数据挖掘大杀器Stacking详解

About

Trying to do predictions via Big-Data Technology and Machine-Learning.


Languages

Language:Python 100.0%