微博数据展示与舆情监控系统后台API
- 该项目初期定位是数据展示和集群监控系统，最终希望在此基础上形成舆论监控系统
- 目前该项目处于数据展示和集群监控阶段
- 当前该项目的功能包括几个方面：
- 监测集群中大数据的数据量，并实时动态地在前端上展示出来
- 监测数据收集速率，即对爬虫进行监控，实时监控爬虫的速率，IP池状况等多方面内容，并对每天爬虫的速率都进行持久化
- 使用前后分离的REST架构风格构建系统
- 使用MySQL数据库进行持久化
- 使用Hadoop生态系统进行大数据的处理
- 使用HBase，MongoDB进行大数据的存储
- 使用TOMCAT8.x作为应用服务器
- 后端使用框架Spring进行事务管理和层次间的解耦
- 使用SpringMVC作为控制层框架
- 使用MyBatis作为持久层框架
- 使用Quartz进行定时任务的调度
- 使用SSH2和mongoDB包分别对操作系统和MongoDB进行监控
- 使用SpringBoot协助开发
- 使用Maven进行包管理
- 使用GIT进行版本控制
- 使用IntelJ IDEA作为后台开发使用的IDE
- 使用POSTMAN进行后端的模拟请求
- 后端API端口号8081
- MySQL数据库的访问使用了C3P0连接池
- 对操作系统、MongoDB、Redis的访问使用了自己构筑的多个连接池
项目中多处用到了定时器工具，主要用于爬虫速率统计和数据定时记录
- 每秒都会更新单秒的爬虫平均速率和五分钟内的爬虫平均速率
- 每天23:59:59会自动计算和保存当天的数据量到mysql数据库中