sekift / moas

光速吃瓜信息集合。快速体验:http://news.bubbt.com/h5

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

moas-back

moas,恐鸟,于1850年灭绝。在这里是一个集成SpringBoot等工具爬取新闻热点的爬虫。
体验网址:http://news.bubbt.com/h5

项目介绍

moas-crawler爬虫+moas-back web+moas-front前端

1、moas-crawler+moas-back配置

JDK:1.8.0_121
集成环境:IntelliJ IDEA 2019.1
项目管理:Maven 2.5.2
集成框架:SpringBoot 2.1.8+Spring 5.1.9
持久层框架:MyBatis 3.4.6+MyBatis-Generator 1.3.2
数据库:MySql 5.5.25
数据库连接池:Druid 1.1.10
日志框架:Logback 1.2.3
测试框架:Junit 4.12

2、moas-front配置

使用HBuiderX制作的vue项目,具体可看官方文档(https://www.dcloud.net.cn/)。

项目配置

项目配置请看/doc/moas-crawler配置文档.doc,sql数据表信息请看back.sql。

功能更新

2021/05/03 更新
1.增加虚拟机资讯功能。

2020/11/13 更新
1.更换IP。

2020/09/19 更新
1.增加热点功能,按每天、每周等分类。

2020/07/04 更新
1、增加moas-crawler分词功能,热点跟踪。
2、增加moas-back热点词语功能,热点搜索功能。

2020/05/19 更新
1、完善moas-crawler、moas-back项目。
2、完善moas-front项目,打包并运行h5。

2020/04/24 更新
1、第一个版本,整合爬虫moas-crawler。
2、增加爬取微信、百度等11个网站热点。
3、创建moas-back web项目。
4、创建moas-front前端项目。

开发moas-crawer

1、先在数据库top_news_url中增加爬取网站的信息;
2、然后在parser/impl下增加对新加网站的解析,信息爬取;
3、再修改parser/impl下的TopNewsParserImpl;
4、调整入库即可。

注意点

1、moas-front打包后有一js文件300k+,加载启动缓慢,至少5秒左右。
2、分词是使用FoolNLTK包,地址为:https://github.com/rockyzhengwu/FoolNLTK 。注意在centos上线时,如过报错,一般时因为glib版本过低所至,按要求升级。一般libc.so.6升级到20即可。

About

光速吃瓜信息集合。快速体验:http://news.bubbt.com/h5

License:MIT License


Languages

Language:Java 94.7%Language:Vue 3.1%Language:JavaScript 1.6%Language:SCSS 0.3%Language:HTML 0.2%