FLAnalyzer 是一款基于Node.js的竞彩足球赛事数据爬取、分析工具。
在命令行下进入 FLAnalyzer 所在目录,执行:
npm install
在爬取或查看数据前,请确认 MongoDB 处于运行状态。
默认数据库为 mongodb://localhost/FLAnalyzer
,可在 ./configs/database.js
中修改。
在命令行下进入 FLAnalyzer 所在目录,执行:
node spider
FLAnalyzer 将自动爬取所有数据,首次爬取大约需要12-18小时,再次运行时将只会爬取有变动的部分。
- 基本信息:比赛时间、联赛名称、双方队名等
- 亚盘赔率:BET365,澳门
- 欧盘赔率:平均欧赔、立博、BET365、澳门、伟德、SNAI
- 必发盈亏:彩客网(310win)的必发盈亏模拟数据
- 竞彩赔率:国内竞彩的胜平负、让球胜平负赔率
- 竞彩投注:国内竞彩的投注量模拟数据(来自竞彩官网)
在完成对比赛数据的爬取后,还将自动检测球队的比赛数据并进行爬取。
通过修改 ./spider.js
来自定义爬虫的参数。
spider([是否强制爬取],[要跳过的爬取内容]);
例如,如下修改将强制重新爬取所有数据,并跳过对竞彩赔率、竞彩交易量、必发盈亏数据的爬取:
spider(true,['jcOdds','jcTrade','bwin']);
为了保证数据完整度,爬虫默认爬取至 2009-11-17 的比赛数据。
但大部分情况下,超出3年的数据已没有太大分析价值。
因此,如仅需要近3-5年的数据,可在./configs/spider.js
中修改 first_date 属性至所需最早日期。
在命令行下进入 FLAnalyzer 所在目录,执行:
node viewer
默认显示最近100场比赛,可使用参数进行自定义查看:
-d, --date [value] 按日期[value]筛选
-g, --game [value] 按联赛[value]筛选
-t, --team [value] 按球队[value]筛选
-h, --home [value] 按主场球队[value]筛选
-a, --away [value] 按客场球队[value]筛选
例如,查询皇家马德里的最近100场比赛数据:
node viewer --team 皇马
暂未完成,可参考 ./analyzer
目录下的半成品文件自行设计。