6vdata是一个面向A股市场的数据分析平台和工具. 请访问: http://6vdata.com
- python 3.6
- python依赖: 见requirments.txt
- mongodb 3.2.22
use site6vdata - mysql 5.7.26
- env: 基于py3.6的运行环境, 希望控制项目大小, 所以不拆分环境
- webserver: 基于Django的web服务
- server: server端工具, 主要是数据采集
- data: 数据
- tools: 数据转移, 备份等工具
- tushare提供股票基础数据
- 在linux下, 尤其是只有命令行的状态下, chrome driver很难跑起来, 常常报
chromedriver unexpectedly exited. Status code was: 127, 可以用sudo apt-get install -y chromium-browser一把解决依赖问题. - 在linux下, 尤其是只有命令行的状态下, chrome driver很难跑起来, 除了依赖, 而且没有屏幕, 此问题参考这里
- 上一个问题也可以用
Xvfb :99 -ac & export DISPLAY=:99 - 在linux, 记得安装
apt install python3.6-dev, 否则mysql连接器各种奇奇怪怪报错.
在6vdata申请之初, 本来只是希望练练手, 做点数据分析, 顺便吸点流量, 后来机缘巧合, 居然走到了VC(venture capital)岗位上, 居然真的要在工作中分析A股市场了, 因此推倒之前的第一版, 重新来做.
本周末计划先搭起来webserver架子, 设计好接口, 开始每天抓全部上市公司相关的公众号文章, 从数据积累开始. 接下来会搬上来年报查询工具.
TODO:
- log还没搞.
爬虫基本上可以了, 需要进一步调试
TODO:
- 写入之前先查一下, 如果title或URL已有, 则不写.