ksky521 / jsl

集思录数据

Home Page:http://30daydo.com

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

jsl

抓取集思录指定的用户的帖子,存档到mongo

2020-11-27更新 加入登录JS加密与解密

http://30daydo.com/article/44109


使用方法: 安装scrapy + pymongo, 安装mongo服务器

安装完成后运行 python run.py 需要抓取指定的用户名:比如 毛之川 等待程序返回用户的id,然后把id 复制到spider/jisilu.py 文件中的 self.uid = '8132', 替换这个值 修改pipeline.py文件中这一行 self.user = u'毛之川' # 修改为指定的用户名 如 毛之川

新增爬取全站数据

guess_first_day_price_syncup.py 估算可转债上市价格

ezoic increase your site revenue

About

集思录数据

http://30daydo.com


Languages

Language:Python 100.0%Language:Batchfile 0.0%