通过 scrapy 爬取 AAAI 国际顶会的论文列表并下载
先在 chrome 中登录自己的 AAAI-2021账号
打开开发者工具,找到登录后的第一条,将里面的 Request Headers
中 Cookie
字段文字全部复制
通过这个工具 把 cookie 字符串转成 json
git clone https://github.com/rxrw/scrapy-aaai-2021
首先保证自己有 python3
pip install scrapy
把刚才生成的 json 替换 aaai/settings.py 中的最后 COOKIE 字段
scrapy crawl aaai -o results.csv
可以通过修改主程序来增加更多你想要的字段, pipelines 里面可以调整输出的文件格式