douban 用scrapy以及BeautifulSoup爬取豆瓣整站 scrapy是真心好用，现在虽然爬取一些后会被禁掉，但是我马上加上代理池，那样就完美了后期会把BeautifulSoup换成Xpath，添加User-Agent池，并且添加更多 信息最后对数据进行分析