GuoXianSen / Python_Spyder

Python爬虫

Python爬虫学习笔记

记录Python爬虫学习笔记

基础

与爬虫相关的库

requests

官方中文文档地址：传送门

requests是一个Python第三方库，用于处理url资源

使用方法

import requests

url = "https://guoxiansen.github.io"
html = requests.get(url)

BeautifulSoup

官方中文文档地址：传送门

BeautifulSoup是一个Python第三方库，用于解析网页或者xml文件

使用方法

from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, 'html.parser')

实战项目

• 爬取b站实时弹幕进行分析并制作图床

• 爬取教务系统

• 爬取学校毕业设计信息

Reference