网络爬虫(Web Scraping)学习路线
Published:
学习路线
这个过程可以分为四个阶段:
- 静态网页抓取:学习如何获取那些内容是固定的网页信息。
- 模拟用户交互:学习如何模拟登录、提交表单等操作。
- 动态网页抓取:学习如何处理由 JavaScript 动态加载内容的现代网页。
- 健壮性与进阶:学习如何让你的程序更稳定、更高效、更像一个真正的用户。
第一阶段:静态网页抓取 (入门)
这是基础中的基础。目标是学会向网站发送请求,并从返回的 HTML 中提取你想要的数据。
核心工具:
requests: Python 中最好用的 HTTP 请求库,用来从服务器获取网页内容。BeautifulSoup4(简称 bs4): 用于解析 HTML/XML 文档,让你能轻松地通过标签、ID、CSS 类等方式查找和提取数据。
学习步骤:
学习
requests库:- 安装:
pip install requests - 掌握
requests.get()方法:向一个 URL 发送 GET 请求,获取网页的 HTML 源代码。 - 理解
response对象:了解response.text(网页内容),response.status_code(状态码,200代表成功),response.encoding(编码) 等基本属性。
import requests url = 'http://quotes.toscrape.com/' # 这是一个专门用来练习爬虫的网站 response = requests.get(url) if response.status_code == 200: print("成功获取网页!") # print(response.text) # 打印整个网页的HTML else: print(f"请求失败,状态码: {response.status_code}")- 安装:
学习
BeautifulSoup4库:- 安装:
pip install beautifulsoup4和pip install lxml(lxml 是一个性能很好的解析器) - 核心概念:CSS 选择器。这是你从 HTML 中精确定位元素的“导航系统”。这是必须掌握的重点。
- 学习使用浏览器自带的开发者工具 (F12),在 “Elements” (元素) 标签页中,右键点击你想要的网页内容,选择 “Inspect” (检查),就能看到它的 HTML 结构和 CSS 选择器。
from bs4 import BeautifulSoup import requests url = 'http://quotes.toscrape.com/' response = requests.get(url) soup = BeautifulSoup(response.text, 'lxml') # 使用CSS选择器查找所有名言的文本 # .text 是class='text'的简写 quotes = soup.select('.text') for quote in quotes: print(quote.get_text()) # .get_text() 获取标签内的纯文本 # 查找作者 authors = soup.select('.author') for author in authors: print(f"- {author.get_text()}")- 安装:
第二阶段:模拟用户交互 (进阶)
这个阶段直接对应你图片中代码的核心功能:登录和提交数据。
核心工具:
requests.Session: 一个可以跨请求保持某些参数(特别是 Cookies)的对象,是实现登录状态保持的关键。
学习步骤:
理解 Cookies 和 Session:
- Cookies 是网站存储在用户浏览器上的小数据,用于识别用户身份。当你登录后,服务器会给你一个 Cookie,你之后的每次请求都带上它,服务器就知道是你。
requests.Session()会自动管理 Cookies。你用一个Session对象登录后,后续用同一个对象发出的所有请求都会自动带上登录凭证。
分析登录过程(最重要的技能):
- 再次打开浏览器开发者工具 (F12),并切换到 “Network” (网络) 标签页。
- 勾选 “Preserve log” (保留日志)。
- 在网页上输入用户名、密码,点击登录按钮。
- 在 Network 标签页中,找到那个关键的登录请求(通常是 POST 方法)。
- 点击它,查看它的 Headers (请求头) 和 Payload / Form Data (表单数据)。这里包含了所有需要模拟提交的信息,比如用户名、密码,以及像图片中
CAS_LT那样的隐藏令牌。
学习
requests.post()和requests.Session():- 用
requests.Session()创建一个会话对象。 - 从登录页的 HTML 中提取所有隐藏的表单值 (比如 CSRF token,
CAS_LT)。 - 将你的用户名、密码和这些隐藏值打包成一个字典。
- 使用
session.post(login_url, data=payload_dict)来提交登录请求。 - 登录成功后,用同一个
session对象去访问需要登录才能查看的页面,验证是否成功。
import requests from bs4 import BeautifulSoup # 伪代码示例 session = requests.Session() # 1. 先访问登录页,获取隐藏令牌 (如 CSRF token) login_page_url = 'https://example.com/login' response = session.get(login_page_url) soup = BeautifulSoup(response.text, 'lxml') # 假设令牌在一个 id 为 'csrf_token' 的 input 标签里 csrf_token = soup.select_one('#csrf_token').get('value') # 2. 准备登录数据 login_data = { 'username': 'your_username', 'password': 'your_password', 'csrf_token': csrf_token # 提交这个令牌 } login_api_url = 'https://example.com/api/login' # 3. 发送POST请求登录 login_response = session.post(login_api_url, data=login_data) # 4. 验证登录是否成功 if 'Welcome' in login_response.text: print("登录成功!") # 现在可以用这个 session 对象访问需要权限的页面了 profile_response = session.get('https://example.com/profile') print(profile_response.text) else: print("登录失败!")- 用
第三阶段:处理动态网页 (高级)
很多现代网站用 JavaScript 在你浏览时才加载内容。requests 只能获取最初的 HTML,拿不到 JS 加载的数据。
核心工具:
Selenium或Playwright: 这两个是浏览器自动化工具。它们能像真人一样,启动并控制一个真实的浏览器(Chrome, Firefox等),可以点击按钮、滚动页面、执行 JavaScript,从而获取到动态加载的内容。
学习步骤:
- 安装
Selenium和对应的浏览器驱动 (WebDriver)。 - 学习基本操作:打开网页、查找元素、输入文字、点击按钮、等待特定元素出现。
- 结合
BeautifulSoup:用Selenium获取到渲染完毕的页面 HTML (driver.page_source),然后交给BeautifulSoup去解析,这样可以结合两者的优点。
第四阶段:健壮性与进阶
让你的脚本不那么容易出错,并且更友好。
- 添加 Headers:在请求中加入
User-Agent等请求头,伪装成一个真实的浏览器,防止被一些简单的反爬机制识别。 - 处理异常:使用
try...except语句块来捕获网络错误、解析错误等,避免程序轻易崩溃。 - 设置延时:就像图片中的
time.sleep(10),在每次请求后都等待几秒钟,这是尊重目标网站、防止 IP 被封禁的最基本礼仪。 - 数据存储:学习将抓取到的数据存入文件,如 CSV、JSON,或者数据库。
学习资源推荐
- 练习网站: http://quotes.toscrape.com 和 http://books.toscrape.com,专门为爬虫初学者设计。
- 官方文档:
requests,BeautifulSoup,Selenium的官方文档是最好的学习资料。 - 教程: B站、YouTube 上有大量关于 Python 爬虫的入门和进阶视频教程。
从第一阶段开始,动手写代码,把每个小例子都跑通,然后尝试对自己感兴趣的、结构简单的公开网站进行抓取练习,你会进步得非常快!
