Python网络爬虫使用cookiejar管理cookie

33次阅读

共计 817 个字符，预计需要花费 3 分钟才能阅读完成。

在 Python 中，可以使用 http.cookiejar 模块中的 CookieJar 类来管理 cookie。下面是一个示例代码，演示如何使用 CookieJar 类来管理 cookie：

import urllib.request
import http.cookiejar
# 创建一个 CookieJar 对象
cookie_jar = http.cookiejar.CookieJar()
# 创建一个 HTTPCookieProcessor 对象
cookie_processor = urllib.request.HTTPCookieProcessor(cookie_jar)
# 创建一个 OpenerDirector 对象
opener = urllib.request.build_opener(cookie_processor)
# 使用 OpenerDirector 对象发送 HTTP 请求
response = opener.open('http://www.example.com')
# 打印响应内容
print(response.read().decode('utf-8'))
# 输出所有的 cookie
for cookie in cookie_jar:
print(cookie.name, cookie.value)

在上述示例中，我们首先创建了一个 CookieJar 对象，然后使用 HTTPCookieProcessor 将其与 build_opener 函数返回的 OpenerDirector 对象关联起来。接下来，我们使用 OpenerDirector 对象发送 HTTP 请求，此时会自动处理 cookie。最后，我们可以通过遍历 CookieJar 对象来获取所有的 cookie。
需要注意的是，http.cookiejar模块中还提供了其他的类，如 FileCookieJar、MozillaCookieJar 和LWPCookieJar等，可以根据需要选择合适的类来管理 cookie。