怎么用python爬虫抓取网页文本

共计 610 个字符，预计需要花费 2 分钟才能阅读完成。

使用 Python 爬虫抓取网页文本可以使用第三方库 requests 和 beautifulsoup。
首先，安装 requests 和 beautifulsoup 库：

pip install requests
pip install beautifulsoup4

然后，编写 Python 代码：

import requests
from bs4 import BeautifulSoup
# 发送 GET 请求，获取网页内容
url = "http://example.com"  # 要抓取的网页 URL
response = requests.get(url)
html = response.text
# 使用 BeautifulSoup 解析网页内容
soup = BeautifulSoup(html, 'html.parser')
# 提取网页文本
text = soup.get_text()
print(text)

以上代码中，首先使用 requests 库发送 GET 请求，获取网页内容并保存在变量 html 中。然后，使用 BeautifulSoup 库将网页内容进行解析，生成一个 BeautifulSoup 对象 soup。最后，使用 soup 的 get_text() 方法提取网页的纯文本内容，并打印出来。
需要注意的是，使用爬虫抓取网页文本时，需要遵守网站的使用规则，尊重网站的 robots.txt 文件，不进行恶意爬取。另外，可能需要处理一些反爬机制，如设置 User-Agent、延时请求等。

丸趣 TV 网 – 提供最优质的资源集合！