python怎么爬取数据保存到数据库

53次阅读

共计 858 个字符，预计需要花费 3 分钟才能阅读完成。

要将爬取的数据保存到数据库，可以使用 Python 的数据库模块（如 SQLite、MySQL、MongoDB 等）将数据插入到数据库中。以下是一个使用 SQLite 数据库保存爬取数据的示例：
首先，需要安装 sqlite3 模块。可以使用以下命令进行安装：

pip install pysqlite3

然后，可以使用以下代码示例将爬取的数据保存到 SQLite 数据库中：

import sqlite3
# 连接到数据库
conn = sqlite3.connect('data.db')
cursor = conn.cursor()
# 创建数据表
cursor.execute('CREATE TABLE IF NOT EXISTS data (id INTEGER PRIMARY KEY AUTOINCREMENT, title TEXT, content TEXT)')
# 获取爬取的数据
data = [{'title': '文章 1', 'content': '内容 1'},
{'title': '文章 2', 'content': '内容 2'},
{'title': '文章 3', 'content': '内容 3'}
]
# 插入数据
for item in data:
cursor.execute('INSERT INTO data (title, content) VALUES (?, ?)', (item['title'], item['content']))
# 提交事务
conn.commit()
# 关闭连接
conn.close()

以上代码示例中，首先使用 sqlite3 模块连接到数据库，并创建了一个名为 data.db 的数据库文件。然后创建了一个名为 data 的数据表，其中包含 id、title 和content三个字段。接着，将爬取的数据存储在一个列表中，然后使用 INSERT INTO 语句将数据逐一插入到 data 表中。最后通过 commit() 方法提交事务，并关闭数据库连接。
需要注意的是，以上示例使用 SQLite 数据库，如果需要使用其他数据库，可以使用相应的数据库模块，并根据对应数据库的语法进行相应的操作。

丸趣 TV 网 – 提供最优质的资源集合！

正文完