Python爬取数据存入MySQL的方法是什么

51次阅读

共计 1388 个字符，预计需要花费 4 分钟才能阅读完成。

Python 爬取数据存入 MySQL 的方法有以下几种：

使用 Python 的 MySQLdb 模块：MySQLdb 是 Python 与 MySQL 数据库交互的接口模块，可以通过安装 MySQLdb 模块并导入使用，通过执行 SQL 语句将爬取到的数据插入 MySQL 数据库中。

import MySQLdb

# 建立数据库连接 
db = MySQLdb.connect(host="localhost", user="root", passwd="password", db="database")

# 创建游标对象 
cursor = db.cursor()

# 执行 SQL 语句 
sql = "INSERT INTO table (column1, column2) VALUES ('value1', 'value2')"
cursor.execute(sql)

# 提交数据库事务 
db.commit()

# 关闭游标和数据库连接 
cursor.close()
db.close()

使用 Python 的 pymysql 模块：pymysql 是一个纯 Python 编写的 MySQL 数据库驱动，可以通过安装 pymysql 模块并导入使用，通过执行 SQL 语句将爬取到的数据插入 MySQL 数据库中。

import pymysql

# 建立数据库连接 
db = pymysql.connect(host="localhost", user="root", passwd="password", db="database")

# 创建游标对象 
cursor = db.cursor()

# 执行 SQL 语句 
sql = "INSERT INTO table (column1, column2) VALUES ('value1', 'value2')"
cursor.execute(sql)

# 提交数据库事务 
db.commit()

# 关闭游标和数据库连接 
cursor.close()
db.close()

使用 Python 的 SQLAlchemy 模块：SQLAlchemy 是 Python 中的一个数据库工具包，可以通过安装 SQLAlchemy 模块并导入使用，通过建立数据库连接、创建数据库会话对象并插入数据来将爬取到的数据存入 MySQL 数据库。

from sqlalchemy import create_engine
from sqlalchemy.orm import sessionmaker
from your_module import Base

# 建立数据库连接 
engine = create_engine('mysql://user:password@localhost/database')
Base.metadata.bind = engine

# 创建数据库会话对象 
DBSession = sessionmaker(bind=engine)
session = DBSession()

# 插入数据 
new_data = YourTable(column1='value1', column2='value2')
session.add(new_data)
session.commit()

# 关闭会话 
session.close()