泉州有哪些做网站的,logo网站设计论文,成考过来人的忠告,英文网站建设Python插入100万条数据到MySQL数据库
步骤一#xff1a;导入所需模块和库
首先#xff0c;我们需要导入 MySQL 连接器模块和 Faker 模块。MySQL 连接器模块用于连接到 MySQL 数据库#xff0c;而 Faker 模块用于生成虚假数据。
import mysql.connector # 导入 MySQL 连接…Python插入100万条数据到MySQL数据库
步骤一导入所需模块和库
首先我们需要导入 MySQL 连接器模块和 Faker 模块。MySQL 连接器模块用于连接到 MySQL 数据库而 Faker 模块用于生成虚假数据。
import mysql.connector # 导入 MySQL 连接器模块
from faker import Faker # 导入 Faker 模块用于生成虚假数据步骤二创建 Faker 实例
然后我们创建一个 Faker 实例以便使用其功能生成虚假数据。
faker Faker() # 创建 Faker 实例步骤三连接到 MySQL 数据库
接下来我们使用 MySQL 连接器模块连接到 MySQL 数据库。需要提供主机地址、用户名、密码和数据库名称。
conn mysql.connector.connect(hostlocalhost, # 数据库主机地址userroot, # 数据库用户名password123456, # 数据库密码databasetest2 # 数据库名称
)步骤四创建游标对象
然后我们创建一个游标对象用于执行 SQL 语句。
cursor conn.cursor() # 创建游标对象用于执行 SQL 语句步骤五插入虚假数据
现在我们准备开始插入虚假数据到数据库中。我们使用循环生成多条数据并将其插入到数据库表中。
for _ in range(1000000): # 循环100万次插入100万条数据# 使用 Faker 实例生成虚假数据name faker.name() # 姓名address faker.address() # 地址email faker.email() # 电子邮件phone_number faker.phone_number() # 电话号码job_title faker.job() # 职位company faker.company() # 公司date_of_birth faker.date_of_birth() # 出生日期credit_card_number faker.credit_card_number() # 信用卡号# 定义 SQL 插入语句sql INSERT INTO fake_data (name, address, email, phone_number, job_title, company, date_of_birth, credit_card_number) VALUES (%s, %s, %s, %s, %s, %s, %s, %s)# 设置参数值val (name, address, email, phone_number, job_title, company, date_of_birth, credit_card_number)# 执行 SQL 插入语句cursor.execute(sql, val)步骤六提交事务和关闭连接
最后我们提交事务以保存更改并关闭游标和数据库连接。
conn.commit() # 提交事务保存更改
cursor.close() # 关闭游标
conn.close() # 关闭数据库连接使用 Python 将 MySQL 数据库中的数据逐步查询并写入多个 Excel 文件
步骤一导入所需模块和库
首先我们需要导入 os 模块用于文件和目录操作pandas 库用于数据处理以及 mysql.connector 模块用于连接 MySQL 数据库。
import os # 导入 os 模块用于文件和目录操作
import pandas as pd # 导入 pandas 库并使用 pd 别名用于数据处理
import mysql.connector # 导入 mysql.connector 模块用于连接 MySQL 数据库步骤二连接到 MySQL 数据库
conn mysql.connector.connect(hostlocalhost, # 数据库主机地址userroot, # 数据库用户名password123456, # 数据库密码databasetest2 # 数据库名称
)步骤三设置每个 Excel 文件的行数限制和输出文件夹
chunk_size 50000 # 每个 Excel 文件的行数限制
output_folder output_data # 输出文件夹名称
if not os.path.exists(output_folder): # 如果文件夹不存在则创建os.makedirs(output_folder)步骤四逐步查询数据库并写入 Excel 文件
offset 0 # 查询偏移量初始值为0
while True: # 使用循环查询数据库直到数据查询完毕query fSELECT * FROM fake_data LIMIT {offset}, {chunk_size} # 构造 SQL 查询语句df pd.read_sql(query, conn) # 使用 pandas 读取 SQL 查询结果为 DataFrameif df.empty: # 如果查询结果为空则退出循环breakoutput_file os.path.join(output_folder, foutput_{offset // chunk_size 1}.xlsx) # 构造输出文件路径df.to_excel(output_file, indexFalse) # 将 DataFrame 写入 Excel 文件不写入索引列offset chunk_size # 更新查询偏移量准备下一次查询步骤五关闭数据库连接
conn.close() # 关闭数据库连接最后我们关闭数据库连接释放资源。
