扫码阅读
手机扫码阅读

建议收藏!Python 读取千万级数据自动写入 MySQL 数据库

1608 2023-07-12

我们非常重视原创文章,为尊重知识产权并避免潜在的版权问题,我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容,访问作者的公众号页面获取完整文章。

查看原文:建议收藏!Python 读取千万级数据自动写入 MySQL 数据库
文章来源:
杰哥的IT之旅
扫码关注公众号

在工作中,Python 自动将数据写入 MySQL 数据库的需求很常见。本文详细介绍了如何将千万级数据高效写入 MySQL 数据库,涵盖两种场景和三种方法。

场景一

当数据不需要频繁写入 MySQL 时,可以使用 Navicat 工具的导入向导功能。该工具支持多种文件格式,并能自动建表或向已有表中插入数据。

场景二

对于需要自动化并频繁写入 MySQL 的增量数据,作者提供了两种方法:

方式一

使用 Python 结合 pymysql 库,通过分块处理和遍历,将数据批量写入到 MySQL。这种方法需要先安装 pymysql,并且代码量较大。实现过程中涉及数据库连接设置、分块读取 CSV 文件、构造 SQL 语句并执行。

方式二

结合 Pandas 和 sqlalchemy,利用简洁的代码实现了相同的功能。此方法不需要预先建立数据库表,且效率更高。

总结

pymysql 方法耗时约 12 分 47 秒,而 Pandas 方法只需约 4 分钟。考虑到代码量和效率,作者建议使用第二种方法。对于追求更高速度的用户,建议尝试多进程或多线程。

文末提供了三种数据存入 MySQL 的方法总结,并推荐了相关的 Python 进阶阅读材料,包括多任务进程、PDF 数据提取、桌面小工具开发及桑基图绘制等。

想要了解更多内容?

查看原文:建议收藏!Python 读取千万级数据自动写入 MySQL 数据库
文章来源:
杰哥的IT之旅
扫码关注公众号