扫码阅读
手机扫码阅读
实际案例分析-TB级数据迁移方案
110 2024-08-06
我们非常重视原创文章,为尊重知识产权并避免潜在的版权问题,我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容,访问作者的公众号页面获取完整文章。
查看原文:实际案例分析-TB级数据迁移方案
文章来源:
码农周星星
扫码关注公众号
数据迁移背景摘要
在服务重构过程中,需要将原用户数据从旧表迁移到新库。旧库有1TB数据、16个库和512张表,而新库则设为两个实例,每个库含1024张表。迁移目标确保旧服务继续运行,旧服务的存量和增量数据都需要迁移到新库。
数据迁移需求分析摘要
需求分析包括新旧数据的业务逻辑、表结构和表数据分析,以及设计存量和增量数据同步方案的流程图。
新旧数据分析摘要
数据迁移前需要分析新旧表的业务功能差异,系统上下游的依赖关系,以及确保数据迁移时业务的连续性。例如,对于UDID和userId的映射关系要提前处理。还要分析旧库数据的合法性和新旧数据字段间的映射关系。
存量数据迁移方案摘要
存量数据迁移通过三个主要步骤实现:首先,克隆源库数据库,以减轻对线上库的影响;其次,通过生产者程序批量处理克隆库数据并放入工作台(如redis-list);最后,定义工作台的数据处理大小限制,以控制生产者的数据生产节奏。
想要了解更多内容?
查看原文:实际案例分析-TB级数据迁移方案
文章来源:
码农周星星
扫码关注公众号
码农周星星的其他文章
开源项目ZXX-CAS系统从零到一|第一篇:需求分析
ZXX-CAS系统是一个什么样的系统呢?为什么要从零到一分享整个这个开源的项目的教程呢?这个系统又能解决什么问题呢?
开源项目ZXX-CAS系统从零到一|第四篇:A-RBAC权限服务设计与实现
ZXX-CAS如何设计基于应用的权限相关功能,RBAC是什么?A-RBAC又是什么?如何快速使用写代码的方式画UML图呢?
项目经理之必备技能-需求验证与确认
项目管理之需求规格说明书编制
spring boot + Eureka如何平滑上下线服务
系统正常运行,如果要新发版程序,如何保证程序平滑上线,不影响前端的请求?使用Eureka作为注册中心时,会有哪些地方会导致新服务上下线延迟?如何优化并解决服务的正常上下线?
项目经理之必备技能-需求规格说明书
项目管理之需求规格说明书编制
加入社区微信群
与行业大咖零距离交流学习
软件研发质量管理体系建设
白皮书上线