扫码阅读
手机扫码阅读
实际案例分析-TB级数据迁移方案
332 2024-08-06
我们非常重视原创文章,为尊重知识产权并避免潜在的版权问题,我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容,访问作者的公众号页面获取完整文章。
查看原文:实际案例分析-TB级数据迁移方案
文章来源:
码农周星星
扫码关注公众号
数据迁移背景摘要
在服务重构过程中,需要将原用户数据从旧表迁移到新库。旧库有1TB数据、16个库和512张表,而新库则设为两个实例,每个库含1024张表。迁移目标确保旧服务继续运行,旧服务的存量和增量数据都需要迁移到新库。
数据迁移需求分析摘要
需求分析包括新旧数据的业务逻辑、表结构和表数据分析,以及设计存量和增量数据同步方案的流程图。
新旧数据分析摘要
数据迁移前需要分析新旧表的业务功能差异,系统上下游的依赖关系,以及确保数据迁移时业务的连续性。例如,对于UDID和userId的映射关系要提前处理。还要分析旧库数据的合法性和新旧数据字段间的映射关系。
存量数据迁移方案摘要
存量数据迁移通过三个主要步骤实现:首先,克隆源库数据库,以减轻对线上库的影响;其次,通过生产者程序批量处理克隆库数据并放入工作台(如redis-list);最后,定义工作台的数据处理大小限制,以控制生产者的数据生产节奏。
想要了解更多内容?
查看原文:实际案例分析-TB级数据迁移方案
文章来源:
码农周星星
扫码关注公众号
码农周星星的其他文章
系统架构设计师32小时通关笔记:四、信息系统基础知识
第四章主要介绍信息系统基础知识,从概述、总体规划和典型应用三个方面来介绍。
究竟是在北上广好,还是回老家工作好呢?
究竟是在北上广好,还是回老家工作好呢?在老家的工作的氛围究竟是咋样的?接下来,让码农周星星带大家一探究竟~
开源项目ZXX-CAS系统从零到一|第四篇:A-RBAC权限服务设计与实现
ZXX-CAS如何设计基于应用的权限相关功能,RBAC是什么?A-RBAC又是什么?如何快速使用写代码的方式画UML图呢?
观察者模式-什么场景可以使用
在什么场景下我们可以使用观察者模式呢?有什么优缺点呢?
微信抢红包到底是怎么抢到的?
微信抢红包功能,一下子拉近了长辈与我们之间的距离,每年都是盼望着亲人群抢红包,今天来给大家分享一下,为啥抢红包有人多,有人少,什么时候抢最合适?
加入社区微信群
与行业大咖零距离交流学习
软件研发质量管理体系建设
白皮书上线