扫码阅读
手机扫码阅读

实际案例分析-TB级数据迁移方案

373 2024-08-06

我们非常重视原创文章,为尊重知识产权并避免潜在的版权问题,我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容,访问作者的公众号页面获取完整文章。

查看原文:实际案例分析-TB级数据迁移方案
文章来源:
码农周星星
扫码关注公众号
数据迁移策略摘要

数据迁移背景摘要

在服务重构过程中,需要将原用户数据从旧表迁移到新库。旧库有1TB数据、16个库和512张表,而新库则设为两个实例,每个库含1024张表。迁移目标确保旧服务继续运行,旧服务的存量和增量数据都需要迁移到新库。

数据迁移需求分析摘要

需求分析包括新旧数据的业务逻辑、表结构和表数据分析,以及设计存量和增量数据同步方案的流程图。

新旧数据分析摘要

数据迁移前需要分析新旧表的业务功能差异,系统上下游的依赖关系,以及确保数据迁移时业务的连续性。例如,对于UDID和userId的映射关系要提前处理。还要分析旧库数据的合法性和新旧数据字段间的映射关系。

存量数据迁移方案摘要

存量数据迁移通过三个主要步骤实现:首先,克隆源库数据库,以减轻对线上库的影响;其次,通过生产者程序批量处理克隆库数据并放入工作台(如redis-list);最后,定义工作台的数据处理大小限制,以控制生产者的数据生产节奏。

想要了解更多内容?

查看原文:实际案例分析-TB级数据迁移方案
文章来源:
码农周星星
扫码关注公众号

一个有思维、有温度、有味道、爱生活、爱美食、爱旅游、乐于分享的程序猿,希望遇见有共同爱好的你

47 篇文章
浏览 10.7K
加入社区微信群
与行业大咖零距离交流学习
软件研发质量管理体系建设 白皮书上线