扫码阅读
手机扫码阅读
实际案例分析-TB级数据迁移方案

我们非常重视原创文章,为尊重知识产权并避免潜在的版权问题,我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容,访问作者的公众号页面获取完整文章。


码农周星星
扫码关注公众号
数据迁移背景摘要
在服务重构过程中,需要将原用户数据从旧表迁移到新库。旧库有1TB数据、16个库和512张表,而新库则设为两个实例,每个库含1024张表。迁移目标确保旧服务继续运行,旧服务的存量和增量数据都需要迁移到新库。
数据迁移需求分析摘要
需求分析包括新旧数据的业务逻辑、表结构和表数据分析,以及设计存量和增量数据同步方案的流程图。
新旧数据分析摘要
数据迁移前需要分析新旧表的业务功能差异,系统上下游的依赖关系,以及确保数据迁移时业务的连续性。例如,对于UDID和userId的映射关系要提前处理。还要分析旧库数据的合法性和新旧数据字段间的映射关系。
存量数据迁移方案摘要
存量数据迁移通过三个主要步骤实现:首先,克隆源库数据库,以减轻对线上库的影响;其次,通过生产者程序批量处理克隆库数据并放入工作台(如redis-list);最后,定义工作台的数据处理大小限制,以控制生产者的数据生产节奏。
想要了解更多内容?


码农周星星
扫码关注公众号
码农周星星的其他文章
如何使用JAVA动态生成WORD分析报告
如何基于poi-tl设计一套可以动态生成word分析报告的功能。
ClickHouse如何同步kafka数据入库
ClickHouse如何同步kafka数据入库?如何支持批量kafka数据入库?
实战-elasticsearch索引平滑迁移方案
elasticsearch中的文档字段如何修改分词类型或者字段类型?不同数据量级的ES平滑处理方案是怎么样的?如何具体操作?
突然安排你当技术负责人怎么办?
“ 本来只是码农一枚,突然领导安排你当后端技术负责人,手动无措,惊慌失措,不知该如何开展工作?原本都是一起吃
系统架构设计师32小时通关笔记:一、系统架构设计师概述
为了下半年可以顺利通过系统架构设计师考试,购入一本系统架构师考试32小时通关的书(薛大龙主编)。亲身体验一下是否真的可以达到32小时通关,大家拭目以待。
加入社区微信群
与行业大咖零距离交流学习


PMO实践白皮书
白皮书上线
白皮书上线