扫码阅读
手机扫码阅读
实际案例分析-TB级数据迁移方案
373 2024-08-06
我们非常重视原创文章,为尊重知识产权并避免潜在的版权问题,我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容,访问作者的公众号页面获取完整文章。
查看原文:实际案例分析-TB级数据迁移方案
文章来源:
码农周星星
扫码关注公众号
数据迁移背景摘要
在服务重构过程中,需要将原用户数据从旧表迁移到新库。旧库有1TB数据、16个库和512张表,而新库则设为两个实例,每个库含1024张表。迁移目标确保旧服务继续运行,旧服务的存量和增量数据都需要迁移到新库。
数据迁移需求分析摘要
需求分析包括新旧数据的业务逻辑、表结构和表数据分析,以及设计存量和增量数据同步方案的流程图。
新旧数据分析摘要
数据迁移前需要分析新旧表的业务功能差异,系统上下游的依赖关系,以及确保数据迁移时业务的连续性。例如,对于UDID和userId的映射关系要提前处理。还要分析旧库数据的合法性和新旧数据字段间的映射关系。
存量数据迁移方案摘要
存量数据迁移通过三个主要步骤实现:首先,克隆源库数据库,以减轻对线上库的影响;其次,通过生产者程序批量处理克隆库数据并放入工作台(如redis-list);最后,定义工作台的数据处理大小限制,以控制生产者的数据生产节奏。
想要了解更多内容?
查看原文:实际案例分析-TB级数据迁移方案
文章来源:
码农周星星
扫码关注公众号
码农周星星的其他文章
究竟是在北上广好,还是回老家工作好呢?
究竟是在北上广好,还是回老家工作好呢?在老家的工作的氛围究竟是咋样的?接下来,让码农周星星带大家一探究竟~
程序猿应该如何应对职场各种问题
以程序猿为主角,介绍一个我认为比较好的三观应该有的样子。
应该如何度过人生的每个低谷时期-学生时代
古人云:三十年河东,三十年河西,对于人生这一次旅途中,难免有各种各样的低谷期,出现在不同的时期,那出现了这些低谷期应该怎么办呢?
系统架构设计师32小时通关笔记:四、信息系统基础知识
第四章主要介绍信息系统基础知识,从概述、总体规划和典型应用三个方面来介绍。
一次浏览器请求的生命周期
我们经常使用浏览器访问各种资源,那在浏览器输入一个地址,究竟做了哪些事情呢?OSI七层协议有什么作用呢?HTTP协议请求体和返回体有哪些参数需要注意呢?
加入社区微信群
与行业大咖零距离交流学习
软件研发质量管理体系建设
白皮书上线