崩后的B站，适合执行混沌工程实验

前天晚上，B站遭遇服务器机房故障，导致服务暂时不可访问。尽管采用了高可用架构，但这一事件再次证明了分布式系统固有的“暗债”和不可避免的生产故障。故障发生几小时后，服务得以恢复，强调了快速修复能力对增强系统信心的重要性。

对于缺乏对生产环境稳定性信心的团队，可以通过实践混沌工程来提高对系统的信心。混沌工程能够帮助团队持续发现和快速修复潜在的生产故障。

执行混沌工程实验的团队通常具备以下特点：

• 团队负责的软件产品是分布式系统，依赖多个外部系统。
• 团队领导及其他相关人员认可混沌工程价值，愿意投入时间与资源。
• 公司文化鼓励从生产事故中学习，而非相互指责。
• 产品已部署于生产环境并供用户使用，但团队对其稳定运行缺乏信心。
• 产品有“准生产”环境以进行混沌实验，且有可观测性工具记录数据。
• 团队成员理解混沌实验全过程，且有主持人引导。
• 基于分布式系统稳定性设计模式，团队对系统模块进行了设计和评审。
• 已完成混沌实验设计与评审，包括制定安全措施和应对故障的能力。

总结以上，混沌工程是帮助团队增强对产品稳定性信心的实践工具，特别适用于管理复杂的分布式系统。通过混沌实验，团队能够更好地理解系统潜在问题，从而提高系统的可靠性。

（本文摘要感谢Thoughtworks公司同事的建议。）

想要了解更多内容？

查看原文：崩后的B站，适合执行混沌工程实验

文章来源：

吾真本说混沌工程

扫码关注公众号

基础设施即代码：你需要知道的一切

了解更多