文章摘要：高级工程师如何影响事故处理

作者：Erin Doyle / 译者：明知山 / 策划：Tina

高级工程师Erin Doyle在2023年旧金山QCon大会上分享了其团队如何处理一起严重的基础设施变更导致的客户数据丢失事故。事故发生后，团队花了三天时间才完全恢复服务，这一经历凸显了事故处理过程中的多个问题和改进空间。

事故简况

事故涉及基础设施通过Terraform管理，而一个产品团队提交的变更PR未经充分测试和评审就被部署，导致重要数据被标记为即将删除。监控系统延迟一天才发出警报，而在尝试控制损失时，出现了第二次事故。由于团队间协调不足，客户首先发现了问题。

影响因素

Doyle提到了瑞士奶酪模型，强调防御性措施的必要性。在这次事故中，多重防御层因为缺乏有效的测试、代码审查和部署验证而失败。

文化与防御性增强

Doyle认为，尽管公司文化已经具备支持性和包容性，但仍存在盲点。技术领袖可以通过提高工作透明度、承认知识上的不足、不断收集信息和质疑假设来推动文化的改进。

测试、代码审查与文化

变更提交者对测试的重要性认识不足，缺乏领域知识，不愿寻求帮助。技术领袖可以通过提问和跟进变化，鼓励寻求帮助，避免类似事故。

有效的事故响应

事故发生后，缺乏有效的事故指挥官和协调机制。Doyle认为高级工程师具备担任事故指挥官的能力，可以维持大局，管理更新，并与利益相关者沟通。

事后总结与持续改进

无责备的事后分析有助于发掘见解，但需要行动项跟进。高级工程师应成为促进强有力对话的引导者，并助推深入的根本原因分析，确定解决方案。

结论

改善工程文化可以减少事故数量和解决时间。高级工程师可以在事故响应、事后总结和根本原因分析中发挥关键作用，通过推动改进行动项，塑造一种学习型文化。

想要了解更多内容？

查看原文：我职业生涯最严重事故：基础设施变更引发的自动化灾难！

文章来源：

InfoQ

扫码关注公众号