扫码阅读
手机扫码阅读

业务防资损，质量保障的第一要务！

374 2023-09-02
资损 业务 防资损 场景 校验
前几天知识星球有同学向我咨询了这样一个问题：生产业务发生故障，涉及金额非常大，可能要被干掉，该怎么应对？
问题背景是这样：银行证券交易业务，未对输入金额乘以10000（单位万元），该模块上线大半年了，之前由外包同学负责测试，当时只检查了页面和流程，业务和监管平台也验收通过了。
在我看来，这是一个比较低级的问题。跨度大半年的周期，应该有很多人的工作涉及到核心交易模块，但生产还是出了这种问题，只能证明日常的测试验证和风险管控环节有很大不足。我给这位同学的建议有如下三点：
  1. 承认错误，交付质量不足带来的原因（而不单单是测试的问题）；
  2. 拿出复盘结果，说明过程，指出不足（流程、交接、校验、监控）；
  3. 后续行动方案，优化流程，系统强制校验，风险评估，业务防资损；
这篇文章，我想聊聊生产环境的业务防资损相关的内容。

如何理解防资损？

我们都知道质量保障的核心目标是交付质量和交付效率，我在文章中也一直在表达一个观点：技术本身不具备任何直接价值，而是通过支撑业务目标达成而体现自己的价值。
业务目标的达成，除了通过直接向用户提供服务来获取收益之外，本身的业务逻辑也需要具备自洽的能力，即具备不会被外界主观或客观因素导致自身业务出问题，无法提供服务而带来自身损失。
比如上述的银行证券交易业务，比如时不时听到的某APP被薅羊毛，比如自身的服务需要具备持续为用户提供正常访问和服务的能力（而不是经常宕机），这些其实都是资损的范畴，即资产损失。那什么是资损呢？
定义：由于设计缺陷、服务故障、误操作等导致公司或者用户蒙受直接或间接资金损失的场景；
根因：资损的根因，按照我的经验和工作实践，绝大部分资损的原因都是数值一致性问题导致；
处理策略：设计和编码时尽量评估规避风险，线上发布后尽快发现实时校验，资损发生后尽快处理解决；

防资损的四大策略

要做好防资损，以我的经验，结合具体的工作实践，我建议从如下几点开展。

事前：梳理/预防

从定义可以看出，资损是由于设计缺陷、服务故障、误操作等导致的。
因此在前期产品设计时，就应该尽可能的梳理出可能导致资损的场景；在编码实现时考虑到对应的风险，有相应的冗余手段（比如输入时的强逻辑校验）；在测试阶段测试用例尽可能覆盖各种异常和边界场景，并通过自动化的手段在后续迭代中持续校验。

事中：巡检/校验

产品线上发布后，要做的事情其实就是巡检+校验。
任务巡检：通过各种自动化或者定时任务的方式去不断巡检和资损有关的场景。
规则校验：比如交易金额相关的，可以制定规则库，所有的巡检任务必须符合防资损业务规则。
人工盯盘：通过轮值的方式不定时的去观察相关的业务监控，比如交易量、优惠券使用量等同比环比数据。
监控告警：对相关的资损场景定制专门的防资损监控，并且做到出现异常时及时告警和实时响应处理机制。
优先止血：当线上发生资损时，优先做到业务止血，就防止资损的范围和影响进一步扩大，在考虑从根本上解决问题。

事后：复盘/运营

资损事件发生后，及时组织相关人员参与复盘，分析资损事件的前因后果和根因，找到在设计、研发、测试、验收等环节存在的不足之处，制定对应的优化改进措施，并实时跟进改进项的落地和验证其有效性。这是一个长期的持续的过程，需要持续的运营这种机制。
资损大部分问题出现在数据不一致方面，因此日常的数据治理是必不可少的。当然，以文章开头的案例为例，其实也可以看作是一个技术债务的问题，即没有对输入进行强制的规则校验。因此定期的清除技术债务，也是需要考虑的。

组织：目标/责任

无论是事前的场景梳理和预防措施的制定，还是事中的线上巡检校验和监控告警响应处理，或者事后的故障复盘和改进落地，都需要有组织有体系的去跟进。
从团队或组织层面来说，对齐业务防资损目标，明确各角色岗位职责，有效组织开展防资损工作也是很重要的一点。

线上业务防资损体系

线上业务防资损，我们当时做了一套线上的防资损平台，大致构成如下：
场景管理：资损业务场景、资损数据场景、研发规范场景、历史故障场景，进行平台化管理。
巡检方式：以支付和财务对账为例，通过实时对账和离线对账解决数据一致性问题，通过监控告警和自动化测试巡检方式，做到资损的及时发现和及时处理。
技术组件：实时对账主要使用Flink，离线对账则是通过阿里云的dataworks，监控告警采用prometheus的监控体系，线上的自动化测试巡检则是通过专门的定制化改造来进行。
应急措施：主要包括故障应急响应机制、资损的应急预案、业务入口限流降级和针对应用服务的故障自愈。
虚拟团队：防资损需要有组织有体系的开展，而虚拟团队就是将防资损职责明确定义到各团队不同角色。比如：有专门的NOC团队负责人工盯盘和故障发生时的信息分发和启动应急响应机制；运维和研发同学从技术的角度进行快速响应和问题处理，保障优先业务止血，而轮值leader更多的是进行重大问题决策。

其实业务防资损本身就是质量保障很重要的一环，甚至说是第一要务。资损问题不发生还好，发生了几乎都是生产P0/P1故障。文章开头的案例从侧面也证明了质量内建和防资损的重要性，测试需要持续验证来保障高质量的生产交付。






如果喜欢我文章，点赞、关注、在看三连走起。

如果想阅读更多的文章，可以关注我的公众号。


精彩内容推荐
漫谈测试覆盖率
测试流程如何落地
软件质量保障体系建设
从零到一落地接口自动化测试
自动化测试如何管理测试数据
如何建立高效的质量保障机制
原文链接： http://mp.weixin.qq.com/s?__biz=Mzg2NDAwMjM1NQ==&mid=2247486961&idx=1&sn=5899b4163c3e090764436e8137160612&chksm=ce7145adf906ccbbd47dd8d6a2450612ebe42f41613bf8d362f902f72c3e1e0360cc99f62a7b#rd
相关推荐
初学者对业务架构存在哪些误解？
111
业务 架构 企业
我们对业务架构的 12 个常见误解进行解说
创新篇（三）创新，需要正规军还是游击队？
121
业务 企业 团队 初创
针对企业的创新/业务拓展，初创型企业，需要独立自主的游击队，大型企业新业务拓展，需要有后勤保障的游击队，​大企业成熟业务拓展，需要正规军。
也谈什么叫“懂业务”
190
业务 相关 能力 层面
“懂业务”一词经常被提到，做流程要懂业务，做HRBP要懂业务，财务人员要懂业务……，但什么叫“懂业务”，好像
向华为学数字化转型（1）
223
数字化 转型 业务 变革
数字化转型已经提了好几年了，现在各行各业都在做?
业务中台的一次演进
293
业务 中台 订单 门票
从一个软件工程师的角度去聊聊业务中台，努力做到通俗易懂。
读《企业级业务结构设计方法论与实践》笔记
134
业务 架构 数字化 模型
一、导读因为近两年的数字化很火，未来可能是数字化货币、数字化企业管理、数字化正在一步步的被可度量化、被逐渐的
老张的求知思考世界

专注互联网领域相关技术实践和思考，也分享职场成长、读书杂谈等内容。

159 篇文章
浏览 28.2K
老张的求知思考世界的其他文章
所谓的职场抗压，到底咋回事
工作从来都只是一种选择。
从TMMI角度谈谈质量度量
TMMI角度的质量度量和改进看法。
读书笔记：如何成为某个领域的前1%
风物长宜放眼量。
测试同学职场成长的核心认知
拓展认知边界，比技术更重要。
如何落地质量门禁？
控制风险爆炸半径，才能更好的保障质量。
随机阅读
CMMI 2.0维持性评估13问
07-12
如何阅读CMMI模型的实践
07-12
CMMI 3.0究竟有哪些变化？
07-12
CMMI 3.0的276条实践中英文对照
07-12
ChatGPT如何帮助做好质量管理工作？
08-21
加入社区微信群
与行业大咖零距离交流学习
软件研发质量管理体系建设 白皮书上线
去下载