如何识别度量数据中的改进信号

度量驱动改进活动中最大的痛点，就是搜集了一堆数据后，发现无法精确地识别哪些数据是改进信号，哪些数据是可以获取经验的经验信号。对所有数据进行根因分析，又会给团队成员增加负担，使得大家搜集度量数据的热情大打折扣，让度量驱动改进难以为继。

有些团队在进行度量驱动改进时，采用了画“红绿表”的方法。即绿色数据为达标数据，红色数据为未达标数据，如图1所示。是不是要分析每个未达标的红色数据的根因，以便改进？对于已达标的绿色数据，是不是也要做根因分析，得出可以继续保持的经验，以便保持达标？这样看起来每个数据都要做根因分析，工作量是不是太大了？为了节省成本，只挑离目标差距大的红色或绿色数据进行分析，是不是更可行？但离目标差多少，才算差距大呢？

图1 红绿表

红绿表中的数据，没法告诉我，哪些未达标的数据，是应该关注的不可预测信号，应该做根因分析，进行系统性的改进，使得系统重新回到可预测的状态。也没法告诉我，剩下的未达标的数据，是否属于正常波动的数据，无须做根因分析。而对于达标的数据，在识别达标经验的时候，也有类似的问题。

最近读了Mark Graban在2020年出版的Measures of Success一书（参见参考资料1），从中找到了解决上述问题的答案。即可以使用PBC图表来驱动改进。

PBC(Process-Behavior Chart)图表，又名控制图表，或休哈特图表。该图表由现代质量管理奠基者，美国统计学家沃特·阿曼德·休哈特在1920年发明。PBC图表，是统计过程控制（Statistical Process Control, SPC）理论中的一种工具，用于确定制造过程或业务过程是否处于可预测状态。

我们可以用PBC图表，来识别不可预测的信号，进而识别改进点和经验点。

下面首先讨论如何用PBC图表判断不可预测的信号，然后讨论用PBC图表实现度量驱动改进的步骤。

用PBC图表判断不可预测的信号

下面以控制自己体重为例，来说明如何用PBC图表的4个规则，判断不可预测的信号。

图2就是最近两年的体重的PBC图表，按月统计体重。

图2 最近两年的体重的PBC图表

首先说明一下PBC图表所包含的X图表和MR图表。这两个图表通常结对出现，X图表在上，MR图表在下。两个图表的横轴都是一样的。

X图表中的圆点，代表一个个度量数据。中间的绿线，代表所有数据的平均值。上下两条红线，代表上限和下限。X图表中的上下限，是根据SPC统计过程控制理论中的3个标准差计算出来的。

MR(Moving Range)图表上的数据，对应其上方X图表中每两个连续数据点之间差异的绝对值（即总是正数）。即X图表中后一个数据值减去前一个数据值的差的绝对值，就是后一个数据在MR图表上的数据。比如在MR图表中2020年7月的数值0.77，就是X图表中2020年7月的72.48减去6月的71.71而得到的。由于6月之前没有数据，所以MR图表中6月的数据是空。

MR图表中上面的红线，代表上限，这也是基于统计常量3.268计算出来的。

其实不必担心这些计算，Mark Graban提供的excel模版（参见参考资料2），已经包括了这些计算公式。只有在模版中输入数据，就能自动绘制PBC图表。

图2中已经框出了判断不可预测的信号的4个规则的例子。可以对照这些例子，来理解下面判断不可预测的信号的4个规则。其中前三个规则针对X图表，最后一个规则针对MR图表。

- X图表

  - 规则1：任何超出上下限的数据点

  - 规则2：中心线平均值同一侧连续出现了8个数据点

  - 规则3：4个连续数据点中有3个，相对于中心线平均值而言，更接近上限（或下限）

- MR图表

  - 规则 4：超出MR上限的任何数据点

根据图2的MR图表，我的体重在2020年10月的时候，就超出了上限，应该引发关注。但在画这张图表时，时间已经过去了1年零8个月，我也一时想不起来体重变得不可预测的根因了。这就说明，应该在当时持续地用PBC图表观察不可预测信号，从而能更容易地发现根因，尽早改进。否则，等时间过了很久再去分析根因，很多事情都淡忘了。

如果时光倒流，回到2020年11月，而且那时的我，也掌握了用PBC图表法识别不可预测信号，那么那个月的PBC图表会如图3所示。从图中能清楚地看出，11月我的体重，已经超出了X图表的上限。再查看一下日历，发现那个月我在杭州出差，由于酒店周围餐馆少，我连续吃了1个月的方便面，而且也没有怎么锻炼身体。或许这就是体重变得不可预测的根因。如果我能将度量的频度加大，每周甚至每天度量体重，那么我就能更早地发现不可预测的信号，即更早地发现改进信号，这样就能更容易地控制体重。

图3 如果能在2020年11月绘制PBC图表

从中我吸取的教训是，如果条件允许，每月度量不如每周度量，每周度量不如每日度量，且边度量，边识别改进信号和经验信号。这样才能及时发现改进时机，尽早改进。

再看一个通过PBC图表，发现经验信号的例子。图4是根据我最近9天的体重绘制的PBC图表。从中能看出，6月16日的数据，要低于X图表的下限74.49，并且竟然达成了我的把体重控制在75公斤的目标。这就是一个能让我获得减轻体重的经验的信号。那是什么原因能让我体重减轻呢？其实是那天我休年假去爬山，走了10多公里，出了很多汗，锻炼的结果。这就说明，锻炼能有效减轻体重。这是一个经过验证的经验，以后可以多采用。另外，从这个PBC图表能够看出，我只需要对6月16日这个符合规则1的不可预测的数据进行根因分析就可以了。其他所有红色的数据，都没有符合不可预测信号的4个规则，只要身体这个系统不发生根本性的变化，这些指标将来都会在平均值上下正常波动，所以不必做根因分析。这样能节省大量时间和精力，避免浪费。而图1那个红绿表，就无法明显地识别后面5个红色的数据，其实不必做根因分析了。从这一点就能看出，PBC图表要优于红绿表。

图4 最近9天的体重的PBC图表

在了解了根据PBC图表，判断不可预测的信号的方法之后，该如何用PBC图表帮助实现度量驱动改进呢？

用PBC图表实现度量驱动改进的步骤

1. 选择行动指标

首先要选择行动指标（actionable）（如网页转化率）进行度量。不要度量虚荣指标（如网页访问量）。选择行动指标，可以参考“被遗漏的度量指标”一文中列出的14个指标。

2. 绘制PBC图表

点击参考资料2中页面的链接，获取excel格式的PBC模版。然后在表中Data一列输入事先准备好的度量数据。数据的个数以20个为最佳。如果没有那么多，那至少准备6个数据。输入完数据，表中的其他数据和右侧的PBC图表，就能自动计算和画出来了。如图5所示。


3. 判断指标是否可预测

根据PBC图表，以及上述判定不可预测信号的4个规则，判断指标是否可预测。

从图4最近9天的体重数据能看出，我的体重还是可以预测的。

4. 将系统改进为可预测

若出现了很多不可预测的指标，则可以分析这些不可预测的信号处（包括未达标的改进信号，以及已达标的经验信号）的根因，系统性地改进系统，使得指标变为可预测。

5. 将系统改进为指标符合预期目标的新系统

若可预测的指标不符合预期目标，则再次系统性地改进系统，让旧系统转变为新系统，从而表现出改善后的指标的平均值。这样新系统的数据，就可预测地在符合期望目标的平均值上下正常波动。

比如，我现在可以减少食物摄入量，并增加爬山的频次，系统性地将身体转变为一个新系统，从而让体重的平均值变为75公斤，并在这个目标上下正常波动。

6. 持续改进

持续观察指标已经符合期望目标的新系统的数据，合理提升期望目标，并持续系统性地改进系统。

总结

用红绿表来可视化度量数据，无法精确判断哪些指标值得做根因分析。

用PBC图表可视化度量数据，能清晰地识别系统在当前指标上是否可预测，进而发现哪些指标不可预测，值得做根因分析，以便识别改进信号和经验信号，进行系统性的持续改进。而对于可以预测的上下波动的数据，可以不必做根因分析，从而节省大量时间和精力，避免浪费。

如果条件允许，每月度量不如每周度量，每周度量不如每日度量，且边度量，边识别改进信号和经验信号。这样才能及时发现改进时机，尽早改进。

参考资料

1. Measures of Success; August 4, 2018; https://www.measuresofsuccessbook.com/

2. 点击页面链接，下载excel版本的PBC图表模版：https://www.measuresofsuccessbook.com/extras/