聊聊竞品体验对比评测（下）

这是鼎叔的第十篇原创文章。

行业大牛和刚毕业的小白，都可以进来聊聊。

鼎叔在MTSC-中国移动互联网测试开发大会，以及深圳敏捷之旅中，分享了《提升用户体验的评测方案》议题，本文是相关系列主题文章的第六篇。

本文继续聊聊竞品体验对比测试实战的三个真实案例。

第三节 案例-手机浏览器页面加载速度

手机浏览器的页面加载速度测试：针对TOP热门网站，能否在不同网络，不同地域，不同时间段，能否都达到良好访问体验？和竞品比起来差距如何？

内部埋点方式成本很低，但是不适合做竞品对比。

页面是否加载完成，从人眼的角度是要页面渲染结束为止，因此从UI角度测试是最直接的。但是普通UI断言脚本的编写和维护成本比较高，我们可以尝试更高效的低成本对比方案-- 利用高速摄像头和OCR识别算法。

测试流程：固定高速摄像头，对准手机屏幕，打开浏览器，自动输入URL和点击“前往”，执行测试获取时间，完成日志抓包后，恢复环境。

选取高速摄像头的标准：需成像质量高，帧率高，容易稳定控制。拍摄时对焦清晰，固定好距离，可以用遮光纸板屏蔽环境光的干扰。如图所示：

控制录像开始和结束：可以获取摄像头（罗技摄像头）软件句柄，按相对坐标点击。

录制视频的分帧工具：选用FFmpeg，要求是能按毫秒命名，快速，录制尺寸小，不失真，可自动处理。

找准页面加载开始时间：打开手机的轨迹显示，视频分帧中出现第一张触摸白点时，开始计时。

找准页面加载结束时间：

1 出现首文字加载的时间，只要白屏的饱和度大于0，表示首字符出现，因为页面首先出现的内容是不确定的，所以可以利用图片饱和度算法来判断何时出现首文字或图片。

2 完成首屏加载的时间，可以用感知哈希算法，图像特征可以生成指纹，HASH不同，数据/图片也不同。用待识别图片和标准加载完成图片做快速特征对比。

处理测试数据：将不同城市，不同网络（5G，4G，3G，不同运营商），不同时间段，不同竞品的测试结果入库保存，注意每次测试连续测10遍，去掉毛刺数据，获得平均时间。

展示测试结果，关注改进趋势： 展示竞品对比的报表，数据曲线，可以按照日期，产品版本，测试站点等维度打开对比，方便开发分析问题。

通过长时间的对比差距和死磕，在核心指标评分上，仅仅半年，我们的产品加载速度就从低于对手30%，优化到和对手持平；再过3个月的改进，各项指标显著超越对手！

第四节 案例-地图导航APP

作为一个地图导航软件，用户体验的期望指标是什么？

• 路线规划正确，省路/省时间

• 语音播报时机合适，正确，简洁

基于真实路况的LBS应用，从用户角度验收的成本是非常高的，人工在外面路测，还需要车辆支持，更何况路线规划算法非常复杂，数据极其庞大。那测试团队该怎么做，才能真正推动用户体验的改进，推动开发不断完善算法呢？

还是从上述的核心指标出发，设置竞品对比评测方案：

1. 先从最热门的路线规划中得到测评路径，当然，真实的线上数据就是我们的抓手：目前产品的热门城市是哪里（通常是北上广深），最热的路线query是什么，选取TOP100或者1000.

2. 强大的竞争对手是哪几个？通常他们有服务SDK，可以直接接入调用，获得路线导航路线，以及关键结果数据。

3. 通过自动化脚本对比，如果我们的导航APP，和几个竞品比起来，明显好于对手，或者明显差于对手，就把多方的路线结果截图，展示在自建的评测网站上，人工横向对比，非常方便。

4. 人工对比看我们的路线是不是真的太长了？如果确实不如几个竞品，打上“bad case”标签，转发给开发进行优化。 如果我们的路线比对手都短，不要着急下结论，先人工检查是否有异常阻断（如修路，塞车，小区内部道路不可走，有关闭的大门等等），有的话结果也是bad case。

5. 最终，开发根据我们提供的数据做了算法优化，在下个版本发布后，对所有的badcase,goodcase进行回顾，给出评价结论，优化目标是否达成。

6. 我们还可以引入出租车用户的路线轨迹进行优化结果对照，因为通常出租车司机更为专业，熟悉路线。

语音播报，也可以建设类似的语音播报对比平台。

我们可以用手机模拟回放路线的GPS位置，记录下播报的位置，时间和播报内容，再做竞品对比评测（人工介入判断是否bad case）：

准确度：遇到复杂路线-如三岔口，环形路口，立交桥等，怎么行驶？

全面性：播报的关键提示信息是否齐全？

简洁性：播报的字数是否冗长？

播放时机：是否及时，有充分的操作时间，但又不会过于提前播报？

可以结合街景地图的回看，验证播报质量是否达标。

当然，随着众包平台的普及，也可以在众包上定向分发评测任务（根据用户的不同地理位置），让用户反馈导航异常结果，或者反馈与竞品有差距的导航结果。

第五节 竞品体验对比评测专题报告

竞品评测指标的持续报告，相对而言可读性和趣味性不高，考虑到用户体验需要站在用户视角上耐心挖掘思考，我们可以开展更加深入的“沉浸式”的用户体验活动：策划出品专题体验报告！

虽然在多数情况，产品经理/设计师会组织相关的竞品体验活动/脑暴，但是测试团队参与或者组织这类活动，有自己的关注点--找出客观的体验场景和质量指标维度，在未来的测试中提升敏锐度，而对产品设计的创意高低不去妄加评价。专业的体验对比报告也能给产品/业务团队以积极的输入，践行以体验为中心的企业文化。

因为是以一线竞品为对比角度，给出的建议更有针对性，度量目标更明确，也更容易被团队接受。

推荐的报告策划和执行步骤如下：

一，聚焦要对比的产品和功能领域，即专题视角。通常是用户焦点，投诉比较多的，或者关注者众的价值区域，也可以是代表未来产品发展的可能方向，但是还在探索之中。

我们这次的例子，就选用理财产品的社交化，作为专题领域。

二，挑选竞品，可以是同类属性的排名靠前理财产品，也可以是大平台的理财频道（业务模式相近），或者是在本次专题领域有突出口碑的产品。

三， 集体策划（脑暴）：安排一个安静的空间，一个集中的探索时间，安装好我方软件和竞品软件，进行沉浸体验，然后给出评价，集体探讨达成一致结论（如果结论比较多，投票出最关键的结论/措施）。在报告中用表格列出：竞品分析的具体场景，对比维度，对比截图和数据，从用户角度分析理由。

四，在对业务方发布的竞品对比评测报告中，建议结论先行，抛出测试方的评测结论（有赞有弹），最关键的优化建议是什么。注意给的建议一定是基于用户体验诉求，抓住可度量对比，尽量不加入个人主观好恶。

五，对于上述报告的分析和总结内容，得到参与成员的确认，并通过大家进一步的思考（意犹未尽），把希望更深入探索的对比指标/方向，纳入到下一期的竞品对比专题中，形成对比体验的系列报告。产品体验的创新改进之路，本质上就是探索出来的。

如下图，是理财产品社交化竞品对比体验报告的总结部分示例：