浅析灰度测试的重要性

发表时间: 2021-07-28 15:11

编辑导语:利用灰度测试,产品经理及研发团队可以在产品或应用正式发布、推广前选择一定人群使用,进而找到可能问题,以避免打击用户体验。那么,如何进行灰度测试?本篇文章里,作者介绍了进行灰度测试的方法,以及灰度测试与A/B测试的区别,一起来看一下。

微信版本在修改微信号页面输入框下方的提示文案是“微信好账号的唯一凭证,只能设置一次”,在我朋友和我说微信号可以修改时,我进行了查看,发现不同的手机显示的不一样,我是“只能设置一次”,而我朋友的手机的微信账号则显示的是“微信号是唯一凭证,一年只能修改一次”。

这是因为什么原因导致出现这样的差异呢?本文章通过对灰度测试的讲解,解释这一原因。

一、概述

灰度测试,就是在某项产品或应用正式发布前,选择特定人群试用,逐步扩大其试用者数量,以便及时发现和纠正其中的问题。

二、为什么要进行灰度测试?

看到灰度测试,首先我问了自己什么是灰度测试,通过百度后我了解了灰度测试的概念,其次,我再问自己为什么产品要进行灰度测试?

我先从一个产品的开发流程大致走一波,来解答自己的为什么,我的目的是什么?

产品落地之前会进行产品测试,这时候就会有一个疑问点都已经有产品测试了为什么还要进行灰度测试。

其实,测试是为了修复BUG,测试并不是在开发完成后才开始的,在第一次接触到这个项目的时候,负责测试的同事需要思考这个项目的测试检测测试方式,并反复与研发人员产品经理沟通。

当沟通完成后,QA就会把测试的点、流程以及测试的方法写成“测试用例”,再找产品经理和研发人员确人,以保证不会因为对需求的理解问题和疏漏漏掉本来该发现的BUG。测试发现BUG,让研发人员进行修复。

修复后产品经理需要对产品效果进行确定,确定产品没有BUG且符合预期后就可以上线了。

可是呢QA也不是万能的,不可能测试到所有的所有情况,这就是我们为什么还要进行灰度测试的原因。除了书上说的某些BUG只在用户量非常小的手机上面出现,还比如,夏天手机容易发热手机太卡等等,都会导致BUG的出现。

总而言之,我的目的就是,灰度测试做二手准备,帮助又累又惨的产品经理以及研发团队快速试验并发现问题并在正式全面推广之前及时把问题修正,避免用户体验差、让用户对产品产生厌恶,那研发团队的努力就付之东流了,所以灰度测试非常重要。

三、怎么进行灰度测试?

知道了为什么要灰度测试,就要问自己怎么进行灰度测试。虽然我们产品经理不需要亲自去灰度测试,但是都想到为什么了,肯定会想到那这个怎么去做啊!翻阅书籍和百度就是最快知道怎么去做灰度测试的最好方法。

首先选择用户,做灰度测试需要选择适合的用户,需要基于随机原则。

  1. 第一类,经典用户,这一类用户最大的特点就是没有特点。比如,小米“发烧友”就是小米的经典用户,能代表最多使用小米手机的特征群体。
  2. 第二类,极端用户,选择这一类用户的原因是因为我们需要检测一些极端的情况。比如,一双鞋用来慢跑的运动鞋,但是有人穿它去爬山,把产品某些功能用到极致的人,就是极端用户。

其次选择合适的对比方法。数据的对比有两种方法,时间先后的对比不同用户群体的对比

四、灰度测试和A/B测试的区别

A/B测试定义:AB测试是为Web或APP页面或流程制作两个(A/B)或多个(A/B/n)版本,在同一时间维度,分别让组成成分相同(相似)的访客群组(目标人群)随机地访问这些版本,收集各群组的用户体验数据和业务数据,最后分析、评估出最好版本,正式采用。

灰度测试指的是系统测试通过后,将测试版本发布到线上环境,替换部分的线上服务器代码进行预测试。当灰度测试结束后,线上版本实现会统一。

本质上是上线前的测试,收集用户的反馈。

例:知乎升级了视频资源的播放格式,但不知道新版本是否有问题。那么知乎可以通过配置下发,控制一部分的知乎APP去播放新格式的视频。然后通过监控来观测播放成功率和卡顿率等,一旦有问题会立即回滚。

A/B测试指的是系统测试通过并发布后,同一个软件功能不同的用户会看到不同的实现方式,收集每个用户的反馈。

本质上是上线后的测试,收集用户的反馈。

例:知乎春节换皮肤,可以把两种待选皮肤都投入市场,看哪种皮肤的按钮用户点击量大,用户停留时长高。

总结:AB的两种功能都是可用的,投放的用户群体无差别,让用户选择更受欢迎的功能。目标不明确,后期可能是A上线,也可能是B上线。

灰度版本未必是可用的,或者说没有严重bug的,投放的客户群体可能被选择和约束(例如只投放安卓低端机),由监控确定是否有问题,目标明确,只要灰度版本没问题,就会继续放量上线,直到全量。

五、总结

不知道大家心中会不会有着这样的疑惑,微信号不就是微信的一个小得不能再小的东西了,为什么要大费周章地进行灰度测试。换个思维去想,微信用户过亿,但是这几亿的用户微信号不能重复,如果不经过灰度测试吧,直接上线,后果就是会有人的微信号重复、修改申请不过等问题。

在将产品大规模退给用户时,灰度测试是必须的,如果要使用灰度发布,与往常的项目过程不同的是,需要做好提升点的准备,通过数据分析日志分析找到改进点,快速地定位到问题,并解决。

本文由 @小向日葵 原创发布于人人都是产品经理。未经许可,禁止转载。

题图来自Unsplash,基于CCO协议