如何衡量工具平台的效能价值?

写在前面

不同于商用产品,对内的工具/平台大多没有明确的直接业务价值,需要通过可量化的指标来衡量其效能价值,本文试图建立一个可直接套用的数据指标框架,让内部工具/平台的价值也能看得见、说得清

一.分析生产活动的核心要素

从面向对象的角度来看,前端工程是对象和对象间的关系及交互行为

(摘自面向对象视角下的前端工程体系

其中,对象分为主体对象与客体对象两类:

对象,是对前端应用生产活动中各个实体的抽象,其中一些对象是主体(比如充当不同角色的人),另一些是客体(比如工具、平台等各种具体事物),对象之间通过一系列交互行为来完成前端应用的开发和交付

人与工具,是直接关系到生产力的核心要素

工具越强大、越智能,人的操作效率越高、心智负担越小

P.S.心智指的是人认识事物的方法和习惯,会影响用户如何认知周遭世界以及如何采取行动,取决于对应角色的认知情况、记忆、主动获取教育与被动教育的渠道和方法、以及基于角色的竞品使用习惯等,具体见工具类产品的体验度量四象模型(1)

二.找出工具的关键目标

对工具而言,兼顾效率和体验是不变的目标,但不同工具的侧重点可能有所不同,例如:

  • 不直面用户的底层工具:如构建模块、发布模块等,效率相对重要一些,体验次之

  • 用户直接与之交互的上层工具:如调试器、发布平台等,更关注体验,虽然效率也同样重要

另一方面,工具总是为解决问题而生的,选用一个工具不外乎 4 种情况:

  • 无可替代:唯一能够解决目标问题的工具,没得选,所以不论体验、效率如何都不得不用

  • 体验最好:同类工具中使用体验最好的一款,精准满足需求,效率上和其它工具没有明显差距

  • 效率最高:同类工具中效率最高的一款,迅速解决问题,明显比其它工具快很多

  • 体验还不错,效率也过得去:同类工具中在体验和效率上取得平衡的一款,没有太明显的缺点,勉强能解决问题,用起来也不很麻烦

除去没得选的情况,在效率没有明显差距时体验更好的工具更受欢迎,效率能拉开明显差距的工具如果没有体验硬伤一定会很受欢迎,这毫无疑问

然而,需要注意的是,如果体验、效率方面的最优选项都有明显的缺点,此时用户更倾向于选择一个不上不下的替代工具,而不是长期忍受其缺点

啊。。是啊。。我不就是不想用 xxx 了

三.建立效能价值的度量模型

确定了关键目标之后,接下来的问题是如何量化效率和体验,使之可衡量

衡量效率

类比工作效率的计算公式:

工作效率 = 工作总量 / 工作时间

工具效率可以定义为:

工具效率 = 问题规模 / 操作时间

问题规模仍然不是一个可量化的东西,进一步具象为时间成本

工具效率 = (不用该工具解决所需的)时间成本 / (用该工具解决所需的)时间成本

那么,有 3 种情况:

  • 比值等于 1:用不用工具都一样,工具没有带来效率提升

  • 比值小于 1:还不如不用,因为用工具花的时间反而更多了

  • 比值大于 1:用工具效率更高,数值越大,工具带来的效率提升越明显

衡量体验

体验不像效率一样能够通过统一的规则计算得出准确的数值,但也可以建立度量模型:

体验即产品与用户心智的重合程度(上图心智一行),工具的功能和性能越贴近用户的心理预期,体验评价越高,体现在:

  • 易用程度:从用户心智向产品功能做映射,极致的易用是符合直觉,上手即用

  • 稳定程度:从用户心智向产品性能做映射,极致的稳定是完全信任,从不怀疑工具会出问题

即:

工具体验 = 易用程度 * 稳定程度

也就是说,工具体验是易用程度与稳定程度的乘积,只要稍有不好用或不稳定的缺点,体验就会急剧下降

衡量效能价值

综上所述,工具带来的效能价值体现在 2 方面:

效能价值 = 效率价值 * 体验因子

其中:

  • 效率价值:降低用户解决问题的时间成本,让用户更快速地解决问题

  • 体验因子:减少用户的心智负担,让用户更轻松愉悦地解决问题

二者相辅相成,体验升级可能会提高效率,效率提升同样也可能带动体验

因此,在体验有保障的前提下,可以简单地将效率作为效能价值的衡量标准,用一个准确的比值即可量化效能价值

四.选择合适的数据指标

有了度量模型后,接着将具体的数据指标框进来

时间成本

基于以上分析,(体验有保障时)效率收益的直接体现是工具所能节省的时间成本,与用户量、使用频次、使用时长等密切相关:

  • 用户量:累计用户数、日/周/月 UV、日新增用户数、日/周/月活跃用户数(期间操作过核心功能的用户数)

  • 使用频次:日/周/月 PV、功能使用率、核心操作次数、日均使用次数

  • 使用时长:核心操作时长

P.S.功能使用率 = 使用某项功能的用户数 / 总用户数,也能用来衡量不同功能对整体的贡献

例如:

每天节省的时间成本 = 日用户量 * 日功能使用率 * (不用该工具解决所需的时间 - 操作时间)
  = 100 * 35% * (1.5人日 - 0.8人日)
  = 24.5人日

此外,另一些侧面数据也能体现效能价值

  • 用户分布:目标用户数、用户渗透率、各属性用户占比、各属性用户渗透率

  • 产出结果分布:数量、重要程度、平均时间、各属性产出结果占比

P.S.用户渗透率可简单理解为用户渗透率 = 现有用户数 / 目标用户数

例如:

覆盖2/3的目标用户,包括60%以上的一线开发人员、10%的测试人员
覆盖8大产品线,半年支持40多个项目,包括效果极好的xx重点项目

易用程度

易用程度同样也能通过一些数值来衡量:

  • 用户满意度:用户投诉与咨询数/率、抽样调查满意度

  • 操作难度:误操作次数

  • 心智负担:帮助文档字数、注意事项条数

此外,一种产品经理常用的需求采集方法是观察真实用户的实际操作,将用户遇到的挫折记录下来,过程中不要打断和急于提供帮助,往往能够精准地发现一些使用问题

稳定程度

稳定程度可以从异常指标反映出来,例如:

  • crash 率

  • bug 数

  • 操作失败次数

其中,操作失败是个模糊的定义,包括运行时错误、服务接口错误、搜索不到结果等等,稳定性问题极易破坏使用体验,进而大幅拉低效能,比如工具总崩溃,几乎没法用的话,效能价值就无从说起

五.有数据就用数据说话

之所以要建立可量化的数据指标,是为了用数据说话,验证此前的一些假设,为工具的迭代、优化提供指导方向

  • 新功能是否得到了用户的支持?功能使用率如何?宣传渠道有没有效果?

  • 用户操作是否顺畅,所花费的实际时间与预期是否存在较大差距?

  • 产出结果如何,ROI 是否足够高,有没有必要继续做下去?

用 PM 的成熟方法论做事

参考资料

发表评论

电子邮件地址不会被公开。 必填项已用*标注

*

code