数据说话,锅别都让程序员背

简介: 我们要利用数据,不要被数据所利用。

作者:石磊,阿里巴巴产品专家,2014年加入阿里巴巴,负责过阿里巴巴测试平台Kelude,持续集成服务引擎CISE,阿里巴巴研发协同平台Aone以及阿里云云效率等产品, 对研发协同、测试、交付、效能度量领域都有很深的见解。

背景

huagai_VCG41155285322_RF_2M

如何提升组织效率一直是阿里巴巴追求的目标之一,云效作为企业一站式协同研发云,积累了丰富的研发活动相关数据,如何利用这些数据,来助力于组织的研发效能提升,也是企业一直思考的问题。从2016年开始,云效(在阿里内部叫Aone)就开始逐步的对组织的研发数据,从团队,组织,项目等各个维度,按照研发实践流程进行改进的思路,结合了敏捷和过程改进的理念,逐步沉淀出云效的度量产品。并且真实的在不少阿里的团队,通过数据驱动的方式,辅助了团队效能提升。

1. 效能度量的基本思路和理念

1.1 如何透明研发效能 - 主观预测 VS 确定分析
_1

云效度量产品的基本思路是: 透明研发效能,诊断研发瓶颈,辅助研发提效。 就像医生看病,首先得找到问题,才能解决问题。

我们追求的高效研发: 更好的质量,更短的交付周期,更高的效率,更准的承诺兑现。但往往我们都很难去定量的描述,我们的质量,效率,交付到底如何。 所以,就像一个镜子一样,将研发效能透明出来,通过数据化的方式来定性的分析,是我们研发效能提升的第一步,也是最重要的一步。
_2

通过数据化的手段,可以让我们从主观的预测转变成确定性分析。 那哪些指标对于我们定性的去分析是非常有效的指标呢?

1.2 有效的研发度量指标 - 质量,效率,进度,人员
_3

我们从度量的需求中会把指标分为4各大类:质量,效率,进度,人员。

(1)需求的吞吐量 – 大体反应出团队的产出趋势。

(2)需求的平均完成时长 - 需求从创建到终态的平均时长,时间越多,需求交付粒度越小效率越高。

(3)新增缺陷的数量 - 统计时间段内团队被新增指派的缺陷数量,结合存量缺陷以及缺陷平均解决时长,反应团队产品的质量以及对于缺陷解决的效率。

(4)缺陷的平均解决时长 - 缺陷从创建到解决的平均时长,表征解决缺陷的效率。

(5)线上发布的成功率 - 线上发布成功次数与总次数之比,越高证明产品上线质量越高。

(6)缺陷的reopen率 - 缺陷被reopen的次数与缺陷数目之比,该值越高证明修复缺陷的质量越差,reopen率是表征产品质量的一个重要指标。

2 怎么用数据 -- 一个案例分享

我们会用2016年张冠楠同学在阿里的某事业部内部通过Aone的度量产品推动效能提升的过程来给大家具体的介绍一下,拿到了这些数据,我们会怎么样去用数据来帮助我们分析瓶颈并找提升的关键的。

我们利用数据通常会有以下4个步骤:

1)通过团队效能趋势透明当前团队的效能现状

2) 通过具体的人员分析来定位效能瓶颈

3)针对具体的瓶颈给出改进策略

4) 通过持续的度量来确定是否改进生效

2.1 通过团队效能趋势透明当前团队的效能现状

阿里某研发团队,20+人问题:交付老Delay,团队士气不高,老加班,质量差。 让我们来看看当时他们的度量数据:
_4

上面几张图比较容易看出来这个团队明显特征是

(1)3月份完成需求数明显上升,且团队负载较重

(2)质量不高 - 缺陷数、reopen率以及线上发布成功率

(3)需求平均完成时长特别长 ,很多需求都是很久之前的3月份才完成

(4)突增故障

2.2 通过具体的人员分析来定位效能瓶颈

带着数据,走进了团队,和团队一线研发人员进行访谈,也对整个数据中的具体数据去做了细分,我们可以看到整个团队存在的问题:

1)到底需求时间长,是卡在PD,还是开发还是测试? 是否相应的团队可以去改进。

2)任务负载重,是否可以将任务分配更合理。 分配不均,单个人容易成为整个团队的瓶颈。

3)质量差,原因是什么?

通常这些瓶颈的定位是不能通过趋势来告诉我们,必须的深入到团队中,这个时候按照人员分布的度量报表就能方便的帮助我们定位到瓶颈人员。
_5
_6

2.3 针对具体的瓶颈给出改进策略

当我们发现了瓶颈和问题,就要针对性的进行改进。 具体的改进方法,敏捷有很多的实践,这里不做多阐述,文章的最后加了不少集团敏捷团队的最佳实践传送门,大家可以参考

_7

2.4 通过持续的度量来确定是否改进生效

最后,我们要持续的关注度量数据来帮助我们进行跟踪,是否我们的改进能够真正的解决问题。 如果我们改进得体, 团队整体效率和质量提升必然会在度量数据上有所体现。
_9

3. 关于数据的一些注意事项

3.1. 数据只是手段,是帮助我们去诊断,而不是衡量。

可能有的人会质疑,度量的数据是不是要去衡量一个人,其实,这个不是数据度量的目标,目标是找到我们怎么去做改进。所以轻易拿度量的数据来衡量人,尤其对于不同的团队和研发模式,其个人的研发数据往往会有较大的区别

3.2. 学会利用数据,不要被数据所利用

之前听云效的敏捷教练张迎辉分享在yahoo做的一个活动,为了调高研发质量,要求所有的研发必须在提交代码之前通过UT,结果就有的团队直接写空的UT,还有的无论UT是成功或者失败都直接在UT中返回成功。这个和数据度量是类似,如果大家都追求数据好看,肯定有各种方法把数据做好看,但是这不是我们所追求的,数据是面镜子,只是用来发现问题,所以,还是那句话,我们要利用数据,不要被数据所利用。
_10

最后

数据驱动本质是数据,配套的工具支撑也会更加容易落地,云效的度量新功能也在云效公有云正式上线,是提供给大家方便使用数据进行驱动的工具。
_2_0_
扫码立即免费体验云效度量新功能

目录
相关文章
|
运维 负载均衡 安全
架构图怎么画?
架构图怎么画?
|
SQL 人工智能 数据挖掘
阿里云DMS,身边的智能化数据分析助手
生成式AI颠覆了人机交互的传统范式,赋予每个人利用AI进行低门槛数据分析的能力。Data Fabric与生成式AI的强强联合,不仅能够实现敏捷数据交付,还有效降低了数据分析门槛,让人人都能数据分析成为可能!阿里云DMS作为阿里云统一的用数平台,在2021年初就开始探索使用Data Fabric理念构建逻辑数仓来加速企业数据价值的交付,2023年推出基于大模型构建的Data Copilot,降低用数门槛,近期我们将Notebook(分析窗口)、逻辑数仓(Data Fabric)、Data Copilot(生成式AI)进行有机组合,端到端的解决用数难题,给用户带来全新的分析体验。
113464 120
阿里云DMS,身边的智能化数据分析助手
|
SQL 存储 监控
功能解读|快速上手 OceanBase 数据迁移服务
在上一期的 OceanBase 功能解读系列文章中,我们为大家带来了 ODC 功能解读(戳这里回顾:《OceanBase 开发者中心 ODC 功能解读》),本文将为大家分享数据迁移服务的相关内容。
1369 0
功能解读|快速上手 OceanBase 数据迁移服务
|
定位技术
阿里架构总监一次讲透中台架构,13页PPT精华详解,建议收藏!
本文整理了阿里几位技术专家,如架构总监 谢纯良,中间件技术专家 玄难等几位大牛,关于中台架构的几次分享内容,将业务中台形态、中台全局架构、业务中台化、中台架构图、中台建设方法论、中台组织架构、企业中台建设实施步骤等总共13页PPT精华的浓缩,供大家学习借鉴。
39790 106
|
1月前
|
人工智能 监控 安全
多模态AI(图像+文本)该怎么测试?不是把图片丢给模型这么简单
本文系统阐述多模态AI测试新范式:突破传统文本测试局限,聚焦图像理解、图文对齐、跨模态推理、幻觉防控、安全注入与鲁棒性验证六大核心维度,提出分层模型、六维测试矩阵及自动化评测体系,强调“证据链”验证——答案必须可追溯至图片真实信息。
|
6月前
|
自然语言处理 机器人 BI
中小企业Agent工具选型攻略:从认知到落地,这篇帮你挑对不踩坑
中小企业常面临效率瓶颈:客服漏单、财务加班、协作混乱。AIAgent作为“实干型”智能体,能自主完成任务,提升20%以上生产力。本文教你避开技术噱头,从预算、易用性、场景匹配等5大标准,选对客服、财务、协作等场景的实用工具,并提供落地避坑指南,助力企业低成本高效转型。
458 1
|
2月前
|
监控 Linux API
【开源剪映小助手】视频生成流程
本项目是基于剪映专业版自动化控制的云端视频生成系统,支持草稿创建、素材添加、渲染导出、状态查询与结果下载全流程。采用异步任务队列与三层架构,具备Windows/Linux/macOS跨平台兼容性,并在非Windows环境提供优雅降级机制。(239字)
|
7月前
|
人工智能 JSON 自然语言处理
亲测有效!用Dify工作流+AI智能体,我们的测试效率提升了300%
本文介绍如何利用Dify工作流编排AI测试智能体,突破传统测试瓶颈。通过构建“用例生成”与“语义校验”等AI专家节点,实现回归测试45分钟全自动完成,效率提升超300%。尤其适用于AI产品测试,推动测试从执行迈向智能设计。
|
10月前
|
人工智能 JSON 监控
从零开始构建AI Agent评估体系:12种LangSmith评估方法详解
AI Agent的评估需覆盖其整个生命周期,从开发到部署,综合考量事实准确性、推理路径、工具选择、结构化输出、多轮对话及实时性能等维度。LangSmith作为主流评估平台,提供了一套全面的评估框架,支持12种评估技术,包括基于标准答案、程序性分析及观察性评估。这些技术可有效监控Agent各组件表现,确保其在真实场景中的稳定性和可靠性。
3958 0
从零开始构建AI Agent评估体系:12种LangSmith评估方法详解
|
API 开发者 UED
HarmonyOS:ComposeTitleBar 组件自学指南
本文详解了鸿蒙开发中 ComposeTitleBar 组件的使用方法与技巧,从基础导入到属性配置,再到实际代码示例,帮助开发者构建美观实用的标题栏。组件自 API Version 10 起支持,具备独立功能结构,核心属性包括 `title`(必填)、`subtitle`(可选)和 `menuItems`(右侧菜单列表)。文章通过具体示例展示了如何配置标题、副标题及菜单项,并提供了交互优化、样式定制与多设备适配的建议。掌握这些内容,可显著提升应用界面体验。如果你有所收获,别忘了点赞收藏!
359 8