数据分析流程这么长,产品经理如何一人搞定?

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

我2002年入行,那个时候还没有“产品经理”这个词,我的主要工作是为业务部门跑数据并且制作报表,就是传说中“跑数据”、“做报表”的那个苦逼数据仓库工程师。

2007年之前我一直在为制造型企业建数据仓库,直到去了美国的之后,才开始进入到互联网,服务过两家公司,Linkedin 4年和 eBay 3年多。天天和产品经理、数据分析师在一起,帮助他们准备需要的数据、分析产品和用户,最后把分析的结果做到产品里面去。走上了数据采集 - 处理 - 清洗 - 展现 - 分析 - 数据产品的道路。

一个互联网公司要做好 Growth,就要做好产品体验。想要做好产品体验,产品经理第一需要的就是数据分析支持,有了数据才能开始Growth Hacker…此处省去10000字关于 Growth Hacker。

1.产品经理关注的是用户体验

对于产品经理而言,他们关心的是什么呢?产品经理对网站或者是 APP 的 UI 、UX 是最熟悉的,因为他们参与了其中的设计:用户应该怎么交互,有哪些交互上面不方便的地方,每一级菜单用户交互的流程,交互上的死角和边界;然后是设计,UI 是不是够简洁,美观,吸引人?哪些链接需要加强用户关注度,哪些链接需要减低用户的关注度。总而言之,都是为了用户体验,好的用户体验才能带来用户活跃,提高增长。

比如网页端( APP 端同理):


在GrowingIO圈选以查看相关数据

2.分析师的报表为产品经理提供数据支持

一个合格的数据分析师要能够制作可视化的报表,能够用不同的图形表达分析的结果。比如下面的可视化报表:


GrowingIO一目了然的数据看板

分析师构建报表的数据从哪里来呢?在数据库。

数据库里面有成百上千种表,一个合格的数据分析师首要的是知道数据在哪里?存在哪些表里面:

“哪里有页面浏览的表,哪里有搜索的表,哪里有广告的展现,点击的表,哪里有手机用户事件的表,哪里有用户属性的表,这些表每个字段对应了哪些维度和指标,哪里有宏观的已经计算好的指标,哪里有微观的详细的用户事件,还有很多过滤条件等等。”

对于一个刚入职的分析师,即使是有专人带的情况下,也是需要一定的时间才能成长的,不然很可能提供了错误的数据,导致了错误的决策。

如下图是数据分析师们熟悉的数据库结构,可以帮助他们迅速的找到表的定义和字段的定义:

数据工程师设计并构建了上面的数据库模型,同时他们也要负责源源不断的把数据插入到这些数据库的表中,这些数据可以存在数据库里面,也可以存在 Hadoop 的数据集群中。

3.依赖专职数据工程师的繁琐流程

可是数据库里面存了所有我们能够支持数据分析师的数据吗? 当分析师在数据库里面找不到数据的时候,就需要数据工程师需要从各种地方重新调取(此处省略关于实时数据流,Hadoop 集群,ETL,数据聚合等等关于技术的10000字)。

总之如果要得到没有事先收集的用户行为事件数据,就要在前端的代码里面埋事件代码,也就是在用户事件产生的源头埋点,才能在服务端得到相应的日志数据。

在技术上 Linkedin 为互联网日志做出了贡献,开源了 Kafka。什么是 kafka?就是可以非常实时的接受客户端发过来的实时事件数据并生成日志数据,然后发送到后端服务器上。比如腾讯,今日头条,新浪等等互联网公司都用 Kafka 收集日志的。

日志是这个样子的:

以上的这些都是数据,不同的人看到的角度是不同的。如下图:

从工程的角度出发,数据处理的顺序是这样的:

  • 第一步:先埋点
  • 第二步:收集日志
  • 第三步:建立数据库
  • 第四步:分析数据
  • 第五步:得出产品经理要的分析结果

4.产品经理借助数据分析工具可独立完成

看起来这个链条很长,但是GrowingIO可以把它缩短,如何缩短?在一开始就从产品经理的角度来看这个问题。

从产品经理的角度出发,数据处理的顺序是这样的:

第一步:产品经理直接圈选,看数据结果。

在保存了用户事件之后,还可以自由的创造看板。如下图

产品经理和数据分析师可以在很短的时间能创建出看板,从事件的定义到产生分析结果,只要短短几秒钟,而且还追溯了过去7天的历史数据。

不仅仅如此,GrowingIO 还提供用户分群、用户细查、事件留存和数据下载等高级功能。

我们现在通过云端软件服务形式,制作了一个简单容易上手的系统,可以让初创公司快速地,低成本地获得只有大公司才玩得起的实时大数据分析系统。


本文作者:吴继业

来源:51CTO

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
打赏
0
0
0
0
325
分享
相关文章
如何通过数据分析优化营销流程?
在当今竞争激烈的市场中,企业需构建高效的营销流程以整合资源、提升效率并实现业务增长。本文从目标设定、渠道选择、内容创作、数据分析及团队协作工具等方面详细探讨了如何优化营销流程,并指出了常见问题及改进方向。通过明确目标、精准选择渠道、创作高价值内容、用数据驱动决策以及提升团队协作效率,企业能够在激烈的市场竞争中脱颖而出,实现持续增长。
如何构建高效的数据分析流程:从技术视角出发
【7月更文挑战第22天】构建高效的数据分析流程是一个持续迭代的过程,需要技术团队与业务团队的紧密合作。通过不断优化流程,企业可以更加高效地利用数据资源,为业务决策提供有力支持。
完整的Python数据分析流程案例解析-数据科学项目实战
【7月更文挑战第5天】这是一个Python数据分析项目的概览,涵盖了从CSV数据加载到模型评估的步骤:获取数据、预处理(处理缺失值和异常值、转换数据)、数据探索(可视化和统计分析)、模型选择(线性回归)、训练与评估、优化,以及结果的可视化和解释。此流程展示了理论与实践的结合在解决实际问题中的应用。
172 1
利用Python和Pandas库构建高效的数据分析流程
在数据驱动的时代,数据分析已成为企业决策的关键环节。本文介绍如何利用Python编程语言及其强大的数据分析库Pandas,构建一套高效且可扩展的数据分析流程。与常规的数据分析流程不同,本文不仅涵盖数据加载、清洗、转换等基础步骤,还强调数据可视化、模型探索与评估等高级分析技巧,并通过实际案例展示如何在Python中实现这些步骤,为数据分析师提供一套完整的数据分析解决方案。
利用Python和Pandas库优化数据分析流程
在当今数据驱动的时代,数据分析已成为企业和个人决策的重要依据。Python作为一种强大且易于上手的编程语言,配合Pandas这一功能丰富的数据处理库,极大地简化了数据分析的流程。本文将探讨如何利用Python和Pandas库进行高效的数据清洗、转换、聚合以及可视化,从而优化数据分析的流程,提高数据分析的效率和准确性。
|
11月前
|
Hive实战 —— 电商数据分析(全流程详解 真实数据)
关于基于小型数据的Hive数仓构建实战,目的是通过分析某零售企业的门店数据来进行业务洞察。内容涵盖了数据清洗、数据分析和Hive表的创建。项目需求包括客户画像、消费统计、资源利用率、特征人群定位和数据可视化。数据源包括Customer、Transaction、Store和Review四张表,涉及多个维度的聚合和分析,如按性别、国家统计客户、按时间段计算总收入等。项目执行需先下载数据和配置Zeppelin环境,然后通过Hive进行数据清洗、建表和分析。在建表过程中,涉及ODS、DWD、DWT、DWS和DM五层,每层都有其特定的任务和粒度。最后,通过Hive SQL进行各种业务指标的计算和分析。
1386 1
Hive实战 —— 电商数据分析(全流程详解 真实数据)
数据科学项目实战:完整的Python数据分析流程案例解析
【4月更文挑战第12天】本文以Python为例,展示了数据分析的完整流程:从CSV文件加载数据,执行预处理(处理缺失值和异常值),进行数据探索(可视化和统计分析),选择并训练线性回归模型,评估模型性能,以及结果解释与可视化。每个步骤都包含相关代码示例,强调了数据科学项目中理论与实践的结合。
896 2
Streamline Analyst: 基于LLMs、一键完成全流程的数据分析AI Agent 🚀
Streamline Analyst 🪄是一个开源的基于GPT-4这样的大语言模型的应用,目标简化数据分析中从数据清洗到模型测试的全部流程。分类预测、聚类、回归、数据集可视化、数据预处理、编码、特征选择、目标属性判断、可视化、最佳模型选择等等任务都不在话下。用户需要做的只有选择数据文件、选择分析模式,剩下的工作就可以让AI来接管了。所有处理后的数据和训练的模型都可下载。
752 2
Streamline Analyst: 基于LLMs、一键完成全流程的数据分析AI Agent 🚀
Python典型数据分析流程——纯理论(深入理解的看)
Python典型数据分析流程——纯理论(深入理解的看)
143 0
知识分享-商业数据分析业务全流程
知识分享-商业数据分析业务全流程
150 1

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等