领域建模-指标梳理工具-阶段性体验/调研认知输出

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 本文基于笔者的经历,简要介绍了其基于大数据在供应链行业应用思维转变的3个阶段:零碎供应链场景数据分析-数据资产治理-面向对象数据建模

【引言】:
在笔者作为供应链业务的角色时,经常需要针对特定场景,进行分析并解决业务问题。
在A公司的物流部,公司当时没有大数据平台,只有数据分析认知能力的笔者,遇到了跨数据库抓数卡壳的尴尬。举例说明,商城订单在MYSQL的OMS里,运单在ORACLE的LMS里。当商城的老板派遣其数据分析伙伴来找物流部对运单账单明细的时候,大家就尬住了。跨数据库关联取数毕竟还是没有同一个数据库跨表关联便捷。
在B公司的供应链运营中心,集团老板尤其看重数据安全,权限收口,集团有专门的BI团队提供取数服务,且提需求需要业务明确口径与数据来源。那么一个先有鸡还是先有蛋的问题就来了,业务哪里会熟悉数据库以及表结构呢?经常发生等了一周数据出来以后发现并不能满足业务需求;当口径和来源逐渐依靠试错沉淀下来,高频取数需求转化为报表开发需求时,不同部门/BU一开会,精彩又来临了。因为不同部门同一指标的口径以及来源难以统一,加之每一个报表的沉淀背后都有一个曲折或忐忑的故事,所以大家基本都只信自己的报表。万般无奈之余,当需要统一时,只能统一以财务口径为准。
不论是数据分析还是提报表需求,顺畅的数据清洗加工体验那基本是不存在的。区别只是在于梗在哪里以及梗多少次而已。

【一个概念两个工具】:
机缘巧合+主动争取,目前笔者有幸从事大数据在供应链行业的应用。解决问题的角度也从数据分析延伸为数据治理以及大数据开发。相信但凡是将数据作为资产来对待的公司,都会需要了解领域建模的概念。手动画图(领域划分/脑图/ER图)之余,有幸接触到指标梳理工具,可以将其沉淀为企业数据资产。这两个产品分别是JD EASY 系列的EasyModel以及阿里的Dataphin。

先来看一下JD的EASY MODEL。
因为京东的产品分为研发产品以及业务产品,所以其产品设计的方法论也根据职能进行了划分。其主要思路是在领域以及主题划分完成之后,BI伙伴将维表以及明细表开发好,供业务根据自身多元的需求灵活加工产生派生指标以及汇总表。
可能是由于先入为主的原因,又可能是EASY MODEL产品运营团队耐心的培训,以及产品覆盖的功能从核心功能逐期开发,EASY MODEL的概念还是比较适合零售场景以及容易吸收的。
image.png

产品界面简要图示如下:
首页案例.png

再来看一下阿里的Dataphin.
说到数据治理,那自然绕不开阿里云以及阿里的数据中台产品Dataphin。
通过阅读产品文档中【使用教程】中【面向零售店铺的模型建构与管理】...恩,不知道是巧合还是同行们心有灵犀,EASY MODEL同该章程的建模部分基本一模一样...
不同的是从操作上来说,EASY MODEL有托拉拽;
从功能上来说,dataphin还有完善的调度管理以及质量管理功能。

那看点不同的,通过阅读产品文档,了解到其数据【萃取】功能模块主要如下图,其中【行为中心】是从对象的角度(案例中为人)的视角来命名各个规范,除此之外,还延伸了【标签中心】的功能。
WechatIMG15.jpeg

那从建模到萃取看起来流程以及概念都不一样,是不是建模的方法论就不一样了呢?同时去了解两个功能会不会占用很多认知成本?
条条大路通罗马,笔者认为,治理的理念和流程是类似的,只是名称不同而已,下图列出笔者目前理解的俩个功能不同名称/概念的映射。若有偏差,欢迎打脸。

image.png

从产品的产出,也就是行为看板所展示的内容来看,dataphin不仅仅是生成了汇总表,并且连可视化展功能一并包涵了。萃取-建模-展现一条龙。

dataphin-行为.png

时间有限,对两个产品的认知还不够深入,本次主要聚焦于其数据治理的核心方法论进行了初步的认知。也激发了笔者关于如何依托此类工具进行对象维度的领域建模的思考。
最后,希望多一些类似这两款提高数据治理以及大数据开发效率的产品,因为这意味着可以减少许多不必要的BI开发产品文档。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
3月前
|
监控 搜索推荐 数据可视化
数据指标体系搭建方法及经验
在当今数据驱动的商业环境中,构建一个有效的数据指标体系成为了企业成功的关键。数据指标体系是一套精心设计的测量工具,用于评估和指导企业的业务活动。通过这个体系,企业能够转化庞大、复杂的数据为有价值的洞察,从而指导决策,优化运营,增强竞争力。
数据指标体系搭建方法及经验
|
4月前
|
数据挖掘 测试技术
产品运营方法论问题之运营过程中持续的数据分析如何解决
产品运营方法论问题之运营过程中持续的数据分析如何解决
|
4月前
|
网络协议 Python
系统工程是一种跨学科的方法论,旨在通过分析和设计系统的各个组成部分、组织结构、信息流和控制机制,以实现系统的整体最优运行。
系统工程是一种跨学科的方法论,旨在通过分析和设计系统的各个组成部分、组织结构、信息流和控制机制,以实现系统的整体最优运行。
|
Cloud Native 前端开发 IDE
「技术人生」第10篇:如何做研发效能提升(即指标体系建设过程回顾)
本文作者将给大家提供一些简单的容易实操的方法,能够让所有人都知道什么是效能的提升,如何提升个人的效能,如何提升团队的效能。
1636 12
「技术人生」第10篇:如何做研发效能提升(即指标体系建设过程回顾)
|
搜索推荐 数据挖掘 数据安全/隐私保护
如何用ChatGPT做团队绩效管理?根据员工的个人优势、不足、目标来生成更具体的绩效反馈
效管理、目标设定、绩效评估、员工优势、员工弱点、反馈机制、个人发展计划、职业规划、评估工具、数据分析、绩效考核、评分标准、KPI指标、成果目标、个人任务、团队任务、激励机制、晋升机会、增量奖励、培训计划、团队建设、人才管理、工作满意度、员工福利、OKR
418 0
|
机器学习/深度学习 存储 自然语言处理
ChatGPT的各项超能力从哪儿来?万字拆解追溯技术路线图来了!(2)
ChatGPT的各项超能力从哪儿来?万字拆解追溯技术路线图来了!
174 0
|
机器学习/深度学习 存储 人工智能
ChatGPT的各项超能力从哪儿来?万字拆解追溯技术路线图来了!(1)
ChatGPT的各项超能力从哪儿来?万字拆解追溯技术路线图来了!
183 0
|
机器学习/深度学习 消息中间件 人工智能
万字拆解!追溯ChatGPT各项能力的起源
万字拆解!追溯ChatGPT各项能力的起源
|
机器学习/深度学习 存储 自然语言处理
万字拆解!追溯ChatGPT各项能力的起源 2
万字拆解!追溯ChatGPT各项能力的起源2
|
敏捷开发 数据可视化 测试技术
照亮问题——效能提升从可视化交付过程开始| 学习笔记
快速学习照亮问题——效能提升从可视化交付过程开始
照亮问题——效能提升从可视化交付过程开始| 学习笔记