领域建模-指标梳理工具-阶段性体验/调研认知输出

简介: 本文基于笔者的经历,简要介绍了其基于大数据在供应链行业应用思维转变的3个阶段:零碎供应链场景数据分析-数据资产治理-面向对象数据建模

【引言】:
在笔者作为供应链业务的角色时,经常需要针对特定场景,进行分析并解决业务问题。
在A公司的物流部,公司当时没有大数据平台,只有数据分析认知能力的笔者,遇到了跨数据库抓数卡壳的尴尬。举例说明,商城订单在MYSQL的OMS里,运单在ORACLE的LMS里。当商城的老板派遣其数据分析伙伴来找物流部对运单账单明细的时候,大家就尬住了。跨数据库关联取数毕竟还是没有同一个数据库跨表关联便捷。
在B公司的供应链运营中心,集团老板尤其看重数据安全,权限收口,集团有专门的BI团队提供取数服务,且提需求需要业务明确口径与数据来源。那么一个先有鸡还是先有蛋的问题就来了,业务哪里会熟悉数据库以及表结构呢?经常发生等了一周数据出来以后发现并不能满足业务需求;当口径和来源逐渐依靠试错沉淀下来,高频取数需求转化为报表开发需求时,不同部门/BU一开会,精彩又来临了。因为不同部门同一指标的口径以及来源难以统一,加之每一个报表的沉淀背后都有一个曲折或忐忑的故事,所以大家基本都只信自己的报表。万般无奈之余,当需要统一时,只能统一以财务口径为准。
不论是数据分析还是提报表需求,顺畅的数据清洗加工体验那基本是不存在的。区别只是在于梗在哪里以及梗多少次而已。

【一个概念两个工具】:
机缘巧合+主动争取,目前笔者有幸从事大数据在供应链行业的应用。解决问题的角度也从数据分析延伸为数据治理以及大数据开发。相信但凡是将数据作为资产来对待的公司,都会需要了解领域建模的概念。手动画图(领域划分/脑图/ER图)之余,有幸接触到指标梳理工具,可以将其沉淀为企业数据资产。这两个产品分别是JD EASY 系列的EasyModel以及阿里的Dataphin。

先来看一下JD的EASY MODEL。
因为京东的产品分为研发产品以及业务产品,所以其产品设计的方法论也根据职能进行了划分。其主要思路是在领域以及主题划分完成之后,BI伙伴将维表以及明细表开发好,供业务根据自身多元的需求灵活加工产生派生指标以及汇总表。
可能是由于先入为主的原因,又可能是EASY MODEL产品运营团队耐心的培训,以及产品覆盖的功能从核心功能逐期开发,EASY MODEL的概念还是比较适合零售场景以及容易吸收的。
image.png

产品界面简要图示如下:
首页案例.png

再来看一下阿里的Dataphin.
说到数据治理,那自然绕不开阿里云以及阿里的数据中台产品Dataphin。
通过阅读产品文档中【使用教程】中【面向零售店铺的模型建构与管理】...恩,不知道是巧合还是同行们心有灵犀,EASY MODEL同该章程的建模部分基本一模一样...
不同的是从操作上来说,EASY MODEL有托拉拽;
从功能上来说,dataphin还有完善的调度管理以及质量管理功能。

那看点不同的,通过阅读产品文档,了解到其数据【萃取】功能模块主要如下图,其中【行为中心】是从对象的角度(案例中为人)的视角来命名各个规范,除此之外,还延伸了【标签中心】的功能。
WechatIMG15.jpeg

那从建模到萃取看起来流程以及概念都不一样,是不是建模的方法论就不一样了呢?同时去了解两个功能会不会占用很多认知成本?
条条大路通罗马,笔者认为,治理的理念和流程是类似的,只是名称不同而已,下图列出笔者目前理解的俩个功能不同名称/概念的映射。若有偏差,欢迎打脸。

image.png

从产品的产出,也就是行为看板所展示的内容来看,dataphin不仅仅是生成了汇总表,并且连可视化展功能一并包涵了。萃取-建模-展现一条龙。

dataphin-行为.png

时间有限,对两个产品的认知还不够深入,本次主要聚焦于其数据治理的核心方法论进行了初步的认知。也激发了笔者关于如何依托此类工具进行对象维度的领域建模的思考。
最后,希望多一些类似这两款提高数据治理以及大数据开发效率的产品,因为这意味着可以减少许多不必要的BI开发产品文档。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
安全 数据挖掘
|
6月前
|
移动开发 前端开发 JavaScript
做前端技术方案选型的时候,你是怎么做决策的?
做前端技术方案选型的时候,你是怎么做决策的?
78 0
|
12月前
|
搜索推荐 数据挖掘 数据安全/隐私保护
如何用ChatGPT做团队绩效管理?根据员工的个人优势、不足、目标来生成更具体的绩效反馈
效管理、目标设定、绩效评估、员工优势、员工弱点、反馈机制、个人发展计划、职业规划、评估工具、数据分析、绩效考核、评分标准、KPI指标、成果目标、个人任务、团队任务、激励机制、晋升机会、增量奖励、培训计划、团队建设、人才管理、工作满意度、员工福利、OKR
312 0
|
12月前
|
机器学习/深度学习 存储 人工智能
ChatGPT的各项超能力从哪儿来?万字拆解追溯技术路线图来了!(1)
ChatGPT的各项超能力从哪儿来?万字拆解追溯技术路线图来了!
126 0
|
12月前
|
机器学习/深度学习 存储 自然语言处理
ChatGPT的各项超能力从哪儿来?万字拆解追溯技术路线图来了!(2)
ChatGPT的各项超能力从哪儿来?万字拆解追溯技术路线图来了!
143 0
|
机器学习/深度学习 消息中间件 人工智能
万字拆解!追溯ChatGPT各项能力的起源
万字拆解!追溯ChatGPT各项能力的起源
|
机器学习/深度学习 存储 自然语言处理
万字拆解!追溯ChatGPT各项能力的起源 2
万字拆解!追溯ChatGPT各项能力的起源2
|
Cloud Native 前端开发 IDE
「技术人生」第10篇:如何做研发效能提升(即指标体系建设过程回顾)
本文作者将给大家提供一些简单的容易实操的方法,能够让所有人都知道什么是效能的提升,如何提升个人的效能,如何提升团队的效能。
1369 1
「技术人生」第10篇:如何做研发效能提升(即指标体系建设过程回顾)
|
XML 监控 架构师
自动化测试概况和认知
自动化测试概况和认知
98 1
|
数据采集 数据挖掘 大数据
一文看懂:行业分析怎么做?
在工作和面试中,很多小伙伴会遇到“对XX行业进行分析”的要求。一听“行业分析”四个字,好多人会觉得特别高大上,不知道该怎么做。今天给大家一个懒人攻略,小伙伴们可以快速上手哦。
218 0
一文看懂:行业分析怎么做?