浅谈-大数据工程师面临的困境和要学习的技术

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: 读书的时候,语文老师总会让同学看看作者的生平简介,谈谈作者为什么会写出这篇文章,文章诞生的背景是什么背景,一方面是让同学理解文章,另外一方面是让同学感同身受。鄙人,不是大厂,也不算外包,算是靠在阿里系的一家创业公司的交付部门的小小大数据工程师,心比天高,命比纸薄。当然,也和上学没有好好学习有关系,怨不得其他人。回到正题,咋们先从我的个人经历聊一下大数据工程师现在面临的困境和我的一些解决思路。

读书的时候,语文老师总会让同学看看作者的生平简介,谈谈作者为什么会写出这篇文章,文章诞生的背景是什么背景,一方面是让同学理解文章,另外一方面是让同学感同身受。

鄙人,不是大厂,也不算外包,算是靠在阿里系的一家创业公司的交付部门的小小大数据工程师,心比天高,命比纸薄。

当然,也和上学没有好好学习有关系,怨不得其他人。

回到正题,咋们先从我的个人经历聊一下大数据工程师现在面临的困境和我的一些解决思路。

数据的不整齐

什么是数据的不整齐,这是我自己定义的一个概念,将不符合数据质量以及元数据模糊的数据定义为不整齐的数据。

当我刚开始工作的时候,需要抽出数据用quickbi做一个bi看板,整体的逻辑相对来说很简单,根据商品名称的维度,日周月的维度划分出不同粒度的销售金额,退款金额等数据。

听起来很容易,可到了正式实践的时候,发现问题来了。

数据提供方根本没有办法提供需要的数据,就说商品金额和商品名称,没有对应的商品信息维表,订单中存储的商品名称会根据活动的不同增加不同的前缀,商品的金额也会因为优惠的波动而波动,不要说算roi,就按百分比算个成本价,一个商品可以出四五个不同的成本价,更不要说还有0的数据。

当时我和其他同事拟定,选取订单中价格最小,但不是0的数据作为商品本身的价格,暂时将bi做了出来,不过真的有人在用吗?

至于元数据的模糊,这个问题是大数据绕不开的问题,就单说订单表中商品数量一个字段,这里的商品数量指的是一个订单的购买的总的商品数量,还是一个订单下一个商品的购买数量?

最近在看一本叫dama数据管理的书,里面有一大章专门讲元数据治理,感觉要想解决这个问题,必须是公司内有一个领导可以拍板说做数据治理,才能解决这个问题,不然越往后,治理难度会更大。

也可能是我目前接触过的业务仅仅是零售行业,感觉行业内的数据有点一拍脑门的感觉,金额数据中写“按照第一季度金额走”,字段写的是coupon_id,注释里面写的是项目id,前者看到的时候除了暂时用rlike匹配正则把数据清除掉,只能跟产品反映,产品再跟对接人反映,对接人再跟业务反映;后者更是找不到对应的负责人,只能自己看数据确定关联关系。

这就引出了新的问题-业务还是数据?

业务的刁难

业务是永远的痛。

数据本身是没有价值的,这句话在零售行业一点也没有出错,零售的大数据想创造价值,那必须是和业务紧密对接,而我目前处理的需求,也基本上都是业务的需求。

可业务需要什么样的数据呢?业务本身知道,但是他们不会主动将自己的想法说出来,而是需要技术来揣摩,接触的久了,就不会发现不了,如果不是有了固定模板的数据,业务需要的数据其实只是看起来正常的数据。

比如,我去年关注小程序的用户是一千万,那明年关注小程序的用户是十万,这数据肯定就不对,这个时候就需要技术来查,是不是计算逻辑出了问题,最后查到是不是源数据里面没有数据。

这个故事听起来还算靠谱,但有时候需求真的过分不合理,开发一张大屏,临近尾声,节点都已经从开发提交到生产,忽然提出质疑,这里的数据不对,一查,是数据源是刚上线不久,之前的数据都是线下数据。

但也不可否认,业务确实在督促技术进步。

技术的进步

从业务督促我进步的例子举几个,首先我接触的数据基本都在dataworks,而业务很多时候都需要抽出超过一万条的数据,我去之前,其他同事都是导出到oss,再从oss下载,可为了偷懒,当然也是在官方文档看多了,我用idea配置conf,就可以在idea搭建一个maxcomputer studio,直接下载数据,避免二次导出。

再比如,有一张表里面的数据,如果有两个不同的维度,而这两个维度还互不相干,应该如何分组呢?

写两个sql吗?或者抽明细数据在数据集等看板里面再聚合?

也是在那个时候,我学会了cube,roullup和grouping up,简单的sql处理就可以实现复杂的逻辑。

业务发现问题会来和产品唠嗑,产品又会找我唠嗑,为了提前他们发现问题,学会使用dataworks的强弱规则,真的没有话说,每天早上起来看一眼短信就可以,尤其是针对递增的数据,同周期的波动率让我更快一步。

当然,还有的需求,需要将错误数据抽离出来,dataworks自己带的python节点,利用opds配合钉钉机器人,每天将错误信息打包成markdown格式报给业务。

技术的局限

不知道有没有人看到这里,如果看了上面,不难发现,我的每天工作似乎都在dataworks上,我承认这上面的东西很多,数据集成,离线开发,实时开发,hologres,function studio,数不清的好东西,可权限就那么多,我甚至连hologres的权限都没有。

每天做的更多的是odps离线的开发,最开始还好,技术的成长很快,但几个月后,sql的基本能力就到了瓶颈期,没有大的项目,很难再有突破。

最让我难受的是,一次和业务沟通,业务忽然问我,为什么用trino,而不是使用implama,我感觉自己如果再这么下去,很可能真的一辈子是个sqlboy,三十岁前可能就得找个零售行业干业务了。

我不能接受这样的我,那应该怎么学习呢?

自我的进步

首先是发掘目前使用的工具的潜能,就拿dataworks来说,进不去function studio,我就进idea,在idea开发自定义函数,从最简单的udf到后面的udtf和udaf,再到mapreduce。

传统的sql写腻歪了,那我就尝试sql组件节点,尝试赋值节点和分支节点。

再就是学习阿里的训练营和定期的活动,都说人需要好的反馈来刺激自己继续努力,没有比这些小活动更好的激励方式,而且千万不要认为学习的东西是没有用的,触类旁通的道理武侠小说里面都有写。

就拿我最近正在看的polardb,polardbx和polardb for postgre的课程来说,我从里面看到了数据库ap查询和tp查询的区别,理解大数据的存储大多都以列存储是为了更好的压缩和查询,掌握了docker的部分知识,自己去思考数据库和大数据的本质区别。

干活可能没有那么多,但是希望诸君共勉。



相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
12天前
|
分布式计算 Hadoop 分布式数据库
Hadoop生态系统介绍(二)大数据技术Hadoop入门理论系列之一----hadoop生态圈介绍
Hadoop生态系统介绍(二)大数据技术Hadoop入门理论系列之一----hadoop生态圈介绍
34 2
|
19天前
|
数据采集 传感器 大数据
利用大数据进行精准农业:技术与挑战
【6月更文挑战第6天】大数据技术正变革农业,推动精准农业发展。通过实时收集农田数据(如土壤条件、作物生长情况),运用数据分析预测病虫害,优化生产管理。示例代码显示了如何使用Python进行产量预测。然而,数据质量、整合、农民技术接受度及隐私安全等问题挑战重重。需强化数据管理,统一标准,提升农民数字素养,并保障数据安全。随着技术进步,大数据在精准农业的应用将更加广泛,助力农业高效可持续发展。
30 0
|
7天前
|
监控 数据可视化 大数据
大数据技术在公共交通系统规划中的应用
大数据技术在公共交通系统规划中的应用
|
10天前
|
分布式计算 Hadoop 大数据
大数据技术:Hadoop与Spark的对比
【6月更文挑战第15天】**Hadoop与Spark对比摘要** Hadoop是分布式系统基础架构,擅长处理大规模批处理任务,依赖HDFS和MapReduce,具有高可靠性和生态多样性。Spark是快速数据处理引擎,侧重内存计算,提供多语言接口,支持机器学习和流处理,处理速度远超Hadoop,适合实时分析和交互式查询。两者在资源占用和生态系统上有差异,适用于不同应用场景。选择时需依据具体需求。
|
18天前
|
存储 大数据 分布式数据库
使用Apache HBase进行大数据存储:技术解析与实践
【6月更文挑战第7天】Apache HBase,一个基于HDFS的列式存储NoSQL数据库,提供高可靠、高性能的大数据存储。其特点是列式存储、可扩展至PB级数据、低延迟读写及多版本控制。适用场景包括大规模数据存储、实时分析、日志存储和推荐系统。实践包括集群环境搭建、数据模型设计、导入、查询及性能优化。HBase在大数据存储领域扮演关键角色,未来有望在更多领域发挥作用。
|
1天前
|
存储 数据采集 分布式计算
利用大数据技术优化电商返利系统的效率
利用大数据技术优化电商返利系统的效率
|
5天前
|
机器学习/深度学习 人工智能 分布式计算
数据科学与大数据技术就业方向
数据科学与大数据技术就业方向
|
5天前
|
缓存 监控 druid
对比各大数据库连接池技术-Jdbc-Dbcp-C3p0-Druid-Hikaricp
对比各大数据库连接池技术-Jdbc-Dbcp-C3p0-Druid-Hikaricp
8 0
|
7天前
|
机器学习/深度学习 数据采集 大数据
大数据技术下的企业智能决策支持系统
大数据技术下的企业智能决策支持系统
15 0
|
13天前
|
存储 大数据 Linux
【大数据】GFS,大数据技术的基石,分布式文件系统的鼻祖
【大数据】GFS,大数据技术的基石,分布式文件系统的鼻祖
25 0