数据工程师妹子养成手记——数据库篇

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 数据工程师妹子养成手记——数据库篇

这篇文章没有代码,请放心阅读。

程序员最宝贵的东西是生命,生命属于程序员只有一次。一个程序员的一生应该这样度过:当她回首往事的时候,她不会因为搭建环境浪费时间而悔恨,也不会因为集群无法运行而羞耻。这样,在她开发的时候,她能够说:“我的整个生命和全部精力,都已经献给了开发中最重要的事情——设计程序,实现程序和调Bug。” ——P酱。

P酱是公司新来的实习生妹子。听说是一个文科生。文科生应该会去文案组或者策划组吧。什么?来数据组?让我来带?

于是我和P酱生活工作在了一起。

P酱你会些什么?

“我叫P酱,在XX大学读研二,爱好是拍照和被拍,大家可以在B站找到我跳舞的视频,比如av170001。我的另外一个爱好是写代码……”

当一个文科妹子说自己喜欢写代码的时候,整个办公室热闹了起来。

“P酱,听说你喜欢写代码,那你写过什么东西吗?”新人介绍会议结束以后,我问P酱。

“一般都是各种分析程序,我们的专业要做很多调查报告,他们都是用Excel来计算的。我喜欢用Python来把这些统计过程自动化。后来也写过自动写诗的程序、鬼畜视频生成器等等。”

“真不敢相信你是文科生。这么说你的兴趣是数据分析方向咯?”

“其实我对师父你做的爬虫很有兴趣。但是听说会经常和网站发生对抗?女孩子还是不要打打杀杀的好~”

于是我让P酱负责对爬虫的原始数据进行清洗、整理并做简单的分析。

一种船新的数据储存方式

“P酱,爬虫抓到的原始数据是存放在MongoDB里面的,你的Python还不错吧,你试一试用Python来读写MongoDB看看。”

“MongoDB是什么呀?”

“是一个和MySQL不太一样的数据库。”

“MySQL我知道,MongoDB和MySQL有什么不一样呢?”

“我举个例子,当你要插入数据的时候,你需要做的,就是‘插入’。咳咳,你不要脸红,我是指你不需要写SQL语句、不需要建表、不需要提前定义字段。仅仅只需要一行代码就能够实现了。我这里给你写了一篇文档,讲到了MongoDB的增删改查,你试一试。数据库已经给你搭建好了,你直接连上去用吧”

半天以后。

“师父,我已经会使用MongoDB啦。”

“你读爬虫的原始数据,主要涉及到的就是查询操作,为了巩固插入、修改和删除的操作,再给你一个小任务吧。试一试写一个人员管理系统吧。”

既然有关系,就整整齐齐放在一起看吧

“P酱,你看起来很高兴的样子啊。”

“因为我觉得MongoDB比起MySQL太简单了啊~”

“你确定?那我看看你怎么对整行数据去重的?”

“师父,我知道distinct关键字可以对一个字段去重。但是整行数据我是读出来用Python来去重的。”

“这个时候你就要用到MongoDB的聚合查询了。文档已经给你写好了,拿去看吧。”

“还有还有,这里你把店铺信息和菜单信息放在了两个集合里面,我怎么样才能把他们联表查询出来呢?”

“联表查询是MySQL里面的操作,在MongoDB里面,没有 ,只有 集合,所以叫做 联集合查询更恰当一些。这也是要用到聚合查询,也在这个文档里面了。”

再给你一个玩具吧。

“P酱,之前让你做的爬虫数据监控系统怎么样了?”

“功能已经做好了,但是有一个地方查询起来特别慢。我已经加过索引了,但还是很慢。怀疑是同时联了四个集合的数据造成的。”

“这边的数据实际上每小时才更新一次,你没有必要每次刷新页面都去查询MongoDB的。我觉得是时候让你用一下Redis做缓存了。”

“Redis就是那个内存数据库吗?我知道我知道。”

“给你写了一份文档,包含Redis里面的各种数据类型和使用方式。你试一试把Redis和MongoDB结合起来看看能不能提高速度。”

你怎么擅自加功能啊!

“P酱,你怎么在爬虫监控系统的网页上加了一个广播窗口?”

“呀,被师父发现了。因为我想到同一个爬虫可能会被几个人监控,所以就用Redis的发布订阅功能做出来了这个广播的功能。一旦爬虫状态发生改变,所有人都能收到推送。”

“既然你这么闲,那不如加上账号登录功能,把权限验证也做上去?不同的人只能看到自己负责的爬虫。顺便你可以试一试用Redis实现……”

“实现布隆过滤器和Session管理是吗?”

“你怎么知道我要说什么?”

“因为我早上看到你在文档上面更新了布隆过滤器和Session管理相关的内容啊~”

红色的锁?

“师父师父,你知道什么是RedLock吗?”

“你学得这么快?都知道RedLock了?RedLock是Redis官方给出的分布式锁的算法。已经有很多编程语言实现它了。”

“原来RedLock只是一个算法啊……”

为什么我学的这么快呢?

“师父师父,我觉得很奇怪啊,为什么MongoDB和Redis我学得这么快呢?难道是因为他们本来就简单?还是因为我太聪明了?”

“为什么你不说是因为你师父教的好呢?“

“因为这是事实啊~不用我说出来~”

“咳咳,实际上是因为两个原因。一是你一直通过项目驱动来学习,先有需求,然后再去学习实现这个需求所要涉及到的技能。所以你知道你学的东西能用来干什么,自然就能学得快……”

“那第二个原因是什么呢?”

“第二个原因,我先问你一个问题,你会搭建Redis集群吗?会搭建MongoDB集群吗?知道什么叫做哨兵吗?你知道如何优化MongoDB的启动参数吗?”

“这…………好像都不知道额…………”

“因为你的角色是数据工程师,不是数据库工程师,所以数据库搭建、底层优化这些内容我都给你跳过了。”

“这些听起来都很重要啊,师父你会教我吗?”

“你想经常值夜班吗?想半夜3点被人打电话叫起来修数据库吗?认清自己的定位啊,数据库工程师的技能当然很重要,但你是要成为数据工程师的人,技能树应该点在合适的方向。”

后记

后来,P酱成了别人的女朋友。

幸好我还有左手和右手,于是我把我给P酱总结的文档编撰成了《左手MongoDB,右手Redis——从入门到商业实战》这本书。本书现在已经在京东、亚马逊、淘宝上架。

这本书的定位是MongoDB和Redis的应用,所以有意弱化了数据库的搭建、维护和底层优化。所以本书可能不适合数据库工程师。

希望本书能够给那些一直想掌握MongoDB、Redis,但是又不知道从何处下手的读者,提供一个学习的方向。

福利时间:

在本文下面留言,回复你与MongoDB、Redis的故事并把本文转发到朋友圈,我将会在2019年02月25日20点选择三位同学,每人赠送一本签名版的《左手MongoDB,右手Redis——从入门到商业实战

点击阅读原文跳转本书京东地址。

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
2月前
|
存储 人工智能 Cloud Native
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
在9月20日2024云栖大会上,阿里云智能集团副总裁,数据库产品事业部负责人,ACM、CCF、IEEE会士(Fellow)李飞飞发表《从数据到智能:Data+AI驱动的云原生数据库》主题演讲。他表示,数据是生成式AI的核心资产,大模型时代的数据管理系统需具备多模处理和实时分析能力。阿里云瑶池将数据+AI全面融合,构建一站式多模数据管理平台,以数据驱动决策与创新,为用户提供像“搭积木”一样易用、好用、高可用的使用体验。
云栖重磅|从数据到智能:Data+AI驱动的云原生数据库
|
2月前
|
存储 监控 数据处理
flink 向doris 数据库写入数据时出现背压如何排查?
本文介绍了如何确定和解决Flink任务向Doris数据库写入数据时遇到的背压问题。首先通过Flink Web UI和性能指标监控识别背压,然后从Doris数据库性能、网络连接稳定性、Flink任务数据处理逻辑及资源配置等方面排查原因,并通过分析相关日志进一步定位问题。
204 61
|
9天前
|
SQL 存储 运维
从建模到运维:联犀如何完美融入时序数据库 TDengine 实现物联网数据流畅管理
本篇文章是“2024,我想和 TDengine 谈谈”征文活动的三等奖作品。文章从一个具体的业务场景出发,分析了企业在面对海量时序数据时的挑战,并提出了利用 TDengine 高效处理和存储数据的方法,帮助企业解决在数据采集、存储、分析等方面的痛点。通过这篇文章,作者不仅展示了自己对数据处理技术的理解,还进一步阐释了时序数据库在行业中的潜力与应用价值,为读者提供了很多实际的操作思路和技术选型的参考。
23 1
|
13天前
|
存储 Java easyexcel
招行面试:100万级别数据的Excel,如何秒级导入到数据库?
本文由40岁老架构师尼恩撰写,分享了应对招商银行Java后端面试绝命12题的经验。文章详细介绍了如何通过系统化准备,在面试中展示强大的技术实力。针对百万级数据的Excel导入难题,尼恩推荐使用阿里巴巴开源的EasyExcel框架,并结合高性能分片读取、Disruptor队列缓冲和高并发批量写入的架构方案,实现高效的数据处理。此外,文章还提供了完整的代码示例和配置说明,帮助读者快速掌握相关技能。建议读者参考《尼恩Java面试宝典PDF》进行系统化刷题,提升面试竞争力。关注公众号【技术自由圈】可获取更多技术资源和指导。
|
16天前
|
前端开发 JavaScript 数据库
获取数据库中字段的数据作为下拉框选项
获取数据库中字段的数据作为下拉框选项
46 5
|
2月前
|
SQL 关系型数据库 数据库
国产数据实战之docker部署MyWebSQL数据库管理工具
【10月更文挑战第23天】国产数据实战之docker部署MyWebSQL数据库管理工具
188 4
国产数据实战之docker部署MyWebSQL数据库管理工具
|
2月前
|
关系型数据库 MySQL 数据库
GBase 数据库如何像MYSQL一样存放多行数据
GBase 数据库如何像MYSQL一样存放多行数据
|
2月前
|
关系型数据库 分布式数据库 数据库
云栖大会|从数据到决策:AI时代数据库如何实现高效数据管理?
在2024云栖大会「海量数据的高效存储与管理」专场,阿里云瑶池讲师团携手AMD、FunPlus、太美医疗科技、中石化、平安科技以及小赢科技、迅雷集团的资深技术专家深入分享了阿里云在OLTP方向的最新技术进展和行业最佳实践。
|
3月前
|
人工智能 Cloud Native 容灾
云数据库“再进化”,OB Cloud如何打造云时代的数据底座?
云数据库“再进化”,OB Cloud如何打造云时代的数据底座?
|
3月前
|
SQL 存储 关系型数据库
数据储存数据库管理系统(DBMS)
【10月更文挑战第11天】
214 3
下一篇
开通oss服务