【云周刊】第170期:技术人生-看90后如何逆袭,从实习生成长为阿里云分布式NoSQL领域专家

本文涉及的产品
对象存储 OSS,20GB 3个月
大数据开发治理平台DataWorks,Serverless资源组抵扣包300CU*H
对象存储 OSS,内容安全 1000次 1年
简介: 【技术人生】看90后如何逆袭,从实习生成长为阿里云分布式NoSQL领域专家,【超级干货】突破自我,—文看尽DataWorks全新升级以及在城市大脑的广泛应用,【超级干货】突破自我,—文看尽DataWorks全新升级以及在城市大脑的广泛应用 ! ...更多精彩内容,尽在云周刊!

本期头条

【技术人生】看90后如何逆袭,从实习生成长为阿里云分布式NoSQL领域专家

c3d784ab4b598b04dfbdc014ab71b39d29268c72

从5年前第一次进入阿里云实习到如今,我一直都在表格存储TableStore团队,参与分布式NoSQL的研发等工作。另外,我也是一名93年出生的90后,一度是团队内最年轻的人,直到最近一年才开始被打破。回顾自己这几年的经历,是从一个实习生逐渐成为团队内的核心成员,从一个算法竞赛选手成为分布式NoSQL领域专家的过程。跟团队里的很多同学一样,从小挺爱学习的,从小学一直到大一,基本都是班里的第一名。说起学编程,是从高中开始,高一入学时学校也刚开始组建各科竞赛,我就选了信息学竞赛....点击查看



技术干货

【超级干货】突破自我,—文看尽DataWorks全新升级以及在城市大脑的广泛应用

5bcd2296253da16166a7f6f7e8a3d69163b55aee

DataWorks(数据工场)是阿里云推出的大数据领域PaaS平台,是一站式的DW能力平台,提供数据集成、数据开发、数据管理、数据治理等全方位的产品服务,致力于帮助企业快速搭建大数据平台和IT数据中心,无需关注具体搭建过程中工具使用细节。在2018年云栖大会·深圳峰会的专有云专场中,来自阿里云的大数据专家张辉(士诚)为现场的听众带来了题为《DataWorks全新升级以及在城市大脑的广泛应用》的技术分享。在本次分享中,士诚重点阐述DataWorks概述、DataWorks核心能力升级和DataWorks在城市大脑中的应用三个方面。点击查看



技术干货



社区活动

【Techday61】存储专场-OSS使用最佳实践与CDN日志实时分析

d3041302a4c61d0a4cc7962c66961522786a8a4f

阿里云对象存储服务(Object Storage Service,简称 OSS),是阿里云提供的海量、安全、低成本、高可靠的云存储服务。本次技术沙龙主要介绍性能、容灾、权限管理等方面的最佳实践。点击报名



精彩直播

第二届研发效能嘉年华,天猫、飞猪、饿了么、创新创业企业,为你解读高效研发!

3d6f605dcf8272c4088b7210086f4f983dbf4453

商场如战场,新业务如何尽快落地,企业如何能提升自身的IT产能,助力商业价值。高效能、快敏捷的组织是怎样运作的?项目管理-应用管理-代码测试-持续交付-运维监控-数据反馈运营的一站式研发生命周期管理服务如何玩?天猫双11项目如何管理?飞猪未来酒店等快速发展的企业如何实现研发体系创新升级?饿了么的研发速度又是如何保持数倍增长的?尽在第二届研发效能嘉年华!我要报名



聚能聊

【热门话题】向代码致敬,寻找你的第83行

c3b8b07fe4b5362a5fb0ac9f6acb30a193d7dfb0

五四青年节,作为70、80、90的码一代新青年,还记得你最初写的那些代码吗?来晒晒属于你的“第83行”。我们也邀请业界的大牛、大神们来Review哦~你也可以点名邀请一些大牛来点评Review,最终将由网友和大牛共同评选出获得点赞和大牛评分最高的2位参与者,并由多隆在5月29日第二届研发效能嘉年华直播间颁发“多隆奖“。点击查看



论坛精选

【基础常识】在新版本WHM (64.0)中安装php5.3

问题:如服务器产品中,绑定的系统是CentOS 6 + cPanel,支持php5.5以上的版本,但网站程序必须是php5.3,技术高手教你如何一步一步安装。点击查看



读书推荐

这是我最想推荐给程序员们看的基于Python3实现的数据科学书

 ​​和武侠世界里有少林和武当两大门派一样,数据科学领域也有两个不同的学派:以统计分析为基础的统计学派,以及以机器学习为基础的人工智能派。虽然这两个学派的目的都是从数据中挖掘价值,但彼此“都不服气”。注重模型预测效果的人工智能派认为统计学派“固步自封”,研究和使用的模型都只是一些线性模型,太过简单,根本无法处理复杂的现实数据。点击查看



产品特惠

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
7天前
|
机器学习/深度学习 分布式计算 数据挖掘
MaxFrame 性能评测:阿里云MaxCompute上的分布式Pandas引擎
MaxFrame是一款兼容Pandas API的分布式数据分析工具,基于MaxCompute平台,极大提升了大规模数据处理效率。其核心优势在于结合了Pandas的易用性和MaxCompute的分布式计算能力,无需学习新编程模型即可处理海量数据。性能测试显示,在涉及`groupby`和`merge`等复杂操作时,MaxFrame相比本地Pandas有显著性能提升,最高可达9倍。适用于大规模数据分析、数据清洗、预处理及机器学习特征工程等场景。尽管存在网络延迟和资源消耗等问题,MaxFrame仍是处理TB级甚至PB级数据的理想选择。
33 4
|
11天前
|
存储 缓存 负载均衡
从零到一:分布式缓存技术初探
分布式缓存通过将数据存储在多个节点上,利用负载均衡算法提高访问速度、降低数据库负载并增强系统可用性。常见产品有Redis、Memcached等。其优势包括性能扩展、高可用性、负载均衡和容错性,适用于页面缓存、应用对象缓存、状态缓存、并行处理、事件处理及极限事务处理等多种场景。
32 1
|
15天前
|
分布式计算 大数据 数据处理
技术评测:MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展,数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame(简称“MaxFrame”)是一个专为Python开发者设计的分布式计算框架,它不仅支持Python编程接口,还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评,探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现,并分析其在实际工作中的应用潜力。
51 2
|
23天前
|
运维 Kubernetes 调度
阿里云容器服务 ACK One 分布式云容器企业落地实践
阿里云容器服务ACK提供强大的产品能力,支持弹性、调度、可观测、成本治理和安全合规。针对拥有IDC或三方资源的企业,ACK One分布式云容器平台能够有效解决资源管理、多云多集群管理及边缘计算等挑战,实现云上云下统一管理,提升业务效率与稳定性。
|
2月前
|
供应链 算法 安全
深度解析区块链技术的分布式共识机制
深度解析区块链技术的分布式共识机制
61 0
|
2月前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
3月前
|
NoSQL Java Redis
太惨痛: Redis 分布式锁 5个大坑,又大又深, 如何才能 避开 ?
Redis分布式锁在高并发场景下是重要的技术手段,但其实现过程中常遇到五大深坑:**原子性问题**、**连接耗尽问题**、**锁过期问题**、**锁失效问题**以及**锁分段问题**。这些问题不仅影响系统的稳定性和性能,还可能导致数据不一致。尼恩在实际项目中总结了这些坑,并提供了详细的解决方案,包括使用Lua脚本保证原子性、设置合理的锁过期时间和使用看门狗机制、以及通过锁分段提升性能。这些经验和技巧对面试和实际开发都有很大帮助,值得深入学习和实践。
太惨痛: Redis 分布式锁 5个大坑,又大又深, 如何才能 避开 ?
|
30天前
|
存储 NoSQL Java
使用lock4j-redis-template-spring-boot-starter实现redis分布式锁
通过使用 `lock4j-redis-template-spring-boot-starter`,我们可以轻松实现 Redis 分布式锁,从而解决分布式系统中多个实例并发访问共享资源的问题。合理配置和使用分布式锁,可以有效提高系统的稳定性和数据的一致性。希望本文对你在实际项目中使用 Redis 分布式锁有所帮助。
101 5
|
2月前
|
NoSQL Java 数据处理
基于Redis海量数据场景分布式ID架构实践
【11月更文挑战第30天】在现代分布式系统中,生成全局唯一的ID是一个常见且重要的需求。在微服务架构中,各个服务可能需要生成唯一标识符,如用户ID、订单ID等。传统的自增ID已经无法满足在集群环境下保持唯一性的要求,而分布式ID解决方案能够确保即使在多个实例间也能生成全局唯一的标识符。本文将深入探讨如何利用Redis实现分布式ID生成,并通过Java语言展示多个示例,同时分析每个实践方案的优缺点。
70 8
|
2月前
|
NoSQL Redis
Redis分布式锁如何实现 ?
Redis分布式锁通过SETNX指令实现,确保仅在键不存在时设置值。此机制用于控制多个线程对共享资源的访问,避免并发冲突。然而,实际应用中需解决死锁、锁超时、归一化、可重入及阻塞等问题,以确保系统的稳定性和可靠性。解决方案包括设置锁超时、引入Watch Dog机制、使用ThreadLocal绑定加解锁操作、实现计数器支持可重入锁以及采用自旋锁思想处理阻塞请求。
61 16