网易云音乐的消息队列改造之路 | 7月26号云栖夜读

简介: 今天的首篇文章,讲述了:网易云音乐从13年4月上线以来,业务和用户突飞猛进。后台技术也从传统的 Tomcat 集群到分布式微服务快速演进和迭代,在业务的不断催生下,诞生了云音乐的 RPC,API 网关和链路跟踪等多种服务,消息队列也从 RabbitMQ 集群迁移到 Kafka集群。
点击[订阅云栖夜读日刊](https://yq.aliyun.com/publication/5),专业的技术干货,不容错过! # 阿里专家原创好文 **1.网易云音乐的消息队列改造之路** 网易云音乐从13年4月上线以来,业务和用户突飞猛进。后台技术也从传统的 Tomcat 集群到分布式微服务快速演进和迭代,在业务的不断催生下,诞生了云音乐的 RPC,API 网关和链路跟踪等多种服务,消息队列也从 RabbitMQ 集群迁移到 Kafka集群。对于消息队列,更多处于使用阶段,也在使用中出现很多问题。因此我们期望提供一种完全可控,出现问题我们自己能排查,能跟踪,可以根据业务需求做定制改造的消息队列。[阅读更多》》](https://yq.aliyun.com/articles/710806) **2.阿里小程序亮相2019上海云峰会:大生态促成许多“小而美”** 7月25日下午,在上海世博中心的阿里云峰会上海站上,阿里巴巴小程序繁星计划以展区加开放式论坛形式,与各领域开发者、企业和生态合作伙伴充分交流了小程序一云多端的规划和进展,以及阿里系各端APP向小程序开放的资源和能力。[阅读更多》》](https://yq.aliyun.com/articles/710843) **3.快速验证业务决策,“玩转”用户增长** 闲鱼目前已经是国内最大的闲置物品交易平台,每天都有数以千万计的用户过来闲鱼,以C2C交易为主。在闲鱼里面,用户的C2C购物频率其实是很低的,而纯粹地逛商品feed流是一件挺无聊的事情。在业务上做加法,突破闲鱼用户增长缺少抓手的困境,将业务与玩法深度结合到一起,提升用户参与积极性和活跃度,同时让更多没来过闲鱼的用户对闲鱼产生兴趣。[阅读更多》》](https://yq.aliyun.com/articles/710728) **4.云原生化的迁云实战** 云原生的时代已经到来,云原生技术正在重塑整个软件生命周期,阿里巴巴是国内最早布局云原生技术的公司之一。[阅读更多》》](https://yq.aliyun.com/articles/710770) **5.在阿里,我如何做好技术项目管理?** 在技术公司、尤其是互联网公司,技术人员作为PM(项目经理)是非常常见的。有些同学得心应手,有条不紊,能得到清晰稳定的预期结果;有些同学则在过程中遇到各种闹心的事,最后不是项目上不了线,就是带着问题或各种人员的不满硬上。当然这两种都是比较极端的结果。理性思考下,这里面有没有规律在?今天,阿里高级开发专家墨玖和你聊聊,如何做好一个技术项目的PM。[阅读更多》》](https://yq.aliyun.com/articles/710702) # 视频课程及PPT下载 **1.阿里云新品发布会第69期:小程序一云多端解决方案(直播预告)** 发布会主题:小程序云(MiniProgramCloud)是阿里云面向小程序场景提供的一站式开发平台,旨在帮助开发者实现一云多端的业务战略。小程序云提供了有服务器和无服务器两种产品服务模式。小程序云应用是有服务器模式,提供了包括资源编排、应用托管、运维监控等服务。小程序Serverless 是无服务器模式,提供了后端能力(函数计算、存储、数据库)快速集成,运营、业务增值 API 开放等服务。 直播时间:2019/08/14 15:00 发布会现场直播:https://yq.aliyun.com/live/1255 **2.4.1.5 Serving Billions of Queries In Millisecond Latency** 视频地址:https://yq.aliyun.com/live/1252 PPT下载:https://yq.aliyun.com/download/2932 云栖公开课专题页:https://yq.aliyun.com/activity/831 **3.4.1.4 Improving HBase reliability at Pinterest** 视频地址:https://yq.aliyun.com/live/1219 PPT下载:https://yq.aliyun.com/download/2922 云栖公开课专题页:https://yq.aliyun.com/activity/831 **4.2.2 HBase企业级功能之安全:基于Kerberos的HBase安全实战** 视频地址:https://yq.aliyun.com/live/971 PPT下载:https://yq.aliyun.com/download/3068 云栖公开课专题页:https://yq.aliyun.com/activity/831 [更多精彩直播](https://yq.aliyun.com/users/m5ss3lmi2mbii/live) #热门话题 **1.科技高速发展,没学历,没技术,能做什么工作?(有奖话题)** - 你觉得没学历,没技术,能干什么工作? - 对于没学历,没技术的同学,有什么建议吗? [点此进入回答赢取礼物](https://yq.aliyun.com/roundtable/500455) **2.程序员能靠技术度过中年危机吗?(有奖话题)** - 你觉得程序员能靠技术渡过中年危机吗? - 程序员要怎么度过中年危机? [点此进入回答赢取礼物](https://yq.aliyun.com/roundtable/500317) # 往期精彩回顾 [MaxCompute技术人背后的故事:从ApacheORC到AliORC | 7月25号云栖夜读](https://yq.aliyun.com/articles/710802) 更多干货内容 请关注云栖社区微信公众号! ![qrcode_for_gh_015af649354b_258_2_](https://yqfile.alicdn.com/c0e536fa40e15c309ae61c2674a2f381f3fa031d.jpeg)
相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
目录
相关文章
|
消息中间件 RocketMQ 监控
网易云音乐的消息队列改造之路
十年文案老司机,不如网易评论区。 网易云音乐自2013年上线后,业务保持了高速增长。云音乐除了提供好听的音乐外,还留下了我们在乐和人上的美好回忆。本文整理自网易云音乐消息队列负责人林德智在近期 Apache Flink&RocketMQ Meetup 上海站的分享,通过该文,您将了解到: 网易云音乐消息队列改造背景 网易云音乐业务对消息队列要求 网易云音乐消息队列架构设计 网易云音乐消息队列部分高级特性介绍 网易云音乐消息队列落地使用情况 网易云音乐消息队列未公开规划 背景 网易云音乐从13年4月上线以来,业务和用户突飞猛进。
4349 0
|
5月前
|
消息中间件 网络性能优化 开发工具
消息队列 MQ使用问题之如何确保消息的唯一性
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
5月前
|
消息中间件 C语言 RocketMQ
消息队列 MQ操作报错合集之出现"Connection reset by peer"的错误,该如何处理
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
5月前
|
消息中间件 Java C语言
消息队列 MQ使用问题之在使用C++客户端和GBase的ESQL进行编译时出现core dump,该怎么办
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
1月前
|
消息中间件 存储 Kafka
MQ 消息队列核心原理,12 条最全面总结!
本文总结了消息队列的12个核心原理,涵盖消息顺序性、ACK机制、持久化及高可用性等内容。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
|
3月前
|
消息中间件
手撸MQ消息队列——循环数组
队列是一种常用的数据结构,类似于栈,但采用先进先出(FIFO)的原则。生活中常见的排队场景就是队列的应用实例。在数据结构中,队列通常用数组实现,包括入队(队尾插入元素)和出队(队头移除元素)两种基本操作。本文介绍了如何用数组实现队列,包括定义数组长度、维护队头和队尾下标(front 和 tail),并通过取模运算解决下标越界问题。此外,还讨论了队列的空与满状态判断,以及并发和等待机制的实现。通过示例代码展示了队列的基本操作及优化方法,确保多线程环境下的正确性和高效性。
53 0
手撸MQ消息队列——循环数组
|
4月前
|
消息中间件 存储 缓存
一个用过消息队列的人,竟不知为何要用 MQ?
一个用过消息队列的人,竟不知为何要用 MQ?
184 1
|
5月前
|
消息中间件 开发工具 RocketMQ
消息队列 MQ使用问题之一直连接master失败,是什么原因
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
5月前
|
消息中间件 Prometheus 监控
消息队列 MQ使用问题之如何将旧集群的store目录迁移到新集群
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
5月前
|
消息中间件 安全 PHP
消息队列 MQ使用问题之如何获取PHP客户端代码
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
下一篇
DataWorks