Serverless 应用的监控与调试问题之BMQ的架构是怎么支持流批一体的

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
函数计算FC,每月15万CU 3个月
简介: Serverless 应用的监控与调试问题之BMQ的架构是怎么支持流批一体的

问题一:字节跳动内部流批一体的推广应用情况如何,目前有多少Flink流式作业,其中SQL作业占比多少?


字节跳动内部流批一体的推广应用情况如何,目前有多少Flink流式作业,其中SQL作业占比多少?


参考回答:

从去年开始,流批一体也逐步在字节跳动公司内部推广应用。目前字节跳动全球Flink流式作业达到4w个,其中SQL作业占30%。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/672013



问题二:字节跳动在晚高峰时Flink作业处理消息的QPS和Checkpoint高峰流量吞吐分别是多少?


字节跳动在晚高峰时Flink作业处理消息的QPS和Checkpoint高峰流量吞吐分别是多少?


参考回答:

晚高峰Flink作业处理消息的QPS达到90亿,Checkpoint高峰流量吞吐达到600GB/s。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/672014



问题三:字节跳动为什么选择重新设计实现BMQ消息队列?


字节跳动为什么选择重新设计实现BMQ消息队列?


参考回答:

为了解决Kafka集群升级扩缩容需要大量拷贝数据的问题,字节团队基于存算分离的架构重新设计实现了消息队列BMQ。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/672015



问题四:BMQ的架构是如何支持流批一体的?


BMQ的架构是如何支持流批一体的?


参考回答:

在BMQ的架构之下,数据存放在分布式文件系统HDFS中,Meta存放在K-V存储中。BMQ的计算层Proxy无状态,所以非常容易做扩缩容,且可以同时提供Stream API和Batch API,支持流和批的消费,实现存储层的流批一体。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/672016



问题五:字节跳动下一步在Flink方面的计划是什么?


字节跳动下一步在Flink方面的计划是什么?


参考回答:

字节跳动下一步计划是推进Flink OLAP的落地,并积极改进和优化Flink OLAP能力,推进其在Flink社区中的发展。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/672017

相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
相关文章
|
18天前
|
人工智能 运维 物联网
云大使 X 函数计算 FC 专属活动上线!享返佣,一键打造 AI 应用
如今,AI 技术已经成为推动业务创新和增长的重要力量。但对于许多企业和开发者来说,如何高效、便捷地部署和管理 AI 应用仍然是一个挑战。阿里云函数计算 FC 以其免运维的特点,大大降低了 AI 应用部署的复杂性。用户无需担心底层资源的管理和运维问题,可以专注于应用的创新和开发,并且用户可以通过一键部署功能,迅速将 AI 大模型部署到云端,实现快速上线和迭代。函数计算目前推出了多种规格的云资源优惠套餐,用户可以根据实际需求灵活选择。
|
25天前
|
消息中间件 监控 小程序
电竞陪玩系统架构优化设计,陪玩app如何提升系统稳定性,陪玩小程序平台的测试与监控
电竞陪玩系统架构涵盖前端(React/Vue)、后端(Spring Boot/php)、数据库(MySQL/MongoDB)、实时通信(WebSocket)及其他组件(Redis、RabbitMQ、Nginx)。通过模块化设计、微服务架构和云计算技术优化,提升系统性能与可靠性。同时,加强全面测试、实时监控及故障管理,确保系统稳定运行。
|
30天前
|
容灾 网络协议 数据库
云卓越架构:云上网络稳定性建设和应用稳定性治理最佳实践
本文介绍了云上网络稳定性体系建设的关键内容,包括面向失败的架构设计、可观测性与应急恢复、客户案例及阿里巴巴的核心电商架构演进。首先强调了网络稳定性的挑战及其应对策略,如责任共担模型和冗余设计。接着详细探讨了多可用区部署、弹性架构规划及跨地域容灾设计的最佳实践,特别是阿里云的产品和技术如何助力实现高可用性和快速故障恢复。最后通过具体案例展示了秒级故障转移的效果,以及同城多活架构下的实际应用。这些措施共同确保了业务在面对网络故障时的持续稳定运行。
|
1月前
|
负载均衡 Serverless 持续交付
云端问道9期实践教学-省心省钱的云上Serverless高可用架构
详细介绍了云上Serverless高可用架构的一键部署流程
52 10
|
27天前
|
存储 人工智能 Serverless
7分钟玩转 AI 应用,函数计算一键部署 AI 生图大模型
人工智能生成图像(AI 生图)的领域中,Stable Diffusion WebUI 以其强大的算法和稳定的输出质量而闻名。它能够快速地从文本描述中生成高质量的图像,为用户提供了一个直观且高效的创作平台。而 ComfyUI 则以其用户友好的界面和高度定制化的选项所受到欢迎。ComfyUI 的灵活性和直观性使得即使是没有技术背景的用户也能轻松上手。本次技术解决方案通过函数计算一键部署热门 AI 生图大模型,凭借其按量付费、卓越弹性、快速交付能力的特点,完美实现低成本,免运维。
|
1月前
|
弹性计算 运维 网络协议
卓越效能,极简运维,Serverless高可用架构
本文介绍了Serverless高可用架构方案,当企业面对日益增长的用户访问量和复杂的业务需求时如何实现更高的灵活性、更低的成本和更强的稳定性。
|
2月前
|
人工智能 Serverless API
尽享红利,Serverless构建企业AI应用方案与实践
本次课程由阿里云云原生架构师计缘分享,主题为“尽享红利,Serverless构建企业AI应用方案与实践”。课程分为四个部分:1) Serverless技术价值,介绍其发展趋势及优势;2) Serverless函数计算与AI的结合,探讨两者融合的应用场景;3) Serverless函数计算AIGC应用方案,展示具体的技术实现和客户案例;4) 业务初期如何降低使用门槛,提供新用户权益和免费资源。通过这些内容,帮助企业和开发者快速构建高效、低成本的AI应用。
82 12
|
19天前
|
监控 Serverless 测试技术
云端问道9期方案教学-省心省钱的云上Serverless高可用架构
本文介绍了省心省钱的云上Serverless高可用架构,主要分为两个部分:1. Serverless的发展历程、特点及高可用架构;2. SAE(Serverless Application Engine)产品介绍。Serverless作为一种云计算模式,让用户无需管理底层基础设施,自动弹性扩展资源,按需付费,极大提高了资源利用率和业务灵活性。SAE作为Serverless计算服务,提供了简便的应用部署、运维自动化、丰富的弹性策略和可观测性等功能,帮助企业降低运营成本、提升研发效率。通过极氪汽车、南瓜电影等客户案例展示了SAE在实际应用中的优势。
|
2月前
|
弹性计算 API 持续交付
后端服务架构的微服务化转型
本文旨在探讨后端服务从单体架构向微服务架构转型的过程,分析微服务架构的优势和面临的挑战。文章首先介绍单体架构的局限性,然后详细阐述微服务架构的核心概念及其在现代软件开发中的应用。通过对比两种架构,指出微服务化转型的必要性和实施策略。最后,讨论了微服务架构实施过程中可能遇到的问题及解决方案。
|
3月前
|
Cloud Native Devops 云计算
云计算的未来:云原生架构与微服务的革命####
【10月更文挑战第21天】 随着企业数字化转型的加速,云原生技术正迅速成为IT行业的新宠。本文深入探讨了云原生架构的核心理念、关键技术如容器化和微服务的优势,以及如何通过这些技术实现高效、灵活且可扩展的现代应用开发。我们将揭示云原生如何重塑软件开发流程,提升业务敏捷性,并探索其对企业IT架构的深远影响。 ####
73 3