问题一:字节跳动内部流批一体的推广应用情况如何,目前有多少Flink流式作业,其中SQL作业占比多少?
字节跳动内部流批一体的推广应用情况如何,目前有多少Flink流式作业,其中SQL作业占比多少?
参考回答:
从去年开始,流批一体也逐步在字节跳动公司内部推广应用。目前字节跳动全球Flink流式作业达到4w个,其中SQL作业占30%。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/672013
问题二:字节跳动在晚高峰时Flink作业处理消息的QPS和Checkpoint高峰流量吞吐分别是多少?
字节跳动在晚高峰时Flink作业处理消息的QPS和Checkpoint高峰流量吞吐分别是多少?
参考回答:
晚高峰Flink作业处理消息的QPS达到90亿,Checkpoint高峰流量吞吐达到600GB/s。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/672014
问题三:字节跳动为什么选择重新设计实现BMQ消息队列?
字节跳动为什么选择重新设计实现BMQ消息队列?
参考回答:
为了解决Kafka集群升级扩缩容需要大量拷贝数据的问题,字节团队基于存算分离的架构重新设计实现了消息队列BMQ。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/672015
问题四:BMQ的架构是如何支持流批一体的?
BMQ的架构是如何支持流批一体的?
参考回答:
在BMQ的架构之下,数据存放在分布式文件系统HDFS中,Meta存放在K-V存储中。BMQ的计算层Proxy无状态,所以非常容易做扩缩容,且可以同时提供Stream API和Batch API,支持流和批的消费,实现存储层的流批一体。
关于本问题的更多回答可点击原文查看:
https://developer.aliyun.com/ask/672016
问题五:字节跳动下一步在Flink方面的计划是什么?
字节跳动下一步在Flink方面的计划是什么?
参考回答:
字节跳动下一步计划是推进Flink OLAP的落地,并积极改进和优化Flink OLAP能力,推进其在Flink社区中的发展。
关于本问题的更多回答可点击原文查看: