阿里巴巴经济体核心调度系统“伏羲”设计问题之伏羲系统的功能如何解决

本文涉及的产品
AI 网关免费试用,400元 Serverless
简介: 阿里巴巴经济体核心调度系统“伏羲”设计问题之伏羲系统的功能如何解决

问题一:“伏羲”在阿里巴巴经济体中扮演了什么角色?


“伏羲”在阿里巴巴经济体中扮演了什么角色?


参考回答:

“伏羲”作为阿里巴巴经济体中的核心调度系统,最初是为了解决大规模分布式资源的调度问题而设计的。它是飞天平台创立时的三大服务之一,与分布式存储Pangu和分布式计算MaxCompute共同构成了阿里巴巴的基础技术架构。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/667310



问题二:伏羲系统是如何随着阿里巴巴经济体的发展而演进的?


伏羲系统是如何随着阿里巴巴经济体的发展而演进的?


参考回答:

伏羲系统随着阿里巴巴经济体和阿里云业务需求的发展,尤其是双十一等大规模业务场景的磨练,其内涵不断扩大。从单一的资源调度器扩展成大数据的核心调度服务,覆盖数据调度、资源调度、计算调度和本地微(自治)调度等多个领域,并在每个细分领域致力于打造超越业界主流的差异化能力。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/667312



问题三:Serverless 架构如何支持长连接模式如 WebSocket?


Serverless 架构如何支持长连接模式如 WebSocket?


参考回答:

Serverless 架构通常不直接支持长时间运行的长连接模式,如 WebSocket。但可以通过网关(如 API 网关)来间接实现长连接的需求。网关可以处理客户端的长连接请求,并将消息转发给 Serverless 函数处理,再将处理结果通过网关返回给客户端。这样,Serverless 函数可以按需触发,而长连接的维护由网关负责。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/667315



问题四:在 Serverless 架构中,弹幕应用如何实现长连接?


在 Serverless 架构中,弹幕应用如何实现长连接?


参考回答:

在 Serverless 架构中,弹幕应用的长连接可以通过 API 网关来承载。客户端与 API 网关建立 WebSocket 连接,网关将消息转发给后端 Serverless 函数处理(如弹幕内容的验证、存储和分发)。处理完毕后,网关再将结果发送回客户端。此外,还需要使用如 Tablestore 这样的数据库来持久化设备信息和弹幕数据。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/667316


问题五:在弹幕应用中,如何管理弹幕内容的审核和分发?


在弹幕应用中,如何管理弹幕内容的审核和分发?


参考回答:

在弹幕应用中,弹幕内容的审核和分发可以通过以下步骤实现:

1.客户端发送弹幕请求到 API 网关。

2.网关将请求转发给 Serverless 函数进行内容审核(如检查是否包含敏感词)。

3.如果审核通过,Serverless 函数查询当前大屏幕设备 ID,并通过网关的下行调用将弹幕消息发送给大屏幕设备。

4.如果审核未通过,Serverless 函数查询在线管理员设备,将弹幕消息发送给管理员进行进一步处理。

5.数据库(如 Tablestore)用于存储设备信息和弹幕数据,支持内容的持久化和查询。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/667317

相关文章
|
资源调度 分布式计算 安全
伏羲—阿里云分布式调度系统
在12月12日的云栖社区在线培训上,“飞天”分布式系统核心开发人员陶阳宇分享了《伏羲-阿里云分布式调度系统》。他主要从伏羲系统架构、任务调度、资源调度、容错机制、规模挑战、安全与性能隔离方面介绍了伏羲分布式系统架构和设计理念。
24024 0
|
10月前
|
机器学习/深度学习 编解码 监控
使用Matlab进行短时傅里叶变换
使用Matlab进行短时傅里叶变换
368 0
|
资源调度 分布式计算 Kubernetes
给 K8s 装上大数据调度引擎:伏羲架构升级 K8s 统一调度
飞天伏羲作为有着十多年历史的调度团队,在服务好 MaxCompute 大数据平台的过程中,一直在不断通过自我革新赶超业界先进水平,我们经历了 Fuxi 2.0 的这样的大规模升级,今天通过 K8s 统一调度项目又再次实现了系统架构的蜕变,将大数据平台强大的调度能力赋予 K8s 系统,同时去拥抱 K8s 周边丰富的生态。除了集团弹内集群,将来我们在公共云、专有云等多个场景,也会以 K8s 统一调度的方式进行输出,以更好地服务云上的用户,敬请期待!
3016 109
给 K8s 装上大数据调度引擎:伏羲架构升级 K8s 统一调度
|
存储 安全 数据安全/隐私保护
Django 后端架构开发:富文本编辑器权限管理与 UEditor 、Wiki接入,实现 Markdown 文本编辑器
Django 后端架构开发:富文本编辑器权限管理与 UEditor 、Wiki接入,实现 Markdown 文本编辑器
851 0
|
存储 人工智能 Kubernetes
MiniMax云上AI数据湖最佳实践
本简介介绍MiniMax云上AI数据湖的最佳实践。MiniMax成立于2021年,专注于通用人工智能领域,提供ToB和C端产品。面对每日3万亿token、2000万张图片及7万小时语音数据的处理需求,MiniMax基于阿里云构建了稳定灵活的基础设施,采用多云策略实现全球化部署。通过引入Kubernetes、Ray等技术,优化了多模态数据处理效率,并利用对象存储与数据湖技术降低成本。此外,与阿里云合作开发边缘缓存方案,提升跨地域数据传输效率。主讲人:阿里云弹性计算技术专家高庆端。
963 10
|
Kubernetes 监控 算法
Kubernetes 调度器优化
Kubernetes 调度器优化
1728 0
|
SQL 分布式计算 Java
HiveOnSpark 报错:java.lang.IllegalStateException(Connection to remote Spark driver was lost)‘ Last kno
Hive On Spark 测试时遇到`java.lang.IllegalStateException`和`FileNotFoundException`,问题根源是 Spark 缺少 `hive-exec-3.1.3.jar`。解决方法:从 `$HIVE_HOME/lib/`复制该 jar 到 `$SPARK_HOME/jars/`,并使用 `hdfs dfs -put`命令将其上传至 HDFS 的 `/spark-jars/`(根据实际情况调整路径)。重启 Hive 元数据服务后问题解决。
975 0
HiveOnSpark 报错:java.lang.IllegalStateException(Connection to remote Spark driver was lost)‘ Last kno
|
存储 人工智能 分布式计算
【云栖2023】张治国:MaxCompute架构升级及开放性解读
本文根据2023云栖大会演讲实录整理而成,演讲信息如下 演讲人:张治国|阿里云智能计算平台研究员、阿里云MaxCompute负责人 演讲主题:MaxCompute架构升级及开放性解读 活动:2023云栖大会
62132 17
|
应用服务中间件 网络安全
xshell 连接报错 Disconnected from remote host
xshell 连接报错 Disconnected from remote host
993 0