AI 助理
备案控制台

资源调度

首页 标签 资源调度
# 资源调度 #
关注
7249内容
最新 热门 文章 问答 视频 课程
调皮仔3683
|
博文
HDFS应用场景、原理、基本架构
HDFS是什么? 易于扩展的分布式文件系统 运行在大量普通廉价机器上，提供容错机制 为大量用户提供性能不错的文件存取服务
# 存储 # 缓存 # 分布式计算 # Hadoop # Shell # Java # API # 固态存储 # 资源调度 # C++
寒沙牧
|
博文
|
来自： 大数据与机器学习
YARN ResourceManager重启作业保留机制
YARN可以通过相关配置支持ResourceManager重启过程中，不影响正在运行的作业，即重启后，作业还能正常继续运行直到结束
# 开源大数据平台 E-MapReduce # SQL # 资源调度 # 测试技术 # Apache # HIVE
阿里云实时计算Flink
|
博文
|
来自： 大数据与机器学习
基于 Flink 构建 CEP 引擎的挑战和实践
奇安信集团作为一家网络安全公司是如何基于 Flink 构建 CEP 引擎实时检测网络攻击？其中面临的挑战以及宝贵的实践经验有哪些？本文主要内容分为以下四个方面： 1. 背景及现状 2. 技术架构 3. 产品及运维 4. 未来发展与思考
# 实时计算 Flink版 # 云消息队列 Kafka 版 # 机器学习/深度学习 # 运维 # 资源调度 # 监控 # 安全 # 算法 # Java # 网络安全 # API # 流计算
梅熙
|
博文
|
来自： 大数据与机器学习
利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源隔离和quota限制
本文结合EMR集群，讲述了如何利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源quota限制与管控。
# 开源大数据平台 E-MapReduce # 分布式计算 # 资源调度 # 大数据 # Hadoop # 调度
乔川
|
博文
【云周刊】第138期：史无前例开放！阿里内部集群管理系统Sigma混布数据
专访iDST华先胜：城市大脑，对城市的全量、实时认知和搜索，解读数据传输DTS技术架构及最佳实践，如何避免数据库“勒索事件”和“从删库到跑路”的尴尬，【云栖大会】10月11日，2017云栖大会盛大开启，席位有限，报名从速...更多精彩技术资讯，尽在云周刊！
# 域名与网站 # 新零售 # 人工智能 # 资源调度 # 数据库 # 容器
卓上
|
博文
CentOS 7.2 下安装配置Node.js和Yarn
centos下node.js的安装配置管理，npm以及yarn包管理工具的安装。
# 资源调度 # JavaScript # 前端开发 # Shell # Web App开发 # Linux
青衫无名
|
博文
《Spark 官方文档》Spark配置（二）
# 云消息队列 Kafka 版 # 日志服务 # 缓存 # 分布式计算 # Java # Spark # 流计算 # 资源调度 # 调度 # 数据安全/隐私保护 # 消息中间件 # Kafka
七炎
|
博文
|
来自： 大数据与机器学习
阿里巴巴搜索无状态服务的秒级弹性调度
目前阿里巴巴搜索的分布式服务一般都是基于Hippo+Carbon来调度的，包括部署、扩缩容、名字服务注册。如下图： ![carbon-hippo.png](https://private-alipayobjects.
# 资源调度 # 算法 # 应用服务中间件 # 调度 # 容器
叶良
|
博文
|
来自： 大数据与机器学习
阿里巴巴搜索混部解密
Hippo是搜索调度团队根据搜索、推荐、广告等业务特点从2013年开始打造并逐步完善的一套分布式调度系统，支持了集团内外多个事业部的搜索、推荐、广告等相关业务。2017双11期间，搜索在离线混部实现了全时段无干预无降级稳定运行，提供了搜索双11所有TF模型离线批次训练所需资源，并在2017/11/10晚上23点因为离线训练集群负载过高首次在混部上不间断运行了超过2万core的双11实时训练流程并一直在稳定运行。
# 容器服务Kubernetes版 # 客服工作台 # 资源调度 # 调度 # 混合部署 # 容器 # 双11 # pouch # 异构计算 # Perl # 数据中心 # 机器学习/深度学习
开源大数据EMR
|
博文
|
来自： 大数据与机器学习
E-MapReduce 4.0产品新特性
E-MapReduce是运行在阿里云平台上的一大数据处理的系统解决方案。在2019年10月，阿里巴巴将发布EMR4.0版本。本篇介绍EMR4.0的新特性，包括在EMR基础能力，技术栈，生态集成和数据迁移等方面的升级，EMR4.0为用户提供更高的计算性能和更低的产品价格，将技术的红利让给用户。
# 开源大数据平台 E-MapReduce # 大数据开发治理平台 DataWorks # 实时计算 Flink版 # 对象存储 # 云原生大数据计算服务 MaxCompute # 微服务引擎 # 人工智能平台 PAI # 弹性伸缩 # 云服务器 ECS # 云消息队列 Kafka 版 # 云数据库HBase版 # 分布式计算 # 大数据 # 弹性计算 # 对象存储 # 算法框架/工具 # TensorFlow # Spark # Hadoop # 资源调度 # 流计算
免费试用