• 关于

    集群调度系统出问题什么情况

    的搜索结果
  • 三篇文章了解 TiDB 技术内幕 —— 谈调度

    任何一个复杂的系统,用户感知到的都只是冰山一角,数据库也不例外。 前两篇文章介绍了 TiKV、TiDB 的基本概念以及一些核心功能的实现原理,这两个组件一个负责 KV 存储,一个负责 SQL 引擎,都是大家看得见的东西。在这两个组件的后面,还有一个叫做 PD(Placement Driver)的组...

    文章 boxti 2017-06-02 1471浏览量

  • 分布式大数据系统巧实现,全局数据调度管理不再难

    背景 看到这个题目,我们会有很多疑问:什么是分布式大数据系统中的全局数据管理?为什么要从全局对数据进行管理?这种对数据从全局进行分布和调度的策略是在什么样的背景下产生的?如果我们不解决全局数据管理的问题,分布式大数据系统中将会面临一些什么样的风险? 总的来说:基于大数据,云计算的需求,加快了分布式...

    文章 大数据史记 2017-05-18 4272浏览量

  • ElasticDL:蚂蚁金服开源基于TensorFlow的弹性分布式深度学习系统

    9 月 11 日,蚂蚁金服在2019谷歌开发者大会上海站上开源了 ElasticDL 项目,这是业界首个基于 TensorFlow 实现弹性深度学习的开源系统。 开源地址为:elasticdl.org 开源中国采访了ElasticDL项目负责人王益,对该深度学习系统的技术细节进行了全面介绍。 ...

    文章 缪克卢汉 2019-09-11 850浏览量

  • [译]集群调度架构的变革

    原文地址:http://www.firmament.io/blog/scheduler-architectures.html 集群调度器是现代基础设施很重要的组件,尤其在最近几年有很大发展。架构从单体应用的设计进化成更灵活,分散的,分布式的设计。但是,目前很多开源能提供的还是单体应用或缺了关键特性...

    文章 时序 2017-11-27 2061浏览量

  • 阿里云技术专家自荐新书《深入浅出Kubernetes》

    点击图片或戳我查看详情和投简历 观看视频:藏经阁电子书发布会:《深入浅出Kubernetes》分享: 大家对Kubernetes技术有一定了解,我主要分享自己一些观点和理解,通过俩个形象易懂的案例分享学习Kubernetes的方法。 什么是Kubernetes?可以从以下四个角度来理解 第一,Ku...

    文章 琛琛轴子 2020-04-23 1171浏览量

  • 阿里巴巴搜索无状态服务的秒级弹性调度

    背景 目前阿里巴巴搜索的分布式服务一般都是基于Hippo+Carbon来调度的,包括部署、扩缩容、名字服务注册。如下图: 其中: Hippo:一层调度(资源调度),解决机器资源分配问题,将一个物理机分成很多资源,根据应用单机不同的资源需求动态创建不同规格的容器(Docker)。一个容器被视作一个...

    文章 七炎 2018-03-16 4995浏览量

  • 数据库大讲堂·第三期 亲历阿里云0到1的数据库老司机解密数据库资源调度的艺术

    演讲嘉宾简介:陈招尚(胜通),资深DBA岗位从业者,有着十三年数据库领域从业经验,目前负责阿里云数据库RDS、专属集群MyBase产品管理工作。重点参与和负责阿里集团去O、双十一数据库管理等工作,对中大型企业的数据库管理工作有很丰富的经验。以下内容根据演讲视频以及PPT整理而成。观看回放https...

    文章 영~ 2020-10-29 296浏览量

  • 如何轻松学习 Kubernetes?

    一 什么是 Kubernetes? 我们来看一下什么是 Kubernetes。这部分内容我会从四个角度来跟大家分享一下我的看法。 1 未来什么样 这是一张未来大部分公司后端 IT 基础设施的架构图。简单来说,以后所有公司的 IT 基础设施都会部署在云上。用户会基于 Kubernetes 把...

    文章 好好、学习 2020-04-30 4543浏览量

  • 10年老兵带你看尽MaxCompute大数据运算挑战与实践

    本文根据阿里云大数据计算平台资深架构师林伟在大流量高并发互联网应用实践在线峰会上题为《MaxCompute大数据运算挑战与实践》的分享整理而成。分享中,他主要介绍了在大数据、大流量、高并发情况下MaxCompute所面临的挑战,以及应对这些挑战的实践经验。 直播视频:点击此处观看 幻灯片地址:点击...

    文章 云栖小秘书 2016-09-22 14773浏览量

  • 走近伏羲,谈5000节点集群调度与性能优化

    5K项目是飞天平台的里程碑,系统在规模、性能和容错方面都得到了飞跃式的发展,达到世界领先水平。伏羲作为飞天平台的分布式调度系统,能支持单集群5000节点,并发运行10000作业,30分钟完成100TB数据Terasort,性能是当时Yahoo ! 在Sort Benchmark上世界纪录的两倍。 ...

    文章 yq传送门 2016-12-18 4192浏览量

  • 如何轻松学习 Kubernetes?

    什么是 Kubernetes? 我们来看一下什么是 Kubernetes。这部分内容我会从四个角度来跟大家分享一下我的看法。 1.未来什么样 这是一张未来大部分公司后端 IT 基础设施的架构图。简单来说,以后所有公司的 IT 基础设施都会部署在云上。用户会基于 Kubernetes 把底层云资源...

    文章 云栖TechDay-闫瑾 2020-06-15 232浏览量

  • 双11稳定性负责人叔同讲述:九年双11的云化架构演进和升级

    今天,我们邀请了阿里巴巴资深技术专家叔同,分享九年双11的云化架构演进和升级。 叔同(丁宇),阿里巴巴资深技术专家,8次参与双11作战,阿里高可用架构、双11稳定性负责人,阿里容器、调度、集群管理、运维技术负责人。 叔同:大家好,我是叔同,很高兴与大家分享阿里双11的技术发展。今天我们先来关注一...

    文章 技术小能手 2017-12-22 3942浏览量

  • 全方位对比Mesos、Omega和Borg

    谷歌最近公布了他们基础设施系统王冠上的宝石之一:Borg,集群调度系统。这促使我重新阅读了Mesos和Omega论文,它们与Borg的功能类似。我觉得对比下这三个系统一定会非常有趣。Mesos两级调度的突破性理念得到了认可,Omega使用类似数据库的技术有所改进,Borg可以看作是对所有这些思想的...

    文章 六翁 2016-04-11 1562浏览量

  • 如何轻松学习 Kubernetes?

    作者 | 声东  阿里巴巴技术专家 <关注阿里巴巴云原生公众号,回复 排查 即可下载电子书> 导读:《深入浅出 Kubernetes》一书共汇集 12 篇技术文章,帮助你一次搞懂 6 个核心原理,吃透基础理论,一次学会 6 个典型问题的华丽操作! 什么是 Kubernetes? 我们来...

    文章 阿里巴巴云原生小助手 2020-05-06 643浏览量

  • 九年双11云化架构演进和升级,打造更加完美的双11

    12月13-14日,由云栖社区与阿里巴巴技术协会共同主办的《2017阿里巴巴双11技术十二讲》顺利结束,集中为大家分享了2017双11背后的黑科技。本文是《阿里巴巴云化架构创新之路》演讲整理,主要讲解了双11的技术挑战与突破、云化架构演进的背景、统一调度和混部的挑战、Pouch容器和容器化的进展、...

    文章 zengzengzeng 2017-12-14 6851浏览量

  • 面向大数据与云计算调度挑战的阿里经济体核心调度系统—Fuxi 2.0全揭秘

    本文作者 李超 阿里云智能 资深技术专家 编者按 伏羲(Fuxi)是十年前最初创立飞天平台时的三大服务之一(分布式存储 Pangu,分布式计算 MaxCompute,分布式调度 Fuxi),当时的设计初衷是为了解决大规模分布式资源的调度问题(本质上是多目标的最优匹配问题)。 随阿里经济体和阿里云丰...

    文章 晋恒 2020-05-13 1572浏览量

  • 面向大数据与云计算调度挑战的阿里经济体核心调度系统—Fuxi 2.0全揭秘

    本文作者 李超 阿里云智能 资深技术专家 编者按 伏羲(Fuxi)是十年前最初创立飞天平台时的三大服务之一(分布式存储 Pangu,分布式计算 MaxCompute,分布式调度 Fuxi),当时的设计初衷是为了解决大规模分布式资源的调度问题(本质上是多目标的最优匹配问题)。 随阿里经济体和阿里云丰...

    文章 晋恒 2020-05-13 2200浏览量

  • Kubernetes Scheduler Framework 扩展: 1. Coscheduling

    前言 为什么Kubernetes需要Coscheduling功能? Kubernetes目前已经广泛的应用于在线服务编排,为了提升集群的的利用率和运行效率,我们希望将Kubernetes作为一个统一的管理平台来管理在线服务和离线作业。但是默认的调度器是以Pod为调度单元进行依次调度,不会考虑Pod...

    文章 王庆璨 2020-04-18 892浏览量

  • 藏经阁电子书发布:《深入浅出Kubernetes》

    在阿里云开发者社区的帮助下,这一年多写的《K8S从懵圈到熟练》系列做成了一本电子书。以下是对外发布的大纲和逐字稿。 大家好,我是阿里云的声东,我目前在阿里云全球技术服务部。 我们团队负责整个阿里云产品售后技术兜底的工作。用户在使用阿里云云产品的时候,比如云服务器,负载均衡,中间件等,如果遇到技术...

    文章 shengdong 2020-04-17 2488浏览量

  • 如何提升集群资源利用率? 阿里容器调度系统Sigma 深入解析

    Sigma 是阿⾥巴巴全集团范围的 Pouch 容器调度系统。2017年是 Sigma 正式上线以来第⼀次参与双11,在双11期间成功⽀撑了全集团所有容器(交易线中间件、数据库、⼴告等⼆⼗多业务)的调配,使双11IT成本降低50%,是阿⾥巴巴运维系统重要的底层基础设施。 Sigma 已经是阿里全网...

    文章 技术小能手 2018-03-07 3023浏览量

  • 负载均衡SLB高可用的四个层次

    负载均衡支持对多台ECS进行流量分发,以提升应用系统的服务能力,长期以来都是关键业务系统的入口。淘宝,天猫,阿里云等无不依赖负载均衡产品,双11的流量洪峰也依赖负载均衡的调度和处理能力。 负载均衡SLB简单介绍 下图是负载均衡的简单示意图,用户的访问请求经过SLB实例的一个监听(端口),再被转...

    文章 我是李泉 2017-09-02 8927浏览量

  • 阿里容器调度系统Sigma仿真平台Cerebro揭秘

    导读:为了保证系统的在线交易服务顺利运转,最初几年,阿里都是在双11大促来临之前大量采购机器储备计算资源,双11之后资源大量闲置。是否能把计算任务与在线服务进行混合部署,在现有弹性资源基础上提升集群资源利用率,降低双11资源新增成本?阿里巴巴研发效能事业部容器调度域,测试开发专家何颖为我们揭秘。 ...

    文章 云效平台 2018-02-08 5726浏览量

  • 异构集群,统一计算 在微博机器学习平台的应用

    内容简要:一、微博机器学习平台简介二、异构集群,多计算引擎–Before三、异构集群,统一计算–Now四、解决方案五、机器学习流程自动化  一、微博机器学习平台简介微博机器学习平台为业务方在各种推荐场景下,提供端到端、一站式、自动化机器学习流...

    文章 开发者小助手 2021-03-29 22浏览量

  • 进击的Kubernetes调度系统(二):支持批任务的Coscheduling/Gang scheduling

    作者:王庆璨 张凯 进击的Kubernetes调度系统(一):Scheduling Framework进击的Kubernetes调度系统(二):支持批任务的Coscheduling/Gang scheduling 前言 首先我们来了解一下什么是Coscheduling和Gang schedulin...

    文章 ZhangKai 2020-06-29 1835浏览量

  • Lvs+keepalived+nginx+php的session 保持的算法

    ●什么是会话保持,有什么作用会话保持是指在负载均衡器上有一种机制,在作负载均衡的同时,还保证同一用户相关连的访问请求会被分配到同一台服务器上。会话保持有什么作用呢,举例说明一下如果有一个用户访问请求被分配到服务器A,并且在服务器A登录了,并且在很短的时间,这个用户又发出了一个请求,如果没有会话保持...

    文章 zchd 2013-06-27 1009浏览量

  • MaxCompute,基于Serverless的高可靠大数据服务

    摘要:2019年1月18日,由阿里巴巴MaxCompute开发者社区和阿里云栖社区联合主办的“阿里云栖开发者沙龙大数据技术专场”走近北京联合大学,本次技术沙龙上,阿里巴巴高级技术专家吴永明为大家分享了MaxCompute,基于Serverless的高可用大数据服务,以及MaxCompute低计算成...

    文章 晋恒 2019-02-17 2173浏览量

  • 进击的 Kubernetes 调度系统(二):支持批任务的 Coscheduling/Gang scheduling

    作者 | 王庆璨(阿里云技术专家)、张凯(阿里云高级技术专家) 导读:阿里云容器服务团队结合多年 Kubernetes 产品与客户支持经验,对 Kube-scheduler 进行了大量优化和扩展,逐步使其在不同场景下依然能稳定、高效地调度各种类型的复杂工作负载。《进击的 Kubernetes 调度...

    文章 阿里巴巴云原生小助手 2020-07-15 426浏览量

  • 首次公开!菜鸟弹性调度系统的架构设计

    为什么菜鸟需要弹性调度? 在弹性调度出现之前,菜鸟整体资源使用率都处于一个比较低的水平,这是因为: 1.在线应用一般是通过单机性能压测,并且结合经验预估业务流量的方式来确定所需容器数量。这种方式很大程度上会受到评估者主观因素的干扰,在估算业务流量时也通常会保留较大的冗余。 2.以往的模式下,一个应...

    文章 技术小能手 2018-03-09 4370浏览量

  • K8s 实践 | 如何解决多租户集群的安全隔离问题?

    作者 | 匡大虎  阿里巴巴技术专家 导读:如何解决多租户集群的安全隔离问题是企业上云的一个关键问题,本文主要介绍 Kubernetes 多租户集群的基本概念和常见应用形态,以及在企业内部共享集群的业务场景下,基于 Kubernetes 原生和 ACK 集群现有安全管理能力快速实现多租户集群的相关...

    文章 阿里巴巴云原生小助手 2020-01-10 1092浏览量

  • 独家 | 一文读懂Hadoop(四):YARN

    随着全球经济的不断发展,大数据时代早已悄悄到来,而Hadoop又是大数据环境的基础,想入门大数据行业首先需要了解Hadoop的知识。2017年年初apache发行了Hadoop3.0,也意味着一直有一群人在对Hadoop不断的做优化,不仅如此,各个Hadoop的商业版本也有好多公司正在使用,这也印...

    文章 行者武松 2017-09-01 1573浏览量

1 2 3 4 ... 27 >

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT