• 关于

    大数据 作业调度

    的搜索结果
  • 面向大数据与云计算调度挑战的阿里经济体核心调度系统—Fuxi 2.0全揭秘

    本文作者 李超 阿里云智能 资深技术专家 编者按 伏羲(Fuxi)是十年前最初创立飞天平台时的三大服务之一(分布式存储 Pangu,分布式计算 MaxCompute,分布式调度 Fuxi),当时的设计初衷是为了解决大规模分布式资源的调度问题(本质上是多目标的最优匹配问题)。 随阿里经济体和阿里云丰...

    文章 晋恒 2020-05-13 1572浏览量

  • 面向大数据与云计算调度挑战的阿里经济体核心调度系统—Fuxi 2.0全揭秘

    本文作者 李超 阿里云智能 资深技术专家 编者按 伏羲(Fuxi)是十年前最初创立飞天平台时的三大服务之一(分布式存储 Pangu,分布式计算 MaxCompute,分布式调度 Fuxi),当时的设计初衷是为了解决大规模分布式资源的调度问题(本质上是多目标的最优匹配问题)。 随阿里经济体和阿里云丰...

    文章 晋恒 2020-05-13 2200浏览量

  • 【科学脱口秀】EB级计算平台调度系统 “愚公” : 实现跨地域的数据和计算调度

    伏羲(Fuxi)是十年前最初创立飞天平台时的三大服务之一(分布式存储 Pangu,分布式计算 MaxCompute,分布式调度 Fuxi),当时的设计初衷是为了解决大规模分布式资源的调度问题(本质上是多目标的最优匹配问题)。 随阿里经济体和阿里云丰富的业务需求(尤其是双十一)和磨练,伏羲的内涵不断...

    文章 晋恒 2020-05-15 917浏览量

  • Quick BI 数据可视化分析平台

    2020年入选全球Gartner ABI魔力象限,为中国首个且唯一入选BI产品

    广告

  • 【科学脱口秀】EB级计算平台调度系统 “愚公” : 实现跨地域的数据和计算调度

    伏羲(Fuxi)是十年前最初创立飞天平台时的三大服务之一(分布式存储 Pangu,分布式计算 MaxCompute,分布式调度 Fuxi),当时的设计初衷是为了解决大规模分布式资源的调度问题(本质上是多目标的最优匹配问题)。 随阿里经济体和阿里云丰富的业务需求(尤其是双十一)和磨练,伏羲的内涵不断...

    文章 晋恒 2020-05-15 1509浏览量

  • Fuxi2.0—飞天大数据平台调度系统全面升级,首次亮相2019双十一

    伏羲(Fuxi)是十年前创立飞天平台时的三大服务之一(分布式存储 Pangu,分布式计算 ODPS,分布式调度 Fuxi),当时的设计初衷是为了解决大规模分布式资源的调度问题(本质上是多目标的最优匹配问题)。 随着阿里经济体和阿里云业务需求(尤其是双十一)的不断丰富,伏羲的内涵也不断扩大,从单一的...

    文章 晋恒 2019-12-26 994浏览量

  • 大数据与机器学习:实践方法与行业案例.2.4 作业调度

    2.4 作业调度 调度工具用来对作业进行调度,通过ETL工具创建的作业如果需要周期性运行,就需要使用调度工具来完成。调度工具是一个相对复杂的系统,尤其是在跨操作系统、跨应用平台的作业环境中更是如此。 在复杂的作业环境中,需要使用商用调度工具,目前国内使用较多的商用调度工具为Control-M。该...

    文章 华章计算机 2017-05-02 1522浏览量

  • EB 级系统空中换引擎:阿里调度执行框架如何全面升级?

    前言 在"阿里体量"的大数据生态中,伏羲系统管理着弹内外多个物理集群,超十万台物理机, 以及数百万的 CPU/GPU cores。每天运行在伏羲分布式平台上的作业数已经超过千万, 是业界少有的,单天处理 EB 级别数据分布式平台。其中单个作业规模已经高达数十万计算节点,管理着数百亿的边连接。在过去...

    文章 茶什i 2020-05-18 344浏览量

  • EB级计算平台调度系统伏羲 DAG 2.0: 构建更动态更灵活的分布式计算生态

    本文作者:CHEN, Yingda 阿里云智能 高级技术专家 0. 前言 作为阿里巴巴核心大数据底座,伏羲调度和分布式执行系统,支撑着阿里集团内部以及阿里云上大数据平台绝大部分的大数据计算需求,在其上运行的MaxCompute(ODPS) 以及PAI等多种计算引擎,每天为用户进行海量的数据运算。...

    文章 晋恒 2020-05-12 1189浏览量

  • EB级计算平台调度系统伏羲DAG 2.0:构建更动态更灵活的分布式计算生态

    0. 前言 作为阿里巴巴核心大数据底座,伏羲调度和分布式执行系统,支撑着阿里集团内部以及阿里云上大数据平台绝大部分的大数据计算需求,在其上运行的MaxCompute(ODPS) 以及PAI等多种计算引擎,每天为用户进行海量的数据运算。 在"阿里体量"的大数据生态中,伏羲系统管理着弹内外多个物理集群...

    文章 晋恒 2020-05-12 1137浏览量

  • 《Spark大数据分析:核心概念、技术及实践》一3.3 应用运行

    本节书摘来自华章出版社《Spark大数据分析:核心概念、技术及实践》一书中的第3章,第3.1节,作者[美] 穆罕默德·古勒(Mohammed Guller),更多章节内容可以访问云栖社区“华章计算机”公众号查看。 3.3 应用运行  本节主要描述数据处理代码是怎么在Spark集群中执行的。 3...

    文章 华章计算机 2017-05-02 1205浏览量

  • 自建Hadoop迁移MaxCompute

    场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数据集群,为了降低企业大数据计算平台的成本,提高大数据应用开发效率,更有效保障数据安全,把大数据集群的数据、作业、调度任务以及业务数据库整体迁移到MaxCompute和其他云产品。 解决问题 自建Hadoop集群搬迁到MaxComp...

    文章 西贡情人 2020-04-29 605浏览量

  • 维护计划作业

    在这一系列的上一篇,我们看了使用代理帐户模仿Windows安全上下文完成作业步骤的工作。大多数子系统支持代理账户,同时子系统限制代理账户, 要求用户必须明确授权可以在作业步骤使用代理凭据。在这一篇,你将检查维护计划。维护计划是用来执行各种任务来优化你的数据库,包括备份、重建和/或重整 索引、更新统...

    文章 范大脚脚 2017-11-15 1014浏览量

  • Hulu大规模容器调度系统Capos

    Hulu是美国领先的互联网专业视频服务平台,目前在美国拥有超过2000万付费用户。Hulu总部位于美国洛杉矶,北京办公室是仅次于总部的第二大研发中心,也是从Hulu成立伊始就具有重要战略地位的分支办公室,独立负责播放器开发,搜索和推荐,广告精准投放,大规模用户数据处理,视频内容基因分析,人脸识别,...

    文章 技术小能手 2018-07-22 1497浏览量

  • Flink 必知必会经典课程3:Flink Runtime Architecture

    作者:朱翥(长耕)本文由 Apache Flink PMC 及 Committer 朱翥分享,主要介绍 Flink Runtime 的底层架构。本篇文章包含四部分:Runtime总览作业的控制中心—Jobmaster任务的运行容器—TaskExacutor资源的管理中心—ResourceManag...

    文章 阿里云实时计算Flink 2021-03-17 525浏览量

  • 将在线数据加载到阿里云Greenplum

    本文说明如何设计一个 ETL 作业以便将在线关系数据库里的数据,加载到阿里云的Greenplum 数据库中,如何调度和监控该ETL 作业的日常运行。 本文使用的软件是开源ETL 工具软件 Kettle 5.x,以及基于Kettle的傲飞数据整合平台,该平台可以用来Kettle作业的调度、监控等功能...

    文章 pentahochina 2016-10-18 2626浏览量

  • 全方位对比Mesos、Omega和Borg

    谷歌最近公布了他们基础设施系统王冠上的宝石之一:Borg,集群调度系统。这促使我重新阅读了Mesos和Omega论文,它们与Borg的功能类似。我觉得对比下这三个系统一定会非常有趣。Mesos两级调度的突破性理念得到了认可,Omega使用类似数据库的技术有所改进,Borg可以看作是对所有这些思想的...

    文章 六翁 2016-04-11 1562浏览量

  • 如何使用阿里云机器学习PAI的离线周期性调度功能

    背景 离线调度功能是机器学习的常见场景,用户需要通过离线调度功能,周期性的更新模型。阿里云机器学习PAI可以帮助用户构建模型训练的pipline,大数据开发套件是一套阿里云飞天系统的管理运维平台,目前PAI和大数据开发套件已经打通,可以实现机器学习实验的周期性调度。 第一步.建立PAI实验 首先建...

    文章 傲海 2017-06-02 2675浏览量

  • 11月1日云栖精选夜读:HangFire分布式后端作业调度框架服务

     HangFire 分布式后端作业调度框架服务,我们只需要关心业务逻辑代码,而不用关心调度机制,支持.net framework和.net core 热点热议 HangFire分布式后端作业调度框架服务 作者:青蛙天涯  包年包月ECS过期不用愁--ECS控制台回收站功能介绍 作者:zhangz...

    文章 yq传送门 2017-11-01 3123浏览量

  • ElasticDL: Kubernetes-native 弹性分布式深度学习系统

    9月11日,蚂蚁金服在 Google Developer Day Shanghai 2019 上宣布开源了基于 TensorFlow 2.0 eager execution 的分布式深度学习系统 ElasticDL。基于 TensorFlow 的支持弹性调度的深度学习系统,据我们所知,Elasti...

    文章 缪克卢汉 2019-09-12 6155浏览量

  • MaxCompute,基于Serverless的高可靠大数据服务

    摘要:2019年1月18日,由阿里巴巴MaxCompute开发者社区和阿里云栖社区联合主办的“阿里云栖开发者沙龙大数据技术专场”走近北京联合大学,本次技术沙龙上,阿里巴巴高级技术专家吴永明为大家分享了MaxCompute,基于Serverless的高可用大数据服务,以及MaxCompute低计算成...

    文章 晋恒 2019-02-17 2173浏览量

  • 一分钟了解阿里云产品:批量计算概述

      阿里云有很多产品,今天让我们来了解下批量计算(BatchCompute)这款产品吧。   什么是批量计算呢?   批量计算是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute可支持海量作业并发规模,系统自动完成资源管理,作业调度和数据加载,并按实际使用量计费。BatchCo...

    文章 hayden822 2016-02-27 4409浏览量

  • YARN-架构

    标签(空格分隔): 大数据 YARN [toc] 原文:http://hadoop.apache.org/docs/r2.6.4/hadoop-yarn/hadoop-yarn-site/YARN.html Hadoop下一代MapReduce(YARN) MapReduce在hadoop-0...

    文章 尊渊 2017-04-26 2339浏览量

  • Hadoop 基本架构

    HDFS 架构 HDFS 是一个具有高度容错性的分布式文件系统, 适合部署在廉价的机器上。 HDFS 能提供高吞吐量的数据访问, 非常适合大规模数据集上的应用。HDFS 的架构如图所示, 总体上采用了 master/slave 架构, 主要由以下几个组件组成 :Client、 NameNode...

    文章 wuyudong 2016-04-21 3643浏览量

  • Hadoop YARN学习之组件功能简述(3)

    Hadoop YARN学习之组件功能简述(3) 1. YARN的三大组件功能简述: ResourceManager(RM)是集群的资源的仲裁者, 它有两部分:一个可插拔的调度器和一个ApplicationManager,用于管理集群中的用户作业。 NodeManager,位于每个节点上...

    文章 王小雷 2016-01-21 1299浏览量

  • 阿里云 MaxCompute 2020-1 月刊

    您好,MaxCompute 2020.1月刊如期而至,在疫情肆虐的日子里,祝福每一位开发者,平安健康,一切顺利。 导读 【重要功能发布】 【重要文档发布】 【精选技术文章】 【1月重要功能发布】 1.【新功能】开放新数据类型:DATE和CHAR 查看文档 >>> MaxComp...

    文章 晋恒 2020-02-10 1211浏览量

  • 阿里云 MaxCompute 2020-1 月刊

    您好,MaxCompute 2020.1月刊如期而至,在疫情肆虐的日子里,祝福每一位开发者,平安健康,一切顺利。 导读 【重要功能发布】 【重要文档发布】 【精选技术文章】 【1月重要功能发布】 1.【新功能】开放新数据类型:DATE和CHAR 查看文档 >>> MaxComp...

    文章 晋恒 2020-02-07 8284浏览量

  • Hadoop框架:Yarn基本结构和运行原理

    本文源码:GitHub·点这里 || GitEE·点这里 一、Yarn基本结构 Hadoop三大核心组件:分布式文件系统HDFS、分布式计算框架MapReduce,分布式集群资源调度框架Yarn。Yarn并不是在Hadoop初期就有的,是在Hadoop升级发展才诞生的,典型的Master-Sla...

    文章 知了一笑 2020-12-13 64浏览量

  • 将在线数据加载到阿里云Greenplum

    本文说明如何设计一个 ETL 作业以便将在线关系数据库里的数据,加载到阿里云的Greenplum 数据库中,如何调度和监控该ETL 作业的日常运行。 本文使用的软件是开源ETL 工具软件 Kettle 5.x,以及基于Kettle的傲飞数据整合平台,该平台可以用来Kettle作业的调度、监控等功能...

    文章 pentahochina 2016-10-18 2813浏览量

  • MaxCompute文章索引

    概况介绍: MaxCompute 2.0 生态开放之路及最新发展 10年老兵带你看尽MaxCompute大数据运算挑战与实践 一分钟了解阿里云产品:大数据计算服务MaxCompute概述 数加平台如何通过Serverless 架构实现普惠大数据 淘宝大数据之路 应用案...

    文章 halcyon 2016-10-19 8302浏览量

  • Apache Flink 进阶(一):Runtime 核心机制剖析

    作者:高赟(云骞) 1. 综述 本文主要介绍 Flink Runtime 的作业执行的核心机制。首先介绍 Flink Runtime 的整体架构以及 Job 的基本执行流程,然后介绍在这个过程,Flink 是怎么进行资源管理、作业调度以及错误恢复的。最后,本文还将简要介绍 Flink Run...

    文章 阿里云实时计算Flink 2019-09-09 831浏览量

1 2 3 4 ... 41 >

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT