调度是什么-和调度相关的问题-阿里云开发者社区

回答

在Linux内核中，调度器可以分成两个层级，在进程中被直接调用的成为通用调度器或者核心调度器，他们作为一个组件和进程其他部分分开，而通用调度器和进程并没有直接关系，其通过第二层的具体的调度器类来直接管理进程每个进程必然属于一个特定的调度器类，Linux会根据不同的需求实现不同的调度器类。各个调度器类之间具备一定的层次关系，即在通用调度器选择进程的时候，会从最高优先级的调度器类开始选择，如果通用调度器类没有可运行的进程，就选择下一个调度器类的可用进程，这样逐层递减。每个CPU会维护一个调度队列称之为就绪队列，每个进程只会出现在一个就绪队列中，因为同一进程不能同时被两个CPU选中执行。就绪队列的数据结构为struct rq,和上面的层次结构一样，通用调度器直接和rq打交道，而具体和进程交互的是特定于调度器类的子就绪队列。

huanhuanming 2019-12-02 01:50:33 0 浏览量回答数 0

问题

最近4-5天，大数据开发套件中运维中心的任务都没有被自动调度起来。每天只有两个虚节点调度了，其他任务都没有被调度起来。去“项目管理”->"调度资源管理"中查看，服务状态是”暂停“，点了”恢复“后，这一天的任务才正常。请问这个是什么原因？我们之前半年这调度都好了，就最近开始这情况了。

最近4-5天，大数据开发套件中运维中心的任务都没有被自动调度起来。每天只有两个虚节点调度了，其他任务都没有被调度起来。去“项目管理”->"调度资源管理"中查看，服务状态是”暂停“，点了”恢复“后，这一天的任务才正常。请问这个是什么原因...

祁同伟 2019-12-01 20:18:41 1114 浏览量回答数 1

问题

E-MapReduce执行计划列表是什么?

展示您所有的执行计划的基本信息，如下图所示：执行计划 ID/名称：执行计划的 ID 和对应的名称。最近执行集群：最近一次执行该执行计划的集群，是一个按需创建的集群或...

nicenelly 2019-12-01 21:21:28 1064 浏览量回答数 0

问题

E-MapReduce执行计划列表是什么?

展示您所有的执行计划的基本信息，如下图所示： [backcolor=transparent]执行计划 ID/名称：执行计划的 ID 和对应的名称。[backcolor=trans...

nicenelly 2019-12-01 21:17:14 1106 浏览量回答数 0

回答

目前kubernetes调度器的调度方式是Pod-by-Pod，也是当前调度器不足的地方。主要瓶颈如下：kubernets目前调度的方式，每个pod会对所有节点都计算一遍，当集群规模非常大，节点数很多时，pod的调度时间会非常慢。这也是percentage-of-nodes-to-score 尝试要解决的问题pod-by-pod的调度方式不适合一些机器学习场景。 kubernetes早期设计主要为在线任务服务，在一些离线任务场景，比如分布式机器学习中，我们需要一种新的算法gang scheduler，pod也许对调度的即时性要求没有那么高，但是提交任务后，只有当一个批量计算任务的所有workers都运行起来时，才会开始计算任务。 pod-by-pod 方式在这个场景下，当资源不足时非常容易引起资源死锁。3。当前调度器的扩展性不是十分好，特定场景的调度流程都需要通过硬编码实现在主流程中，比如我们看到的bindVolume部分，同样也导致Gang Scheduler 无法在当前调度器框架下通过原生方式实现

一只刺猬 2019-12-02 01:59:26 0 浏览量回答数 0

回答

您可以通过 Web 界面设置节点调度，从而合理分配各节点的负载。操作步骤登录容器服务管理控制台。在 Kubernetes 菜单下，单击左侧导航栏中的集群 > 节点，进入节点列表页面。选择所需的集群，在该集群下勾选所需的节点，单击节点维护。节点清单在弹出的对话框中，进行调度设置。选择设置为不可调度，您在后续进行应用部署时，Pod 不会再调度到该节点。选择排空节点（同时设置为不可调度），您在后续进行应用部署时，则 Pod 不会再调度到该节点，并且该节点上由 DaemonSet 控制的 Pod 不会被排空。在本例中，单击设置为不可调度，将节点设为不可调度的节点。节点维护单击确定。可以看到节点的调度状态发生变化。节点列表后续步骤如果您需要将不可调度的节点重新上线，您可以单击节点上线，在弹出的对话框中，单击确定，此时该节点状态又变成可调度。

1934890530796658 2020-03-26 22:49:44 0 浏览量回答数 0

问题

在大数据开发套件中，编写了一个定时任务，提交并正常定时调度，是否我删除了该任务，定时调度就会停止了？否则如何停止一个定时调度任务？

在大数据开发套件中，编写了一个定时任务，提交并正常定时调度，是否我删除了该任务，定时调度就会停止了？否则如何停止一个定时调度任务？...

祁同伟 2019-12-01 20:16:21 1118 浏览量回答数 1

回答

目前 Flink 提供了两种基本的调度逻辑： 1. Eager 调度：它会在作业启动时申请资源将所有的 Task 调度起来。这种调度算法主要用来调度可能没有终止的流作业。 2. Lazy From Source：从 Source 开始，按拓扑顺序来进行调度。简单来说，Lazy From Source 会先调度没有上游任务的 Source 任务，当这些任务执行完成时，它会将输出数据缓存到内存或者写入到磁盘中。然后，对于后续的任务，当它的前驱任务全部执行完成后，Flink 就会将这些任务调度起来。这些任务会从读取上游缓存的输出数据进行自己的计算。这一过程继续进行直到所有的任务完成计算。

一人吃饱,全家不饿 2021-01-05 22:41:50 0 浏览量回答数 0

问题

大数据开发套件中的调度如果起作用了，等待任务变少了。我想知道一下，如何确认调度是否起作用了，任务被调度到哪台机器上执行了。可否告知一下确认方法。谢谢！

大数据开发套件中的调度如果起作用了，等待任务变少了。我想知道一下，如何确认调度是否起作用了，任务被调度到哪台机器上执行了。可否告知一下确认方法。谢谢！...

知与谁同 2019-12-01 20:12:45 1007 浏览量回答数 1

回答

先进先出的调度器：最早的 hadoop 采用的是 FIFO（默认-先进先出的）调度器调度用户提交的作业。作业按照提交的顺序被调度，作业必须等待轮询到自己才能运行。但是考虑到公平在多用户之间分配资源，设置了作业的优先级功能，但是不支持抢占式的。公平调度器：公平调度器的目标是让每一个用户公平的共享集群能力，充分的利用闲置的任务槽，采用“让用户公平的共享集群”的方式分配资源。作业放在作业池之中，每个用户拥有自己的作业池。提交的作业越多并不会因此获得更多的资源，公平调度器支持抢占式的机制，一个作业池中若没有公平的共享资源，则会将多余的资源空出来。容量调度器：集群中很多的队列组成的，这些队列具有一定的层次结构，每个队列都有一定的容量。每个队列的内部支持 FIIFO 方式。本质上容量调度器允许用户或则组织模拟出一个使用 FIFO 调度策略的独立 MApReduce 集群

游客6nvww5bb5kd2w 2020-02-14 19:34:20 0 浏览量回答数 0

问题

数据管理的基础架构

阿里云数据管理提供的数据库管理服务包含三层结构：业务层、调度层、连接层，用于对RDBMS、NoSQL的实时数据访问和后台数据任务的调度。业务层 DMS业务层为您提供数据库实时点击和SQL访问࿰...

云栖大讲堂 2019-12-01 21:28:53 1196 浏览量回答数 0

问题

E-MapReduce创建执行计划是什么?

执行计划是一组作业的集合，他们通过调度上的配置，可以被一次性或者周期性的执行。他可以在一个现有的 E-MapReduce集群上运行，也可以动态的按需创建出一个临时集群来运行作业。它最大的优势就是跑多...

nicenelly 2019-12-01 21:21:23 920 浏览量回答数 0

问题

通过大数据开发套件从MySQL往MaxCompute做增量数据的定时写入，由于我的调度程序虽然设置凌晨00分执行，但是会延迟到10分左右执行，由于调度会产生延迟，昨天的数据有一些没有写入，如何解决？怎么修改一下我的调度逻辑呢？

通过大数据开发套件从MySQL往MaxCompute做增量数据的定时写入，由于我的调度程序虽然设置凌晨00分执行，但是会延迟到10分左右执行，由于调度会产生延迟，昨天的数据有一些没有写入，如何解决？怎么修改一下我的调度逻辑呢？...

祁同伟 2019-12-01 20:27:22 1110 浏览量回答数 1

回答

任务调度，当天的任务需要从第二天开始调度执行。如果您想测试当天的可以手动测试运行或者补数据执行。设置的调度时间和测试的时候要对应。调度执行时间要在对应范围内执行。比如您设置的调度是每天6点开始，测试的时间您也选6点以后。

祁同伟 2019-12-02 00:06:04 0 浏览量回答数 0

回答

XXL-JOB是一个轻量级分布式任务调度平台，主打特点是平台化，易部署，开发迅速、学习简单、轻量级、易扩展，代码仍在持续更新中。 “调度中心”是任务调度控制台，平台自身并不承担业务逻辑，只是负责任务的统一管理和调度执行，并且提供任务管理平台， “执行器” 负责接收“调度中心”的调度并执行，可直接部署执行器，也可以将执行器集成到现有业务项目中。通过将任务的调度控制和任务的执行解耦，业务使用只需要关注业务逻辑的开发。主要提供了任务的动态配置管理、任务监控和统计报表以及调度日志几大功能模块，支持多种运行模式和路由策略，可基于对应执行器机器集群数量进行简单分片数据处理。

kun坤 2020-04-23 16:22:28 0 浏览量回答数 0

问题

E-MapReduce创建执行计划是什么?

执行计划是一组作业的集合，他们通过调度上的配置，可以被一次性或者周期性的执行。他可以在一个现有的 E-MapReduce 集群上运行，也可以动态的按需创建出一个临时集群来运行作业。它最大的优势就是跑...

nicenelly 2019-12-01 21:17:14 1175 浏览量回答数 0

问题

如何使用阿里云机器学习PAI的离线周期性调度功能?

背景离线调度功能是机器学习的常见场景，用户需要通过离线调度功能，周期性的更新模型。阿里云机器学习PAI可以帮助用户构建模型训练的pipline，大数据开发套件是一套阿里云飞天系统的管理运维平台&#...

nicenelly 2019-12-01 22:09:43 1068 浏览量回答数 0

问题

POSIX定义的竞争范围在linux中是否有用? [

今天看线程的用法.发现线程属性里面有进程调度和系统调度之分.但是Linux的线程不是轻量级进程吗?那应该只有系统调度才对?怎么会有进程内调度呢?POSIX定义的PTHREAD_SCOPE_PROCESS和PTHREAD_SCODE_SYST...

杨冬芳 2019-12-01 20:20:35 959 浏览量回答数 1

问题

Swarm 集群应用管理 GPU 指定设备序号调度

在容器调度领域，对于 nvidia GPU 的调度一直是以 GPU 卡独占为前提的。原因是 nvidia GPU 仅仅支持应用层面的显存上限设置，并不支持硬件层面，或者说平台层面的设备隔离。这种方案...

青蛙跳 2019-12-01 21:35:03 853 浏览量回答数 0

回答

基本的思路是，每次调度一个任务地时候，计算出下一次需要调度的任务和发生时间，然后一直sleep到个时间，调度下一个任务，如此往复即可，这样你就不用时时刻刻轮询查看了。为了找出下一次需要调度的任务，一个简单的方法是用小顶堆，将所有任务以时间为key插入这个堆，堆顶就是下次需要的任务（时间最早）。每次调度任务时将堆顶的任务弹出，调整堆，完成后堆顶就是下一次需要调度的任务。需要注意的是，每次弹出堆顶任务并完成调整之后，你还需要继续看堆顶的任务是否也已经到期，因为可能存在多个设定了相同时间的任务。具体到Java，你可以用PriorityQueue。

蛮大人123 2019-12-02 01:55:37 0 浏览量回答数 0

问题

E-MapReduce管理执行计划是什么?

登录阿里云E-MapReduce 控制台执行计划页面。找到相应的执行计划条目，单击其操作栏中的管理按钮，进入执行计划管理页面。在这里您可以：查看执行计划详情您可以查看到该执行计划的名称、关联集...

nicenelly 2019-12-01 21:21:24 1053 浏览量回答数 0

问题

【精品问答】关于分布式任务调度 SchedulerX你都了解嘛

分布式任务调度 SchedulerX 2.0 是阿里巴巴基于 Akka 架构自研的新一代分布式任务调度平台。您可以使用 SchedulerX 2.0 编排定时任务、工作流任务、进行分布式任务调度。您可以在控制台配置、管理您的定时调度任务...

montos 2020-04-08 10:39:35 6 浏览量回答数 1

问题

E-MapReduceExecutionPlanInfo是什么?

名称类型描述IdString执行计划IdNameString执行计划名称CreateClusterOnDemandBoolean是否是按需自动创建StragetyString执行计划的运行策略，RUN_MANUALLY...

nicenelly 2019-12-01 21:23:18 886 浏览量回答数 0

问题

zeus和伏羲都是调度系统，有什么区别？

在云栖里搜了好多伏羲的文章，这是一个分布式调度系统。zeus也是阿里用的容器集群调度系统。这两者有什么区别？都是阿里目前用的调度系统吗？...

tutu2014 2019-12-01 19:40:04 1286 浏览量回答数 1

回答

客户端 ping 加速域名网络延迟大，甚至丢包，这种情况需要搜集客户端的 IP、客户端的 DNS 以及 ping 截图、mtr 截图信息。因为 CDN 调度节点是通过客户端的 DNS 来分配调度的，根据客户端 IP、DNS 以及 CDN 节点可以判断调度是否异常，通过 ping 以及 mtr 截图可以看到网络延迟以及具体延迟在哪个网络链路节点。通常这类情况可能有以下几种情况： (1) 加速区域设置错误比如中国大陆的用户被解析到了海外的节点，或者海外用户被解析到国内。这种情况建议将加速区域设置为“全球加速”。 ● 如果 CDN 的加速区域选择的是“仅中国大陆”，那么该域名的调度域就只有中国大陆的 CDN 节点，海外用户访问的时候也会调度到中国大陆的 CDN 节点 ● 如果加速区域选择的是“全球（不包含中国大陆）”，那么该域名的调度域里就只有海外的 CDN 节点，中国大陆用户也会请求到海外的 CDN 节点 (2) 客户端 DNS 设置错误 ● 例如一个广东移动的用户，用了联通的 DNS，则会导致该用户被调度到联通 CDN 节点上，存在跨运营商的情况 ● 例如一个广东移动的用户，用了哈尔滨移动的 DNS，则会导致该用户被调度到哈尔滨移动的 CDN 节点上，远距离调度拉长了网络链路。这种场景需要用户侧修改使用对应所在地对应运营商的 DNS。说明：如果加速区域和 DNS 设置正确，在 CDN 正确分配调度的情况下，网络质量还是差，那就需要搜集 traceroute 和 mtr 信息来进一步诊断了

Lee_tianbai 2021-01-05 14:21:00 0 浏览量回答数 0

问题

在odpscmd客户端执行的sql能用到自己的ecs调度资源吗？我添加的ecs调度资源一直是未占用另外，上述sql作业资源方面有限制吗？客户端执行感觉有点慢，经常显示QuotaCPUUsage: 100.00% QuotaMemUsage: 100.00% 如果有限制的话，如何增加资源？我这边一直显示未占用是哪里没配好吗？如何才能确认调度资源被使用到了？

在odpscmd客户端执行的sql能用到自己的ecs调度资源吗？我添加的ecs调度资源一直是未占用另外，上述sql作业资源方面有限制吗？客户端执行感觉有点慢，经常显示QuotaCPUUsage: 100.00% QuotaMemUsa...

知与谁同 2019-12-01 20:12:45 1538 浏览量回答数 1

问题

在使用大数据开发套件时，为什么我开发的任务不能周期性调度？都没看到设置周期性调度的地方？

在使用大数据开发套件时，为什么我开发的任务不能周期性调度？都没看到设置周期性调度的地方？...

祁同伟 2019-12-01 20:16:19 974 浏览量回答数 1

问题

E-MapReduceExecutionPlanInfo是什么?

名称类型描述IdString执行计划IdNameString执行计划名称CreateClusterOnDemandBoolean是否是按需自动创建StragetyString执行计划的运行策略，RUN_MANUALLY...

nicenelly 2019-12-01 21:18:13 1471 浏览量回答数 0

问题

经典算法与人工智能在外卖物流调度中的应用

百度外卖资深策略架构师徐明泉，在QCon上做了主题为《经典算法与人工智能在外卖物流调度中的应用》的演讲，就外卖订单的智能调度，智能调度系统的大数据分析监控，智能调度系统中的人工智能等...

福利达人 2019-12-01 20:59:00 635 浏览量回答数 0

问题

请问dataWorks1.0 调度配置小时调度的开始时间只能是整点的吗?我想要每个小时过5分钟在运行 ,这个怎么设置?

请问dataWorks1.0 调度配置小时调度的开始时间只能是整点的吗?我想要每个小时过5分钟在运行 ,这个怎么设置?...

云栖大讲堂 2019-12-01 19:29:37 478 浏览量回答数 1

问答

调度

云产品推荐

热门关键词

更多推荐