消息 Mesh

作为蚂蚁集团向下一代云原生架构演进的核心基础设施,Service Mesh 在 2019 年得到了大规模的应用与落地。...赋予更多开箱即用的消息流量管控和治理能力,并进一步结合 Knative 探索消息精细化流量调度在 Serverless 下的应用场景。

数据开发:开发者

本文以使用MaxCompute数据源,在DataWorks上运行MaxCompute作业任务为例,为您介绍开发人员如何使用数据开发(DataStudio)创建一个周期调度任务,帮助您快速了解数据开发(DataStudio)模块的基本使用。前提条件 已完成开发前的环境准备,...

资源调度概述

ACS兼容Kubernetes原生调度能力,支持不同类型的工作负载混合调度,并提供弹性资源、异构资源等精细化调度能力。本文介绍ACS兼容的Kubernetes原生调度能力和任务调度能力。兼容的Kubernetes原生调度能力 ACS兼容Kubernetes原生调度能力,但...

调度概述

功能 描述 参考文档 Gang scheduling All-or-Nothing作业要求所有的任务在同一时间被调度,如果只是部分任务启动的话,启动的任务将持续等待剩余的任务被调度。在极端情况下,所有作业都处于挂起状态,从而导致死锁。为了解决这个问题,...

调度中心字段说明

创建调度组填写字段详解 名称 含义 说明 调度组名称 调度组的名称,标识不同的调度组 同一账号的调度组名称 不允许重复。并发数 标识该调度组最多可以同时执行多少任务 取值范围:1~100。建议按照实际业务的带宽,估算 最大 支持多少实例...

多可区同时快速弹性扩容

当业务压力增大时,有多可区均衡调度策略的应用希望可以自动扩容出多个可用区的实例来满足集群的调度水位。本文介绍如何在多可区实现快速弹性扩容。前提条件 已选择多个可用区,并在每个可用区创建好vSwtich,需要在哪些可用区弹出就...

多可区同时快速弹性扩容

当业务压力增大时,有多可区均衡调度策略的应用希望可以自动扩容出多个可用区的实例来满足集群的调度水位。本文介绍如何在多可区实现快速弹性扩容。前提条件 已选择多个可用区,并在每个可用区创建好vSwtich,需要在哪些可用区弹出就...

AI负载调度

本文介绍弹性资源调度、AI任务调度、异构资源调度和任务队列调度,帮助用户提升集群的资源利用率和作业运行效率。弹性调度 ACK为不同弹性资源提供了混合调度的能力。功能 描述 参考文档 弹性调度 阿里云提供了不同种类的弹性资源,如ECS和...

基础版商业化公告(2021年07月30日)

为提供更优质的服务,阿里云分布式任务调度SchedulerX将于2021年09月01日正式商业化。对于公测期间创建的实例,如果2021年09月01日00:00:00前没有释放,那么我们将默认您所创建的集群采用按量付费模式开始收费。开通商用实例 分布式任务...

专业版商业化公告(2022年05月24日)

阿里云分布式任务调度SchedulerX专业版将于2022年06月25日正式进行商业化。公测期实例转商用说明 对于公测期间在分布式任务调度SchedulerX上创建的专业版应用,您需要根据实际需求进行处理。继续使用:您无需进行任何操作。从2022年06月25...

计费概述

本文介绍分布式任务调度SchedulerX的各计费项及其计费规则。基本概念 任务类型:调度任务的类型。包含单机任务和非单机任务(广播、分片、并行和网络任务等)。任务调度总量:通过SchedulerX配置并启用的分布式任务调度总规模,单位为CU...

CreateRouteStrategy-创建路由策略

label名称,若 targetType为"worker",则列表中配置 worker的IP地址 targetType:调度目标类型,可配置为"label"或"worker",表示调度到指定label的机器上或者调度到指定IP的机器上 返回参数 名称 类型 描述 示例值 object Schema of ...

如何重刷数据

重刷调度任务 如果您的业务发生变更,如数据库增加一个字段或者上一个月数据有错误,需要把过去一段时间的任务重新执行一遍,可以重刷调度任务数据。说明 任务和工作流都支持重刷数据(只支持天级别的调度周期)。如果您之前执行的某个调度...

SQL分析概述

您可以通过编写SQL语句,配置执行查询的策略,调度产出所需的数据。功能说明 通过创建SQL分析任务,将数据存储表的数据作为查询对象,使用SQL语句配置分析任务,调度产出所需的数据至自定义存储表,为进一步挖掘数据的价值,提供分析数据的...

查看并管理定时调度补数据任务

定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例,进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 请参见 运维中心入口,进入 运维 中心。按照下图操作指引...

如何重刷数据

重刷调度任务 如果您的业务发生变更,如数据库增加一个字段或者上一个月数据有错误,需要把过去一段时间的任务重新执行一遍,可以重刷调度任务数据。说明 任务和工作流都支持重刷数据(只支持天级别的调度周期)。如果您之前执行的某个调度...

时间属性配置说明

时间属性用于定义节点在生产环境的周期调度方式。您可通过调度配置的时间属性,配置节点生成周期实例的方式,实例调度周期与执行时间,是否支持重跑,任务执行超过多长时间自动退出等。本文为您介绍如何配置节点的调度时间属性。背景信息 ...

GPU拓扑感知调度概述

本文简要描述了GPU拓扑分布情况,以及GPU拓扑感知调度的优势。GPU拓扑分布 下图为NVLink连接8个Tesla V100的混合立体网络拓扑。每块V100 GPU有6个NVLink通道,8块GPU间无法做到全连接,2块GPU间最多只能有2条NVLink连接。其中GPU0和GPU3,...

新建调度任务

已发布的离线模型支持配置自动化调度任务。本文主要介绍新建调度任务。前提条件 已新建离线模型且模型已发布,具体操作,请参见 新建离线模型。已创建云计算资源作为数据源,具体操作,请参见 新建计算资源。操作步骤 登录 数据资源平台...

配置资源属性

周期任务的运行依赖于调度资源组,您可以在目标任务调度配置的资源属性区域,选择任务调度运行时需要使用的资源组。配置资源组 进入数据开发节点的编辑页面,单击右侧导航栏的 调度配置,在 资源属性 区域配置节点调度时使用的资源组。在 ...

离线任务属性配置概述

对于离线任务,若需要周期性调度运行,您需定义该任务的调度相关属性,包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...

离线集成任务属性配置概述

对于离线集成任务,若需要周期性调度运行,您需定义该任务的调度相关属性,包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。...

调度参数典型场景配置示例

调度参数配置相关的典型场景及最佳实践如下:调度参数配置最佳实践 调度参数在数据集成的典型应用场景 各类型节点的调度参数配置示例:SQL类型节点及离线同步节点 PyODPS节点 通用Shell节点 自定义参数取值差异对比示例:不同格式自定义...

配置离线管道调度

调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系,同时上游节点的状态将影响其他下游节点的运行状态。配置了...

配置基础属性

您可以在调度配置对话框查看调度节点的名称、ID、类型,并配置责任人、描述等基本信息。本文为您介绍调度节点基础属性的参数配置。进入数据开发节点的编辑页面,单击右侧导航栏的 调度配置,在 基础属性 区域配置调度节点的基本信息。参数 ...

控制台总览

您可以在任务调度产品控制台总览页面查看所有任务的动态和统计信息。任务统计 显示当前环境中已存在的各类任务数量统计:任务总数:当前环境中已配置的任务总数,包括简单任务、集群任务。将鼠标悬浮在图标上方以查看每个任务类型的数量...

调度周期:年调度

调度是指调度任务在每年的特定几天,在特定的时间点自动运行一次。例如,调度任务设置为每年一月的最后一天执行。注意事项 在非指定的调度时间内,为保证下游实例正常运行,年调度节点会生成空跑的周期实例。重要 空跑现象:系统直接返回...

任务管理

本文介绍如何在任务管理页面对调度任务进行一系列操作。创建调度任务 重要 创建任务前,请确保您已经创建了任务分组。更多信息,请参见 应用管理。登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏,选择 任务管理。在 任务...

产品相关问题

任务调度的核心功能是什么?分布式调度:提高系统的可用性、伸缩性,且调度与业务的分离,让研发更专注业务逻辑的开发。多种任务类型:简单任务,集群任务,消息任务,流式任务,满足不同场景需求。丰富的管理功能:包括定时触发、事件触发...

任务调度属性配置概述

若任务需要周期性调度运行,您需定义该任务的调度相关属性,包括调度周期、调度依赖、调度参数等。本文为您介绍调度配置的相关内容。前提条件 已创建节点。DataWorks基于节点进行任务开发,不同类型的引擎任务在DataWorks上被封装为不同...

调度周期:周调度

任务调度周期是基于单个任务维度的配置,任务最终是否每天调度与任务本身定义的调度周期有关,与上游节点调度周期无关,但上游节点定义的调度时间将影响下游节点实际开始调度的时间。配置示例 配置路径 您需要进入数据开发节点的编辑页面,...

调度周期:分钟调度

分钟调度即每天指定的时间段内,调度任务按 N*指定分钟 的时间间隔运行一次。使用限制 分钟调度的时间间隔最小粒度只能设置为 5 分钟。配置示例 配置路径 您需要进入数据开发节点的编辑页面,单击右侧导航栏的 调度配置,在 调度配置>时间...

kube-scheduler

kube-scheduler是一个控制面组件,负责结合节点资源使用情况和Pod的调度要求将Pod调度到集群的合适节点上。组件介绍 基于Pod申明的Request和节点的Allocatable属性,kube-scheduler可以为调度队列中每个Pod确定其可放置的节点,并保证节点...

调度配置

调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置,详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...

调度依赖配置指引

DataWorks的调度依赖是指周期调度节点间的上下游依赖关系。通过节点的依赖关系有序调度运行上下游节点,即当上游节点运行成功后,下游节点才会启动运行,保障适时的产出有效业务数据。本文为您介绍调度依赖的配置指引,避免因调度依赖配置...

其他问题

当两个节点的调度周期不同时,即上游节点5分钟调度一次,下游节点20分钟调度一次,下游节点如何获取数据?为何周期调度中某个节点的实例实际运行时间和计划时间有差异?任务执行是按照业务连线的先后顺序执行,即当前一节点运行结束,后一...

调度设置

若您的任务需要周期性运行,则在配置任务的调度属性前,需先进入DataStudio的调度设置页面开启调度功能,开启后,周期任务的调度配置才会生效。同时,DataWorks支持设置周期任务默认使用的资源组,支持设置任务的默认重跑属性、重跑次数、...

名词解释

调度时间 JobInstance每次调度的时间叫做调度时间,JobProcessor可以根据 context.getScheduleTime()获取。数据时间 SchedulerX可以处理有数据状态的任务。创建任务的时候可以填数据偏移。例如一个任务是每天00:30运行,但是实际上要处理上...

步骤三:设置任务调度策略并发布

本文介绍设置任务调度策略的操作流程。前提条件 已编写SQL语句。具体操作,请参见 步骤二:编写SQL分析语句。使用说明 修改已发布的SQL分析任务时,如果修改输出字段的名称和类型,修改前生成的存储表数据将被调度产出的新数据覆盖。如果...

E-HPC集群调度器插件

E-HPC提供了调度器插件作为平台的外扩组件,在E-HPC现有调度器类型或版本不满足当前业务时,您可以通过该插件构建自定义调度器并接入E-HPC平台的能力。本文为您介绍E-HPC集群调度器插件的概念及组成。什么是调度器插件 E-HPC作为一款PaaS...
共有182条 < 1 2 3 4 ... 182 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
视觉计算服务 音视频通信 云效(老版) 弹性公网IP 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用