离线模式调度配置
调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置流批一体任务的调度配置。操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在...
EDAS应用支持金丝雀发布时指定任务调度比例
EDAS支持已接入SchedulerX的应用在金丝雀发布时指定任务调度比例规则。规则配置完成后，升级后的任务应用会经过小规模验证，验证通过后再全量升级，保障升级过程平稳无损。本文介绍如何将已接入SchedulerX的EDAS应用在金丝雀发布时配置任务...
接入 Android
关闭 IPv6 开关，RPC 会过滤掉移动调度中心 IPv6 的 IP，只使用移动调度中心 IPv4 的 IP；开启 IPv6 开关，则 IPv6 和 IPv4 IP 均使用。开关默认关闭。MPRpc.openIPV6(isOpen);单独接入 MDC 示例 通过 IP 完成 Socket 建连 MPHttpIp httpIp...
调度依赖场景规则与示例
Dataphin支持将周期任务的调度周期设置为分钟、小时、日、周、月、年调度类型中的其中一种类型。各调度类型的周期任务支持互相依赖，调度类型不同，任务执行的周期不同。任务各周期是通过实例的方式执行，当上下游调度依赖的类型不同时，您...
调度依赖场景规则与示例
Dataphin支持将周期任务的调度周期设置为分钟、小时、日、周、月、年调度类型中的其中一种类型。各调度类型的周期任务支持互相依赖，调度类型不同，任务执行的周期不同。任务各周期是通过实例的方式执行，当上下游调度依赖的类型不同时，您...
CreateSchedruleOnDemand-为代播实例创建一条调度规则
为代播实例创建一条调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
ListSchedules-获取定时调度列表
获取定时调度列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
ConfigSchedruleOnDemand-修改代播实例的调度规则
修改代播实例的调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
新增和使用独享调度资源组
您可根据业务场景需求选择购买合适规格的独享调度资源组，用于任务的调度运行。购买独享资源组后，在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享调度资源组的全流程与步骤详情。前提条件 购买和使用独...
场景：切换调度时区
在创建DataWorks工作空间时，您需要选择工作空间所在地域，默认情况下DataWorks工作空间所在地域对应的时区即为调度时区（即任务定时调度时间所使用的时区）。同时，还支持您切换工作空间的调度时区，本文为您介绍如何切换调度时区。背景...
GPU拓扑感知调度概述
本文简要描述了GPU拓扑分布情况，以及GPU拓扑感知调度的优势。GPU拓扑分布 下图为NVLink连接8个Tesla V100的混合立体网络拓扑。每块V100 GPU有6个NVLink通道，8块GPU间无法做到全连接，2块GPU间最多只能有2条NVLink连接。其中GPU0和GPU3，...
QuerySchedruleOnDemand-查询代播实例的调度规则
查询代播实例的调度规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
调度周期：年调度
年调度是指调度任务在每年的特定几天，在特定的时间点自动运行一次。例如，调度任务设置为每年一月的最后一天执行。注意事项 在非指定的调度时间内，为保证下游实例正常运行，年调度节点会生成空跑的周期实例。重要 空跑现象：系统直接返回...
虚拟节点调度方案对比及介绍
针对虚拟节点，ACK Serverless集群基础版 和 ACK Serverless集群Pro版 支持的调度方式不同，且有其特定的使用场景，例如调度到指定操作系统或架构类型的虚拟节点上、跨可用区亲和等。您可以依据调度场景以及集群类型，参考本文选择合适的...
定时调度
云工作流 支持通过配置Cron表达式周期性或指定时间来调度工作流执行。本文介绍如何为 云工作流 配置定时调度。前提条件 事件总线（EventBridge）开通事件总线EventBridge并授权 云工作流（CloudFlow）已成功创建工作流。具体操作，请参见 ...
周期性调度
当测试数据或超参数更新，并需要持续进行增量训练和模型调优时，您可以通过周期性调度功能定期提交DLC任务。DLC与DataWorks互通，方便您可以直接通过DataWorks的调度配置，实现定时提交DLC任务。本文为您介绍如何定时提交DLC任务。背景信息...
创建业务流程
说明 由于DataWorks的调度依赖主要保障的是调度节点定时更新的表数据，通过节点调度依赖保障下游取数没有问题，所以不是DataWorks平台上调度更新的表，平台无法监控。当存在非周期性调度生产数据的表，有节点select这类表数据时，您需要...
Dataphin中补数据实例处于等待调度状态
问题原因 补数据时间选择的是T-1，调度时间设置的是12点，15点，18点。指定补数据时间点是16点，所以12点和15点的补数据实例可以执行。18点的补数据在18点之后才可以执行。解决方案 18点之后执行T-1的补数据任务。适用于 Dataphin
HTTP触发器节点
如果24小时内上游任务节点没有运行完成，则触发指令会丢失，外部调度系统本次发出的调度指令失效。使用限制 HTTP触发器节点功能仅适用DataWorks企业版及以上版本，关于DataWorks版本介绍，详情请参见 DataWorks各版本详解。由于HTTP触发器...
EventBridge事件调度
EventBridge事件调度包括云产品事件调度和自定义事件源事件调度。云产品事件调度支持包括弹性计算、存储服务、数据库、容器、大数据处理、可观测性服务及中间件服务在内的几乎所有阿里云官方事件源，而自定义事件源事件调度支持包括SLS、...
查看版本
节点或业务流程每次提交成功将生成...outputContextList isStop 节点是否暂停调度，取值如下：0：正常调度或空跑调度 1：暂停调度 tags 保留字段，无业务含义。tagList fileId dependentType 更多时间属性配置，详情请参见 时间属性配置说明。
查询弹性供应组的调度任务信息
调用DescribeAutoProvisioningGroupHistory查询弹性供应组的调度任务信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 ...
调度策略
在配置资源配额时，您可以根据调度策略的实现原理选择合适的调度策略，来提高出队效率，从而提高算力资源的利用率。本文为您介绍支持选择的调度策略和实现原理。背景信息 当多个任务或实例同时请求算力资源时，会形成一个队列并等待执行。...
Data Lake Analytics节点
重要 Data Lake Analytics节点仅支持使用独享调度资源组执行任务，详情请参见 新增和使用独享调度资源组。操作步骤 进入 数据开发 页面。登录 DataWorks控制台。在左侧导航栏，单击 工作空间列表。选择工作空间所在地域后，单击相应工作...
提交作业
如果集群的调度策略设置为根据优先级调度，高优先级的作业会被优先调度运行。计算节点数 用来运行此作业的计算节点数。任务数 每个计算节点运行此作业使用的任务数，即进程数。最大内存 每个计算节点运行此作业可使用的最大内存。默认为空...
SQL分析概述
您可以通过编写SQL语句，配置执行查询的策略，调度产出所需的数据。功能说明 通过创建SQL分析任务，将数据存储表的数据作为查询对象，使用SQL语句配置分析任务，调度产出所需的数据至自定义存储表，为进一步挖掘数据的价值，提供分析数据的...
基本概念
完成提交后，相应的代码、调度配置全部合并至调度系统中，调度系统根据相关配置进行调度操作。说明 未提交的节点任务、业务流程不会进入调度系统。脚本开发（Script）脚本开发是提供给数据分析使用的一个代码存储空间。脚本开发的代码无法...
等待资源
如果单个任务并发设置超过了机器支持的最大并发数，请将这些并发任务全部停掉，修改任务并发数后再去执行。在 运维中心 页面左侧导航栏，单击 运维大屏，在 运维大屏 页面的 数据集成 页签，查看 同步任务执行详情。说明 任务并发配置需要...
调度参数典型场景配置示例
调度参数配置相关的典型场景及最佳实践如下：调度参数配置最佳实践 调度参数在数据集成的典型应用场景 各类型节点的调度参数配置示例：SQL类型节点及离线同步节点 PyODPS节点 通用Shell节点 自定义参数取值差异对比示例：不同格式自定义...
高级功能：全局变量
在PAI工作流中配置的全局变量值仅用于在线运行工作流使用，离线调度时会使用调度中配置的参数值替换运行。本示例以以下工作流为例，源数据包括两个分区的数据。准备源数据。配置全局变量。具体步骤请参见 示例1：工作流内组件公用参数。本...
数据集成调度策略说明
DTS的数据集成功能可根据调度策略的配置，定期地将源库中的结构和存量数据迁移至目标库中。通过该功能可以帮助您构建更加灵活的数据仓库（例如构建T+1的周期性数仓），本文介绍数据集成的策略、限制及适用场景。支持的数据库 支持全量数据...
可选：运维SQL分析任务
SQL分析任务上线后，您可以查看SQL分析任务的基本信息和配置情况，以及SQL分析任务的调度情况。本文介绍运维SQL分析任务的操作步骤。前提条件 已配置并发布SQL分析任务，具体操作，请参见 步骤三：设置任务调度策略并发布。背景信息 SQL...
MySQL整库离线同步到OSS
单击 周期调度参数配置，新增调度参数，以添加一个 cyc_time 参数为例：单击 批量修改 中的 目标文件附加字段，给新增字段赋值调度参数（目标表字段中可以快捷打开调度参数编辑面板）。在 目标文件附加字段 中，新增附加字段。高级参数配置...
欠费说明
本文介绍分布式任务调度SchedulerX的欠费停机策略。欠费停机影响 欠费后，控制台中无法新建调度任务。欠费超过2周后，控制台自动禁用所有调度任务。结清账单后，被禁用的调度任务不会自动启用，需要手动启用。如果欠费影响了业务，例如调度...
创建EMR Impala节点
如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖关系，详情请参见 时间...
创建EMR Hive节点
如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖关系，详情请参见 时间...
通过单条管道创建集成任务
在调度配置页面，配置集成管道的 基本信息、调度配置、调度依赖、调度参数、运行配置。各配置说明如下：基本信息：通过集成管道基本信息，您可配置集成管道任务开发负责人、运维负责人及描述。详细说明，请参见：配置离线集成管道基本信息...
通过单条管道创建集成任务
在调度配置页面，配置集成管道的 基本信息、调度配置、调度依赖、调度参数、运行配置。各配置说明如下：基本信息：通过集成管道基本信息，您可以配置集成管道任务的开发负责人、运维负责人及描述。详细说明，请参见：配置离线集成管道基本...
弹性伸缩概述
例如，HPA是典型的调度层弹性组件，通过HPA可以调整应用的副本数，调整的副本数会改变当前负载占用的调度容量，从而实现调度层的伸缩。资源层弹性，主要是集群的容量规划不能满足集群调度容量时，会通过弹出ECI资源的方式进行调度容量的...
- 产品推荐
- 这些文档可能帮助您