调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置，详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...
调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置，详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...
调度参数返回值二次处理的典型场景
调度参数只支持获取时间类型数据，部分节点（例如，离线同步节点）配置了调度参数后，调度参数的返回值不能直接使用，需要进行函数转换等二次处理。本文为您介绍二次处理调度参数返回结果的典型场景。背景信息 调度参数支持的时间类型未...
逻辑表调度配置概述
对于逻辑表任务，您需定义任务的调度相关属性，包括调度属性、上游依赖、调度参数等。本文为您介绍逻辑表任务调度的相关内容。逻辑表调度配置入口 在Dataphin首页，单击顶部菜单栏的 研发，默认进入数据 开发 页面。按照下图操作指引，进入...
配置基础属性
您可以在调度配置对话框查看调度节点的名称、ID、类型，并配置责任人、描述等基本信息。本文为您介绍调度节点基础属性的参数配置。进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 基础属性 区域配置调度节点的基本信息。参数 ...
场景：夏令时切换对调度任务运行的影响
本文为您介绍在进入和退出夏令时的时候，对调度任务实例生成和定时时间的影响。若您的工作空间所在地域施行夏令时，您可通过本文了解DataWorks对于进入和退出夏令时的相关处理策略。背景信息 DataWorks可保障在进入和退出夏令时当天，任务...
逻辑表调度配置概述
对于逻辑表任务，您需定义任务的调度相关属性，包括调度属性、上游依赖、调度参数等。本文为您介绍逻辑表任务调度的相关内容。逻辑表调度配置入口 请参见 逻辑表任务配置入口，进入逻辑表任务配置页面。单击调度配置，进入逻辑表 调度配置 ...
使用调度器自定义参数
通过修改Kube Scheduler的自定义参数，您可以根据需要自定义调度器的行为，使得Pod的调度更符合您的期望。本文介绍如何使用调度器自定义参数。前提条件 已创建v1.20及以上版本的 ACK集群Pro版、ACK Edge集群Pro版 以及 ACK灵骏集群。具体...
如何重刷数据
重刷调度任务 如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明 任务和工作流都支持重刷数据（只支持天级别的调度周期）。如果您之前执行的某个调度...
Dataphin中小时调度的任务可以依赖天调度的任务吗？
概述 本文主要介绍Dataphin中小时调度的任务能否上游依赖天调度的任务。详细信息 不建议小时调度的任务上游依赖天调度的任务，可能会出现每个小时跑的数据都一样的情况。对于这种情况，建议上游任务也是小时调度。或者上游任务中数据是定时...
构建调度器插件
您需要先构建自定义调度器插件后，才可以在E-HPC控制台创建带有插件的集群。本文以LSF插件为例，为您介绍构建调度器插件的具体操作。操作步骤 在本地机器上创建插件目录结构。调度器插件目录结构的更多信息，请参见 调度器插件组成。mkdir/...
调度设置
若您的任务需要周期性运行，则在配置任务的调度属性前，需先进入DataStudio的调度设置页面开启调度功能，开启后，周期任务的调度配置才会生效。同时，DataWorks支持设置周期任务默认使用的资源组，支持设置任务的默认重跑属性、重跑次数、...
基础版商业化公告（2021年07月30日）
为提供更优质的服务，阿里云分布式任务调度SchedulerX将于2021年09月01日正式商业化。对于公测期间创建的实例，如果2021年09月01日00:00:00前没有释放，那么我们将默认您所创建的集群采用按量付费模式开始收费。开通商用实例 分布式任务...
使用ECI弹性调度
ECI弹性调度是阿里云提供的弹性调度策略。您可以在部署服务时通过添加Annotations来声明只使用ECS或ECI弹性资源，或者是在ECS资源不足时自动申请ECI资源。通过ECI弹性调度可以满足您在不同工作负载的场景下对弹性资源的不同需求。本文介绍...
名词解释
调度时间 JobInstance每次调度的时间叫做调度时间，JobProcessor可以根据 context.getScheduleTime()获取。数据时间 SchedulerX可以处理有数据状态的任务。创建任务的时候可以填数据偏移。例如一个任务是每天00:30运行，但是实际上要处理上...
如何重刷数据
重刷调度任务 如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明 任务和工作流都支持重刷数据（只支持天级别的调度周期）。如果您之前执行的某个调度...
配置时间调度
您可根据实际情况选择如下任一调度方式：调度类型选择 定时调度>周期调度，您需要配置如下参数：参数 说明 生效时间 选择调度周期生效的区间，默认1970-01-01~9999-01-01，表示一直生效。调度周期 小时：按设定的小时执行任务调度。日：按...
调度周期：分钟调度
分钟调度即每天指定的时间段内，调度任务按 N*指定分钟 的时间间隔运行一次。使用限制 分钟调度的时间间隔最小粒度只能设置为 5 分钟。配置示例 配置路径 您需要进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 调度配置>时间...
计费概述
本文介绍分布式任务调度SchedulerX的各计费项及其计费规则。基本概念 任务类型：调度任务的类型。包含单机任务和非单机任务（广播、分片、并行和网络任务等）。任务调度总量：通过SchedulerX配置并启用的分布式任务调度总规模，单位为CU...
创建定时调度
Serverless工作流 支持通过配置Cron表达式来定时调度工作流的执行。本文介绍如何为 Serverless工作流 创建定时调度。前提条件 成功创建工作流 使用控制台创建定时调度 登录 Serverless工作流控制台。在左侧导航栏，单击 流程。在流程列表中...
DATASOURCE:FNF:Schedules
DATASOURCE:FNF:Schedules类型用于获取定时调度列表。语法 {"Type":"DATASOURCE:FNF:Schedules","Properties":{"FlowName":String } } 属性 属性名称 类型 必须 允许更新 描述 约束 FlowName String 是 是 定时调度绑定的流程名称。该名称...
CreateSchedule-创建一个定时调度
创建一个定时调度。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
计费说明
本文介绍分布式任务调度SchedulerX的各计费项及其计费规则。基本概念 任务类型：调度任务的类型。包含单机任务和非单机任务（广播、分片、并行和网络任务等）。任务调度总量：通过SchedulerX配置并启用的分布式任务调度总规模，单位为CU...
代码解析结果对比
开启自动解析时，为保障生产数据产出无误、节点变更操作过程可控，在节点发布流程中，需对节点调度变更相关操作进行二次确认，提交节点时将基于代码中表血缘解析当前节点的输入与输出。您可根据代码解析结果，确认节点的上下游依赖是否正确...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引...
调度参数配置最佳实践
背景信息 调度参数配置的相关应用场景及最佳实践如下：调度参数配置最佳实践 调度参数在数据集成的典型应用场景 各类型节点的调度参数配置示例：SQL类型节点及离线同步节点 PyODPS节点 通用Shell节点 自定义参数取值差异对比示例：不同格式...
步骤五：设置离线节点的调度信息
当离线计算节点需要按照周期输出数据时，支持通过设置节点的调度信息，实现节点中各数据被周期计算。本文介绍如何设置调度信息。操作须知 定时调度只适用于离线计算节点，调度设置在开发节点中设置，但是只在生产节点生效。操作步骤 单击...
步骤五：设置离线节点的调度信息
当离线计算节点需要按照周期输出数据时，支持通过设置节点的调度信息，实现节点中各数据被周期计算。本文介绍如何设置调度信息。操作须知 定时调度只适用于离线计算节点，调度设置在开发节点中设置，但是只在生产节点生效。操作步骤 单击...
修改调度策略
对于已经配置完成的数据集成任务，如果由于业务需求变更需要重新调整调度策略，您可以参照本文的方法修改调度策略。前提条件 已创建数据集成任务，相关案例请参见 配置RDS MySQL间的数据集成任务。操作步骤 登录 数据传输控制台。在左侧...
CreateRouteStrategy-创建路由策略
label名称，若 targetType为"worker"，则列表中配置 worker的IP地址 targetType：调度目标类型，可配置为"label"或"worker"，表示调度到指定label的机器上或者调度到指定IP的机器上 返回参数 名称 类型 描述 示例值 object Schema of ...
专业版商业化公告（2022年05月24日）
阿里云分布式任务调度SchedulerX专业版将于2022年06月25日正式进行商业化。公测期实例转商用说明 对于公测期间在分布式任务调度SchedulerX上创建的专业版应用，您需要根据实际需求进行处理。继续使用：您无需进行任何操作。从2022年06月25...
快速入门
本文为您介绍如何通过阿里云E-MapReduce（简称EMR）控制台，快速创建EMR Studio集群并开展交互式开发和工作流调度工作。背景信息 如果您想了解更多Zeppelin、Jupyter和Airflow的信息，请参见以下内容：Zeppelin概述 管理JupyterHub 定期...
UpdateSchedule-更新一个定时调度
更新一个定时调度。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
离线集成概述
数据管理DMS离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。支持的数据库类型 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB...
kube-scheduler组件监控
Scheduler尝试成功调度Pod次数 histogram_quantile($quantile,sum(rate(scheduler_pod_scheduling_attempts_bucket{job="ack-scheduler"}[$interval]))by(pod,le))调度器尝试调度Pod的次数，Bucket阈值为1、2、4、8、16。资源 可观测性展示...
注册调度集群
Dataphin支持连接不同集群的机器并统一管理对应的调度资源。本文介绍如何注册调度集群。操作步骤 使用元仓租户下的 超级管理员 或 系统管理员 账号登录Dataphin。在Dataphin首页，单击顶部菜单栏中的 管理中心。按照下图操作指引，进入 ...
DescribeSchedule-获取一个定时调度
获取一个定时调度信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
预览依赖关系
调度依赖配置完成后，您可通过预览依赖查看周期任务的上下游依赖关系、查看周期任务在调度日内所生成周期实例的预计执行时间，检查任务的调度依赖配置是否符合预期，保障任务可按预期时间正常运行。若不符合预期请及时调整调度依赖配置，...
调度周期：周调度
任务调度周期是基于单个任务维度的配置，任务最终是否每天调度与任务本身定义的调度周期有关，与上游节点调度周期无关，但上游节点定义的调度时间将影响下游节点实际开始调度的时间。配置示例 配置路径 您需要进入数据开发节点的编辑页面，...
离线模式调度配置
调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置流批一体任务的调度配置。操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在...
- 产品推荐
- 这些文档可能帮助您