修改调度策略
对于已经配置完成的数据集成任务，如果由于业务需求变更需要重新调整调度策略，您可以参照本文的方法修改调度策略。前提条件 已创建数据集成任务，相关案例请参见 配置RDS MySQL间的数据集成任务。操作步骤 登录 数据传输控制台。在左侧...
CreateFile
EndEffectDate Long 否 1671694850000 停止自动调度的时间戳，单位为毫秒。该参数与 DataWorks控制台 中，数据开发任务的“调度配置>时间属性>生效日期”配置的结束时间的毫秒时间戳对应。CronExpress String 否 00 05 00*?周期调度的cron...
UpdateFile
EndEffectDate Long 否 4155787800000 停止自动调度的时间戳，单位为毫秒。该参数与 DataWorks控制台 中，数据开发任务的“调度配置>时间属性>生效日期”配置的结束时间的毫秒时间戳对应。CronExpress String 否 00 00-59/5 1-23*?周期调度...
场景：配置增量数据离线同步任务
配置增量数据同步时：时间类型增量字段同步：可以通过调度参数来实现时间类型数据的动态替换，调度参数将在任务调度时自动根据业务时间替换为具体的值。关于调度参数的使用，详情请参见：调度参数支持的格式。非时间类型增量字段同步：可以...
调度周期：周调度
周调度是指调度任务在每周的特定几天，在特定的时间点自动运行一次。例如，调度任务设置为每周一、周二零点执行。注意事项 在非指定的调度时间内，为保证下游实例正常运行，周调度节点会生成空跑的周期实例。重要 空跑现象：系统直接返回...
调度周期：年调度
年调度是指调度任务在每年的特定几天，在特定的时间点自动运行一次。例如，调度任务设置为每年一月的最后一天执行。注意事项 在非指定的调度时间内，为保证下游实例正常运行，年调度节点会生成空跑的周期实例。重要 空跑现象：系统直接返回...
周期性调度作业概述
如果您希望周期性运行MaxCompute作业，可使用DataWorks的DataStudio开发周期性MaxCompute作业，并配置周期性调度的时间属性、调度依赖等配置项，将作业整体提交至DataWorks的运维中心进行周期性调度。本文为您概要介绍当前使用DataWorks...
Quota管理（新版）
说明 任意Quota计划都可以操作 立即生效，但需要注意的是若时间计划有设置调度且配置当前时段调度的Quota计划与操作 立即生效 的Quota计划不一致，那么操作 立即生效 的Quota计划会在15分钟内被调度计划覆盖。因此如果想固定手动生效某个...
数据质量入门
步骤四：质量规则关联调度节点 数据质量可通过关联调度节点触发执行质量校验规则，即当调度节点调度执行时，其关联的质量规则便会自动执行。在规则列表页面单击 关联调度。添加需要关联的任务节点。添加节点后，该节点运行时便会触发执行...
GetFile
EndEffectDate Long 4155787800000 停止自动调度的时间戳，单位为毫秒。该参数与 DataWorks控制台 中，数据开发任务的“调度配置>时间属性>生效日期”配置的结束时间的毫秒时间戳对应。CycleType String DAY 调度周期的类型，包括NOT_DAY...
数据集成调度策略说明
DTS的数据集成功能可根据调度策略的配置，定期地将源库中的结构和存量数据迁移至目标库中。通过该功能可以帮助您构建更加灵活的数据仓库（例如构建T+1的周期性数仓），本文介绍数据集成的策略、限制及适用场景。支持的数据库 支持全量数据...
通过OpenAPI创建、修改、删除离线同步任务
EndEffectDate Long 否 4155787800000 停止自动调度的时间戳，单位为毫秒。该参数与 DataWorks控制台 中，数据开发任务的“调度配置>时间属性>生效日期”配置的结束时间的毫秒时间戳对应。CronExpress String 否 00 00-59/5 1-23*?周期调度...
ListInstanceHistory
BeginWaitTimeTime Long 1590416703313 实例任务开始等待调度的时间。NodeId Long 33115 节点的ID。InstanceHistoryId Long 1 实例的历史档案编号。示例 请求示例 http(s):/[Endpoint]/?Action=ListInstanceHistory&InstanceId=1234&...
通过OpenAPI创建、修改、删除离线同步任务
EndEffectDate Long 否 4155787800000 停止自动调度的时间戳，单位为毫秒。该参数与 DataWorks控制台 中，数据开发任务的“调度配置>时间属性>生效日期”配置的结束时间的毫秒时间戳对应。CronExpress String 否 00 00-59/5 1-23*?周期调度...
如何使单应用支持十万以上的定时任务
应用场景 常见应用场景是每个定时任务调度时间都不一样，无法通过MapReduce分布式任务解决（MapReduce分布式任务每个子任务调度时间是一致的）。物联网智能开关 智能开关可以设置定时开启、关闭，是由用户自定义设置的，所以每个开关的定时...
天任务依赖分钟任务最佳实践
因为天运行定时时间在分钟任务运行结束后，所以插入workshop_odps_dd分区（ds）的时间需要和分钟任务时间在同一天，您将ds时间减1即可。单击右侧的 调度配置，参数赋值为 startTime=$[yyyymmddhh24miss-1]endTime=$[yyyymmddhh24miss]...
GetSecretValue
LastRotationDate String 2020-07-05T08:22:03Z 最近一次轮转的时间。NextRotationDate String 2020-07-06T18:22:03Z 下一次轮转的时间。ExtendedConfig String {\"SecretSubType\":\"SingleUser\",\"DBInstanceId\":\"rm-uf667446pc955*\...
使用Java SDK创建定时SQL任务
Cron：通过Cron表达式指定时间间隔，按照指定的时间间隔调度定时SQL任务。interval 50m 当 type 取值为 FixedRate 时，配置固定间隔。3s：间隔3秒。5m：间隔5分钟。2h：间隔2小时。cronExpression 无 当 type 取值为 Cron 时，配置Cron表达...
GetSecretValue
LastRotationDate String 2020-07-05T08:22:03Z 最近一次轮转的时间。NextRotationDate String 2020-07-06T18:22:03Z 下一次轮转的时间。ExtendedConfig String {\"SecretSubType\":\"SingleUser\",\"DBInstanceId\":\"rm-uf667446pc955*\...
常见问题
同一分钟内包含不同时间的日志时，由于日志索引的构建，时间较迟的日志的索引可能落盘到较早的时间点。例如实例执行时间为12:03:30，SQL时间窗口为相对一分钟，即[12:02:30，12:03:30)。如果在12:02:50秒写入日志，这些日志时间为12:02:20...
ListInstances
BeginWaitTimeTime Long 1590416703313 实例任务开始等待调度的时间。DqcDescription String[{"projectName":"ztjy_dim","tableName":"dim_user_agent_manage_area_a","partition":"ds\u003d$[yyyy-mm-dd-1]"}]DQC分区规则串。NodeId Long ...
增量数据同步
通过选择已注册的数据源端数据和目标端，实现增量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线增量数据同步周期调度的任务。前提条件 已新建工作组“信息中心（xxzx）”，具体操作，请参见 新建工作...
GetSecretValue
NextRotationDate String 2024-07-06T18:22:03Z 下一次轮转的时间。说明 当自动轮转开启时，返回该参数。SecretData String testdata1 凭据值。KMS将存储的密文凭据值进行解密后返回该参数。通用凭据返回您指定的凭据值。RDS凭据返回的凭据...
GetSecretValue
NextRotationDate String 2024-07-06T18:22:03Z 下一次轮转的时间。说明 当自动轮转开启时，返回该参数。SecretData String testdata1 凭据值。KMS将存储的密文凭据值进行解密后返回该参数。通用凭据返回您指定的凭据值。RDS凭据返回的凭据...
DescribeSecret
NextRotationDate String 2024-07-06T18:22:03Z 下一次轮转的时间。说明 当开启自动轮转时，返回该参数。EncryptionKeyId String key-hzz63ca8cbe3hefht*加密凭据值的KMS密钥的标识符。RotationInterval String 3153600s 凭据自动轮转的...
DescribeSecret
NextRotationDate String 2024-07-06T18:22:03Z 下一次轮转的时间。说明 当开启自动轮转时，返回该参数。EncryptionKeyId String key-hzz63ca8cbe3hefht*加密凭据值的KMS密钥的标识符。RotationInterval String 3153600s 凭据自动轮转的...
GetInstance
BeginWaitTimeTime Long 1590416703313 实例开始等待调度的时间。DqcDescription String[{"projectName":"ztjy_dim","tableName":"dim_user_agent_manage_area_a","partition":"ds\u003d$[yyyy-mm-dd-1]"}]DQC分区规则串。NodeId Long ...
创建密钥
轮转周期 设置对称密钥自动轮转的时间周期。取值：30天。90天。180天。365天。不开启：不开启轮转。自定义：7~730天。说明 仅密钥类型为Aliyun_AES_256和Aliyun_SM4的对称密钥支持设置轮转周期。单击 高级选项，选择 密钥材料来源。说明 仅...
创建密钥
轮转周期 设置对称密钥自动轮转的时间周期。取值：30天。90天。180天。365天。不开启：不开启轮转。自定义：7~730天。说明 仅密钥类型为Aliyun_AES_256和Aliyun_SM4的对称密钥支持设置轮转周期。单击 高级选项，选择 密钥材料来源。说明 仅...
CreateSecret
NextRotationDate String 2023-07-06T18:22:03Z 下一次轮转的时间。说明 当自动轮转开启时，返回该参数。SecretType String Rds 凭据类型。取值：Generic：通用凭据。Rds：RDS凭据。RAMCredentials：RAM凭据。ECS：ECS凭据。...
CreateSecret
NextRotationDate String 2023-07-06T18:22:03Z 下一次轮转的时间。说明 当自动轮转开启时，返回该参数。SecretType String Rds 凭据类型。取值：Generic：通用凭据。Rds：RDS凭据。RAMCredentials：RAM凭据。ECS：ECS凭据。...
湖仓版作业调度
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）的作业调度提供离线SQL应用、Spark应用的复杂任务流功能，具备灵活的ETL数据处理、数据开发等能力。使用流程 前提条件 如果通过阿里云账号（主账号）登录，使用作业调度功能需要满足以下两...
ListManualDagInstances
BeginWaitTimeTime Long 1605178414676 实例任务开始等待调度的时间。NodeId Long 37851 业务流程的内部节点ID。ModifyTime Long 1605178414676 最近一次修改实例任务的时间。CreateUser String Test 触发实例运行的用户。例如，用户Test...
DescribeKey
NextRotationDate String 2021-07-06T18:22:03Z 下一次轮转的时间。说明 当AutomaticRotation取值为Enabled或Suspended时，返回该参数。KeyState String Enabled CMK的状态。更多信息，请参见 用户主密钥的状态对API调用的影响。...
DescribeKey
NextRotationDate String 2021-07-06T18:22:03Z 下一次轮转的时间。说明 当AutomaticRotation取值为Enabled或Suspended时，返回该参数。KeyState String Enabled CMK的状态。更多信息，请参见 用户主密钥的状态对API调用的影响。...
CreateKey
LastRotationDate String 2023-03-25T10:00:00Z 最近一次轮转的时间（UTC）。如果是新创建密钥，则为初始密钥版本生成时间。DeleteDate String 2025-03-25T10:00:00Z 密钥的预计删除时间。更多信息，请参见 ScheduleKeyDeletion。仅当...
CreateKey
LastRotationDate String 2023-03-25T10:00:00Z 最近一次轮转的时间（UTC）。如果是新创建密钥，则为初始密钥版本生成时间。DeleteDate String 2025-03-25T10:00:00Z 密钥的预计删除时间。更多信息，请参见 ScheduleKeyDeletion。仅当...
ALIYUN:KMS:Key
RotationInterval String 否 是 自动轮转的时间周期。例如：365d。格式为 integer[unit]，其中 integer 表示时间长度，unit 表示时间单位。合法的 unit 单位取值如下：d：天 h：小时 m：分钟 s：秒 7d或者604800s均表示7天的周期。取值范围...
Dataphin的调度任务到了设置的调度时间状态还是等待中
优先运行当前实例 新版本中（v3.2及以上版本）将“等待中”状态拆分为了“等待调度时间”和“等待调度资源”，可以更直观区分等待原因 V3.5版本开始，支持查看实例运行诊断结果，提示未开始运行的原因及可执行的操作建议。适用于 适用产品...
Dataphin中补数据实例处于等待调度状态
问题原因 补数据时间选择的是T-1，调度时间设置的是12点，15点，18点。指定补数据时间点是16点，所以12点和15点的补数据实例可以执行。18点的补数据在18点之后才可以执行。解决方案 18点之后执行T-1的补数据任务。适用于 Dataphin
- 产品推荐
- 这些文档可能帮助您