加工数据
配置定时调度时间：配置 调度周期 为日，无需单独配置当前节点 定时调度时间，当前节点每日调起时间由业务流程根节点WorkShop的定时调度时间控制，即每日00:15后才会调度。配置依赖关系：通过 代码自动解析 自动将产出ods_raw_log_d表数据...
调度周期：周调度
周调度是指调度任务在每周的特定几天，在特定的时间点自动运行一次。例如，调度任务设置为每周一、周二零点执行。注意事项 在非指定的调度时间内，为保证下游实例正常运行，周调度节点会生成空跑的周期实例。重要 空跑现象：系统直接返回...
MongoDB 4.0
重启实例 重启实例会对实例的节点执行轮转重启，每个节点会有30秒左右的闪断，如果集合的数量较多（超过1万），闪断时间也会随着变长，重启前请做好业务安排并确保应用有重连机制。释放按量付费实例 释放包年包月实例 实例释放后不可恢复，...
查看并管理脚本实例
脚本实例是周期脚本任务按照定时调度时间运行生成的实例数据。后续您可以对脚本实例进行运维操作，支持的运维操作包括查看运行日志、重跑、强制重跑当前实例、强制重跑下游实例、查看节点代码等操作。本文为您介绍如何查看并管理脚本实例。...
周期性调度
为避免使用DataWorks周期性调度DLC节点在PAI产生较多不易区分的同名任务，建议在DataWorks开发DLC任务时根据实际需要合理设置调度周期，同时，建议在任务名称中增加日期时间变量，并通过调度配置为该变量赋值时间调度参数，实现任务命名...
加工数据
配置定时调度时间：配置 调度周期 为日，无需单独配置当前节点 定时调度时间，当前节点每日调起时间由业务流程根节点WorkShop的定时调度时间控制，即每日00:15后才会调度。配置依赖关系：通过 代码自动解析 自动将产出ods_raw_log_d表数据...
查看并管理脚本实例
脚本实例是周期脚本任务按照定时调度时间运行生成的实例数据。后续您可以对脚本实例进行运维操作，支持的运维操作包括查看运行日志、重跑、强制重跑当前实例、强制重跑下游实例、查看节点代码等操作。本文为您介绍如何查看并管理脚本实例。...
工作流调度
使用说明 工作流中的Job没有独立调度时间，跟随工作流的时间开始调度。工作流调度至少要有2个Job，且有依赖关系。如果只有一个Job，请直接使用任务管理。工作流支持跨应用编排，可以将不同应用下的任务进行编排。使用限制 当前只有Java任务...
工作流调度
使用说明 工作流中的Job没有独立调度时间，跟随工作流的时间开始调度。工作流调度至少要有2个Job，且有依赖关系。如果只有一个Job，请直接使用任务管理。工作流支持跨应用编排，可以将不同应用下的任务进行编排。使用限制 当前只有Java任务...
密钥轮转
如果密钥设置了周期性自动轮转，在两次轮转的间隙您又进行了立即轮转，计算 下一次的轮转时间 时，上一次的轮转时间 取值为立即轮转的时间。支持自动轮转的密钥 仅默认密钥、软件密钥管理实例中的对称密钥支持。仅由KMS生成密钥材料的密钥...
通过OpenAPI创建、修改、删除离线同步任务
该参数与 DataWorks控制台 中，数据开发任务的“调度配置>时间属性>生效日期”配置的开始时间的毫秒时间戳对应。EndEffectDate Long 否 4155787800000 停止自动调度的时间戳，单位为毫秒。该参数与 DataWorks控制台 中，数据开发任务的...
通过OpenAPI创建、修改、删除离线同步任务
该参数与 DataWorks控制台 中，数据开发任务的“调度配置>时间属性>生效日期”配置的开始时间的毫秒时间戳对应。EndEffectDate Long 否 4155787800000 停止自动调度的时间戳，单位为毫秒。该参数与 DataWorks控制台 中，数据开发任务的...
调度周期：年调度
年调度是指调度任务在每年的特定几天，在特定的时间点自动运行一次。例如，调度任务设置为每年一月的最后一天执行。注意事项 在非指定的调度时间内，为保证下游实例正常运行，年调度节点会生成空跑的周期实例。重要 空跑现象：系统直接返回...
调度概述
本文介绍弹性调度、任务调度、异构资源调度、负载感知调度和精细化调度的主要功能。弹性调度 ACK为不同弹性资源提供了混合调度的能力。功能 描述 参考文档 弹性调度 阿里云提供了不同种类的弹性资源，如ECS和ECI，以及不同的付费类型如包年...
基本概念
本文为您介绍DataWorks中，工作空间、业务流程、解决方案、组件、任务、实例、业务日期、定时时间、提交、脚本开发、资源、函数和输出名称等基本概念。工作空间 工作空间 是DataWorks管理任务、成员，分配角色和权限的基本单元。工作空间...
如何重刷数据
重刷调度任务 如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明 任务和工作流都支持重刷数据（只支持天级别的调度周期）。如果您之前执行的某个调度...
Task快速重启配置
本文为您介绍，如何配置Task快速重启，从而降低Failover对作业的影响。背景信息 重要 此功能为预览功能，请在生产环境下谨慎使用，如遇问题请及时 提交工单 和技术支持部门取得联系。通常，当Flink流作业中的某个Task发生异常时，为了保证...
场景3：如何配置跨业务流程、跨工作空间的调度依赖
说明 虚拟节点属于控制类节点，它是不产生任何数据的空跑节点，通常作为业务流程统筹节点的根节点（例如，控制该业务流程整体调度时间，与是否调度控制），或作为业务流程中多个分支节点的汇总输出节点使用。一个业务流程存在多个分支结果...
pg_cron
常见的时间规则包括每天的特定时间点、每周的特定日期和时间、每月的特定日期和时间等。调度器还可以根据任务的需要设置任务的执行次数和重复间隔。定时任务的应用场景非常广泛：在服务器端，定时任务常用于定期执行后台任务、生成报告、...
如何重刷数据
重刷调度任务 如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明 任务和工作流都支持重刷数据（只支持天级别的调度周期）。如果您之前执行的某个调度...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引...
虚拟节点
虚拟节点属于控制类节点，它是不产生任何数据的空跑节点（即调度到该节点时，系统直接返回成功，不会真正执行、不会占用资源或阻塞下游节点运行），通常作为业务流程的统筹起始节点，或业务流程中多个分支节点的汇总输出节点使用。...
节点异常问题排查
Dockerd异常处理-RuntimeOffline Containerd异常处理-RuntimeOffline NTP异常处理-NTPProblem 节点PLEG异常-PLEG is not healthy 节点资源异常处理 节点调度资源不足 节点CPU不足 节点内存不足-MemoryPressure 节点索引节点不足-...
节点异常问题排查
Dockerd异常处理-RuntimeOffline Containerd异常处理-RuntimeOffline NTP异常处理-NTPProblem 节点PLEG异常-PLEG is not healthy 节点资源异常处理 节点调度资源不足 节点CPU不足 节点内存不足-MemoryPressure 节点索引节点不足-...
数据集成调度策略说明
DTS的数据集成功能可根据调度策略的配置，定期地将源库中的结构和存量数据迁移至目标库中。通过该功能可以帮助您构建更加灵活的数据仓库（例如构建T+1的周期性数仓），本文介绍数据集成的策略、限制及适用场景。支持的数据库 支持全量数据...
调度任务
手动调度 不仅手动调度可以手动发起调度，周期调度、触发调度也支持手动发起调度。单击 手动调度，即可手动发起一次调度。查看执行结果 调度任务执行至少一次后，列表将显示最近一次执行的状态（执行成功/执行失败）。说明 若执行失败，可...
调度周期：日调度
日调度即调度节点每天在指定的定时时间运行一次。新建周期任务时，默认调度时间是在 00:00~00:30 时间段随机生成。您可根据需要自行指定运行时间点。例如，指定每天13点运行一次。配置示例 配置路径 您需要进入数据开发节点的编辑页面，...
管理任务流实例
更多信息，请参见 配置基础属性 和 配置时间调度、配置事件调度。在 变量配置 页签下，配置任务流变量（时间变量）、任务流常量。配置变量的操作，请参见 变量。说明 如上变量为全局变量，即在该任务流下的所有任务节点中都可以使用，使用...
E-HPC集群调度器插件
E-HPC提供了调度器插件作为平台的外扩组件，在E-HPC现有调度器类型或版本不满足当前业务时，您可以通过该插件构建自定义调度器并接入E-HPC平台的能力。本文为您介绍E-HPC集群调度器插件的概念及组成。什么是调度器插件 E-HPC作为一款PaaS...
YARN缺陷修复公告
这部分应用达到上限（相关配置为${yarn.resourcemanager.state-store.max-completed-applications} 或${yarn.resourcemanager.max-completed-applications}，默认值为10000）之后，会影响ResourceManager的调度。具体缺陷引入的Issue为YARN...
周期实例通用运维概述
周期实例是周期任务按照调度配置自动定时运行生成的实例。周期任务每调度一次，便生成一个实例。同时，可以对已生成的实例进行运维管理，例如查看运行状态、重跑和查看节点代码等操作。本文将介绍周期实例的通用功能。周期实例 生成时间及...
调度依赖配置指引
任务实际运行时间除了取决于任务本身的定时时间（即任务在调度场景下的预期执行时间）外，还取决于上游任务的完成时间（即下游任务实际执行时间还取决于上游任务的定时时间）。若上游任务未完成运行，即便下游任务的定时时间早于上游任务，...
运维中心概述
调度资源大盘：为您提供全局任务资源分配、全局资源消耗、建议优化任务等，便于您及时获取资源调度状况、了解资源调度趋势，以判断资源的消耗及影响，从而作出预算准备、资源扩容或规格升级的决策。任务运维 任务运维依照调度时效分为周期...
定时触发工作流
本文介绍如何使用 Serverless 工作流 提供的定时调度功能，来定时执行工作流以调用函数计算FC（Function Compute）的函数。执行流程 定时触发工作流的执行流程如下：在 Serverless 工作流 定义调用函数计算的函数的任务步骤。在 Serverless...
场景：配置增量数据离线同步任务
配置增量数据同步时：时间类型增量字段同步：可以通过调度参数来实现时间类型数据的动态替换，调度参数将在任务调度时自动根据业务时间替换为具体的值。关于调度参数的使用，详情请参见：调度参数支持的格式。非时间类型增量字段同步：可以...
基础术语
多个数据分片可以在多台机器上调度执行，也可以在一台机器的多个线程上调度执行，具体调度方式由调度中心根据负载进度进行调整。使用任务分片可以缩短任务执行时间，同时也可以解决单机计算能力上限的问题，并降低部分任务失败对整体系统的...
周期实例通用运维概述
周期实例是周期任务按照调度配置自动定时运行生成的实例。周期任务每调度一次，便生成一个实例。同时，可以对已生成的实例进行运维管理，例如查看运行状态、重跑和查看节点代码等操作。本文将介绍周期实例的通用功能。周期实例 生成时间及...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
创建CDH MR节点
配置时间调度周期、重跑属性和上下游依赖关系，详情请参见 时间属性配置说明 及 配置同周期调度依赖。说明 您需要设置节点的 重跑属性 和 依赖的上游节点，才可以提交节点。配置资源属性，详情请参见 配置资源属性。访问公网或VPC网络时，...
- 产品推荐
- 这些文档可能帮助您