定时调度
云工作流 支持通过配置Cron表达式周期性或指定时间来调度工作流执行。本文介绍如何为 云工作流 配置定时调度。前提条件 事件总线（EventBridge）开通事件总线EventBridge并授权 云工作流（CloudFlow）已成功创建工作流。具体操作，请参见 ...
任务管理
基于时间片的轮转调度 时间片轮转调度使用时间片控制每个任务的执行时间，同等优先级的任务依次获得处理器被调度执行，每个任务可以运行的时间片是固定的，当任务的时间片用完后，该任务被放在对应优先级就绪队列的队尾，然后调度就绪队列...
配置共享GPU调度cGPU算力调度策略
每个容器占用尽量多的时间片，时间片占比为 1/当前容器数。2 权重抢占调度。当ALIYUN_COM_GPU_SCHD_WEIGHT的取值大于1时，自动使用权重抢占调度。3 固定算力调度。用于固定算力的百分比。4 算力弱调度。隔离性弱于抢占调度。5 原生调度。即...
工作流编辑
背景信息 本文为您提供工作流编辑的相关操作介绍，具体如下：新建工作流 编辑工作流 配置工作流调度 执行工作流 查看工作流运行记录 工作流可执行操作 前提条件 已创建项目，详情请参见 项目管理。已编辑好作业，详情请参见 作业编辑。新建...
通过Docker安装并使用cGPU服务
每个容器占用尽量多的时间片，时间片占比为 1/当前容器数。2：权重抢占调度。当ALIYUN_COM_GPU_SCHD_WEIGHT的取值大于1时，自动使用权重抢占调度。3：固定算力调度。用于固定算力的百分比。4：算力弱调度。隔离性弱于抢占调度。5：原生调度...
使用流量调度功能控制各类流量的跨地域带宽
工作原理 流量调度功能主要通过流量标记策略和流量调度策略两个模块实现：流量标记策略 流量标记策略通过流分类规则捕获符合规则的流量，捕获后，可以为流量添加DSCP（Differentiated Services Code Point）值作为标记。单击查看流量标记...
工作流使用案例
立即运行一批工作流，设置工作流业务时间的开始时间和调度周期，运行时系统会将指定调度规则的触发时间作为本工作流的业务时间，时间相关的变量将使用该时间进行计算。一次最多支持100个触发时间点。单机 确定。查看工作流运行记录 运行...
工作流调度
使用说明 工作流中的Job没有独立调度时间，跟随工作流的时间开始调度。工作流调度至少要有2个Job，且有依赖关系。如果只有一个Job，请直接使用任务管理。工作流支持跨应用编排，可以将不同应用下的任务进行编排。使用限制 当前只有Java任务...
工作流调度
使用说明 工作流中的Job没有独立调度时间，跟随工作流的时间开始调度。工作流调度至少要有2个Job，且有依赖关系。如果只有一个Job，请直接使用任务管理。工作流支持跨应用编排，可以将不同应用下的任务进行编排。使用限制 当前只有Java任务...
使用负载感知调度
工作原理 负载感知调度功能由ACK调度器和ack-koordinator组件配合完成。其中，ack-koordinator负责节点资源利用率的采集和上报，ACK调度器会根据利用率数据对节点进行打分排序，优先选取负载更低的节点参与调度。关于ack-koordinator组件...
工作流调度
使用说明 工作流中的Job没有独立调度时间，跟随工作流的时间开始调度。工作流调度至少要有2个Job，且有依赖关系。如果只有一个Job，请直接使用任务管理。工作流支持跨应用编排，可以将不同应用下的任务进行编排。使用限制 当前只有Java任务...
基本概念
本文对 Serverless 工作流 涉及的专有名词及术语进行定义及解析，方便您更好地理解相关概念并使用 Serverless 工作流。Serverless工作流（Serverless Workflow）协调多个分布式...定时调度 Serverless工作流支持在指定时间调度您的工作流。
操作指南
您可以在 云工作流 控制台创建和执行工作流、创建工作流调度、将 云工作流 ...云工作流 新版 工作流定义 创建工作流 工作流执行 工作流调度 工作流集成 监控指标 Serverless 工作流旧版 管理工作流 执行工作流 工作流调度 工作流集成 监控指标
文档修订记录
EMR Hive数据整库离线同步至MaxCompute 2023.4.17 优化体验 管理控制 在创建DataWorks工作空间时，您需要选择工作空间所在地域，默认情况下DataWorks工作空间所在地域对应的时区即为调度时区（即任务定时调度时间所使用的时区）。...
创建定时调度
Serverless工作流 支持通过配置Cron表达式来定时调度工作流的执行。本文介绍如何为 Serverless工作流 创建定时调度。前提条件 成功创建工作流 使用控制台创建定时调度 登录 Serverless工作流控制台。在左侧导航栏，单击 流程。在流程列表中...
DataWorks On Hologres使用说明
Hologres可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发Hologres任务的基本流程、费用说明、环境准备、权限控制等内容。前提条件 已开通...
DataWorks On MaxCompute使用说明
MaxCompute可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发MaxCompute任务的基本流程、费用说明、环境准备、权限控制等内容。前提条件 已...
DataWorks On CDP/CDH使用说明
DataWorks支持基于CDH（Cloudera's Distribution Including Apache Hadoop，以下简称CDH）和CDP（Cloudera Data Platform，以下简称CDP）集群创建Hive、MR、Presto和Impala等节点，实现CDP/CDH任务工作流的配置、定时调度和元数据管理等...
DataWorks On EMR使用说明
DataWorks支持基于EMR（E-MapReduce）计算引擎创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务工作流的配置、定时调度和元数据管理等功能，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上使用EMR的基本开发流程，以及相关 ...
工作原理
本文介绍智能巡检的背景信息、工作原理、功能特性、基本概念、调度与执行场景和使用建议。背景信息 基于时间的数据（例如日志、指标）日积月累后会积累大量的数据。例如，某个服务每天产生1000万条数据，则一年大约为36亿条数据。对于这些...
调度原理
本视频向您介绍日志服务数据加工的数据调度原理。
配置时间调度
本文为您介绍如何在任务编排的任务流页面，进行时间调度配置。应用场景 当任务需要在固定的时间点或时间周期内执行时，可选择时间调度。例如，在2023-08-23至2023-09-30范围内，每周二和周五的00:00，都需要将A数据库的数据迁移到B数据库中...
调度中心字段说明
调度时间 标识该调度组的调度时间段 调度时间8-22：调度组每天早上8点到晚上22点执行调度。调度时间22-8：调度组每天晚上22点到第二天早上8点执行调度。调度规则 当前调度组内如果有一个任务失败，其它任务是否继续执行 继续：如果当前任务...
Dataphin的调度任务到了设置的调度时间状态还是等待中
问题描述 Dataphin的调度任务到了设置的调度时间状态还是等待中。问题原因 上游任务全部运行成功之后，实例就会进入等待状态。等待中分为等待调度时间和等待调度资源：任务到达了定时调度时间，但是由于调度资源不足，所以处于等待调度资源...
定时触发工作流
Cron 定时调度工作流的Cron表达式，详情请参见 调度时间参数说明。Input 定时调度工作流的输入，必须为JSON格式，默认为空。详情请参见 Input格式。部署成功后可看到应用创建的所有资源。RAM角色：函数调用权限...
虚拟节点
调度无血缘关系的节点 当业务流程中的最终输出节点有多个分支输入节点，且输入节点没有依赖关系时，您需要将虚拟节点作为多个输入节点的上游，将工作空间根节点作为虚拟节点的上游，实现工作空间根节点调度该虚拟节点，虚拟节点调度下游...
调度参数配置最佳实践
}和$[…]参数的功能差异 调度参数返回值二次处理典型场景 获取上个月最后一天 获取当前季度 获取定时时间15分钟前的年、月、日、小时、分钟 获取时间区间，调度间隔为1天 获取时间区间，调度间隔为1小时 通过赋值节点二次处理调度参数 参数...
创建资源
本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域（Region）中，命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时，需要创建命名空间。应用 在具体的...
UpdateSecretRotationPolicy
凭据开启自动轮转后，首次自动轮转的时间为上次轮转时间加上轮转周期。如果该时间早于当前时间，将会立即开始首次自动轮转。本文将提供一个示例，更新名称为 RdsSecret/Mysql5.4/MyCred 的凭据轮转策略。具体如下：将 ...
UpdateSecretRotationPolicy
凭据开启自动轮转后，首次自动轮转的时间为上次轮转时间加上轮转周期。如果该时间早于当前时间，将会立即开始首次自动轮转。本文将提供一个示例，更新名称为 RdsSecret/Mysql5.4/MyCred 的凭据轮转策略。具体如下：将 ...
调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置，详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...
Cron
Cron是一款类Unix的...高级配置参数说明如下：配置名称 意义 默认值 时间偏移 数据时间相对于调度时间的偏移，可以在调度时从上下文获取该值。无 时区 可以根据实际情况选择不同时区，包括一些常用国家或地区，也包括标准的GMT表达方式。无
调度周期：月调度
月调度是指调度任务在每月的特定几天，在特定的时间点自动运行一次。例如，调度任务设置为每月一号、二号执行。注意事项 在非指定的调度时间内，为保证下游实例正常运行，月调度节点会生成空跑的周期实例。重要 空跑现象：系统直接返回运行...
UpdateRotationPolicy
使用说明 如果开启自动轮转，将在上一次轮转时间加上轮转周期天数后，自动创建一个新的密钥版本，并将它设置为主版本。以下密钥不允许配置自动轮转策略：非对称密钥 服务密钥 用户自带密钥（外部导入到KMS的密钥）不处于 Enabled 状态的...
UpdateRotationPolicy
开启自动轮转后，将在上一次轮转时间加上轮转周期天数后，自动创建一个新的密钥版本，并将它设置为主版本。使用限制：仅软件密钥管理实例中的对称密钥支持轮转。仅处于已启用状态的密钥支持轮转。当密钥处于禁用或待删除状态时，已开启的...
离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
场景3：如何配置跨业务流程、跨工作空间的调度依赖
跨工作空间配置调度依赖 DataWorks支持同区域下的工作空间进行跨工作空间依赖，根据调度依赖原理，通过将上游节点的输出作为下游节点的输入，以此形成节点依赖，实现跨工作空间的调度依赖。例如，将工作空间A中节点A的输出添加为工作空间B...
创建资源
本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域（Region）中，命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时，需要创建命名空间。应用 在具体的...
在ACK集群部署多租户任务调度管理
在ACK集群中，企业可以通过AI套件中的任务管理工具Arena、队列调度管理系统Kube Queue、配额管理工具ElasticQuotaTree以及Prometheus监控打造企业级任务调度系统。本文将从实际案例出发自底而上地介绍如何基于ACK集群构建一个任务调度系统...
- 产品推荐
- 这些文档可能帮助您