天任务依赖分钟任务最佳实践
背景信息 在DataWorks调度系统中，下游对上游的依赖需要遵循的原则为：下游任务生成的实例会找到当天离自己最近结束的一个上游实例作为上游依赖，如果上游依赖实例运行成功，才会触发本节点实例运行。如果上游节点每天生成多个实例，则下游...
配置规则：按模板（批量）
定义规则触发方式：关联调度 您可以单击 推荐关联调度 或 手动关联调度，为单个或多个数据质量规则关联产出表数据的调度节点（运维中心中产出表数据的节点，包括自动调度的周期实例，手动触发的补数据实例，测试实例），当节点任务执行时便...
权限管理与规范化数据开发
开发角色可以不经过任何人审批，随时新增、修改代码并提交至调度系统，给生产环境带来不稳定因素。面向MaxCompute计算引擎时，开发角色默认拥有当前MaxCompute项目所有表的读写权限，可随意对表进行增加、删除和修改等操作，存在数据安全...
XxlJob任务
背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是开发迅速、学习简单、轻量级、易扩展，在开源社区广泛流行，已在多家公司投入使用。XXL-JOB开源协议采用的是GPL，因此云厂商无法直接商业化托管该产品，各大中...
XxlJob任务
背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是开发迅速、学习简单、轻量级、易扩展，在开源社区广泛流行，已在多家公司投入使用。XXL-JOB开源协议采用的是GPL，因此云厂商无法直接商业化托管该产品，各大中...
附录：消息格式
dagType Integer Dag的类型，取值如下：0：周期调度任务 1：手动任务 2：冒烟测试 3：补数据 4：临时业务流程 5：手动业务流程 taskType Integer 任务实例的调度类型，取值如下：0：NORMAL，正常调度任务。该任务会被日常调度。1：MANUAL，...
DataWorks On Hologres使用说明
DataWorks基于 实时数仓Hologres 轻松构建实时数仓与即席分析系统。Hologres可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发Hologres任务...
DataWorks On CDP/CDH使用说明
DataWorks支持基于CDH（Cloudera's Distribution Including Apache Hadoop，以下简称CDH）和CDP（Cloudera Data Platform，以下简称CDP）集群创建Hive、MR、Presto和Impala等节点，实现CDP/CDH任务工作流的配置、定时调度和元数据管理等...
DataWorks On MaxCompute使用说明
DataWorks基于 云原生大数据计算服务MaxCompute 轻松构建离线数仓分析系统。MaxCompute可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发...
服务定时自动部署
如果您在步骤一中引入了Designer全局变量，请参考 示例2：定时调度参数替换，在节点调度配置中将全局变量的配置替换成所需的系统变量。步骤三：部署后查看定时更新的服务版本 查看定时部署的模型服务版本，具体操作步骤如下。登录 PAI控制...
文档更新动态（2023年）
支持补数据任务定时调度，系统自动定期回刷历史数据。更新说明 通用补数据实例 新增专题广场功能和数据表列表优化 新增专题广场功能，实现资产分类管理。新增 运营管理员 角色，负责资产专题及专题分组管理。新增资产专题广场，可快捷搜索...
功能更新动态（2023年）
支持补数据任务定时调度，系统自动定期回刷历史数据。通用补数据实例 资产目录 新增专题广场功能，实现资产分类管理。新增 运营管理员 角色，负责资产专题及专题分组管理。新增资产专题广场，可快捷搜索及查看有权限的资产专题，展示新建...
修改工作流集群配置
如果设置PriceLimit为0.1 元/小时，则对应调度方式如下：如果ECI的CPU和Memory为2 Core 4 GiB，则系统将会调度2 Core 4 GiB且单价低于0.30 元/小时（0.10 x 2+0.10）的机型。如果ECI的CPU和Memory为4 Core 32 GiB，则系统将会调度4 Core 32...
上传管道脚本
系统支持的调度类型包括：周期性节点：任务会参与生产环境的调度。手动节点：需要手动触发任务的运行。描述 填写管道的简单描述。选择目录 选择管道脚本的目录。系统默认选中 离线管道。单击 确定。可选：配置调度参数。如果您选择的 调度...
上传管道脚本
系统支持的调度类型包括：周期性节点：任务会参与生产环境的调度。手动节点：需要手动触发任务的运行。描述 填写管道的简单描述。选择目录 选择管道脚本的目录。系统默认选中 离线管道。单击 确定。可选：配置调度参数。如果您选择的 调度...
离线集成任务属性配置概述
对于离线集成任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。...
离线集成任务属性配置概述
对于离线集成任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。...
离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
可选：运维SQL分析任务
手动调度SQL分析任务 SQL分析任务发布后，系统按周期调度任务。您也可以根据需要，进行手动调度任务。在 分析洞察 页面，单击 任务运维。在 任务运维 页面下，单击 手动实例 页签，然后单击 新建手动任务。在 新建手动任务 面板中，完成...
调度概述
ACK Scheduler是ACK基于Kubernetes Scheduling Framework扩展机制，针对不同任务负载、不同弹性资源的统一调度系统。ACK Scheduler支持不同弹性资源的混合调度、异构资源的精细化调度、批量计算的任务调度等，提升应用的性能和集群整体资源...
AI负载调度
本文介绍弹性资源调度、AI任务调度、异构资源调度和任务队列调度，帮助用户提升集群的资源利用率和作业运行效率。弹性调度 ACK为不同弹性资源提供了混合调度的能力。功能 描述 参考文档 弹性调度 阿里云提供了不同种类的弹性资源，如ECS和...
运维中心概述
系统的周期调度时间包括分钟、小时、日、周、月和年。触发任务运行包括补数据周期任务、手动运行手动任务和启动实时任务的运行。重要 开发环境的所有任务默认不运行，需要您手动触发任务的运行。周期任务发布到生产环境后即可开始正常调度...
运维中心概述
系统的周期调度时间包括分钟、小时、日、周、月和年。触发任务运行包括补数据周期任务、手动运行手动任务和启动实时任务的运行。重要 开发环境的所有任务默认不运行，需要您手动触发任务的运行。周期任务发布到生产环境后即可开始正常调度...
巡检任务
巡检任务是巡检规则的聚合载体，并且提供修改规则的执行范围以及调度方式的功能。您可通过巡检任务模块对巡检任务进行统一的管理操作，包括新建、编辑、复制、删除、执行、调度任务等。新建任务 登录高可用管理控制台。在左侧导航栏上，...
共享GPU调度概述
ACK开源GPU共享调度降低了使用GPU的经济成本，但是如何能在节省经济成本同时也能让GPU上的容器运行更稳定呢？隔离是一个关键的需求。如何限制运行在同一个GPU上的多个容器能够按照自己申请的资源使用量运行，避免因为其资源用量超标影响同...
什么是SCDN
精准调度 百万级别调度：阿里云自主研发的智能调度系统，单机支持百万级别域名调度。可控可拓展：更加优异的可控性、协议扩展性，进一步降低成本。多级调度：支持多级的调度策略，节点故障不会造成用户服务不可用。多系统联动：和阿里云...
虚拟节点调度方案对比及介绍
针对虚拟节点，ACK Serverless集群基础版 和 ACK Serverless集群Pro版 支持的调度方式不同，且有其特定的使用场景，例如调度到指定操作系统或架构类型的虚拟节点上、跨可用区亲和等。您可以依据调度场景以及集群类型，参考本文选择合适的...
管理工作流定义
执行集群/模板 系统将根据您选定的调度资源组自动匹配已绑定的集群或集群模板。说明 如果 执行集群/模板 选择的是 集群模板，则运行工作流时会按照模板创建集群，工作流结束后释放集群。此外，如果保存工作流定义时，您设置了 超时告警 ...
使用插件部署混合云集群
本文介绍如何使用E-HPC插件部署混合云集群，该集群由本地调度器、本地域控和云上计算节点等组成。背景信息 混合云集群是E-HPC提供的一套用于云上计算资源和本地服务之间互通的集群结构，通常由本地调度器、本地域控、云上计算节点、共享...
Group Identity功能说明
背景信息 在业务的混合部署（延迟敏感型和计算型任务混合部署在同一台实例）场景中，Linux内核调度器需要为高优先级任务赋予更多的调度机会以最小化调度延迟，并需要把低优先级任务对内核调度带来的影响降到最低。基于该场景，Alibaba ...
计算资源
计算资源常指用于执行计算任务的软硬件资源，包括CPU、GPU、内存、操作系统和特定计算任务的软硬件环境等。计算资源的主要作用是执行各种计算任务，包括数据处理、算法运算、业务逻辑执行等。计算资源的性能和容量直接影响到系统的计算能力...
产品相关问题
分布式调度：提高系统的可用性、伸缩性，且调度与业务的分离，让研发更专注业务逻辑的开发。多种任务类型：简单任务，集群任务，消息任务，流式任务，满足不同场景需求。丰富的管理功能：包括定时触发、事件触发、手动触发、优雅停止、断点...
查看并管理明细及汇总表实例
周期明细及汇总表实例是周期任务按照调度配置自动定时运行生成的实例。周期任务每调度一次，便生成一个实例。同时，您可以对已生成的实例进行运维管理，例如查看运行状态、重跑和查看节点代码等操作。本文为您介绍如何查看并管理明细及汇总...
查看并管理明细及汇总表实例
周期明细及汇总表实例是周期任务按照调度配置自动定时运行生成的实例。周期任务每调度一次，便生成一个实例。同时，您可以对已生成的实例进行运维管理，例如查看运行状态、重跑和查看节点代码等操作。本文为您介绍如何查看并管理明细及汇总...
使用Apache Airflow调度MaxCompute
python Airiflow_MC.py 在系统的命令行窗口执行如下命令生成调度流程并测试调度作业。print the list of active DAGs airflow list_dags#prints the list of tasks the"tutorial"dag_id airflow list_tasks Airiflow_MC#prints the ...
周期实例通用运维概述
周期实例是周期任务按照调度配置自动定时运行生成的实例。周期任务每调度一次，便生成一个实例。同时，可以对已生成的实例进行运维管理，例如查看运行状态、重跑和查看节点代码等操作。本文将介绍周期实例的通用功能。周期实例 生成时间及...
查看并管理手动实例
共享调度资源池：SQL任务、Virtual等共享资源任务消耗的调度资源极少，系统默认预订一定额度的资源用于调度这些共享资源任务，并且不支持单独配置，不可修改。手动实例运行状态说明 状态 图标 说明 未运行 未开始运行的实例。等待中 已触发...
周期实例通用运维概述
周期实例是周期任务按照调度配置自动定时运行生成的实例。周期任务每调度一次，便生成一个实例。同时，可以对已生成的实例进行运维管理，例如查看运行状态、重跑和查看节点代码等操作。本文将介绍周期实例的通用功能。周期实例 生成时间及...
查看并管理手动实例
共享调度资源池：SQL任务、Virtual等共享资源任务消耗的调度资源极少，无需用户单独指定，系统默认预订一定额度的资源用于调度这些共享资源任务，并且不支持单独配置，不可修改。手动实例运行状态说明 状态 图标 说明 未运行 未开始运行的...
- 产品推荐
- 这些文档可能帮助您