使用工作空间参数
管理工作空间参数 在 工作空间参数 页面，您可对工作空间参数执行如下管理操作：说明 仅拥有 空间管理员 角色的工作空间成员支持修改、删除工作空间参数。仅拥有 开发、运维、空间管理员 角色的工作空间成员支持查看工作空间参数的引用任务...
配置示例：MaxCompute
关联前，请确保您在关联的两个工作空间中，同时拥有 管理员、开发 或 运维 中至少一个角色。数据质量的关联调度可以关联单个或多个节点任务，关联调度完成后，离线数据质量监控任务可以自动运行。说明 数据质量的关联可以灵活配置，您关联...
使用Kubernetes默认GPU调度
阿里云容器服务ACK支持GPU的调度与运维管理。默认的GPU使用模式与Kubernetes社区GPU的使用方式一致。本文以运行GPU的TensorFlow任务为例，介绍如何快速部署一个GPU应用。注意事项 针对纳入K8s集群管理的GPU节点，建议您按照本文示例中标准...
历史功能发布记录（2023年）
全部 自助诊断GPU节点问题 ACK调度器支持IP感知调度和拓扑调度等功能 IP感知调度 当Pod调度到某节点上时，由于可用IP不足无法启动，该节点将被标记为缺少IP状态并被拉黑五分钟。IP感知调度可防止大量Pod由于IP不足而导致的启动失败问题。...
配置集群连接
若无集群的管理权限，请联系部署运维人员或集群管理员进行操作。sh install.sh 完成安装后，即可正常使用集群。重要 为保证调度稳定性，请勿删除目标集群中已部署的应用，否则后续基于该集群创建的资源组将变为不可用状态。
工作流编辑
背景信息 本文为您提供工作流编辑的相关操作介绍，具体如下：新建工作流 编辑工作流 配置工作流调度 执行工作流 查看工作流运行记录 工作流可执行操作 前提条件 已创建项目，详情请参见 项目管理。已编辑好作业，详情请参见 作业编辑。新建...
功能特性
工作流调度简介 定时调度 EventBridge事件调度 应用（Application）Serverless工作流旧版控制台应用中心是专门针对Serverless架构下工作流应用的管理和开发平台，提供一键部署与模块化应用构建。提供一个便捷、高效、一体化的环境，来开发...
XxlJob任务
SchedulerX 2.0兼容XXL-JOB任务接口，支持@XxlJob 新注解和@JobHandler 老注解方式，您不需要修改代码，即可将XXL-JOB任务在SchedulerX 2.0平台上进行调度。背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是...
管理员操作指南V2.1
其中，RAM账号登录默认为管理员岗位。3.3国际版地区设置 1.在IoT云投屏控制台右上角选择地域。支持站点见下说明，其余站点请联系阿里云云投屏业务团队。2.选择控制台语言。支持语言见下说明。说明 功能支持：除中国内地外，其他地区暂不...
什么是分布式任务调度SchedulerX
您可以在控制台配置、管理您的定时调度任务、查询任务执行记录和运行日志，还可以通过工作流进行任务编排和数据传递。SchedulerX提供了简单、易用的分布式编程模型，通过简单几行代码就可以将海量数据分发到多台机器上执行。如果您有关于...
智能解析调度不准问题
可以参考如下方案获取终端所用LocalDNS的出口IP：联系所在网络的管理员，获取详细的DNS出口IP地址。多执行几次命令获取IP地址 dig+short TXT whoami.ds.akahelp.net （Linux操作系统）或者 nslookup-q=txt whoami.ds.akahelp.net （Windows...
什么是容器服务灵骏版
阿里云 容器服务灵骏版 是容器服务Kubernetes版（ACK）针对智能计算灵骏提供的集群类型，提供全托管和高可用控制面的标准Kubernetes集群服务，支持以灵骏计算节点作为Kubernetes集群的工作节点。本文介绍阿里云ACK灵骏托管版集群的产品简介...
快速使用EMR Workflow
它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。本文以HIVECLI任务类型为例，为您介绍如何快速使用EMR Workflow。前提条件 已完成系统角色授权，详情...
管理工作流
如果您需要安排任务在指定的时间运行，可以创建工作流并在工作流中定义调度节点以及调度策略。本文为您介绍如何创建和运行工作流。前提条件 已创建工作空间，详情请参见 管理工作空间。已完成任务开发且任务处于发布状态。创建工作流 进入...
工作流调度
使用说明 工作流中的Job没有独立调度时间，跟随工作流的时间开始调度。工作流调度至少要有2个Job，且有依赖关系。如果只有一个Job，请直接使用任务管理。工作流支持跨应用编排，可以将不同应用下的任务进行编排。使用限制 当前只有Java任务...
计费概述
功能 基础版 专业版 基础调度能力 日志服务 查看堆栈 Tracing 用户大盘 工作流实例图 可视化MapReduce（并行计算）最大300个子任务，无搜索能力 最大1000个子任务，可自定义标签，有搜索能力 历史记录任务条数上限 支持显示最近30条任务 ...
AI负载调度
允许系统管理员使用自定义队列的作业队列管理，以提高队列的灵活性。结合Quota系统，ack-kube-queue自动优化了工作负载和资源配额管理，以便最大化利用集群资源。使用任务队列ack-kube-queue 异构资源调度 ACK为CPU、GPU等异构资源提供了...
工作流调度
使用说明 工作流中的Job没有独立调度时间，跟随工作流的时间开始调度。工作流调度至少要有2个Job，且有依赖关系。如果只有一个Job，请直接使用任务管理。工作流支持跨应用编排，可以将不同应用下的任务进行编排。使用限制 当前只有Java任务...
通过工作空间管理权限
工作空间管理员/负责人：负责成员管理与大多数公共资产管理权限。算法开发者：负责算法开发，可以管理自己创建的以及公共资产。算法运维：负责运维，可以管理自我和他人的训练任务，包括查看他人创建的DLC Private任务。标注管理员：拥有对...
创建CDH Hive节点
已购买独享调度资源组并完成资源组配置，包括绑定工作空间、网络配置等，详情请参见 新增和使用独享调度资源组。使用限制 不支持 公共调度资源组 运行该类型任务。步骤一：创建CDH Hive节点 进入数据开发页面。登录 DataWorks控制台，切换...
创建CDH Presto节点
已购买独享调度资源组并完成资源组配置，包括绑定工作空间、网络配置等，详情请参见 新增和使用独享调度资源组。使用限制 不支持 公共调度资源组 运行该类型任务。步骤一：创建CDH Presto节点 进入数据开发页面。登录 DataWorks控制台，...
ACK集群Pro版概述
GPU拓扑感知调度 共享GPU专业版调度 安全管理 开放高级版（支持数据加密，请参见 使用阿里云KMS进行Secret的落盘加密）托管节点池 托管节点池 相关文档 关于迁移 ACK集群基础版、ACK专有集群 至 ACK集群Pro版，请参见 热迁移ACK集群基础版...
2023年
资源包（专业版）工作流管理新特性 新增 每次修改工作流图，需要手动保存工作流。支持保存工作流节点坐标。无 任务管理新特性 新增 新增HTTP任务Agent模式，可以通过Agent运行HTTP接口（Agent为1.8.3及以上版本时支持）。Map任务支持配置主...
使用负载感知调度
ACK集群Pro版 调度器的负载感知调度功能会根据节点的实际负载情况，将Pod优先调度到负载较低的节点，以实现节点负载均衡，降低节点故障风险。前提条件 已安装ack-koordinator组件，且版本为1.1.1-ack.1及以上。具体操作，请参见 ack-...
创建CDH MR节点
已购买独享调度资源组并完成资源组配置，包括绑定工作空间、网络配置等，详情请参见 新增和使用独享调度资源组。使用限制 不支持 公共调度资源组 运行该类型任务。步骤一：创建CDH MR节点 进入数据开发页面。登录 DataWorks控制台，切换至...
定时调度
云工作流 支持通过配置Cron表达式周期性或指定时间来调度工作流执行。本文介绍如何为 云工作流 配置定时调度。前提条件 事件总线（EventBridge）开通事件总线EventBridge并授权 云工作流（CloudFlow）已成功创建工作流。具体操作，请参见 ...
如何重刷数据
说明 任务和工作流都支持重刷数据（只支持天级别的调度周期）。如果您之前执行的某个调度任务的数据出现偏差或遗漏，您可以通过重新设置执行参数并执行某个调度任务属性、获取数据。登录 分布式任务调度平台。在 任务管理 页面，单击目标...
创建EMR Presto节点
已购买独享调度资源组并完成资源组配置，包括绑定工作空间、网络配置等，详情请参见 新增和使用独享调度资源组。使用限制 EMR集群与DataWorks资源限制 仅数据湖集群（Hadoop）使支持用EMR Presto节点进行任务开发，新版数据湖集群...
创建EMR Hive节点
已购买独享调度资源组并完成资源组配置，包括绑定工作空间、网络配置等，详情请参见 新增和使用独享调度资源组。使用限制 不支持公共调度资源组运行该类任务。DataLake或自定义集群若要在DataWorks管理元数据，需先在集群侧配置EMR-HOOK。...
如何重刷数据
说明 任务和工作流都支持重刷数据（只支持天级别的调度周期）。如果您之前执行的某个调度任务的数据出现偏差或遗漏，您可以通过重新设置执行参数并执行某个调度任务属性、获取数据。登录 分布式任务调度平台。在 任务管理 页面，单击目标...
创建资源
本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域（Region）中，命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时，需要创建命名空间。应用 在具体的...
创建EMR Impala节点
已购买独享调度资源组并完成资源组配置，包括绑定工作空间、网络配置等，详情请参见 新增和使用独享调度资源组。使用限制 仅支持使用独享调度资源组运行该类型任务。DataWorks目前已不支持新绑定Hadoop类型的集群，但您之前已经绑定的...
使用公共资源组
公共调度资源组 若要访问公网地址，需要在工作空间配置界面配置沙箱白名单，配置沙箱白名单后仍无法访问，请使用独享调度资源组。仅支持访问无白名单访问控制的地址。访问有白名单访问控制的地址，或访问VPC地址，需要使用独享调度资源组。...
权限管理与规范化数据开发
DataWorks上给一个RAM用户授予开发角色，他可以在DataWorks上开发代码并且提交，但是他不能将代码直接发布到生产，发布生产操作需要有运维权限（项目所有者、管理员、运维角色拥有此权限）。在MaxCompute引擎层面，DataWorks上为RAM用户...
创建CDH Spark节点
已购买独享调度资源组并完成资源组配置，包括绑定工作空间、网络配置等，详情请参见 新增和使用独享调度资源组。使用限制 不支持 公共调度资源组 运行该类型任务。准备工作：开发Spark任务并获取JAR包 在使用DataWorks调度CDH Spark任务前...
创建EMR Spark SQL节点
已购买独享调度资源组并完成资源组配置，包括绑定工作空间、网络配置等，详情请参见 新增和使用独享调度资源组。使用限制 仅支持使用独享调度资源组运行该类型任务。DataLake或自定义集群若要在DataWorks管理元数据，需先在集群侧配置EMR-...
XxlJob任务
SchedulerX 2.0兼容XXL-JOB任务接口，支持@XxlJob 新注解和@JobHandler 老注解方式，您不需要修改代码，即可将XXL-JOB任务在SchedulerX 2.0平台上进行调度。背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是...
XxlJob任务
SchedulerX 2.0兼容XXL-JOB任务接口，支持@XxlJob 新注解和@JobHandler 老注解方式，您不需要修改代码，即可以将XXL-JOB任务在SchedulerX 2.0平台上进行调度。背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是...
创建工作空间
空间管理员 定义该工作空间的管理员。默认当前登录账号为该工作空间的管理员。您也可自行添加工作空间中的其他成员为管理员，协同管理该工作空间。添加空间成员，详情请参见 添加工作空间成员。阿里云资源组 选择阿里云 资源管理 中创建的...
创建并使用PAI Designer
DataWorks为您提供PAI Designer节点，方便您通过该算法节点载入Designer工作流，通过调度配置实现Designer工作流的周期性任务调度。前提条件 授权DataWorks可访问人工智能平台PAI。您可进入 授权界面 进行一键授权，权限策略详情请参见 ...
- 产品推荐
- 这些文档可能帮助您