添加服务调用任务
作业开始调度时间 可选配置。从当前设置操作的时间，开始计算时间。设备任务创建成功后，先初始化，直至到达调度时间，才会开始调度执行。任务创建完成后，物联网平台通过 InvokeThingService 或 InvokeThingsService 接口调用服务，采用...
ListJobGroups
查询外呼作业组列表 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ListJobGroups 系统规定...
配置AnalyticDB MySQL Spark节点
数据管理DMS 任务编排功能的AnalyticDB MySQL Spark节点，支持周期性、有顺序地调度Spark作业。本文介绍如何配置AnalyticDB MySQL Spark节点。背景信息 使用常规的Spark开发编辑器或命令行等工具进行AnalyticDB MySQL Spark作业开发时，仅...
导出开源引擎任务
DataWorks提供任务搬站功能，支持将Oozie、Azkaban、Airflow、DolphinScheduler等开源调度引擎的任务快速迁移至DataWorks。本文为您介绍导出任务的文件要求等相关信息。背景信息 您需要先导出开源调度引擎的任务至本地或OSS，再导入至...
功能特性
数据库管理工具 ETL工具连接 通过ETL工具连接MaxCompute并进行开发作业调度，目前主要支持Kettle、Apache Airflow、Azkaban。ETL工具连接 BI工具对接 支持Tableau、FineBI、FineReport、Davinci、Superset、Yonghong BI、Quick BI、观远BI...
创建EMR Spark节点
DataLake集群/自定义集群：EMR on ECS 高级参数 配置说明“queue”提交作业的调度队列，默认为default队列。如果您在注册EMR集群至DataWorks工作空间时，配置了工作空间级的 YARN资源队列：如果 勾选 了 全局配置是否优先 为 是，则实际...
DMS调度Spark
使用常规的Spark开发编辑器或命令行等工具进行Spark作业开发时，仅支持单次调度Spark作业，且作业间无依赖关系和执行顺序。为解决以上痛点，您可以通过 数据管理DMS 的任务编排功能，周期性、有顺序地调度Spark作业。本文介绍如何使用DMS...
创建EMR Spark Streaming节点
“queue”：提交作业的调度队列，默认为default队列。关于EMR YARN说明，详情请参见 队列基础配置。“priority”：优先级，默认为1。说明 您也可以直接在高级配置里追加自定义SparkConf参数。提交代码时DataWorks会自行在命令中加上新增的...
创建EMR MR节点
集群类型 高级参数 DataLake集群（新版数据湖）【EMR on ECS】、Custom集群（自定义集群）【EMR on ECS】“queue”：提交作业的调度队列，默认为default队列。关于EMR YARN说明，详情请参见 队列基础配置。“priority”：优先级，默认为1。...
EMR控制台管理YARN分区
重要作业保障 如果不希望重要作业被调度到弹性节点，可以为非弹性节点配置单独的分区，让重要作业使用该分区（此处针对少数不希望因为缩容而被延迟的重要作业）。借助YARN分区管理能力，运维人员可以根据节点的特性（角色定位、处理能力）...
迁移EMR项目至DataWorks
在 迁移助手 页面，单击左侧导航栏的 任务上云>调度引擎作业导出。在 调度引擎导出方案选择 页面，单击 EMR>新建导出任务。在 新建导出任务 对话框，配置导出信息。导出成功后，可在 调度引擎导出方案选择 页面，查看导出结果。完成后单击 ...
2023-04-13版本
密钥管理 新增连接器页面 连接器作业独立页面放置，方便您查看不同引擎版本支持的连接器类型以及版本，同时管理自己的自定义连接器。管理自定义连接器 提供作业失败的告警 并支持电话告警和联系人搜索能力 监控告警功能升级：支持您设置...
添加自定义任务
当批量设置设备属性和服务调用任务无法满足您的业务需求时，您可以添加自定义任务，通过设置自定义规则，实现多场景的设备任务。本文介绍该任务的创建方法、运行中Topic及其数据格式的说明，查看状态的具体操作。前提条件 已在设备端完成...
开启集群虚拟节点调度策略
开启虚拟节点调度策略后，ACK Serverless集群 中的应用可以通过使用Kubernetes原生的Pod间亲和、地域间拓扑打散或节点亲和实现高可用、低时延等能力。前提条件 已创建v1.22版本及以上的 ACK Serverless集群Pro版。具体操作，请参见 创建...
开启集群虚拟节点调度策略
开启虚拟节点调度策略后，ACK集群 ACK Serverless集群 中的应用可以通过使用Kubernetes原生的Pod间亲和、地域间拓扑打散或节点亲和实现高可用、低时延等能力。前提条件 已创建v1.22版本及以上的 ACK Serverless集群Pro版 ACK集群Pro版。...
使用ECI弹性调度Spark作业
使用阿里云弹性容器实例（Elastic Container Instance）调度Spark作业，可以不受限于ACK集群的节点计算容量，灵活动态地按需创建Pod（容器组），有效地降低计算成本。本文为您介绍如何使用ECI弹性调度Spark作业。背景信息 如果您需要使用更...
使用ECI弹性调度Flink作业
使用阿里云弹性容器实例（Elastic Container Instance）调度Flink作业，可以不受限于ACK集群的节点计算容量，灵活动态地按需创建Pod（容器组），有效地降低计算成本。本文为您介绍如何使用ECI弹性调度Flink作业。背景信息 如果您需要使用更...
工作流调度Zeppelin Notebook
在Databricks数据开发中，您可以在项目空间的作业编辑中创建一组有依赖...填写作业名称、作业描述，作业类型选择 zeppline、单击 确定 编辑调度 Notebook、单击保存 使用作业调度Notebook有2种方式 方式一：使用OSS路径调度Notebook oss:/ddi-...
kube-scheduler
kube-scheduler是一个控制面组件，负责结合节点资源使用情况和Pod的调度要求将Pod调度到集群的合适节点上。组件介绍 基于Pod申明的Request和节点的Allocatable属性，kube-scheduler可以为调度队列中每个Pod确定其可放置的节点，并保证节点...
必读：复杂依赖场景调度配置原则与示例
DataWorks支持 分钟、小时、日、周、月、年 等类型的调度任务互相依赖，调度类型不同，任务执行的周期数不同。任务各周期是通过实例的方式执行，当上下游调度依赖的类型不同时，您可通过该文档了解上下游各周期实例如何挂载依赖，即上下游...
2023年
当您遇到作业运行较长时间仍未结束、或当作业运行结束后发现 作业运行时长不达预期（作业运行慢）时，您可以通过作业分析的资源消耗页签查看是否为计算资源紧张、多作业资源抢占导致，然后依据实际业务情况优化任务执行情况，进行作业优先...
概述
数据管理DMS 的任务编排主要用于编排各类任务节点并进行周期或事件调度执行。您可以通过创建一个或多个任务节点组成的任务流，实现复杂的任务调度，提高数据开发效率。背景信息 随着互联网和物联网的飞速发展、数据规模急剧增长、数据来源...
节点伸缩概述
当集群的容量规划无法满足应用Pod调度时，您可以使用ACK提供的节点伸缩功能，自动扩缩节点资源以进行调度容量的补充。ACK目前提供 节点自动伸缩 与 节点即时弹性 两种弹性方案，后者相较于前者有着更快的弹性速度、更高的交付效率和更低的...
通过命令行提交作业
E-HPC支持PBS、SLURM、SGE等作业调度系统，本文介绍如何使用三种调度系统，通过命令行提交作业。准备工作 创建集群用户。具体操作，请参见 创建用户。集群用户用于登录集群，进行编译软件、提交作业等操作，本文创建的用户示例如下：用户名...
GPU拓扑感知调度概述
每块V100 GPU有6个NVLink通道，8块GPU间无法做到全连接，2块GPU间最多只能有2条NVLink连接。其中GPU0和GPU3，GPU0和GPU4之间有2条NVLink连接，GPU0和GPU1之间有一条NVLink连接，GPU0和6之间没有NVLink连接，故GPU0与GPU6之间仍然需要通过...
Quota调度策略说明
注意事项 在实际资源调度中，作业优先级 调度策略高于Quota调度策略。即资源总是优先分配给优先级高的作业，在同等优先级的作业中再根据Quota调度策略进行资源分配。暂不支持对类型为 交互式 的二级Quota设置调度策略。自2023年5月24日起，...
管理作业
在项目中，您可以通过创建作业来进行任务开发。本文为您介绍如何创建作业、设置和删除作业。前提条件 已创建项目，详情请参见 新建项目。创建作业 进入 项目空间 页面。使用阿里云账号登录 Databricks数据洞察控制台。在Databricks数据洞察...
提交作业
如果集群的调度策略设置为根据优先级调度，高优先级的作业会被优先调度运行。计算节点数 用来运行此作业的计算节点数。任务数 每个计算节点运行此作业使用的任务数，即进程数。最大内存 每个计算节点运行此作业可使用的最大内存。默认为空...
通过控制台提交作业
作业指提交到E-HPC集群进行高性能计算的基本工作单元，包括Shell脚本、可执行文件等，具体作业执行顺序根据您设置的队列以及调度器决定。E-HPC管理控制台提供了作业相关的提交作业、停止作业、查看作业状态等功能，本文介绍如何使用E-HPC...
拓扑感知调度
在 容器服务 Kubernetes 版 中，可以结合Gang调度能力以及拓扑感知调度能力，实现Pod在多个拓扑域中重试，直到找到一个能够满足整个作业拓扑域的功能。更进一步，可以结合 容器服务 Kubernetes 版 的节点池以及ECS的部署集能力，将Pod调度...
集群概述
调度服务：主要作用是运行PBS或Slurm等调度工具的服务端，处理作业提交、管理调度等。域账号服务：集中管理E-HPC集群内用户信息。重要 管控节点负责作业的管理调度和域账号解析，请勿在管控节点进行编译软件、上传下载打包数据等操作，以免...
负载均衡调度算法介绍
连接可能被长时间占用：轮询算法无法考虑连接的持续时间，如果某些连接需要较长时间才能完成，可能会导致其他连接需要等待较长时间。适用场景 服务器性能相似：如果服务器的性能相似，轮询算法可以很好地实现负载均衡，将请求均匀地分配到...
SetSchedulerInfo-设置调度器信息
SchedInterval 指调度周期，单位：秒 调度周期指运行多个作业之间时间间隔，如设置为 60，表示本次作业开始运行 60 秒后才能开始运行下次作业。默认值：60 60 SchedMaxJobs integer 否 集群调度的最大作业数。若集群排队和运行的作业数总和...
术语表
Job Transcode Job 转码作业 转码作业，一个转码作业由一路输入及一路输出构成，作业会被加入到管道中，管道中的作业会被调度引擎调度到转码系统进行转码。AnalysisJob Analysis Job 预置模板分析作业 预置模板分析作业由输入文件及分析...
查看Spark监控
Streaming Scheduling Delay 当前Streaming作业Batch的调度延时。Structured Streaming Latency 当前Structured Streaming的作业延时。Structured Streaming Processing Rate 当前Structured Streaming每秒的处理速率。Structured ...
管理自定义连接器
当内置的连接器无法满足需求时，您可以使用自定义连接器。本文为您介绍如何上传、使用和更新自定义连接器。注意事项 您需要根据社区定义的连接器标准开发您自定义的连接器，才能正确地被实时计算Flink版识别并使用，因此您需要明确连接器...
舰队管理概述
随着Kubernetes集群的广泛应用，企业往往需要...作业分发：离线作业多集群调度，选择适合的集群运行离线作业。全局监控：多集群监控大盘，一个监控大盘查看所有集群的监控指标。相关文档 ACK One概述 开启舰队管理功能 管理关联集群 ArgoCD
DataStream连接器设置方法
您可以通过以下任何一种方式来使用连接器：（推荐）上传连接器JAR包到实时计算控制台后，填写配置信息 直接将连接器作为项目依赖打进作业JAR包 重要 请使用我们在 支持的连接器 中指明提供DataStream API的连接器。如果某个连接器未注明...
迁移助手与迁云服务
DataWorks迁移助手支持将开源调度引擎的作业迁移至DataWorks，支持作业跨云、跨Region、跨账号迁移，实现DataWorks作业快速克隆部署，同时DataWorks团队联合大数据专家服务团队，上线迁云服务，帮助您快速实现数据与任务的上云。...
使用流量调度功能控制各类流量的跨地域带宽
流量调度功能配额限制如下：资源 默认限制 申请更多配额 每个转发路由器支持创建的流分类规则的数量 500个 无法调整 每个流量调度策略支持创建的队列的数量 64个 无法调整 场景示例 本文以上图场景为例，介绍如何使用流量调度功能。...
- 产品推荐
- 这些文档可能帮助您