任务类型
下面的图中，首先理清各个任务之间的依赖关系，count1 和 count2 是并行的任务，它们依赖 split 任务，merge任务依赖 count1 和 count2。依据上面的依赖关系，在Job中可以这样描述：from batchcompute.resources import(JobDescription,...
历史记录
并行任务子任务列表不能重试子任务。1.0.6-compatible，2019-07-02 优化：兼容 schedulerx1.0(DTS)接口的兼容版本。不支持同时依赖 schedulerx-client 和 schedulerx-worker 两个包，只能依赖 schedulerx-worker 一个包，即需要把DTS所有...
快速开始
添加任务 点击阶段任务列表的新建任务按钮，如下所示：如上图所示，对于使用了release文件定义源码构建的用户可以添加“应用构建”，对于未使用release文件的用户可以添加“构建”任务来自定义构建过程，“构建任务”是一个工作区相关任务...
如何解决全量迁移慢或迁移卡住
说明 多任务并行可能造成一时性的资源紧张，建议分批分时段建立任务。排查账号密码准确性：检查源库的用户名及密码是否正确。使用配置任务时指定的用户名和密码从远程连接访问源库，测试数据库能否连通。以MySQL数据库为例，建立连接的命令...
产品功能
SchedulerX主要提供调度...子任务失败自动重试：如果是分布式任务（并行计算/内网网格/网格计算），子任务也支持失败自动重试和重试间隔，同样可以通过任务管理的高级配置进行配置。报警监控 失败报警 超时报警 无可用机器报警 报警方式：短信
并行查询
分区间并行 分区间并行是指每个worker查询一个分区，从而实现多个worker并行查询整个分区表。示例：EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:6->Parallel Append->Seq Scan on prt1_p5->Seq Scan on prt1_...
并行查询
分区间并行 分区间并行是指每个worker查询一个分区，从而实现多个worker并行查询整个分区表。示例：EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:6->Parallel Append->Seq Scan on prt1_p5->Seq Scan on prt1_...
并行查询
分区间并行 分区间并行是指每个worker查询一个分区，从而实现多个worker并行查询整个分区表。示例：EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:6->Parallel Append->Seq Scan on prt1_p5->Seq Scan on prt1_...
常见问题
实际的任务并行度参照如下的计算公式 concurrent_num=Min(Min(partition_num,Min(desired_concurrent_num,alive_be_num)),Config.max_routine_load_task_concurrent_num)。max_batch_interval properties 10s Routine Load任务调度周期。...
任务类型
任务调度支持以下任务类型。简单任务 简单任务 是最基本的任务类型，适用于业务逻辑简单的场景。单个简单任务对应一个 handler，支持任务分片及分步：当需要并发执行并且不关注资源利用率时，可以使用简单任务的分片功能。当需要将一个任务...
流水线任务 jobs
如：jobs:my_job:name:我的任务 runsOn:public/cn-beijing stages.<stage_id>.jobs.<job_id>.needs非必填，默认一个阶段内的所有任务并行执行。若任务间有依赖关系，可通过 needs 描述阶段内的任务依赖关系。注意：needs 支持跨阶段的任务...
自定义流水线阶段
自定义阶段和 构建应用 阶段也可添加并行任务，自定义并行任务。在流水线中，选择需要自定义阶段的位置，单击，打开 阶段配置 对话框。在 阶段配置 对话框中，配置相关参数。参数名称 子参数名称 参数说明 阶段名称-构建阶段标题名称。超时...
任务管理
配置项 配置项 是否必选 说明 示例 任务名词 是 任务名词 视频分析任务 作业预启动数 是 任务下的计算作业数量 1 作业可支持流 是 单个计算作业可分析的视频流数量 6 任务流类型 是 任务处理的流类型，默认为视频流-video video 算法包 是 ...
任务运行诊断
独享调度资源组最大支持的任务并行数，与您所购买的资源组规格有关。独享调度资源组各规格支持执行的任务数，详情请参见 独享调度资源组。检查任务执行情况 当满足以上运行条件时，DataWorks会将任务下发至对应的执行资源或服务上执行。...
基本概念
任务节点 节点是任务流中任务的实体承载，其可以处于任务流中的任意位置，节点之间通过边来建立依赖关系。任务节点类型如下：数据集成 数据加工 状态检查 通用 节点实例 若干个节点实例组成任务流实例，节点之间的依赖关系是基于当时运行的...
使用多机MPP对海量数据分析提速
技术架构 列存索引多机并行执行技术架构如下：列存索引多机并行是由多个只读列存节点组成的一个多机执行组，并提供多机并行执行能力。随着用户查询负载的变化，用户可以快速增加或减少只读列存节点的个数，以平衡查询性能和计算成本。多机...
JobContext参数说明
参数 解释 long jobId 任务ID long jobInstanceId 任务实例ID Long workflowId 工作流ID long wfInstanceId 工作流实例ID long taskId 分布式任务子任务ID，根任务是0。DateTime scheduleTime 实例的计划调度时间 DateTime dataTime 实例的...
深度解析PolarDB数据库并行查询技术
本文主要介绍基于代价进行并行优化、并行执行的云数据库的并行查询引擎的关键问题和核心技术。背景信息 随着数据规模的不断扩大，用户SQL的执行时间越来越长，这不仅对数据库的优化能力提出更高的要求，并且对数据库的执行模式也提出了新的...
任务冻结与解冻
冻结周期任务和周期实例的影响 冻结与解冻周期任务 系统每晚会根据周期任务生成第二天要运行的周期实例，冻结周期任务会导致之后生成的周期实例处于冻结状态，并导致依赖该周期实例的下游实例无法运行。说明 冻结周期任务当天，已经生成的...
基本概念
概念 说明 工作空间（Workspace）工作空间是EMR Serverless Spark为业务开发而划分的基本单元，是任务、资源和权限的集合。每个工作空间的任务、计算资源以及权限都是隔离的。资源队列（Resouce Queue）EMR Serverless Spark采用CU...
会员任务
会员任务是引导用户做相关行为的一系列...会员任务页面展示所有会员任务，包括默认任务和自定义任务，支持编辑默认会员任务，支持开启/关闭会员任务，支持新增自定义任务，新增/编辑会员任务时支持选择触发事件。操作路径：会员中心>会员任务
并行安全性
规划器把查询中涉及的操作分类成 并行安全、并行受限 或者 并行不安全。并行安全的操作不会与并行查询的使用产生冲突。并行受限的操作不能在并行工作者中执行，但是能够在并行查询的领导者中执行。因此，并行受限的操作不能出现在 Gather ...
任务运维
周期实例 任务和实例是一对多的关系，实例是任务的具体实现。发布后的第二天可以按业务日期查看周期实例的DAG，下图是周期实例的一些基本功能点说明：您可以通过 查看运行日志 或 运行诊断]来排查实例未正常完成的原因。通过查看实例详情...
计划加速
QUERY PLAN-PartitionedTableScan on prt1(cost=0.00.1.00 rows=1 width=40)->Seq Scan on prt1(cost=0.00.1.00 rows=1 width=40)(2 rows)并行查询 PolarDB PostgreSQL版 支持分区表的 并行查询，它能很好的处理大规模数据的查询。...
计划加速
QUERY PLAN-PartitionedTableScan on prt1(cost=0.00.1.00 rows=1 width=40)->Seq Scan on prt1(cost=0.00.1.00 rows=1 width=40)(2 rows)并行查询 支持分区表的 并行查询，它能很好的处理大规模数据的查询。和 Append 一样，...
任务状态说明
任务状态 状态说明 可进行的操作 创建中 同步任务正在进行同步初始化 查看同步配置 运行中 同步任务正常同步中 查看同步配置 暂停同步 取消同步 已暂停 同步任务被暂停，处于暂停状态 查看同步配置 修改同步对象 重新启动任务 取消任务 已...
相关概念
本文介绍流水线相关概念，包括流水线和流水线模板、任务和任务模板以及执行上下文。背景介绍 应用中心提出了流水线和流水线模板的概念。流水线通过引用流水线模板，提供执行上下文，描述了一次流水线执行以及执行结果。而流水线模板通过...
相关概念
本文介绍流水线相关概念，包括流水线和流水线模板、任务和任务模板以及执行上下文。背景介绍 应用中心提出了流水线和流水线模板的概念。流水线通过引用流水线模板，提供执行上下文，描述了一次流水线执行以及执行结果。而流水线模板通过...
创建资源
本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域（Region）中，命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时，需要创建命名空间。应用 在具体的...
产品功能
通过SchedulerX可以管理定时调度任务、查询任务执行记录和运行日志。本文介绍SchedulerX调度、执行和运维三个方面的功能。定时调度 Crontab 支持Unix Crontab表达式，不支持秒级别调度。更多信息，请参见 Cron。Fixed rate Crontab必须被60...
如何管理应用级别的资源和任务优先级
能够实现CPU和内存级别的资源管控，而您使用自己的Worker通过客户端接入SchedulerX，所以SchedulerX作为通用的任务调度平台，无法实现CPU和内存级别的管控，也无法通过第三方的资源管理系统进行管控，实现的是任务实例数量和优先级的管控。...
管理任务
最近运行状态 运行状态根据最近一次任务的运行情况来定义，包含待运行、运行中、运行成功、运行失败、手动终止、未运行（-），其中：待运行：出现并行任务时，排队中的任务状态显示为待运行。手动终止：当任务在待运行或运行中时，通过单击...
应用场景
云工作流（CloudFlow）用于协调分布式应用和微服务以构建复杂多步骤的、异步调用任务以及长时间运行的业务流程。事务型业务流程编排 复杂的业务场景如电商网站、酒店和机票预定等应用通常要访问多个远程服务，并且对操作事务性语义（即所有...
并行步骤
本文介绍了并行步骤和相关使用示例。介绍 并行（Parallel）步骤用来并行执行多个步骤。它定义了多个分支（Branches），每个分支包含一系列串行步骤。并行步骤的每个分支都对应一个本地变量。执行并行步骤会并发执行所有分支包含的串行步骤...
数据导入优化建议
导入并发和资源说明 单张表的导入会在系统内部串行，不同表之间的导入任务会并行，默认并行度是2。以MaxCompute表导入HybridDB for MySQL为例，同一张表的不同分区导入实际上会排队串行执行。不同表的导入，同时提交，有并行度的n个任务...
Hash Join的并行加速
PolarDB MySQL版 8.0版本提供了对Hash Join的并行执行支持，并不断丰富其并行执行策略。本文介绍如何在 PolarDB 的并行查询中使用Hash Join功能。简单并行Hash Join 前提条件 集群版本需为 PolarDB MySQL版 8.0 集群版，且Revision version...
控制台总览
任务统计 显示当前环境中已存在的各类任务数量统计：任务总数：当前环境中已配置的任务总数，包括简单任务、集群任务。将鼠标悬浮在图标上方以查看每个任务类型的数量比例。单击悬浮窗中的 查看详情 链接跳转到任务列表。任务拓扑总数：...
数据开发概述
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
并行INSERT
本文介绍了的并行INSERT功能。简介 支持弹性跨机并行查询（ePQ）特性，通过利用集群中多个计算节点来提升查询性能。同时，ePQ也支持在读写节点上通过多进程并行写入，实现对 INSERT 语句的加速。ePQ的并行 INSERT 功能用于加速 INSERT INTO...
并行（Parallel）
本文介绍了并行状态及其相关使用示例。基本概念 并行状态用来并行执行多个状态。它定义了多个分支（Branches），每个分支包含一系列状态。执行并行状态会并发执行所有分支包含的状态。当所有分支执行结束后，默认将输出一个包含所有分支...
- 产品推荐
- 这些文档可能帮助您