离线同步任务调优
文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响因素。同步任务整体速度慢可能出现在同步过程的各个阶段，本文以现象入手，为您提供各个阶段运行慢的解决方案，详情请参见：数据同步慢的...
管理流水线
任务模板 任务模板 提供了一系列常用的流水线任务的YAML模板，包含 代码检查、构建、部署、通用 等四种任务的YAML模板，任务内部的 高级配置 YAML模板，以及 任务插件 的YAML模板。您可以在模板列表中选择您所需要的模板，点击后可以查看...
管理发布任务
基于Dev-Prod开发模式，开发环境生成的规范建模、数据处理、数据集成类任务，需要发布到生产环境进行调度。本文为您介绍如何发布任务及查看任务的发布记录。背景信息 如果您选择了Dev-Prod开发模式，提交后的任务进入 发布 模块的待发布...
管理流水线
任务模板 任务模板 提供了一系列常用的流水线任务的YAML模板，包含 代码检查、构建、部署、通用 等四种任务的YAML模板，任务内部的 高级配置 YAML模板，以及 任务插件 的YAML模板。您可以在模板列表中选择您所需要的模板，点击后可以查看...
管理发布任务
基于Dev-Prod开发模式，开发环境生成的规范建模、数据处理、数据集成类任务，需要发布到生产环境进行调度。本文为您介绍如何发布任务及查看任务的发布记录。背景信息 如果您选择了Dev-Prod开发模式，提交后的任务进入 发布 模块的待发布...
pg_cron
库级别的任务管理：定时任务保存在数据库中，可以跨多个数据库共享和管理任务。并发任务执行：支持同时执行多个任务，提高任务执行效率。可靠性和容错性：提供错误处理和容错机制，确保任务的正确执行并提供相应的日志记录。pg_cron 为数据...
pg_cron
库级别的任务管理：定时任务保存在数据库中，可以跨多个数据库共享和管理任务。并发任务执行：支持同时执行多个任务，提高任务执行效率。可靠性和容错性：提供错误处理和容错机制，确保任务的正确执行并提供相应的日志记录。pg_cron 为数据...
基线管理
如果您需保障重要任务能按时完成，则可使用基线管理功能将重要任务添加至基线并设置承诺时间，系统将根据任务运行情况计算基线任务的预计完成时间。当系统判断基线任务可能无法在承诺时间前完成时，将发出告警。本文为您介绍如何创建和管理...
pg_cron
库级别的任务管理：定时任务保存在数据库中，可以跨多个数据库共享和管理任务。并发任务执行：支持同时执行多个任务，提高任务执行效率。可靠性和容错性：提供错误处理和容错机制，确保任务的正确执行并提供相应的日志记录。pg_cron 为数据...
如何在SchedulerX 2.0平台上托管XXL-JOB任务
阿里巴巴商业化任务调度平台SchedulerX 2.0兼容XXL-JOB任务接口，支持@XxlJob新注解和@JobHandler老注解方式，您无需修改代码，即可以将XXL-JOB任务在SchedulerX 2.0平台上托管。本文介绍在SchedulerX 2.0平台上托管的优势和方法。...
DataWorks资源组概述
费用说明 各类资源组的费用说明详情请参见 计费逻辑说明。使用限制 仅阿里云主账号和同时拥有 AliyunBSSOrderAccess 和 AliyunDataWorksFullAccess 策略的RAM用户可以进行资源组购买操作。授权操作请参见 为RAM用户授权。资源组介绍 ...
数据集成侧同步任务配置
操作流程 步骤一：创建同步任务 步骤二：选择同步方案 步骤三：网络与资源配置 步骤四：同步任务配置 步骤五：启动同步任务 步骤一：创建同步任务 您可以通过以下两种方式创建同步任务：方式一：在同步任务页面，选择 来源 和 去向，单击 ...
流水线任务 jobs
流水线任务jobs：流水线任务 job 可以为多个步骤 steps 的组合（多个步骤共享工作空间，共同完成指定任务），或一个组件 component 的调用（调用组件执行指定任务，组件任务支持重试、跳过等更多操作）。示例 以下为一个任务添加多个步骤的...
互斥量
而信号量按照起始的计数值的配置，可以存在多个任务获取同一信号量的情况，直到计数值减为0，则后续任务无法再获取信号量，当信号量的计数初值设置为1，同样有互斥的效果。但信号量无法避免优先级反转问题。优先级反转 优先级反转是一种不...
如何在SchedulerX 2.0平台上托管XXL-JOB任务
1:启用)，不配置时导出所有状态任务（可选）#xxl-job.filter.trigger-status=0#分页读取：按任务id排序，读取任务的启始位置，默认0（可选）#xxl-job.filter.page-start=0#分页读取：按任务id排序，读取任务的启始位置后多少行记录，默认...
WAL日志并行回放
Removed：当Dispatcher进程发现一个任务的状态已经为Finished，那么该任务所有的前置依赖任务也都应该为Finished状态，Removed状态表示Dispatcher进程已经将该任务以及该任务所有前置任务都从管理结构体中删除；可以通过该机制保证...
调度任务
调度类型选择 周期任务 如果同一个调度任务包含多张表，则会生成多个触发地址URL，对应地需创建多个Shell周期任务。Shell脚本示例如下：#!bin/bash#{触发地址URL} 替换为触发地址URL QA_TRIGGER_URL="{触发地址URL}"echo$(date"+Y-%m-%d%H:...
运维中心入门
背景信息 DataWorks运维中心支持对周期任务、手动任务、实时同步任务等多种类型任务进行运维管理，并针对任务本身及任务执行使用的资源等各类对象提供多种监控方式，方便您根据监控报警及时发现并处理异常，保障数据生产的高效与稳定。...
计算资源
计算资源常指用于执行计算任务的软硬件资源，包括CPU、GPU、内存、操作系统和特定计算任务的软硬件环境等。计算资源的主要作用是执行各种计算任务，包括数据处理、算法运算、业务逻辑执行等。计算资源的性能和容量直接影响到系统的计算能力...
查看数据校验详情
本文介绍如何查看数据传输服务DTS（Data Transmission Service）数据校验任务的详情。前提条件 已创建并配置数据校验任务，详情请参见 配置数据校验。注意事项 在DTS同步或迁移实例中配置的校验任务，支持在实例详情和校验任务列表查看；...
异步任务管理接口和设置
DashScope平台提供了一系列的API能力调用，其中部分接口因为相关能力需要比较长的处理时间或者一些其他的限制，采用了异步任务接口，即用户调用对应的能力API将会提交一个相关的异步任务，接口将立刻返回并告知客户任务提交的结果，如果...
Go SDK
无 v0.0.4，2024-03-08 功能名称 变更类型 功能描述 相关文档 任务执行模式 新增 支持MapReduce任务 Golang任务 v0.0.2，2023-12-14 功能名称 变更类型 功能描述 相关文档 任务执行模式 新增 支持广播任务 Golang任务 v0.0.1，2023-10-23 ...
故障演练
每个任务最多只能添加16个资源。演练方式 选择演练方式。取值：立即开始：演练任务创建成功后立即开始执行演练。暂不演练：仅创建演练任务，暂不执行演练。设置演练任务的演练时长。默认为180分钟，最大值72小时，最小值1分钟。描述 输入...
历史记录
修复客户端实例数很多的时候，子任务详情机器列表无法分页的问题。修复任务管理查看历史记录无数据的问题。2020-09-30 新特性 公网region支持pop API。支持使用appKey鉴权（应用Key，代替AccessKey ID或AccessKey Secret）。HTTP任务支持...
执行补数据并查看补数据实例（旧版）
如需对该任务的多个不连续的时间段补数据，可单击 添加多段业务日期，配置多个时间段。当 业务日期 晚于当前日期，可选择 立即运行定时时间大于此刻的补数据实例，后续当实际时间大于配置的 业务日期 时，平台会立即运行该补数据实例。例如...
使用标签管理迁移源和迁移任务
背景信息 随着迁移源和迁移任务的增多，除了通过迁移源和迁移任务名称、ID等标识区分之外，您还可以使用标签来管理迁移源和迁移任务。为有相同管理需求的迁移源和迁移任务绑定相应的标签后，您可以通过标签来筛选迁移源和迁移任务，便于...
异步任务处理机制
通过轮询 GetTask-获取任务信息 直到任务完成同样可以获取到任务状态，但这种方式的效率很低，在任务处理时间比较长的场景中，需要大量的 GetTask-获取任务信息 调用，如果堆积的任务比较多，可能会触发全局限流，影响其他接口的调用。...
Java SDK
修复MapTask Master在子任务比较多的情况下，可能会频繁误failover的问题。无 1.2.5.2，2021-4-8 变更类型 功能描述 相关文档 新增 秒级别任务间隔支持到毫秒级别。无 优化 MapReduce模型，root Task固定在master node执行，方便排查问题。...
设置定时任务（pg_cron）
AnalyticDB PostgreSQL版 的定时任务，支持在指定时间点执行批处理任务，如定时更新数据、备份数据或清理过期数据等，能够确保任务按照预定计划进行，避免遗漏或延迟，节省时间和人力成本，实现自动准确高效的任务执行，提升系统的效率和可...
注册中心同步集群
批量创建 当一次录入多个服务后，MSHA控制台会异步执行这些任务，此时任务的运行状态为 同步任务创建中。当同步任务状态为 同步中 时，说明该服务已经从源注册中心同步到目标注册中心。相关操作 注册中心同步配置完成后，在注册中心同步...
调度中心字段说明
并发数 标识该调度组最多可以同时执行多少任务 取值范围：1～100。建议按照实际业务的带宽，估算 最大 支持多少实例并发迁移，作为并发数。假如并发数为1，实际有5个任务，第1个任务执行时，其余4个任务没有执行。这是正常的预期情况。调度...
产品价格
3.计费公式 全局流量管理价格=版本价格费用+探测任务包费用（非必选项）+中国内地短信通知包费用（非必选项）选择标准版+探测任务包（0个）+中国内地短信通知包费用（0个）=128元/月 选择标准版+探测任务包（100个）+中国内地短信通知包...
行为模型学习配置
结束或重新学习 只有结束行为模型的学习任务后，数据库审计系统才会根据学习生成的规则检查该资产新产生的审计日志，如果数据库审计系统检测到的操作和学习到的规则不一致，则按照学习任务定义的规则产生相应告警。处于学习中状态的学习...
任务管理高级配置参数说明
推模型 子任务单次拉取数（仅适用于拉模型）并行计算 内存网格 网格计算 Slave节点每次向Master节点拉取多少个子任务。5 子任务队列容量（仅适用于拉模型）并行计算 内存网格 网格计算 Slave节点缓存子任务的队列大小。10 子任务全局并发数...
计费方式
运行数据集成任务会产生DataWorks相关费用，此外还可能其他产品费用，具体如下：DataWorks相关收费 数据集成资源组（独享数据集成资源组计费说明：包年包月，如果使用 公共数据集成（调试）资源组：按量计费，则还包括公共数据集成资源组...
计费概述
本文介绍分布式任务调度SchedulerX的各计费项及其计费规则。基本概念 任务类型：调度任务的类型。包含单机任务和非单机任务（广播、分片、并行和网络任务等）。任务调度总量：通过SchedulerX配置并启用的分布式任务调度总规模，单位为CU...
如何指定标签
本文介绍如何为任务指定标签。应用场景 主要应用在灰度、压测等场景。同一个应用分组下的机器，部分机器可能要用于灰度或者压测，任务实现类和线上其他机器不一致。任务调度时，机器被随机分配，所以灰度任务被分配到正常机器时，可能无法...
计费常见问题
本文梳理了常见的云拨测计费问题，帮助您更准确的理解计费规则。如何停止计费？若您因业务调整不再使用云拨测，您可以通过禁用拨测任务的方式关闭计费。禁用单个任务 登录 ARMS控制台。在左侧导航栏中选择 云拨测>定时拨测。在目标任务右侧...
多语言版本分片模型
SchedulerX可以对多重任务进行调度（定时、编排、重刷历史数据等），提供Java、Python、Shell和Go等多语言分片模型，帮助您处理大数据业务需求。背景信息 分片模型主要包含静态分片和动态分片。静态分片：主要场景是处理固定的分片数，例如...
PolarDB-X 1.0同步至PolarDB MySQL版
如同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。PolarDB-X 1.0 下面挂载的 RDS MySQL 的...
- 产品推荐
- 这些文档可能帮助您