如何在SchedulerX 2.0平台上托管ElasticJob任务
限流 常见场景为夜间离线报表业务，例如，很多报表任务是凌晨1点或者2点开始，需控制应用最大并发的任务数量（否则业务无法支撑），达到并发上限的任务会在队列中等待。若同时要求早上9点前必须完成KPI报表，可以设置KPI任务高优先级，高...
如何在SchedulerX 2.0平台上托管XXL-JOB任务
例如，很多报表任务是凌晨1点或者2点开始，需控制应用最大并发的任务数量（否则业务无法支撑），达到并发上限的任务会在队列中等待。若同时要求早上9点前必须完成KPI报表，可以设置KPI任务高优先级，高优先级任务会抢占低优先级任务，从而...
MaxCompute数据迁移
⼀个MMA⼦任务可以同时迁移⼀个表的多个分区，该配置指定可以同时迁移的分区数量。meta api访问并发量 获取源项目时的访问并发量，建议值为20。表黑名单,格式为db.table 格式为 dbname.tablename，多个表名之间以英⽂逗号分隔。表白名单，...
Hive数据迁移
说明 如果Hive使⽤的引擎不是MR，则需要通过指定“hive.execution.engine”值来指定Hive使⽤的引擎，并且⽤于不同引擎的任务参数需要自己调整。该配置用于解决YARN Container内存不⾜、指定Spark运⾏队列等问题。数据库白名单 需要迁移的...
如何在SchedulerX 2.0平台上托管XXL-JOB任务
限流 常见场景是夜间离线报表业务，比如很多报表任务是凌晨1点或者2点开始，要控制应用最大并发的任务数量（否则业务无法支撑），达到并发上限的任务会在队列中等待。同时要求早上9点前必须完成KPI报表，可以设置KPI任务高优先级，会抢占低...
如何在SchedulerX 2.0平台上托管ElasticJob任务
限流 常见场景为夜间离线报表业务，例如，很多报表任务是凌晨1点或者2点开始，需控制应用最大并发的任务数量（否则业务无法支撑），达到并发上限的任务会在队列中等待。若同时要求早上9点前必须完成KPI报表，可以设置KPI任务高优先级，高...
查看及管理离线计算任务列表
支持筛选项包括：任务类型：根据当前计算引擎下所支持的任务类型进行筛选。调度方式：根据离线计算任务的调度方式进行筛选。包括 正常调度、空跑调度、暂停调度、手动任务。更多信息，请参见 调度方式说明。开发负责人：根据任务的开发负责...
查看及管理离线计算任务列表
支持筛选项包括：任务类型：根据当前计算引擎下所支持的任务类型进行筛选。调度方式：根据离线计算任务的调度方式进行筛选。包括 正常调度、空跑调度、暂停调度、手动任务。更多信息，请参见 调度方式说明。开发负责人：根据任务的开发负责...
如何在SchedulerX 2.0平台上托管XXL-JOB任务
例如，很多报表任务是凌晨1点或者2点开始，需控制应用最大并发的任务数量（否则业务无法支撑），达到并发上限的任务会在队列中等待。若同时要求早上9点前必须完成KPI报表，可以设置KPI任务高优先级，高优先级任务会抢占低优先级任务，从而...
设置DTS专属集群超配比
数据传输服务DTS（Data Transmission Service）支持为专属集群设置超配比，以协助您在该专属集群中配置更多的DTS任务，从而降低使用成本。背景信息 DTS专属集群中1DU是指运行1个DTS任务（迁移、同步、订阅）的最低硬件资源要求。目前单个...
任务状态说明
同步任务是数据实时同步的基本单元。同步任务在创建及运行过程中，不同阶段会处于不同的状态，具体如下表所示。任务状态 状态说明 可进行的操作 创建中 同步任务正在进行同步初始化 查看同步配置 运行中 同步任务正常同步中 查看同步配置 ...
DescribeHistoryTasks-查询历史运维任务
查看任务中心的任务列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
基本概念
每个工作空间的任务、计算资源以及权限都是隔离的。资源队列（Resouce Queue）EMR Serverless Spark采用CU（Compute Unit）作为其基本计量单位。1 CU=1核CPU+4 GiB内存+本地存储。对于单个Spark计算节点，无论是Driver还是Executor，其资源...
查看及管理离线集成任务列表
离线集成任务列表是指在Dataphin创建的离线集成任务集合。在Dataphin的离线集成任务列表为您展示了离线集成任务的基本信息及相关管理操作选项，方便您查看创建的离线集成任务并进行管理。本文为您介绍离线集成任务列表支持的管理功能。离线...
查看及管理离线集成任务列表
离线集成任务列表是指在Dataphin创建的离线集成任务集合。在Dataphin的离线集成任务列表为您展示了离线集成任务的基本信息及相关管理操作选项，方便您查看创建的离线集成任务并进行管理。本文为您介绍离线集成任务列表支持的管理功能。离线...
并发数和构建时长
当企业的并发数达到上限时，需要等待前序任务运行完成或者取消，超出额度的任务会处于等待状态。Flow提供了一定额度的免费并发额度。当然，也可以通过升级套餐的方式，提升企业的并发额度。什么是构建时长 构建时长指的是，企业内所有任务...
数据安全卫士
由于 周期扫描 的任务，会多次扫描实例，且扫描前、后任务行的 状态 都为 待调度，此时，以本次扫描是否生成安全性报告为基准，判断任务扫描是否成功。说明 单个实例的扫描时长约5秒。具体的扫描时长以实际为准。扫描时长与被扫描的实例数...
任务冻结与解冻
冻结周期任务对补数据、测试操作产生的实例影响 补数据与测试操作都是根据当前的周期任务生成的实例快照，如果周期任务是冻结状态，那么生成的补数据实例和测试实例也会是冻结状态。冻结的实例解冻后如何重新运行？冻结的实例解冻后，会...
DescribeDataFlowTasks-查询数据流动任务列表
System：该任务是自动更新任务，是 CPFS 根据自动更新间隔时间自动发起的任务。User TaskAction string 数据流动任务类型。包括：Import：从源端存储将指定的数据导入至 CPFS。Export：将 CPFS 上指定的数据导出至源端存储。Evict：释放 ...
任务
执行计划由具有依赖关系的多个执行阶段（Stage）构成。目前，执行计划在逻辑上可以被看作一个有向图，图中的点是执行阶段，各个执行阶段之间的依赖关系是图的边。MaxCompute会依照图（执行计划）中的依赖关系执行各个阶段。在同一个执行...
依赖关系
小时任务依赖天任务，当上游天任务运行完成时，已到下游小时任务的多个周期定时时间，导致小时任务多周期并发调度。此时您可以在任务的 调度配置>时间属性 区域，配置 依赖上一周期>本节点。下游节点同时依赖多个任务运行时，依赖关系如何...
CreateJob
JobDocument String 是 {"serviceIdentifier":"test_service","params":{"key1":"value1","key2":"value2"} } 下发给设备的任务执行规则文件。数据格式为JSON，长度不超过65536个字符。更多信息，请参见下文“JobDocument定义”。JobName ...
概述
拓扑任务是一种特殊的任务，是通过事件触发的任务集合。拓扑任务中的任务执行流程均起始于开始节点，终止与结束节点，任务的执行流程形成一张有向无环图。拓扑任务本身可以通过 CRON 表达式或者事件触发，但其中的任务节点必须符合以下要求...
CONDITIONS
CONDITIONS节点可以支持多个上游任务，但只能支持两个下游任务。如果上游任务数超过一个，则可以通过“且”、“或”操作符来实现复杂上游依赖。本文为您介绍创建CONDITIONS类型任务时涉及的参数。参数 说明 节点名称 任务的名称。一个工作...
任务运行失败
通用参考 已配置失败重跑的任务在运行失败后未重跑，并报错 Task Run Timed Out，Killed by System！任务执行报错OSError:[Errno 7]Argument list too long.MaxCompute类型节点 ODPS-0420095:Access Denied-Authorization Failed[4093],You...
任务管理
推送类型 和 治理项类型 的任务管理功能模块是相似的，本章节以 治理项类型 为例进行介绍。进入任务管理页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，按照下图指引，进入 任务管理 页面。任务管理 页面，查看推送类型和治理...
任务管理
推送类型 和 治理项类型 的任务管理功能模块是相似的，本章节以 治理项类型 为例进行介绍。进入任务管理页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资产 页面，按照下图指引，进入 任务管理 页面。任务管理 页面，查看推送类型和治理...
数据开发常见问题
有A、B、C三个任务，如何实现每个小时执行一次A->B->C（A执行完了B再执行，B执行完了C再执行）的任务流程？节点删除、变更相关 为什么在节点A搜索上游节点输出名时，搜索到了节点B不存在的输出名？为什么节点删除报错当前节点存在子节点，...
新增脚本同步任务
相关操作 操作 说明 查看同步任务 在任务列表中，单击目标同步任务 操作 列的 更多，选择 查看，可查看同步任务详细内容。修改同步任务 在任务列表中，对于未运行的同步任务，单击 操作 列的 更多，选择 修改，可对同步任务进行修改。删除...
新增脚本同步任务
相关操作 操作 说明 查看同步任务 在任务列表中，单击目标同步任务 操作 列的 更多，选择 查看，可查看同步任务详细内容。修改同步任务 在任务列表中，对于未运行的同步任务，单击 操作 列的 更多，选择 修改，可对同步任务进行修改。删除...
使用热修复
回滚任务的任务类型固定为 正式，不可更改。发布类型：分为 灰度 与 正式。发布模型（仅限 灰度 发布）：分为 白名单 和 时间窗。当选择 白名单 时，您可在下方选择白名单。白名单需在白名单管理中配置。具体操作步骤，参见 白名单管理。当...
概述
PolarDB-X 1.0 在V5.3.12及以上的实例版本中引入了新的DDL执行引擎，开始支持DDL的任务管理，包括DDL执行过程中的任务状态查看、失败DDL任务的恢复和回滚等。DDL任务管理中的主要概念 了解以下概念，将帮助您更好地使用DDL任务管理功能：...
常见问题
实例的任务类型选择错误，请核实当前任务列表页面是否为目标实例的任务类型。例如，同步实例只会在 同步任务 列表页面。实例因过期或欠费被释放。DTS实例到期或欠费后，数据传输任务将停止服务，如果7天内还未充值成功，系统将释放并删除该...
配置定时任务
背景信息 定时任务是一种预设任务，可以在指定时间执行指定的伸缩规则，实现计算资源的自动扩缩容。更多信息，请参见 定时任务概述。创建定时任务 一个账号下可以创建的定时任务数量有限，单个地域下的定时任务数量和弹性伸缩使用情况有关...
执行补数据并查看补数据实例（新版）
如需对该任务的多个不连续的时间段补数据，可单击 添加多段业务日期，配置多个时间段。当 业务日期 晚于当前日期，可选择 立即运行定时时间大于此刻的补数据实例，后续当实际时间大于配置的 业务日期 时，平台会立即运行该补数据实例。例如...
产品功能
Fixed rate Crontab必须被60整除，不支持其它数量级时间间隔的任务，例如cron不支持每隔40分钟运行一次的定时任务。Fixed rate专门用来做定期轮询，表达式简单，不支持秒级别调度。更多信息，请参见 Fixed rate。Second delay 适用于对实时...
实时计算任务提交说明
完成实时计算任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 ...
实时计算任务提交说明
完成实时计算任务开发并提交时，Dataphin系统将自动解析任务中表和字段的血缘关系及确认任务对象的变更类型、变更内容以及对您提交的计算任务进行前置检查，以确保您提交的任务符合提交条件，降低错误任务提交的可能性。血缘关系解析说明 ...
DEPENDENT
添加依赖 需要判断的依赖任务，可以是某一个项目中的工作流具体的任务执行情况。依赖失败策略 失败（默认）：依赖的上游工作流失败后，当前任务会立即标记为失败。等待：依赖的上游工作流失败后，当前任务不会立即失败，而是保持等待状态，...
应用管理
关闭 任务实例并发数 一个应用最多同时运行的任务实例个数，超过并发数的任务实例不会丢弃，会放在队列中等待执行。0 日历 您可在下拉列表中选择在 金融日 或者 工作日 调度应用。0 步骤二：通知配置 在 通知配置 向导页填写相关信息，选择...
- 产品推荐
- 这些文档可能帮助您