数据导入优化建议
导入并发和资源说明 单张表的导入会在系统内部串行，不同表之间的导入任务会并行，默认并行度是2。以MaxCompute表导入HybridDB for MySQL为例，同一张表的不同分区导入实际上会排队串行执行。不同表的导入，同时提交，有并行度的n个任务...
Hash Join的并行加速
PolarDB MySQL版 8.0版本提供了对Hash Join的并行执行支持，并不断丰富其并行执行策略。本文介绍如何在 PolarDB 的并行查询中使用Hash Join功能。简单并行Hash Join 前提条件 集群版本需为 PolarDB MySQL版 8.0 集群版，且Revision version...
控制台总览
任务统计 显示当前环境中已存在的各类任务数量统计：任务总数：当前环境中已配置的任务总数，包括简单任务、集群任务。将鼠标悬浮在图标上方以查看每个任务类型的数量比例。单击悬浮窗中的 查看详情 链接跳转到任务列表。任务拓扑总数：...
数据开发概述
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
并行INSERT
本文介绍了的并行INSERT功能。简介 支持弹性跨机并行查询（ePQ）特性，通过利用集群中多个计算节点来提升查询性能。同时，ePQ也支持在读写节点上通过多进程并行写入，实现对 INSERT 语句的加速。ePQ的并行 INSERT 功能用于加速 INSERT INTO...
并行（Parallel）
本文介绍了并行状态及其相关使用示例。基本概念 并行状态用来并行执行多个状态。它定义了多个分支（Branches），每个分支包含一系列状态。执行并行状态会并发执行所有分支包含的状态。当所有分支执行结束后，默认将输出一个包含所有分支...
查看并管理实时任务
实时任务是指在Dataphin创建的FLINK_SQL、FLINK_TEMPLATE_SQL和FLINK_DATASTREAM类型的计算任务。在Dataphin的实时任务页面为您展示了任务实例的基本信息及运维管理选项，方便您查看实例任务并进行管理。本文为您介绍实时任务支持的运维...
补数据
补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况？为什么补数据选择补0点~1点生成...
并行INSERT
本文介绍了 PolarDB PostgreSQL版 的并行INSERT功能。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 11（内核小版本1.1.17及以上）PostgreSQL 14（内核小版本14.8.12.0及以上）说明 您可通过如下语句查看 PolarDB ...
查看并管理实时任务
实时任务是指在Dataphin创建的FLINK_SQL、FLINK_TEMPLATE_SQL和FLINK_DATASTREAM类型的计算任务。在Dataphin的实时任务页面为您展示了任务实例的基本信息及运维管理选项，方便您查看实例任务并进行管理。本文为您介绍实时任务支持的运维...
如何在SchedulerX 2.0平台上托管ElasticJob任务
分布式任务调度SchedulerX 2.0兼容开源ElasticJob任务接口，您无需修改代码，即可将ElasticJob任务在SchedulerX 2.0平台上进行托管。本文介绍如何在SchedulerX 2.0平台上托管ElasticJob任务。背景信息 ElasticJob基于Quartz开发并且依赖...
RetryJobInstance-重跑任务实例
应用分组ID，在控制台的应用管理页面中获取 testSchedulerx.defaultGroup JobId long 是 任务ID 123 JobInstanceId long 是 任务实例ID 123456 返回参数 名称 类型 描述 示例值 object Schema of Response RequestId string 请求唯一ID ...
SetJobInstanceSuccess-标记任务实例成功
应用分组ID，在控制台的应用管理页面中获取 testSchedulerx.defaultGroup JobId long 是 任务ID 123 JobInstanceId long 是 任务实例ID 123456 返回参数 名称 类型 描述 示例值 object Schema of Response RequestId string 请求唯一ID ...
2019年
并行任务子任务列表不能重试子任务。无 1.0.6-compatible，2019-07-02 变更类型 功能描述 相关文档 优化 兼容 schedulerx1.0(DTS)接口的兼容版本。不支持同时依赖 schedulerx-client 和 schedulerx-worker 两个包，只能依赖 schedulerx-...
查看离线计算任务详情
离线计算任务是由智能标签、表加工、质量评估、数据加工等业务产生的任务，运维监控支持查看离线计算任务详情，包括任务信息、任务代码、实例列表。本文介绍如何查看离线计算任务详情。操作步骤 登录 数据资源平台控制台。在页面左上角，...
查看离线计算任务详情
离线计算任务是由智能标签、表加工、质量评估、数据加工等业务产生的任务，运维监控支持查看离线计算任务详情，包括任务信息、任务代码、实例列表。本文介绍如何查看离线计算任务详情。操作步骤 登录企业数据智能平台。在页面左上角，单击 ...
查看并管理手动运行补数据任务
手动运行补数据任务是指手动运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理调度类型为手动运行的补数据任务。手动运行补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引，进入 手动运行 补数据...
查看并管理手动运行补数据任务
手动运行补数据任务是指手动运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理调度类型为手动运行的补数据任务。手动运行补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引，进入 手动运行 补数据...
RerunJob-重刷任务的历史数据
应用分组ID，在控制台的应用管理页面中获取 testSchedulerx.defaultGroup JobId long 是 任务ID 123 StartDate long 是 开始日期时间戳，精确到毫秒 1645459200000 EndDate long 是 结束日期时间戳，精确到毫秒 1645718400000 DataTime ...
Broker Load
导入任务并发度 一个作业可以拆成一个或者多个任务，任务之间并行执行。拆分由LOAD语句中的DataDescription来决定。例如：多个DataDescription对应导入多个不同的表，每个会拆成一个任务。多个DataDescription对应导入同一个表的不同分区，...
任务管理
任务是指在DMS发起的变更SQL任务，例如普通数据变更、结构设计、库表同步等，但不包含在SQL窗口中直接执行的SQL。本文为您介绍了如何新建或管理SQL任务。前提条件 您的用户角色为管理员或DBA，关于用户角色信息，请参见 系统角色。操作步骤...
补数据
补数据基于任意任务流的发布态版本，可通过指定业务时间或业务范围时间，生成一个或多个任务流实例（运行某条任务流的记录）。本文为您介绍如何给任务流补数据。使用场景 电商公司在多个时间段进行促销活动，需要分析促销活动带来的营收、...
创建质检任务
云端质检任务是执行视频质检的载体，即如果要对已经录制完成的视频文件进行质检，就必须为其创建质检任务。本文介绍了为两种检测对象（本地上传和双录应用）创建任务的过程。为本地上传的视频创建任务 前提条件 您已创建质检规则，创建过程...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引...
巡检任务
单击 新建，在 新建巡检任务 页面，输入任务名称、任务描述，选择任务类型以及钉钉机器人，然后单击 提交，新建的任务将出现在任务列表中。为任务绑定巡检规则。如果不绑定，任务将无法执行。单击目标任务名称，进入任务详情页。在任务详情...
DataWorks作业调度
任务简介 任务之间的依赖是任务调度中的一个重要的功能，例如，我们在DataWorks里面创建两个云原生数据仓库PostgreSQL版的任务，其中表与任务之间的关系如下图：任务：finished_orders 从orders表清洗出已经完成的订单：o_orderstatus='F'...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 ...
ExecuteJob-触发一次任务
请求参数 名称 类型 必填 描述 示例值 JobId long 是 任务ID，在控制台的任务管理页面中获取。92583 InstanceParameters string 是 本次触发携带参数，可以是任意字符串，processor 代码通过 context.getInstanceParameters()获取，区别于...
管理任务流实例
本文为您介绍如何编辑任务流、运行任务流、下线任务流以及查看任务流的发布记录。编辑任务流信息 仅支持任务流的责任人编辑任务流。进入目标任务流的编辑页面后，单击目标任务流页面的右上角 前往运维。在任务流信息页面，单击 前往编辑。...
BatchDeleteJobs-批量删除任务
请求参数 名称 类型 必填 描述 示例值 Namespace string 是 任务所属命名空间ID，在控制台 命名空间页面中获取。adcfc35d-e2fe-4fe9-bbaa-20e90ffc*NamespaceSource string 否 特殊第三方才需要填写。Schedulerx GroupId string 是 应用ID...
BatchEnableJobs-批量启用任务
请求参数 名称 类型 必填 描述 示例值 Namespace string 是 任务所属命名空间ID，在控制台 命名空间页面中获取。adcfc35d-e2fe-4fe9-bbaa-20e90ffc*NamespaceSource string 否 特殊第三方才需要填写。schedulerx GroupId string 否 应用ID...
BatchDisableJobs-批量禁用任务
请求参数 名称 类型 必填 描述 示例值 Namespace string 是 任务所属命名空间ID，在控制台 命名空间页面中获取。adcfc35d-e2fe-4fe9-bbaa-20e90ffc*NamespaceSource string 否 特殊第三方才需要填写。schedulerx GroupId string 否 应用ID...
Broker Load
Broker Load支持一次导入任务涉及多张表，每个Broker Load导入任务可通过多个data_desc声明多张表来实现多表导入。每个单独的data_desc可以指定属于该表的数据源地址，可以用多个file_path来指定导入同一个表的多个文件。Broker Load保证了...
配置定时任务
如果业务量的变化时间可预测，您可以通过配置定时任务，在业务高峰到达前已准备好充足的计算资源，或者在业务高峰后及时释放空闲的计算资源，满足业务需求的同时又能控制成本。背景信息 定时任务是一种预设任务，可以在指定时间执行指定的...
如何管理应用级别的资源和任务优先级
能够实现CPU和内存级别的资源管控，而您使用自己的Worker通过客户端接入SchedulerX，所以SchedulerX作为通用的任务调度平台，无法实现CPU和内存级别的管控，也无法通过第三方的资源管理系统进行管控，实现的是任务实例数量和优先级的管控。...
产品功能
通过SchedulerX可以管理定时调度任务、查询任务执行记录和运行日志。本文介绍SchedulerX调度、执行和运维三个方面的功能。定时调度 Crontab 支持Unix Crontab表达式，不支持秒级别调度。更多信息，请参见 Cron。Fixed rate Crontab必须被60...
GetJobInstance-获取指定任务实例详情
testSchedulerx.defaultGroup JobId long 是 任务ID，在控制台的任务管理页面中获取。92583 JobInstanceId long 是 任务实例ID 1685883418 NamespaceSource string 否 特殊第三方才需要填写。schedulerx 返回参数 名称 类型 描述 示例值 ...
如何管理应用级别的资源和任务优先级
能够实现CPU和内存级别的资源管控，而您使用自己的Worker通过客户端接入SchedulerX，所以SchedulerX作为通用的任务调度平台，无法实现CPU和内存级别的管控，也无法通过第三方的资源管理系统进行管控，实现的是任务实例数量和优先级的管控。...
管理导入任务
导入任务是EMR StarRocks Manager中的一个功能模块，旨在降低用户在导入任务管理方面的运维成本，提供可视化的导入任务管理能力。本文为您介绍如何使用EMR StarRocks Manager管理导入任务。背景信息 该页面的数据来自于使用StarRocks内核...
周期任务通用运维概述
周期任务是指调度系统按照调度配置自动定时运行的任务。本文为您介绍周期的脚本任务、明细及汇总表（维度逻辑表、事实逻辑表、汇总逻辑表）任务的通用功能，包括使用说明，支持的调度类型和相关功能说明。使用说明 仅生产环境运维中心支持...
- 产品推荐
- 这些文档可能帮助您