Java SDK
Spring Cloud Alibaba定时任务 可视化MapReduce任务（原并行计算），支持子任务级别列表、日志、重跑；支持为子任务自定义标签并且通过标签搜索子任务。企业级分布式批处理方案 1.4.2，2022-03-07 变更类型 功能描述 相关文档 新增 分布式...
Landing Zone搭建概述
执行搭建任务。具体操作，请参见 搭建Landing Zone。支持的蓝图 蓝图 说明 标准蓝图 适用于所有企业的标准模板。包含最必须的Landing Zone搭建选项：启用资源目录并创建Core和Applications资源夹、创建日志账号、指定财务管理账号、开通云...
搭建Landing Zone
步骤五：执行Landing Zone搭建任务 各项参数配置完成后，单击 预览配置，检查各个搭建项配置。检查无误后，单击 开始执行。查看执行状态，等待任务全部执行完成后，单击 关闭。后续步骤 继续搭建Landing Zone 上述步骤仅完成了Landing Zone...
搭建Landing Zone
步骤五：执行Landing Zone搭建任务 各项参数配置完成后，单击 预览配置，检查各个搭建项配置。检查无误后，单击 开始执行。查看执行状态，等待任务全部执行完成后，单击 关闭。后续步骤 继续搭建Landing Zone 上述步骤仅完成了Landing Zone...
历史记录
并行任务子任务列表不能重试子任务。1.0.6-compatible，2019-07-02 优化：兼容 schedulerx1.0(DTS)接口的兼容版本。不支持同时依赖 schedulerx-client 和 schedulerx-worker 两个包，只能依赖 schedulerx-worker 一个包，即需要把DTS所有...
GetJobInfo
Description String test 任务描述 ExecuteMode String standalone 任务执行模式，目前包含以下几种任务执行模式：单机运行：standalone 广播运行：broadcatst 并行计算：parallel 内存网格：grid 网格计算：batch 分片运行：shard JarUrl ...
ListJobs
PageSize Integer 100 并行任务单次拉取子任务数，默认值为100。QueueSize Integer 10000 子任务队列缓存上限，默认值为10000。TaskAttemptInterval Integer 0 子任务失败重试间隔。TaskMaxAttempt Integer 0 子任务失败重试次数。...
计费逻辑说明
并行任务数 不同规格资源组支持同时运行的任务数不同，详情请参见 独享数据集成资源组计费说明：包年包月。公网流量费用 按量付费 数据集成任务在数据传输过程中产生的公网流量，会按量收取公网流量费用。公网流量的计费、流量产生及查看，...
Broker Load
导入任务并发度 一个作业可以拆成一个或者多个任务，任务之间并行执行。拆分由LOAD语句中的DataDescription来决定。例如：多个DataDescription对应导入多个不同的表，每个会拆成一个任务。多个DataDescription对应导入同一个表的不同分区，...
Broker Load
Broker Load导入 查看Broker实例 阿里云EMR StarRocks集群在创建时已经自动搭建并启动Broker服务，Broker服务位于每个Core节点上。使用以下SQL命令可以查看Broker实例。SHOW PROC"/brokers"\G 返回信息如下所示。1.row*Name:broker IP:10.0...
并行网关
在拓扑任务中，您可以添加并行网关实现多个节点并行处理效果，满足业务存在多个独立任务需要并行处理的需求，以此提高整体处理性能。本文将快速引导您如何在拓扑任务中使用并行网关。操作步骤 创建拓扑子任务。创建两个或两个以上的简单或...
实时模式配置概述
配置项 描述 资源配置 开源Flink实时计算源 对于开源Flink创建的实时任务，任务的实时模式资源配置支持配置任务的生产环境和开发环境的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。...
任务中心管理
本文介绍如何进入任务中心，以及如何处理能力接入、应用部署等审批任务。操作步骤 登录BizWorks，您可以通过以下两种方式进入 任务中心 页面。...如果任务为并行审批任务，只要有一人审批通过（单击 同意），该审批任务即为 已完成 审批状态。
实时模式配置概述
配置项 描述 资源配置 Ververica Flink实时计算源 对于Ververica Flink创建的流批一体任务，任务的实时模式资源配置支持配置任务的生产环境和开发环境的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task ...
配置Ververica Flink离线模式资源
Ververica Flink流批一体任务离线模式的资源配置支持配置任务的生产环境和开发的资源集群、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。本文为您如何配置流批一体任务实时模式的资源配置。操作...
配置Ververica Flink离线模式资源
Ververica Flink流批一体任务离线模式的资源配置支持配置任务的生产环境和开发的资源集群、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。本文为您如何配置流批一体任务实时模式的资源配置。操作...
数据导入优化建议
导入并发和资源说明 单张表的导入会在系统内部串行，不同表之间的导入任务会并行，默认并行度是2。以MaxCompute表导入HybridDB for MySQL为例，同一张表的不同分区导入实际上会排队串行执行。不同表的导入，同时提交，有并行度的n个任务...
名词解释
Task 即子任务，并行计算/内存网格/网格计算，通过Map方法会产生Task。Work Flow 即工作流，Work Flow是一个DAG（有向无环图），用来做任务编排。调度时间 JobInstance每次调度的时间叫做调度时间，JobProcessor可以根据 context....
离线模式配置概述
资源配置 开源Flink实时计算源 对于开源Flink创建的流批一体任务，任务的离线模式资源配置支持配置任务的生产环境和开发的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。配置说明，请...
入门概述
Serverless 工作流 提供了丰富的控制原语让您描述业务逻辑，例如您可以串行执行任务、并行执行任务、有选择的执行某些任务以及针对一组数据并行执行一系列任务。具体的流程描述请参见 基本介绍。如果您想了解 Serverless 工作流 是如何解决...
工作流简介
云工作流 提供了丰富的控制原语让您描述业务逻辑，例如您可以串行执行任务、并行执行任务、有选择的执行某些任务以及针对一组数据并行执行一系列任务。具体的流程描述，请参见 流程定义介绍。如果您想了解 云工作流 是如何解决复杂的业务...
名词解释
Task 即子任务，并行计算/内存网格/网格计算，通过Map方法会产生Task。Work Flow 即工作流，Work Flow是一个DAG（有向无环图），用来做任务编排。调度时间 JobInstance每次调度的时间叫做调度时间，JobProcessor可以根据 context....
名词解释
Task 即子任务，并行计算/内存网格/网格计算，通过Map方法会产生Task。Work Flow 即工作流，Work Flow是一个DAG（有向无环图），用来做任务编排。调度时间 JobInstance每次调度的时间叫做调度时间，JobProcessor可以根据 context....
配置开源Flink实时模式资源
开源Flink流批一体任务实时模式的资源配置支持配置任务的生产环境和开发的资源队列、引擎版本以及任务的并行读度、Task Manager数量、Job Manager Momory和Task Manager Momory。本文为您介绍如何配置流批一体任务实时模式的资源配置。操作...
配置开源Flink离线模式资源
开源Flink流批一体任务离线模式的资源配置支持配置任务的生产环境和开发的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。本文为您如何配置流批一体任务离线模式的资源配置。操作步骤 ...
提交Tensorflow训练任务和定时任务
如果当前训练任务尚未结束，定时任务的 并行策略 支持以下三种：Allow：允许创建新的训练任务。Forbid：在训练任务结束前，禁止创建新的任务。Replace：创建一个新的训练任务，替换当前未结束的任务。历史记录数量：集群中会保留该定时任务...
离线模式配置概述
资源配置 Ververica Flink实时计算源 对于Ververica Flink创建的流批一体任务，任务的离线模式资源配置支持配置任务的生产环境和开发的资源集群、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。...
创建流程
云工作流 提供了丰富的控制原语描述业务逻辑，例如，串行执行任务、并行执行任务、有选择的执行某些任务以及针对一组数据并行执行一系列任务。操作步骤 登录 云工作流控制台，然后在顶部菜单栏，选择地域。在左侧导航栏，选择 工作流列表，...
新建FLINK_SQL任务
实时模式 资源配置（必选）：配置任务生产环境和开发环境对应的资源队列、引擎版本以及任务的并行度、Task Manager 数量、Job Manager Memory和Task Manager Memory信息。配置说明，请参见 配置开源Flink实时模式资源。变量配置：变量参数...
UpdateJob-更新任务配置信息
30 PageSize integer 否 并行网格任务高级配置，单次拉取子任务数，默认值为100。100 TaskDispatchMode string 否 并行网格任务高级配置，推模型或者拉模型 枚举值：pull：pull。push：push。push ConsumerSize integer 否 并行网格任务...
FLINK
并行度 用于设置执行Flink任务的并行度。主程序参数 设置Flink程序的输入参数，支持自定义参数变量的替换。选项参数 填写Flink命令所需的选项参数。例如，-yt 或-C。资源 选择任务执行时所需的资源文件，请确保您已在 资源中心 的 文件管理...
DescribeDiagnosisTasks-Stage的子任务执行详情
12 ComputeTimeRatio string 任务所有算子的累加耗时除以任务的并行度后，和 ElapsedTime 的比值，可用于判断任务的是否为真正耗时的任务。如果比值较大，说明该任务大部分时间在实际执行计算任务；如果比值较小，说明该任务大部分时间在...
离线异步任务场景
函数计算平台接收到多个异步提交的离线GPU任务后，将自动弹出多个按量GPU实例并行处理，通过海量GPU算力资源的充分供给保证大量离线GPU任务的并行运行，以最大程度减少排队耗时。当离线GPU任务总数超出单个阿里云账号地域级别的GPU资源处理...
新建FLINK_DATASTREAM任务
实时模式 资源配置（必选）：配置任务生产环境和开发环境对应的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Memory和Task Manager Memory信息。配置说明，请参见 配置开源Flink实时模式资源。变量配置：变量参数...
使用Argo Workflow编排动态DAG Fan-out/Fan-in任务
在工作流编排过程中，为了加快大任务处理的速度，可以使用Fan-out Fan-in任务编排，将大任务分解成小任务，然后并行运行小任务，最后聚合结果。分布式工作流Argo集群（简称 工作流集群）支持动态DAG方式编排Fan-out Fan-in任务，可按需调度...
新建BLINK_SQL任务
实时模式 资源配置（必选）：配置任务对应的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Memory和Task Manager Memory信息。配置说明，请参见 配置Alibaba Blink实时模式资源。时间参数：用于配置实时计算任务的...
新建BLINK_SQL任务
实时模式 资源配置（必选）：配置任务对应的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Memory和Task Manager Memory信息。配置说明，请参见 配置Alibaba Blink实时模式资源。时间参数：用于配置实时计算任务的...
产品功能
SchedulerX主要提供调度...子任务失败自动重试：如果是分布式任务（并行计算/内网网格/网格计算），子任务也支持失败自动重试和重试间隔，同样可以通过任务管理的高级配置进行配置。报警监控 失败报警 超时报警 无可用机器报警 报警方式：短信
BUILD
不同表的BUILD任务可以并行执行，并行度默认为3。自动触发BUILD任务 自动触发BUILD任务需要满足以下其中一个条件：达到最小BUILD时间间隔（数仓版（3.0）预留模式：0.5小时，数仓版（3.0）弹性模式：1.5小时，湖仓版（3.0）：1.5小时），且...
新建FLINK_SQL任务
资源配置（必选）：配置任务生产环境和开发环境对应的集群、引擎版本以及任务的并行度、Task Manager 数量、Job Manager Memory、Task Manager Memory信息。配置说明，请参见 配置Ververica Flink离线模式资源。运行参数：可以通过配置运行...
- 产品推荐
- 这些文档可能帮助您