新建FLINK_SQL任务
资源配置（必选）：配置任务生产环境和开发环境对应的集群、引擎版本以及任务的并行度、Task Manager 数量、Job Manager Memory、Task Manager Memory信息。配置说明，请参见 配置Ververica Flink离线模式资源。运行参数：可以通过配置运行...
UpdateJob
ExecuteMode String 是 standalone 任务执行模式，目前支持以下几种任务执行模式：单机运行：standalone 广播运行：broadcatst 并行计算：parallel 内存网格：grid 网格计算：batch 分片运行：shard Content String 否 echo 'hello' 任务...
CreateJob-创建任务并返回任务ID
创建任务并返回任务ID。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
概述
功能简介 弹性并行查询（Elastic Parallel Query，ePQ）目前支持单机并行和多机并行两种并行引擎，单机并行引擎等效于原有的并行查询，多机并行引擎支持集群内跨节点的自适应弹性调度。PolarDB MySQL版 8.0.1版本支持单机并行查询，查询时...
2022年
专业版公测 并行计算任务支持用户在切分子任务时自定义子任务标签，控制台子任务列表支持基于子任务查询。企业级分布式批处理方案 支持ElasticJob开发的执行器对接。兼容ElasticJob 2022-01-26 变更类型 功能描述 相关文档 新增 支持概览页...
CreateJob
ExecuteMode String 是 standalone 任务执行模式，目前支持以下几种任务执行模式：单机运行：standalone 广播运行：broadcast 并行计算：parallel 内存网格：grid 网格计算：batch 分片运行：sharding GroupId String 是 testSchedulerx....
Semi-Join的并行加速
通过拆分Semi-Join的任务，多线程模型并行运行任务集，强化去重能力，使查询性能得到了显著的提升。在 PolarDB 8.0.2.2.7后支持对物化策略（Semi-Join Materialization）的多阶段并行查询，进一步提升了Semi-Join的查询性能，以Q20为例进行...
自适应扫描
当存在个别只读节点计算资源不足的情况时，可能会导致：扫描过程发生计算倾斜、用户发起的单次并行查询迟迟不能完成、查询受限于计算资源不足的节点长时间不能完成扫描任务。自适应扫描。ePQ提供的自适应扫描模式可以解决由于计算资源不足...
自适应扫描
当存在个别只读节点计算资源不足的情况时，可能会导致：扫描过程发生计算倾斜、用户发起的单次并行查询迟迟不能完成、查询受限于计算资源不足的节点长时间不能完成扫描任务。自适应扫描。ePQ提供的自适应扫描模式可以解决由于计算资源不足...
执行补数据并查看补数据实例（旧版）
例如，业务日期为 1月11日~1月13日，并行数为2组，则会生成两个补数据实例（其中一个补数据实例会包含两个业务日期，这两个业务日期对应的任务串行执行），两个补数据实例并行执行。补数据告警 设置此次补数据操作是否会触发告警。是：满足...
创建EMR MR节点
在EMR任务开发中，通过创建EMR（E-MapReduce）MR节点，可将大规模数据集分为多个Map任务以并行处理，加速数据集的并行运算。本文将以创建EMR MR节点实现从OSS中读取文本，并统计文本中的单词数为例，为您展示EMR MR节点的作业开发流程。...
执行补数据并查看补数据实例（新版）
搜索任务 通过名称或ID搜索，添加一个起始任务，以及一个或多个结束任务，平台将根据起始及结束任务分析中间任务（即中间任务为起始任务的直接或间接下游任务，为结束任务的直接或间接上游任务）。中间任务列表 平台根据起始任务及结束任务...
流式ETL
灵活的任务监控与管理：ETL提供任务列表页供您进行任务监控和管理，能够对已经搭建的任务进行启停、查看详情等操作。应用场景 多地域或异构数据实时集中：将多地域或者异构数据实时存储至同一数据库中，便于企业中心化高效管理及决策支持。...
什么是ETL
灵活的任务监控与管理：ETL提供任务列表页供您进行任务监控和管理，能够对已经搭建的任务进行启停、查看详情等操作。应用场景 多地域或异构数据实时集中：将多地域或者异构数据实时存储至同一数据库中，便于企业中心化高效管理及决策支持。...
ST_BuildPyramid
parallel int 0 并行构建任务数，需要设置 max_prepared_transactions 参数，0表示并行最大化。tileSize int 1024 瓦片大小，取值需大于0且小于4096。tileExtend int 8 瓦片的外扩大小，取值需大于0。userExtent array[double]null 自定义...
基本概念
在用户的运行中，普通计算任务对应一个计算作业，而并行计算任务则会包含多个计算作业。同时计算作业在失败后，可由平台智能重启调度，从而生成新的计算作业。模板/Template 用于批量创建运行任务的模板，包含使用的应用和实体表格信息，...
任务类型
下面的图中，首先理清各个任务之间的依赖关系，count1 和 count2 是并行的任务，它们依赖 split 任务，merge任务依赖 count1 和 count2。依据上面的依赖关系，在Job中可以这样描述：from batchcompute.resources import(JobDescription,...
服务端发布记录
专业版公测 并行计算任务支持用户在切分子任务时自定义子任务标签，控制台子任务列表支持基于子任务查询。支持ElasticJob开发的执行器对接。无 2022-01-26 变更类型 功能描述 相关文档 新增 支持概览页。支持日志服务。支持查看堆栈。控制...
RDS SQL Server CPU使用率高问题排查
CPU使用率高的因素有很多，其中最常见的因素说明及解决方法如下：实例的并行度设置不合理 排查步骤 线程并行处理任务时，由于每个线程处理的数据量不一致，会出现CXPACKET等待情况，CXPACKET等待发生比较多的话，就会造成CPU使用率高。...
任务管理高级配置参数说明
1 子任务单机并发数 并行计算 内存网格 网格计算 分布式模型，单台机器并发消费子任务的个数。5 子任务失败重试次数 并行计算 内存网格 网格计算 分布式模型，子任务失败自动重试的次数。0 子任务失败重试间隔 并行计算 内存网格 网格计算 ...
任务管理高级配置参数说明
1 子任务单机并发数 并行计算 内存网格 网格计算 分布式模型，单台机器并发消费子任务的个数。5 子任务失败重试次数 并行计算 内存网格 网格计算 分布式模型，子任务失败自动重试的次数。0 子任务失败重试间隔 并行计算 内存网格 网格计算 ...
任务管理高级配置参数说明
1 子任务单机并发数 并行计算 内存网格 网格计算 分布式模型，单台机器并发消费子任务的个数。5 子任务失败重试次数 并行计算 内存网格 网格计算 分布式模型，子任务失败自动重试的次数。0 子任务失败重试间隔 并行计算 内存网格 网格计算 ...
快速入门
并行模式2：阻塞任务 A 直到前一个任务流的任务 A 的子节点已经完成。公开任务流 选择是否公开该任务流，设置公开后，该任务流可被租户内的所有用户查看，但无编辑和运行任务流的权限（责任人除外），同时，也不会统计到（除责任人以外的...
弹性并行查询（Elastic Parallel Query）常见问题
并行查询的基本原理是将一个大查询任务拆解成多个小的查询任务并发执行，但如果查询的表的实际数据量较少，不能拆分为更多的子任务。例如并行度设置的是4，但因为查询的数据量较少，最多只拆分出了2个子任务，这种情况并行加速的效果就取决...
期望实例数
使用期望实例数功能，弹性...由于报警任务触发的伸缩活动属于非并行伸缩活动，不支持立即执行并行伸缩活动，伸缩规则add1被拒绝执行，期望实例数仍为4台。非并行伸缩活动的效果是创建3台ECS实例，伸缩活动结束后，伸缩组的稳态实例数为4台。
云效常见问题
但是产品尚未支持 缺陷 当系统没有按设计运行的时候，即产生了缺陷 产品出现故障和问题，运行方式和结果不符合设计期望 任务 代表一个小粒度的活动 研发实现某个需求和解决某个缺陷，对涉及到工作拆解成一系列的任务，如搭建环境、编写单元...
创建定时任务工作负载CronJob
定时任务CronJob用于创建周期性以及重复性的任务...在定时任务名称右侧的 操作 列中，选择 更多>查看Yaml、更多>伸缩、更多>删除，查看定时任务的YAML信息、修改并行运行的Pod数、删除任务。相关文档 关于CronJob的更多信息，请参见 CronJob。
计费概述
功能 基础版 专业版 基础调度能力 日志服务 查看堆栈 Tracing 用户大盘 工作流实例图 可视化MapReduce（并行计算）最大300个子任务，无搜索能力 最大1000个子任务，可自定义标签，有搜索能力 历史记录任务条数上限 支持显示最近30条任务 ...
可视化MapReduce模型
判断如果是rootTask的情况下，构建并行计算子任务对象列表*在实际业务场景中，用户可自行根据业务场景加载子任务对象且该业务对象实现BizSubTask接口*场景案例：*1、从数据库中加载未被处理的客户账户信息*2、构建省份城市地区信息列表，按...
使用限制
本文介绍阿里云EMR Serverless Spark在资源数、性能、项目空间数量或JAR包数量等方面的限制，请您评估以下...工作空间内所有并行运行的任务共写入Shuffle数据的总量上限为10 TB。并发控制 同一工作空间内允许并发执行的任务数量上限为100个。
LogHub（SLS）实时ETL同步至Hologres
单击右上角的 高级参数配置，对同步任务运行时并行度和资源配置，您可以根据Logstore数据流量和分区数量确定对应配置项取值，建议可以按照如下简单规则进行配置：读端并发数=Logstore分区数 写端并发数=Logstore分区数 内存（GB）=1.5G+...
应用场景
云工作流 支持动态并行任务执行，实现数据处理能力的高可扩展性。自动化运维 自动化运维面临着步骤繁琐、时间长短不一、单机脚本可靠性低、依赖复杂等常见的挑战，另外进度无法可视化。云工作流+函数计算 的流程可以很好地应对这些挑战。...
Spark常见问题
Spark 资源并行度由Executor数量和Executor CPU核数共同决定，任务可并行执行的最大Task数量为 Executor数量*Executor CPU核数。Executor数量 参数：spark.executor.instances。参数说明：该参数用于设置作业申请的Executor数量。Executor ...
EMR Serverless Spark免费公测说明
工作空间内所有并行运行的任务共写入Shuffle数据的总量上限为10 TB。同一工作空间内允许并发执行的任务数量上限为100个。不保障服务等级协议（SLA），但服务不降级。公测期间包年包月的工作空间仅支持续费一个月。说明 如果在使用过程中...
计费说明
功能 基础版 专业版 基础调度能力 日志服务 查看堆栈 用户大盘 工作流实例图 可视化MapReduce（并行计算）最大300个子任务，无搜索能力 最大1000个子任务，可自定义标签，有搜索能力 历史记录 最近10条任务 最近100条任务 报警 钉钉、邮件 ...
ossimport概述
该配置项会影响到任务执行的并行度，一般配置为总文件数/Worker总数/迁移线程数（workerTaskThreadNum），最大值不要超过50000，如果不知道总文件数，请使用默认值。taskObjectSizeLimit 每个Task最大数据量，整型，单位bytes，默认1GB。该...
快速开始
添加任务 点击阶段任务列表的新建任务按钮，如下所示：如上图所示，对于使用了release文件定义源码构建的用户可以添加“应用构建”，对于未使用release文件的用户可以添加“构建”任务来自定义构建过程，“构建任务”是一个工作区相关任务...
计费概述
功能 基础版 专业版 基础调度能力 日志服务 查看堆栈 Tracing 用户大盘 工作流实例图 可视化MapReduce（并行计算）最大300个子任务，无搜索能力 最大1000个子任务，可自定义标签，有搜索能力 历史记录任务条数上限 支持显示最近30条任务 ...
可视化MapReduce模型
判断如果是rootTask的情况下，构建并行计算子任务对象列表*在实际业务场景中，用户可自行根据业务场景加载子任务对象且该业务对象实现BizSubTask接口*场景案例：*1、从数据库中加载未被处理的客户账户信息*2、构建省份城市地区信息列表，按...
可视化MapReduce模型
判断如果是rootTask的情况下，构建并行计算子任务对象列表*在实际业务场景中，用户可自行根据业务场景加载子任务对象且该业务对象实现BizSubTask接口*场景案例：*1、从数据库中加载未被处理的客户账户信息*2、构建省份城市地区信息列表，按...
- 产品推荐
- 这些文档可能帮助您