计费逻辑说明
并发任务运行说明 独享调度资源组规格与机器数直接影响到可同时执行的任务数，若您已经购买了独享调度资源组，但任务运行超过资源组支持的最大并发，同样会出现任务排队，等待资源的情况。请合理规划任务定时时间，错开任务运行时间，选择...
流程配置
任务编排 添加并行任务 在流水线编辑页面，鼠标移动到一个阶段会出现“+并行任务”按钮，点击打开 选择任务组 面板，选择合适的任务组模板，即可完成并行任务的添加。添加串行任务 在流水线编辑页面，鼠标移动到一个任务会出现“+”，可以...
数据导入优化建议
导入并发和资源说明 单张表的导入会在系统内部串行，不同表之间的导入任务会并行，默认并行度是2。以MaxCompute表导入HybridDB for MySQL为例，同一张表的不同分区导入实际上会排队串行执行。不同表的导入，同时提交，有并行度的n个任务...
Hive作业调优
另外，有多少个Reduce，就会有多少个输出文件，如果生成了很多个小文件，并且这些小文件作为下一个任务的输入，则会出现小文件过多的问题。并行运行 并行运行表示同步执行Hive的多个阶段。Hive在执行过程中，将一个查询转化成一个或者多个...
使用限制
注意事项 在使用DMS任务编排功能时，可能会出现任务调度延迟或由于SQL及脚本缺少幂等性而影响下游数据正确性的情况。如下为您说明出现这种情况的场景以及处理方案。任务调度延迟 在每日凌晨和每小时整点的任务调度高峰期，可能会出现任务...
历史记录
修复“SchedulerX客户端与Spring Cloud集成时会出现任务运行锁死超时”的兼容问题。修复“广播任务在并发情况下出现执行中断”的问题。修复“秒级别任务在执行过程中未能定时刷新Worker实例列表”的问题。修复“秒级别广播任务执行停止指令...
ossimport概述
该配置项会影响到任务执行的并行度，一般配置为总文件数/Worker总数/迁移线程数（workerTaskThreadNum），最大值不要超过50000，如果不知道总文件数，请使用默认值。taskObjectSizeLimit 每个Task最大数据量，整型，单位bytes，默认1GB。该...
任务运行状态
任务终态，表示机器人正常执行完毕 error 运行错误 任务终态，表示任务执行过程中出错，例如执行中机器人断开、应用本身有错误 unmatch 未分配 只有通过计划任务创建的任务才会出现的任务终态，表示由于指定的机器人数量大于设置的并发数量...
等待资源
问题现象 调度将任务下发到对应执行引擎上，此过程可能会出现以下等待资源问题：等待调度资源组。数据集成任务等待数据集成资源。计算任务等待引擎计算资源。产生原因 资源组下可用资源是有限的，如果有任务长时间执行未释放资源必定会阻塞...
Dataphin中周期任务在运行时为何会出现等待资源问题
问题描述 夜间周期性任务出现高并发时，运行过程中有些任务会出现等待资源问题，原本只需要几十秒的任务，有时需要20多分钟，为什么会出现这种情况？是否有改善的方案？问题原因 任务会出现等待资源问题是由于mesos资源分配不足导致的。...
一键实时同步至Hologres
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤八：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
一键实时同步至Kafka
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤六：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
一键实时同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤七：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
一键实时同步至DataHub
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤六：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
数据集成侧同步任务配置
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。后续步骤 完成任务配置后，您可以对已创建的任务进行管理、执行加减表操作，或对任务...
并行查询使用限制和兼容性问题
精度问题 并行查询的执行过程中，可能会出现比串行执行多出中间结果的存储，如果中间结果是浮点型，可能会导致浮点部分精度差别，导致最终结果有细微的差别。网络包或者中间结果长度超出 max_allowed_packet 允许的最大长度 并行查询的执行...
MySQL一键实时同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击操作列的 ...
MySQL一键实时同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击操作列的 ...
全增量实时同步至Hologres
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤九：执行同步解决方案任务 进入 数据集成>同步任务 界面，找到已创建的同步方案...
常见问题
实际的任务并行度参照如下的计算公式 concurrent_num=Min(Min(partition_num,Min(desired_concurrent_num,alive_be_num)),Config.max_routine_load_task_concurrent_num)。max_batch_interval properties 10s Routine Load任务调度周期。...
补数据
产生原因 资源组可执行任务最大并发数有上限，如果当前任务执行并发数超过资源组所支持的最大并发数时，将会出现等待资源的情况。说明 等待资源排查，详情请参见 等待资源。为什么补数据报错调起的节点运行时间不在所选业务时间范围内？...
创建手动任务
该配置仅在定义了流程参数的情况下会出现。任务执行顺序：任务执行顺序与设置手动任务执行顺序（可选）阶段的说明一致。具体如下：没有上下游执行顺序的任务在运行整个业务流程时，将同时触发执行。存在上下游执行顺序的任务在点击业务流程...
2021年
修复“SchedulerX客户端与Spring Cloud集成时会出现任务运行锁死超时”的兼容问题。修复“广播任务在并发情况下出现执行中断”的问题。修复“秒级别任务在执行过程中未能定时刷新Worker实例列表”的问题。修复“秒级别广播任务执行停止指令...
Oracle同步至Tablestore
Failover：在任务出现异常、内存不足等问题时，会触发Failover自动重启任务，您可以查看任务的Failover历史记录。运行信息：查看当前任务的同步信息。DDL记录：当源端发生DDL时，DDL会被记录到此处。任务重跑 直接重跑：不修改任务配置，...
其他常见问题
单实例部署多个客户端，导致找不到连接 一个实例（ECS、虚拟机、Pod）不允许部署多个 AntScheduler 客户端，否则会出现连接互踢的问题。AntVIP 地址配置错误 问题现象 出现[AntVIPRouter]Get scheduler servers failed 报错。问题原因 ...
如何解决全量迁移慢或迁移卡住
问题现象 DTS在全量数据同步或迁移阶段时，可能会出现耗时很久的现象，或者出现任务卡住的迹象。可能原因 源库待同步或迁移的数据量大或无主键。源库创建了多个DTS任务。源或目标库连接异常。例如，数据库设置了白名单、账号权限不足、账号...
执行补数据并查看补数据实例（新版）
搜索任务 通过名称或ID搜索，添加一个起始任务，以及一个或多个结束任务，平台将根据起始及结束任务分析中间任务（即中间任务为起始任务的直接或间接下游任务，为结束任务的直接或间接上游任务）。中间任务列表 平台根据起始任务及结束任务...
执行补数据并查看补数据实例（旧版）
例如，业务日期为 1月11日~1月13日，并行数为2组，则会生成两个补数据实例（其中一个补数据实例会包含两个业务日期，这两个业务日期对应的任务串行执行），两个补数据实例并行执行。补数据告警 设置此次补数据操作是否会触发告警。是：满足...
业务切换流程
由于创建的反向迁移任务会将目标库产生的增量数据实时迁移回源库，如果业务运行出现问题，可随时将业务切换回源库。后续步骤 业务切换至目标数据库并稳定运行一段时间，测试所有业务涉及的功能并确认无问题，可结束反向数据迁移的任务，...
业务切换流程
由于创建的反向迁移任务会将目标库产生的增量数据实时迁移回源库，如果业务运行出现问题，可随时将业务切换回源库。后续步骤 业务切换至目标数据库并稳定运行一段时间，测试所有业务涉及的功能并确认无问题，可结束反向数据迁移的任务，...
调度依赖配置指引
默认节点的上下游产出表存在强依赖关系（即下游表数据的产出需要依赖上游产出的表数据），因此，任务在配置调度依赖时，需确认是否存在强血缘依赖，即确认当前任务是否会因为上游数据未产出而导致当前任务取数出现问题。若下游节点中表数据...
如何在SchedulerX 2.0平台上托管XXL-JOB任务
阿里巴巴商业化任务调度平台SchedulerX 2.0兼容XXL-JOB任务接口，支持@XxlJob新注解和@JobHandler老注解方式。您无需修改代码，即可以将XXL-JOB任务在SchedulerX 2.0平台上托管。本文介绍在SchedulerX 2.0平台上托管的优势和方法。功能优势...
如何优化Batch Insert
重要 单条SQL语句过大时，分布式下单个计算节点的压力会偏重，首先会带来一定的内存消耗风险，其次可能会出现多个节点之间的压力不均衡。Batch的批量导入，消耗更多的是IOPS的资源，CPU和内存不是主要瓶颈。因此，如果需要做资源升配来提升...
2020年
修复广播任务可能会卡住的问题。修复sls功能的AccessKey ID或AccessKey Secret泄漏的问题。无 1.2.0.2，2020-08-19 变更类型 功能描述 相关文档 新增 支持一个应用10万+任务（只有公有云支持）。新增客户端日志开关，默认开启。OpenAPI创建...
数据导入常见问题
StarRocks集群在接收到第一个请求后，已经开始操作Stream Load，但是由于没有及时向客户端返回结果，会出现客户端再次重试发送相同请求的情况。这时候 StarRocks集群由于已经在操作第一个请求，所以第二个请求会返回 Label Already Exists ...
发布单对接说明
为什么同一应用的发布单不支持并行 弹性场景 在 SAE 应用的发布、扩缩容场景下需要禁用弹性规则，否则会出现一系列不可预期的问题。如果此时有多个发布单并行，就会出现A发布单禁用了弹性，在A发布单未完结之前，B发布单又启动了弹性的情况...
Java SDK
修复“SchedulerX客户端与Spring Cloud集成时会出现任务运行锁死超时”的兼容问题。修复“广播任务在并发情况下出现执行中断”的问题。修复“秒级别任务在执行过程中未能定时刷新Worker实例列表”的问题。修复“秒级别广播任务执行停止指令...
创建倍速转码任务
提交任务数超过并发或计算资源不足出现排队时，客户指定的低优先级任务，会在高优先级任务之后处理，相应处理耗时更长。倍速转码方案原理 在不考虑排队、传输带宽问题时，通常 视频流处理 是 花费时间最多的环节，也是转码提速攻克的重点。...
任务运行诊断
任务实际执行时，除了受数据开发（DataStudio）中定义的定时调度时间影响外，还受多方因素影响。例如，上游任务的定时时间、上游任务实际执行完成时间、...说明 仅当任务配置了监控报警时，才会出现该诊断信息。详情请参见 任务报警信息诊断。
计划内事件常见问题
重要 如果实例为集群或读写分离架构，涉及切换的每个分片均会出现连接闪断和30秒内的只读状态。会短暂影响 DMS 和 DTS 的使用，完成迁移后会自动恢复正常。完成迁移 实例对应的任务从计划内事件中被移除。无影响，实例的可用区、账号、网络...
- 产品推荐
- 这些文档可能帮助您