数据集成侧同步任务配置
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。后续步骤 完成任务配置后，您可以对已创建的任务进行管理、执行加减表操作，或对任务...
一键实时同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤七：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
一键实时同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤七：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
Dataphin中周期任务在运行时为何会出现等待资源问题
问题描述 夜间周期性任务出现高并发时，运行过程中有些任务会出现等待资源问题，原本只需要几十秒的任务，有时需要20多分钟，为什么会出现这种情况？是否有改善的方案？问题原因 任务会出现等待资源问题是由于mesos资源分配不足导致的。...
等待资源
为什么会出现等待资源？为什么任务一直在等待gateway调度资源？为什么数据集成任务一直显示wait？为什么会出现等待资源？问题现象 调度将任务下发到对应执行引擎上，此过程可能会出现以下等待资源问题：等待调度资源组。数据集成任务等待...
MySQL一键实时同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击操作列的 ...
MySQL一键实时同步至MaxCompute
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击操作列的 ...
一键实时同步至Kafka
例如，CPU、内存、网络等互相影响，可能会导致离线任务变慢或实时任务延迟等问题，甚至在资源不足的极端情况下，可能会出现任务被OOM KILLER杀掉等问题。步骤六：执行同步任务 进入 数据集成>同步任务 界面，找到已创建的同步方案。单击...
流程配置
添加串行任务 在流水线编辑页面，鼠标移动到一个任务会出现“+”，可以在该任务的前后添加串行任务，单击打开 选择任务组 面板，选择合适的任务组模板，即可完成串行任务的添加。步骤编排 在流水线编辑页面，单击任务打开任务编辑面板，...
配置任务时提示资源不足怎么办？
本文介绍配置任务过程中，提示资源不足时的处理办法。问题描述 配置任务时，系统...目前不支持跨境的双向同步，若为跨国际站点的任务，则会出现无对应资源的情况。若为其他原因，请使用新版控制台配置任务。DTS新版控制台连接：新版控制台。
流数据分析相关问题
任务为什么会停止运行 任务停止运行的具体原因需查看任务日志，以下列出常见的几种可能原因：SQL语法错误 解决方法：需要在 物联网平台控制台，数据分析>实时数据分析 页面下，具体任务的编辑器页面中校验SQL通过后，再发布任务。...
使用闲时资源
使用 闲时资源 的任务，表示使用已关联Quota外的资源运行任务，可能会出现闲时资源回收而导致任务被停止的情况。请确认代码中包含Checkpoint机制，确保任务可以顺利重新启动续跑。具体操作，请参见 EasyCkpt：AI大模型高性能状态保存恢复。...
新建PAI_DESIGNER任务
调度类型 选择机器学习任务后续调度的类型，支持选择 周期性节点 和 手动节点，详细说明如下：周期性节点：即创建的机器学习任务为周期任务，后续会自动参与Dataphin的调度，更多关于周期任务的描述，请参见 调度方式说明。手动节点：即...
新建PAI_DESIGNER任务
调度类型 选择机器学习任务后续调度的类型，支持选择 周期性节点 和 手动节点，详细说明如下：周期性节点：即创建的机器学习任务为周期任务，后续会自动参与Dataphin的调度，更多关于周期任务的描述，请参见 调度方式说明。手动节点：即...
任务运行诊断
任务实际执行时，除了受数据开发（DataStudio）中定义的定时调度时间影响外，还受多方因素影响。例如，上游任务的定时时间、上游任务实际执行完成时间、...说明 仅当任务配置了监控报警时，才会出现该诊断信息。详情请参见 任务报警信息诊断。
服务端发布记录
本文介绍分布式任务调度SchedulerX产品发布的功能变更，包括新增功能、功能优化、重要问题修复等，帮助您了解SchedulerX的发布动态。发布记录 2024-02-29 功能名称 变更类型 功能描述 相关文档 Java版本SDK v1.11.1 修复 Netty、Logback等...
EMR Doctor常见问题
本文汇总了EMR Doctor使用时的常见问题。哪些集群类型支持EMR Doctor功能？EMR Doctor在安装和升级过程中，是否会对集群组件和集群任务产生影响？EMR Doctor都会采集哪些数据？EMR Doctor收费吗？采集操作会对任务的运行会产生什么影响？...
资源组操作及网络连通
资源组还有剩余资源，为什么会提示任务资源不足无法启动？在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？做数据集成同步前，您需要非常了解以下信息：需要同步的数据库所在的VPC，Vswitch，地域（Region）等信息和DataWorks...
任务运行状态
任务终态，表示机器人正常执行完毕 error 运行错误 任务终态，表示任务执行过程中出错，例如执行中机器人断开、应用本身有错误 unmatch 未分配 只有通过计划任务创建的任务才会出现的任务终态，表示由于指定的机器人数量大于设置的并发数量...
常见问题
目前Proxima CE不支持相同输入doc的多个任务同时执行，因为多个任务同时执行会导致索引的坏写，比如A任务写了某份索引，B任务会覆盖，这样会导致各种问题，常见问题如下：底层OSS Volume Filesystem相关的错误。build过程失败，提示 jni ...
并行网关
在拓扑任务中，您可以添加并行网关实现多个节点并行处理效果，满足业务存在多个独立任务需要并行处理的需求，以此提高整体处理性能。本文将快速引导您如何在拓扑任务中使用并行网关。操作步骤 创建拓扑子任务。创建两个或两个以上的简单或...
托管节点池节点自动恢复
当发现节点故障时，ACK会根据故障原因触发对应恢复任务，并记录相应的事件。当恢复任务完成后，故障状态解除，节点恢复正常状态。当恢复任务完成后，故障状态依然存在，节点会被置为恢复失败状态。说明 如果集群中存在多个节点池，节点池...
历史记录
修复“SchedulerX客户端与Spring Cloud集成时会出现任务运行锁死超时”的兼容问题。修复“广播任务在并发情况下出现执行中断”的问题。修复“秒级别任务在执行过程中未能定时刷新Worker实例列表”的问题。修复“秒级别广播任务执行停止指令...
源为PolarDB-X的任务配置方案
配置 PolarDB分布式版 下多个RDS MySQL至目标库的DTS任务，如其中一个DTS任务发生故障，则不影响其他DTS任务的运行，且只需恢复发生故障的DTS任务即可。稳定性一般。仅配置一个以 PolarDB分布式版 为源的DTS任务，如该DTS任务发生故障，则...
源为PolarDB-X的任务配置方案
配置 PolarDB分布式版 下多个RDS MySQL至目标库的DTS任务，如其中一个DTS任务发生故障，则不影响其他DTS任务的运行，且只需恢复发生故障的DTS任务即可。稳定性一般。仅配置一个以 PolarDB分布式版 为源的DTS任务，如该DTS任务发生故障，则...
Java SDK
修复“SchedulerX客户端与Spring Cloud集成时会出现任务运行锁死超时”的兼容问题。修复“广播任务在并发情况下出现执行中断”的问题。修复“秒级别任务在执行过程中未能定时刷新Worker实例列表”的问题。修复“秒级别广播任务执行停止指令...
补数据
为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况？为什么补数据选择补0点~1点生成了多个实例？为什么进行大量补数据操作时，会出现等待资源情况（实例显示黄色，实例状态为等待资源）？为什么补数据报错调起的节点运行时间不...
调度设置
说明 当 重跑属性 配置为可重跑时，应尽量保证任务的幂等性，避免多次重跑出现数据质量问题。自动重跑次数 周期任务调度执行失败情况下，默认自动重跑的次数。重跑次数最少配置为1（即任务出错后自动重跑1次），最多配置为10（即任务出错后...
2021年
修复“SchedulerX客户端与Spring Cloud集成时会出现任务运行锁死超时”的兼容问题。修复“广播任务在并发情况下出现执行中断”的问题。修复“秒级别任务在执行过程中未能定时刷新Worker实例列表”的问题。修复“秒级别广播任务执行停止指令...
迁移时源库为SQL Server的注意事项及限制
当超出数量限制，会出现稳定性和性能问题的风险，此时建议您拆分待迁移的表，分批配置任务。如需进行增量迁移，数据日志：需开启，备份模式设置为Full，且已成功执行过全量物理备份。如为增量迁移任务，DTS要求源数据库的数据日志保存24...
功能相关问题
任务互斥的作用是什么，是否会造成任务堆叠？互斥的任务，即处在“执行中”或“暂停”状态的任务，即使已经达到下一个任务触发时间点，仍无法再次触发。本次调度状态以“跳过”标记。因此，并不会造成任务堆叠。任务分组的作用是什么？根据...
其他常见问题
单实例部署多个客户端，导致找不到连接 一个实例（ECS、虚拟机、Pod）不允许部署多个 AntScheduler 客户端，否则会出现连接互踢的问题。AntVIP 地址配置错误 问题现象 出现[AntVIPRouter]Get scheduler servers failed 报错。问题原因 ...
运行失败
对于当前版本Proxima CE，对索引的分区是依赖输入的doc表名和分区名的，因此同时跑多个任务时，如果doc表相同，会出现多个任务对同一个Volume下的索引文件有覆盖甚至删除的错误，导致读取MaxCompute Volume失败，类似的也会导致 索引加载...
RDS PostgreSQL同步至RDS MySQL
源库、目标库出现其他问题后的重试时间 在同步任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
配置同步任务（新控制台）
源库、目标库出现其他问题后的重试时间 在同步任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
计量计费
重要 这是一个子任务使用的CPU Core和Memory，一个作业可能会有多个子任务，具体任务数请在下一步骤中获取。基于机器学习作业的Logview，在 Job Details 页签获取任务数和运行时长。如图任务数为2，运行时长为48分钟。综上：本例中使用CPU ...
如何解决全量迁移慢或迁移卡住
说明 普通索引或无索引可能会出现多数据现象。排查目标库：排查账号密码准确性：检查目标库的用户名及密码是否正确。使用配置任务时指定的用户名和密码从远程连接访问目标库，测试数据库能否连通。以MySQL数据库为例，建立连接的命令为 ...
使用DTS迁移实例
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的表，分批配置多个任务，或者配置整库的迁移任务。如需进行增量迁移，WAL日志：需开启，即设置 wal_level 参数的值为 logical。如为增量迁移任务，DTS要求源数据库的WAL...
MyBase MySQL迁移至RDS MySQL
源库、目标库出现其他问题后的重试时间 在迁移任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
RDS PostgreSQL间的数据迁移
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的表，分批配置多个任务，或者配置整库的迁移任务。如需进行增量迁移，WAL日志：需开启，即设置 wal_level 参数的值为 logical。如为增量迁移任务，DTS要求源数据库的WAL...
- 产品推荐
- 这些文档可能帮助您