Dataphin中如何确认当前任务数有没有超过购买版本的...
针对该疑问，本文主要介绍如何在Dataphin环境确认当前任务数是否超过购买任务规格上线的方法。详细信息 登录Dataphin平台，点击头像“查看用量详情统计”，确认当期数据处理单元的当前用量：数据处理单元统计规则如下，仅统计已提交状态的...
申请跨境数据同步权限
在购买任务阶段，单击 购买并启动。在弹出的对话框中，单击链接进入跨境数据同步权限的申请页面。阅读DTS跨境数据同步数据合规承诺，并勾选相应条款。单击 提交。说明 系统将自动进行审批，请刷新页面后继续操作。后续步骤 跨境数据同步...
配置任务常见错误码及排查方法
解决方法：购买任务后再启动。DTS.Msg.CheckJobFailed.ServerUnAvailable 配置任务过程中。原因：由于系统无法连接任务运行的服务器节点，导致无法检测服务器节点到源或目标库的网络是否通畅。解决方法：请联系技术支持解决。DTS.Msg....
购买流程
数据传输服务DTS（Data Transmission Service）支持先配置再购买和先购买再配置两种创建任务方式。若您需要随用随配，建议您选择先配置再购买的方式；若您需要先锁定财务预算而不需要配置任务，建议您选择先购买再配置的方式。本文介绍数据...
配置数据校验
未购买校验任务（先配置再购买）：预检查通过率 显示为 100%时，依次单击 下一步购买、阅读并勾选《数据传输（按量付费）服务条款》、单击 购买并启动、单击 确定。在DTS同步或迁移实例中配置数据校验 进入 校验配置 页面。说明 若您使用的...
配置Serverless实例
本文介绍如何配置数据传输服务DTS（Data Transmission Service）Serverless实例，帮助您创建...购买方法，请参见 购买Serverless任务。如何区分Serverless实例？在 同步任务 列表页面中，付费类型 为 Serverless 的实例即为Serverless实例。
云数据库MongoDB版（分片集群架构）间的双向同步
如您先购买后配置DTS任务，则需要在购买DTS任务时填写其正确的Shard数量。注意事项 类型 说明 源和目标库的限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据同步速率。待同步的集合需具备主键或唯一约束，且字段具有...
云数据库MongoDB版（分片集群架构）间的双向同步
如您先购买后配置DTS任务，则需要在购买DTS任务时填写其正确的Shard数量。注意事项 类型 说明 源和目标库的限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据同步速率。待同步的集合需具备主键或唯一约束，且字段具有...
任务管理
本文介绍如何在任务管理页面对调度任务进行一系列操作。创建调度任务 重要 创建任务前，请确保您已经创建了任务分组。更多信息，请参见 应用管理。登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，选择 任务管理。在 任务...
产品功能
通过SchedulerX可以管理定时调度任务、查询任务执行记录和运行日志。本文介绍SchedulerX调度、执行和运维三个方面的功能。定时调度 Crontab 支持Unix Crontab表达式，不支持秒级别调度。更多信息，请参见 Cron。Fixed rate Crontab必须被60...
如何管理应用级别的资源和任务优先级
对于业务规模较大的应用而言，调度的稳定性和核心任务的时效性是至关重要的。本文介绍如何管理应用级别的资源和任务优先级。背景信息 一些第三方的资源管理系统（例如Mesos和Yarn），能够实现CPU和内存级别的资源管控，而您使用自己的...
API概览
本产品（分布式任务调度/2019-04-30）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，...
可视化MapReduce模型
您无需修改后端代码，只需在SchedulerX控制台将分布式模型改为可视化MapReduce，即可新增一个子任务列表页面，并且可以查看每个子任务的详情、结果和日志，同时支持每个子任务级别的重跑。注意事项 仅专业版支持。子任务个数不能超过1000个...
任务常见问题
本文介绍如何处理使用SchedulerX过程中的一些任务管理问题。Spring应用找不到Bean怎么办？通过应用管理连接机器查看启动方式，确保为Spring或者Spring Boot方式。JobProcessor 要注入为 bean，比如加@Component 注解。排查Pom依赖如果依赖 ...
XxlJob任务
SchedulerX 2.0兼容XXL-JOB任务接口，支持@XxlJob 新注解和@JobHandler 老注解方式，您不需要修改代码，即可将XXL-JOB任务在SchedulerX 2.0平台上进行调度。背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是...
Spring任务
Spring定时任务为您在Java体系下定时任务开放提供了便捷方式，但其便捷的同时也有很多企业化场景下的局限性。通过对接SchedulerX任务调度可快速实现企业化运用的支持。前提条件 客户端1.7.10及以上版本 采用Spring Boot模式接入SchedulerX...
如何创建秒级调度任务
秒级任务适合对实时性要求比较高的业务，例如不停做轮询的准实时业务，通过内存网格和秒级调度，可以让您不停地处理海量的数据。本文介绍如何创建秒级调度任务并将设置固定延迟。SchedulerX的秒级别任务属于定时调度类型，适用于简单Java...
索引
任务失败，报错“ClassNotFoundException”任务失败，报错“jobInstance=xxx don't update progress more than 60s”如何排查任务失败的原因？任务运行中卡住怎么办？如何排查任务运行慢的原因？任务运行实例达到上限怎么办？任务上一次没...
执行列表
您可以通过执行列表查看当天任务执行情况，分为任务实例列表和流程实例列表。查看执行列表 说明 SchedulerX基础版中任务实例记录只支持查看10条，专业版支持查询100条任务实例记录。登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧...
任务管理高级配置参数说明
本文介绍任务管理中的高级配置参数。任务管理高级配置参数说明如下：参数 适用的执行模式 解释 默认值 实例失败重试次数 通用 任务运行失败自动重试的次数。说明 正在执行任务的机器重启，任务会变成失败状态，如果想立即重跑，可以配置该...
如何指定标签
本文介绍如何为任务指定标签。应用场景 主要应用在灰度、压测等场景。同一个应用分组下的机器，部分机器可能要用于灰度或者压测，任务实现类和线上其他机器不一致。任务调度时，机器被随机分配，所以灰度任务被分配到正常机器时，可能无法...
常见问题
任务失败，报错“ClassNotFoundException”任务失败，报错“jobInstance=xxx don't update progress more than 60s”如何排查任务失败的原因？任务运行中卡住怎么办？如何排查任务运行慢的原因？任务运行实例达到上限怎么办？任务上一次没...
Second delay
本文介绍Second delay的使用场景及使用方式。...查看秒级别任务的统计信息 Second delay任务创建完成后，任务实例详情 页面会出现一个 秒级任务统计详情 页签，展示如下信息。当天任务实例运行结果 昨天任务实例运行结果 最近10次运行结果
DataWorks任务
SchedulerX可支持定时调度DataWorks任务，并将DataWorks任务与其他任务在SchedulerX上进行混合依赖编排，完成相应的定期任务数据处理。前提条件 SchedulerX客户端升级至1.3.4及以上版本。接入客户端，将具备访问DataWorks（需开通企业版）...
专业版公测（2022年01月26日）
阿里巴巴分布式任务调度平台SchedulerX 2.0的专业版于2022年01月26正式公测，本次公测带来了全新的可视化功能，兼容开源XXL-JOB任务，支持一次性任务，融合大数据DataWorks任务。可视化 日志服务 在当前微服务和容器化越来越流行的情况下，...
脚本任务
本文介绍如何在创建任务时通过编写Shell、Python或Go脚本创建脚本任务。创建脚本任务 步骤一：选择脚本语言 在 任务管理 页面创建任务，具体操作，请参见 任务管理。任务类型 选择 脚本任务，然后选择 脚本语言。当前支持的脚本语言类型：...
如何在SchedulerX 2.0平台上托管XXL-JOB任务
阿里巴巴商业化任务调度平台SchedulerX 2.0兼容XXL-JOB任务接口，支持@XxlJob新注解和@JobHandler老注解方式。您无需修改代码，即可以将XXL-JOB任务在SchedulerX 2.0平台上托管。本文介绍在SchedulerX 2.0平台上托管的优势和方法。功能优势...
K8s任务
在使用体验上，相较于Argo，SchedulerX更为便捷易用，尤其是在运行时，它提供了可视化的工作流图展示，能够清晰地追踪任务进度，方便快速识别和定位任务受阻的具体环节，如下图所示显示出具体的任务失败：报警监控 通过SchedulerX对您的Pod...
和开源产品对比
可运维 无 启用、禁用任务 启用、禁用任务、手动运行任务、停止任务 启用、禁用任务、手动运行任务、停止任务、标记成功、重刷历史数据 报警监控 无 邮件 邮件 邮件、钉钉、飞书、企业微信、自定义WebHook、短信、电话 高可用及容灾 需要...
HTTP任务
任务名解析 如果任务名是中文，后端可通过 URLDecode.decode(jobName,"utf-8")解码。如何创建HTTP任务 您可以通过GET和POST两种请求方式，创建HTTP任务。GET 使用GET请求方式需要在客户端中添加配置，然后在控制台中创建任务。第一步：基本...
如何使用定时任务的灰度
方案一：复制一个灰度任务 复制一个任务，生产的任务指定生产的标签，灰度任务指定灰度的标签，通过灰度的任务进行灰度测试。方案二：一个任务通过自动调度和手动调度来进行灰度 如果您希望在灰度发布时，将定时任务在灰度机器上 运行一次 ...
UpdateJob-更新任务配置信息
更新任务配置信息。默认先调用获取任务找到对应字段进行修改。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 调试 授权信息 当前API暂无授权信息透出...
ExecuteJob-触发一次任务
触发一次任务立即运行。接口说明 说明 因为 JobID 联合 ScheduleTime 是唯一索引，所以同一个任务连续调用ExecuteJob接口的时，每次要sleep一秒，否则任务有可能会失败。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的...
Java任务
Java调度任务可以在您的应用进程中执行。本文介绍如何管理Java类型的任务。执行模式 Java任务类型支持单机、广播、可视化MapReduce、MapReduce和分片运行模式：单机：在同一个 groupId 下的机器随机挑一台执行。广播：同一个 groupId 下的...
如何使单应用支持十万以上的定时任务
在SchedulerX中创建的应用默认最多只支持1,000个任务，而在某些场景下1,000个任务远远满足不了业务需求。另外，实际业务场景中，不同定时任务的调度时间可能不一样。本文介绍如何通过一系列配置，使单应用能够支持上万，甚至十万以上的定时...
兼容Spring定时任务
本文介绍如何在SchedulerX 2.0平台兼容Spring定时任务以及SchedulerX 2.0的优势。背景信息 Spring定时任务为您在Java体系下定时任务提供了便捷方式，但其便捷的同时也有很多企业化场景下的局限性。例如，需自行解决集群中重复执行问题、...
如何重刷数据
重刷调度任务 如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明 任务和工作流都支持重刷数据（只支持天级别的调度周期）。如果您之前执行的某个调度...
多语言版本分片模型
SchedulerX可以对多重任务进行调度（定时、编排、重刷历史数据等），提供Java、Python、Shell和Go等多语言分片模型，帮助您处理大数据业务需求。背景信息 分片模型主要包含静态分片和动态分片。静态分片：主要场景是处理固定的分片数，例如...
如何在SchedulerX 2.0平台上托管ElasticJob任务
分布式任务调度SchedulerX 2.0兼容开源ElasticJob任务接口，您无需修改代码，即可将ElasticJob任务在SchedulerX 2.0平台上进行托管。本文介绍如何在SchedulerX 2.0平台上托管ElasticJob任务。背景信息 ElasticJob基于Quartz开发并且依赖...
如何设置数据时间
SchedulerX可以处理有数据状态的任务，您可以通过数据时间处理非任务执行时间的数据。操作步骤 例如一个任务在每天00:30运行，但是实际上要处理前一天的数据，即数据时间需要在任务时间的基础上，向前偏移一小时。在客户端中接入SchedulerX...
- 产品推荐
- 这些文档可能帮助您