工作原理
弹性伸缩通过定时任务来自动执行伸缩规则。③ 伸缩组+实例配置来源+伸缩规则+报警任务 在基础配置方式上（即①），您需要创建伸缩规则，再创建报警任务。弹性伸缩通过报警任务来自动执行伸缩规则。弹性伸缩示意图 弹性伸缩支持为伸缩组关联...
任务管理
说明 正在执行任务的机器重启，任务会变成失败状态，如果想立即重跑，可以配置该参数。0 实例失败重试间隔 通用 每次失败重试的间隔。单位：秒。30 实例并发数 通用 同一个Job同一时间运行的实例个数。1表示不允许重复执行。1 子任务单机...
任务管理
说明 正在执行任务的机器重启，任务会变成失败状态，如果想立即重跑，可以配置该参数。0 实例失败重试间隔 通用 每次失败重试的间隔。单位：秒。30 实例并发数 通用 同一个Job同一时间运行的实例个数。1表示不允许重复执行。1 子任务单机...
如何在SchedulerX 2.0平台上托管XXL-JOB任务
海量任务和精准调度 开源XXL-JOB基于分布式数据库锁保证只有一个节点执行任务，对于数据库有压力。据统计，当任务超过1万，且都是分钟级别的任务时，会有比较明显的调度延时。如果是秒级别任务，延时更加明显。SchedulerX 2.0采用分布式...
XxlJob任务
海量任务、精准调度 开源XXL-JOB基于竞争数据库锁保证只有一个节点执行任务，对于数据库有压力。据统计，当任务超过1万，都是分钟级别的任务时，就会有比较明显的调度延时，如果是秒级别任务，延时就更加明显。SchedulerX 2.0采用分布式...
配置逻辑表调度属性
空跑调度：按照调度周期的时间配置调度，但都是空跑执行（即不会真实跑数据），即当调度到该任务时便直接返回成功，没有真正的执行任务。通常用于当某一个节点在一定时间内不需要执行，并且不阻塞他的下游节点执行时，可选择此类型调度。...
配置逻辑表调度属性
空跑调度：按照调度周期的时间配置调度，但都是空跑执行（即不会真实跑数据），即当调度到该任务时便直接返回成功，没有真正的执行任务。通常用于当某一个节点在一定时间内不需要执行，并且不阻塞他的下游节点执行时，可选择此类型调度。...
依赖关系
上游A是小时任务，下游B是日任务，任务每天在A任务全部执行完成后要汇总执行一次，小时任务运行到第二天，天任务是否会运行，参数是否会影响 日任务B直接依赖小时任务A当天的实例，日任务B会汇总当天的小时任务。如果小时任务完成最后一个...
一键实时同步至AnalyticDB for MySQL 3.0
一键实时同步至 AnalyticDB for MySQL 3.0方案支持全增量一体化同步，先...后续步骤 完成任务配置后，您可以对已创建的任务进行管理、执行加减表操作，或对任务配置监控报警，并查看任务运行的关键指标等。详情请参见：全增量同步任务运维。
任务管理高级配置参数说明
任务管理高级配置参数说明如下：参数 适用的执行模式 解释 默认值 实例失败重试次数 通用 任务运行失败自动重试的次数。0 实例失败重试间隔 通用 每次失败重试的间隔。单位：秒。30 实例并发数 通用 同一个Job同一时间运行的实例个数。1...
数据归档至Lindorm
后置行为 否 若您选中 清理原表已归档数据（delete-无锁），则在归档完成后，系统将自动执行归档后的源表数据删除操作，可以通过无锁数据变更的 DELETE 语句完成。但删除源表的同时，源库中会生成存储此次归档数据的备份临时表，请保证源库...
数据归档至Lindorm
后置行为 否 若您选中 清理原表已归档数据（delete-无锁），则在归档完成后，系统将自动执行归档后的源表数据删除操作，可以通过无锁数据变更的 DELETE 语句完成。但删除源表的同时，源库中会生成存储此次归档数据的备份临时表，请保证源库...
使用DMS进行数据归档
后置行为 否 若您选中 清理原表已归档数据（delete-无锁），则在归档完成后，系统将自动执行归档后的源表数据删除操作，可以通过无锁数据变更的 DELETE 语句完成。但删除源表的同时，源库中会生成存储此次归档数据的备份临时表，请保证源库...
任务中心
任务中心主要是对离线、在线模型自动化调度运行进行任务式管理，每次任务调度时，都将按照模型设置好的参数和数据自动进行运行，通过任务状态监控单次任务的健康情况。在线服务 在线服务模块展示并管理用户添加的服务，已创建的服务支持...
文档更新动态（2023年）
新增SQL执行超时时长，默认为30分钟，准备语句或结束语句执行时间超过该配置时长则置任务失败。新增无流量时间阈值，默认为30分钟，如集成任务进程中无读取或写入数据的持续时长超过该配置，则置任务失败。更新说明 离线集成管道通道配置 ...
功能更新动态（2023年）
新增SQL执行超时时长，默认为30分钟，准备语句或结束语句执行时间超过该配置时长则置任务失败。新增无流量时间阈值，默认为30分钟，如集成任务进程中无读取或写入数据的持续时长超过该配置，则置任务失败。离线集成管道通道配置 通过整库...
导购任务
数据统计 统计导购员的执行任务情况：数据概览，展示当前任务的导购执行统计总览，内容包括：执行情况 应执行导购数：需执行该任务的导购总数 完成导购数：完成任务的导购总数 完成率：（完成导购数/应执行导购数）*100%目标客户数：本次...
配置并管理实时同步任务
本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制...
时间属性配置说明
调度周期 调度周期即任务在调度场景下自动执行的周期数，用于定义在生产环境调度系统中，多久会真实执行一次节点中的代码逻辑。调度任务会根据调度类型及周期数生成相应的周期实例（例如，小时调度任务每天会根据周期数产生相应数量的小时...
离线同步任务调优
离线任务由调度资源组下发至引擎执行，因此，当离线任务调度资源组执行任务数到达上限，则需要等待资源组上执行的任务执行结束，释放资源。您可以在 运行诊断 页面查看当前任务等待资源时，哪些任务占用资源。说明 若使用公共调度资源组，...
运行配置
超时配置 若任务运行超时，即单次运行总时长超过设置阈值仍未完成时，运行任务将会自动终止并置为失败。支持对以下3类任务设置运行时长阈值：任务类型 说明 一次性运行 包括即席查询、计算任务试运行、逻辑表冒烟测试、集成任务试运行等...
运行配置
超时配置 若任务运行超时，即单次运行总时长超过设置阈值仍未完成时，运行任务将会自动终止并置为失败。支持对以下3类任务设置运行时长阈值：任务类型 说明 一次性运行 包括即席查询、计算任务试运行、逻辑表冒烟测试、集成任务试运行等...
MSE Serverless实例自动升级
自动升级计划任务执行过程中，将会通过事件中心透出相应事件。您可以在MSE控制台事件中心中进行查看，并且可以在云监控中进行告警配置。详细内容，请参见 MSE事件中心概述。事件类型 事件名称 实例维护 Nacos实例版本升级 ZooKeeper实例...
更新伸缩配置中的镜像
在您设置的时间自动执行更新镜像任务，您可以在任务列表中查看源ECS实例的信息和任务执行情况。任务执行成功后，在 伸缩配置 页签下查看结果。伸缩配置中的镜像名称为 UpdateImage_from_<源ECS实例ID>_on_<更新镜像任务ID>的格式，表明已...
快速入门
按消费金额分摊 选择“按消费金额分摊”，无需填写比例，运行任务时候会分摊对象的消费金额所占比例进行分摊。步骤五：查看成本和账单的可视化视图 基于账单明细和成本明细，进行图或表的可视化显示，帮助用户基于不同维度分析成本，详情请...
数据归档至AnalyticDB PostgreSQL版
后置行为 否 若您选中 清理原表已归档数据（delete-无锁），则在归档完成后，系统将自动执行归档后的源表数据删除操作，可以通过无锁数据变更的 DELETE 语句完成。但删除源表的同时，源库中会生成存储此次归档数据的备份临时表，请保证源库...
周期任务基本运维操作
任务运行问题诊断 问题现象：当任务到定时时间，但还未运行时，可能原因是该节点所有依赖的父节点还未运行成功、任务定时时间未到、项目下没有足够的调度资源可让任务运行、任务被冻结等。问题排查：建议您先通过DAG面板中的 上游分析 功能...
管理运行任务
用户在基因分析平台中成功创建运行任务后，系统会自动进行解析和执行，直到完成或者失败。在此过程中，用户可以随时查看运行任务的执行进度，任务日志和性能监控等情况。查看运行任务 平台提供运行任务详情页面，展示运行任务状态和执行...
配置离线管道调度依赖
上游依赖 自动解析 集成任务上游依赖，您可以单击 自动解析，Dataphin将根据集成任务自动解析获取上游任务和输出表。解析后将在上游依赖列表中添加解析出来的全部依赖表。您可查看解析出的依赖表详情或进行编辑和删除操作。更多信息，请...
任务常见问题
任务失败，报错“jobInstance=xxx don't update progress more than 60s”正在运行任务的Worker停止工作或者发布时，超过60秒没有汇报进度时，会被服务端强制终止。如果确定问题由Worker引入或者该Worker已经不存在，则无需处理。任务执行...
全增量同步任务运维
您可以单击 操作 列 更多>修改配置，进入任务配置界面进行增加或删除表，配置完成后，您可以单击 提交执行，提交执行任务时，会和上一次运行成功的任务对应的表做对比，当发现新增表时则会执行新增表的添加流程。详情请参见：增加或删除已...
数据归档至专属存储
系统自动执行此任务，您需要等待任务状态从 正在执行 变为 执行成功，此执行过程耗时长短与您归档数据的存储量有关。说明 文件合并任务执行完成后，系统会自动将数据源替换为合并后的文件。查询文件合并后的数据。具体操作，请参见 查询...
数据归档至RDS MySQL
工单审批通过后，系统自动执行数据归档任务，等待归档任务执行完成。若任务执行失败，您可在工单的执行区域，单击操作列下的详情，查看归档任务日志，找出任务执行失败的原因。若是由于网络或数据库连接失败等偶然发生的问题，您也可以单击...
配置任务调度
调度类型 正常调度：按照调度周期配置的定时时间启动调度，正常执行任务（即会真实跑数据）。暂停调度：按照调度周期配置的定时时间启动调度，但节点状态被置为暂停（即不会真实跑数据）。空跑调度：按照调度周期配置的定时时间启动调度，...
同数据库归档
工单审批通过后，系统自动执行数据归档任务，等待归档任务执行完成。若任务执行失败，您可在工单的执行区域，单击 操作 列下的 详情，查看归档任务日志，找出任务执行失败的原因。若是由于网络或数据库连接失败等偶然发生的问题，您也可以...
运行及排错
提交节点后，需要到第2天才能看到调度系统自动执行的结果。DataWorks为您提供测试运行、补数据和周期运行三种触发方式，帮助您确认实例运行的定时时间、相互依赖关系、数据结果产出是否符合预期。测试运行：手动触发方式。如果您仅需要确认...
一键MaxCompute任务出错恢复
强制重跑执行完成后，如果次日数据未产出或者Merge任务没有恢复自动运行时，您需要手动确认并恢复该Merge实例的运行：实时任务如果有延迟，解决延迟问题。详情请参见 实时同步任务延迟解决方案。如果上一周期的实例未运行或者运行失败，您...
任务常见问题
任务失败，报错“jobInstance=xxx don't update progress more than 60s”正在运行任务的Worker停止工作或者发布时，超过60秒没有汇报进度时，会被服务端强制终止。如果确定问题由Worker引入或者该Worker已经不存在，则无需处理。任务执行...
任务常见问题
任务失败，报错“jobInstance=xxx don't update progress more than 60s”正在运行任务的Worker停止工作或者发布时，超过60秒没有汇报进度时，会被服务端强制终止。如果确定问题由Worker引入或者该Worker已经不存在，则无需处理。任务执行...
配置任务监控报警规则
说明 Dataphin会自动重试运行任务，直至重试次数耗尽。如果任务运行仍然出错，才会触发告警。未完成：设置未完成须设置监控的对象类型以及未完成的时间点（即触发条件），超过该时间点未运行完成则告警。监控的对象支持 监控日/周/月调度...
- 产品推荐
- 这些文档可能帮助您