改密任务
停止 如果在某段时间内无需使用某个或多个任务，您可以执行停止任务操作。在 改密任务 页面，选中需要停止的改密任务，单击 停止。停止任务后，改密任务的状态将变更为 已取消，该任务将不会再自动执行，您也无法立即执行该任务。启用 如果...
如何在SchedulerX 2.0平台上托管XXL-JOB任务
例如，很多报表任务是凌晨1点或者2点开始，需控制应用最大并发的任务数量（否则业务无法支撑），达到并发上限的任务会在队列中等待。若同时要求早上9点前必须完成KPI报表，可以设置KPI任务高优先级，高优先级任务会抢占低优先级任务，从而...
概述
任务调度 TS（Task Scheduler）提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化对金融企业不同业务系统的任务进行统一的调度和全方位监控运维管理，达到所有任务有序、高效运行的目的，极大降低开发和...
全球消息路由
批量启停任务 云消息队列 RocketMQ 版 支持批量启停任务，当您的业务使用了多个消息路由任务，为了提高维护操作效率，您可以使用批量启停功能一键启停多个任务。在 全球消息路由 页面的任务列表中，选中需要批量启停的多个任务，单击列表...
常见问题
目前Proxima CE不支持相同输入doc的多个任务同时执行，因为多个任务同时执行会导致索引的坏写，比如A任务写了某份索引，B任务会覆盖，这样会导致各种问题，常见问题如下：底层OSS Volume Filesystem相关的错误。build过程失败，提示 jni ...
查看并管理手动任务
手动任务是已提交至运维中心，且调度类型为手动节点的任务。手动任务不会自动运行，只有手动触发运行才会生成实例。本文为您介绍手动任务运维功能。手动任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照...
调度策略
对于优先级在1至6之间的任务，则采用 遍历策略 进行调度，并且这些任务在队列中的位置将随着排队时间的增加而逐步前移，最多可前移至6级任务的位置。其中：Item1、Item2优先级≥7；Item3~ItemN优先级。相关文档 在创建资源配额时，您可以...
补数据
补数据基于任意任务流的发布态版本，可通过指定业务时间或业务范围时间，生成一个或多个任务流实例（运行某条任务流的记录）。本文为您介绍如何给任务流补数据。使用场景 电商公司在多个时间段进行促销活动，需要分析促销活动带来的营收、...
工作流配置
当任务被移动到结束状态时，自动被标记为完成，可设置或添加多个任务列表在结束状态。③ 点击「添加状态」按钮，可进行列表状态的新增。④ 流转设置规定了勾选下的任务列表中的任务可以被拖动到哪一个任务列表下，对应不同的状态。⑤ 通过...
集成与开发概览
您可以通过创建一个或多个任务节点组成的任务流，实现复杂的任务调度，提高数据开发效率。数仓开发。更多信息，请参见 创建项目空间。数仓开发主要用于沉浸式数据仓库开发，您可以通过创建项目空间，选择数仓引擎和环境，进而创建多个数仓...
热词分析
如上图所示，周期性任务的任务结果，在一次性任务的任务结果基础上，多了以下两个功能：查看某个热词在多次任务结果中的变化趋势 热词变化率TOP5 热词变化率：本次任务结果中的热词次数与上一次任务结果中的热词次数相比的变化情况；...
执行补数据并查看补数据实例（新版）
搜索任务 通过名称或ID搜索，添加一个起始任务，以及一个或多个结束任务，平台将根据起始及结束任务分析中间任务（即中间任务为起始任务的直接或间接下游任务，为结束任务的直接或间接上游任务）。中间任务列表 平台根据起始任务及结束任务...
基本概念
任务模板和任务的关系，类似面向对象程序设计中的类和对象的关系，任务模板是静态的概念，任务是动态的概念，可以根据单个任务模板批量创建多个任务。任务记录 任务执行的记录。可以查看和删除创建过的任务的执行记录，并支持通过状态筛选...
数仓开发任务流
每个项目空间内可以创建多个业务场景，每个业务场景下又可添加多个任务流，用于实现复杂的数据处理和任务调度。前提条件 已创建项目空间。具体操作，请参见 创建项目空间。创建数仓开发任务流 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 ...
CreateJob-创建任务
key1=value1,key2=value2 SuccessPolicy string 否 分布式多机任务的成功策略，目前只有 Tensorflow 的多机任务支持。ChiefWorker：当指定为这个值的时候，只要 Chief 的 pod 成功结束，那么就认为整个任务成功结束。AllWorkers（默认值）...
迁移时源库为PolarDB-X 2.0的注意事项及限制
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的表，分批配置多个任务，或者配置整库的迁移任务。如需进行增量迁移，Binlog日志：需开启，并且binlog_row_image为full。否则预检查阶段提示报错，且无法成功启动数据迁移...
开始模型训练
您在同一个画布中发起多个任务时，新任务产生的输出表将覆盖旧任务的输出表。如需保存指定任务的输出表，可在 任务列表 中，单击任务后的 点击保存，保存指定任务。说明 只能保存最新的一条任务，且该任务必须已执行成功。如果任务已被覆盖...
并发数和构建时长
计费规则 流水线是由多个任务组成，而一个任务则是由多个步骤组成 如下图所示，该流水线包含两个任务：Java 构建上传 主机部署 而”Java 构建上传”任务包含两个步骤：Java 构建 构建物上传 Flow 根据 任务 的运行状态来统计企业并发数和...
概述
您可以通过创建一个或多个任务节点组成的任务流，实现复杂的任务调度，提高数据开发效率。背景信息 随着互联网和物联网的飞速发展、数据规模急剧增长、数据来源多样化，同时数据分析需求及业务流程复杂性不断增加，这使得传统手动处理数据...
同步时源库为MySQL的注意事项及限制
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务。Binlog日志：RDS MySQL默认已开启Binlog，您需确保binlog_row_image的值为full，否则预检查阶段提示报错，且无法成功...
查看并管理脚本任务
脚本任务页面包含计算任务、同步任务和集成任务，每个任务对应一个调度节点，本文以节点视角为您介绍如何查看并管理脚本任务。脚本任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 ...
触发器
建议您使用变量，否则多个任务的输出结果会互现覆盖。具体操作，请参见 变量。服务角色 授权给IMM服务以访问其他云资源（例如OSS）的权限，建议使用服务角色 AliyunIMMBatchTriggerRole。没有服务角色时，您可以在 云资源访问授权 页面创建...
Tensorboard
您可以单击 添加 按钮，为每个Tensorboard挂载多个Summary目录，以便跨多个任务比较各项指标。资源配置 支持选择以下两种资源类型：资源类型 描述 免费资源 提供一定的免费实例额度。付费资源 超出免费额度时，您可以选择使用付费资源来...
快速上手
流水线阶段 id，唯一标识流水线阶段 stages.<stage_id>.name 流水线阶段的展示名称 stages.<stage_id>.jobs 流水线任务，流水线任务 job 可以为多个步骤 steps 的组合（多个步骤共享工作空间，共同完成指定任务），或一个组件 component 的...
批处理
建议您使用变量，否则多个任务的输出结果会互相覆盖。具体操作，请参见 变量。服务角色 授权给IMM服务以访问其他云资源（例如OSS）的权限，建议使用服务角色 AliyunIMMBatchTriggerRole。没有服务角色时，您可以在 云资源访问授权 页面创建...
离线任务监控概述
任务级监控：在任务级下您可为多个任务配置相同的监控报警规则，也可为一个任务配置多个不同的监控报警规则。配置任务级监控，请参见 配置任务监控报警规则。项目级监控：在项目级下您可为当前项目中所有任务或通过任务类型（任务类型+调度...
离线任务监控概述
任务级监控：在任务级下您可为多个任务配置相同的监控报警规则，也可为一个任务配置多个不同的监控报警规则。配置任务级监控，请参见 配置任务监控报警规则。项目级监控：在项目级下您可为当前项目中所有任务或通过任务类型（任务类型+调度...
任务类型
1.背景 一个作业（Job）由一组任务（Task）及其依赖关系组成，每个任务可以有一个或多个执行实例（Instance）。具体详情看 名词解释。目前的任务类型分为两种：并发任务和 DAG(Directed Acyclic Graph)任务。2.任务概述 2.1 并发任务 ...
任务配置
将任务节点连线，形成工作流当任务流中包含多个任务节点时，连线上游节点的输出，将自动作为下游节点的输入数据集。保存工作流并发布运行。任务节点说明 下文为您说明各任务节点的配置，您可根据业务需求选择一个或多个节点构建所需任务流...
为OSS投递任务（新版）设置告警
日志服务已内置监控规则模板，您只需添加对应的告警规则即可实时监控OSS投递任务，并可通过钉钉等渠道接收到告警通知。本文介绍设置告警的相关操作。前提条件 已创建OSS投递任务。具体操作，请参见 创建OSS投递任务（新版）。步骤一：开启...
为MaxCompute投递任务（新版）设置告警
日志服务已内置数据投递监控规则模板，您只需添加对应的告警规则即可实时监控MaxCompute投递任务，并可通过钉钉等渠道接收到告警通知。本文介绍设置告警的相关操作。前提条件 已创建MaxCompute投递任务。具体操作，请参见 创建MaxCompute...
Spring任务
Spring定时任务为您在Java体系下定时任务开放提供了便捷方式，但其便捷的同时也有很多企业化场景下的局限性。通过对接SchedulerX任务调度可快速实现企业化运用的支持。前提条件 客户端1.7.10及以上版本 采用Spring Boot模式接入SchedulerX...
数据开发常见问题
上游A是小时任务，下游B是日任务，任务每天在A任务全部执行完成后要汇总执行一次，小时任务运行到第二天，天任务是否会运行，参数是否会影响 节点A每天每小时整点执行一次，节点B每天运行一次。如何设置节点A每天第一次运行成功后，节点B便...
Dataphin批量补上游多个任务
问题描述 用户在使用Dataphin过程中，需要对任务上游补数，但是依赖上游任务比较多，需要批量操作。解决方案 可以找到其中一个上游的上游，然后选择补当前及下游任务，选择海量模式，将需要补的任务添加进去。适用于 Dataphin 补数据
如何在SchedulerX 2.0平台上托管XXL-JOB任务
阿里巴巴商业化任务调度平台SchedulerX 2.0兼容XXL-JOB任务接口，支持@XxlJob新注解和@JobHandler老注解方式，您无需修改代码，即可以将XXL-JOB任务在SchedulerX 2.0平台上托管。本文介绍在SchedulerX 2.0平台上托管的优势和方法。...
数据开发概述
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
管理发布任务
基于Dev-Prod开发模式，开发环境生成的规范建模、数据处理、数据集成类任务，需要发布到生产环境进行调度。本文为您介绍如何发布任务及查看任务的发布记录。背景信息 如果您选择了Dev-Prod开发模式，提交后的任务进入 发布 模块的待发布...
管理发布任务
基于Dev-Prod开发模式，开发环境生成的规范建模、数据处理、数据集成类任务，需要发布到生产环境进行调度。本文为您介绍如何发布任务及查看任务的发布记录。背景信息 如果您选择了Dev-Prod开发模式，提交后的任务进入 发布 模块的待发布...
基线管理
如果您需保障重要任务能按时完成，则可使用基线管理功能将重要任务添加至基线并设置承诺时间，系统将根据任务运行情况计算基线任务的预计完成时间。当系统判断基线任务可能无法在承诺时间前完成时，将发出告警。本文为您介绍如何创建和管理...
管理流水线
每个任务都可以被多个任务依赖，也可以依赖多个任务。依赖关系可以通过编辑被依赖方的 前置任务 来进行更改。例如，想取消B对A的依赖，可以单击B的任务节点，将A从B的前置任务中移除。新建任务 该按钮表现为“＋”图标，分别存在于任务节点...
- 产品推荐
- 这些文档可能帮助您