工作流编辑
E-MapReduce工作流支持基于有向无环图（DAG）并行执行大数据作业，您可以通过E-MapReduce控制台管控工作流调度以及查看工作流的执行状态。背景信息 本文为您提供工作流编辑的相关操作介绍，具体如下：新建工作流 编辑工作流 配置工作流调度...
DBS沙箱功能概览
DBS基于Copy Data Management（CDM）技术，推出面向MySQL和Oracle的完整沙箱解决方案。您可以在DBS沙箱功能中快速创建DBS沙箱实例（RDS应急实例），让您的备份数据快速可用，且在沙箱中的读写不会影响到源数据库，同时还可以进行恢复演练、...
使用Azkaban调度MaxCompute
背景信息 Azkaban是一套作业调度系统，可以调度Command、Hadoop MapReduce、Hive、Spark、Pig等类型作业，而且支持自定义Plugin，其中最简单而且最常用的是Command类型。更多Azkaban信息，请参见 Azkaban。您需要将待调度作业依赖的源数据...
调度参数支持的格式
调度参数是DataWorks任务调度时使用的参数，可根据您配置的调度参数取值规则，在每次任务运行时自动替换为真实的取值，实现任务调度时间内参数的动态替换。本文为您介绍调度参数支持的格式及相关使用。背景信息 您可在代码中通过${变量名} ...
产品简介
移动调度中心（Mobile Dispatch Center，MDC）是基于客户端用户业务属性进行用户分组的精细化移动调度服务产品，能快速有效帮助客户达成业务分组灰度测试、A/B 测试、故障调优等目标。产品优势 移动调度中心的产品优势如下：用户级精准调度...
GPU调度概述
本文介绍调度GPU资源的不同方法，包括使用Kubernetes默认GPU调度、提升GPU资源使用率的共享GPU调度、以及加速任务执行的GPU拓扑感知调度。普通GPU调度 申请Kubernetes GPU集群后，通过运行TensorFlow的GPU实验环境，关于如何使用Kubernetes...
工作流使用案例
在Databricks数据开发中，您可以在项目空间的作业编辑中创建一组有依赖的作业，然后创建工作流，按照依赖次序定义执行顺序，Databricks工作流支持基于有向无环（DAG）并行执行大数据作业。前提条件 通过主账号登录 阿里云 Databricks控制台...
Dataphin中小时调度的任务可以依赖天调度的任务吗？
概述 本文主要介绍Dataphin中小时调度的任务能否上游依赖天调度的任务。详细信息 不建议小时调度的任务上游依赖天调度的任务，可能会出现每个小时跑的数据都一样的情况。对于这种情况，建议上游任务也是小时调度。或者上游任务中数据是定时...
如何使用定时任务的灰度
通过label进行灰度调度 基于Label的路由策略，Worker向Server心跳汇报时，可以附加当前Worker的Label。每个任务可以在静态配置或动态运行时，指定调度到某个Label的Worker上。方案一：复制一个灰度任务 复制一个任务，生产的任务指定生产的...
EMR Hive数据整库离线同步至MaxCompute
分区信息 如果要写入的表为分区表，则您可以填入分区列的取值，取值可以是固定值如 ds=20220101，也可以是调度系统参数如 ds=${bizdate}。当任务运行时，会自动根据调度配置做参数替换。说明 分区信息会根据MaxCompute表的实际结构定义确定...
EMR Hive数据整库离线同步至MaxCompute
分区信息 如果要写入的表为分区表，则您可以填入分区列的取值，取值可以是固定值如 ds=20220101，也可以是调度系统参数如 ds=${bizdate}。当任务运行时，会自动根据调度配置做参数替换。说明 分区信息会根据MaxCompute表的实际结构定义确定...
HTTP触发器节点
其他调度系统的触发配置 在外部调度系统中进行触发配置时，您可以通过以下三种方式：Java方式、Python方式或API调用方式。Java方式 安装Java SDK，详情可参见 开始使用。其中，DataWorks的SDK请用下面的pom配置。groupId>...
PostgreSQL节点
DataWorks的PostgreSQL节点可进行PostgreSQL任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用PostgreSQL节点进行任务开发的主要流程。背景信息 PostgreSQL是一款功能强大、灵活的开源关系型数据库管理系统（RDBMS），...
Airflow调度DLA Spark作业
Airflow是比较流行的开源调度工具，可以实现各类工作负载的DAG编排与调度。您可以通过Spark-Submit和Spark-SQL命令行来实现Airflow调度Spark任务。DLA Spark提供了命令行工具包，支持通过Spark-Submit和Spark-SQL方式来提交Spark作业。您...
配置并使用调度参数
调度参数是根据任务调度的业务时间及调度参数的取值格式自动替换为具体的值，实现在任务调度时间内参数的动态替换。本文为您介绍如何配置及使用调度参数，并以ODPS SQL节点为例，讲解调度参数配置完成后使用冒烟测试功能测试调度参数的替换...
数据开发概述
代码在重复运行时若希望获取到运行环境的一些信息，例如日期、时间等，可根据DataWorks调度系统的调度参数定义，动态为代码中的变量赋值。业务日期 指昨天，在离线计算场景下，交易日期为业务发生的日期。DataWorks默认取调度时间内，任务...
Oracle节点
DataWorks的Oracle节点可进行Oracle任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用Oracle节点进行任务开发的主要流程。背景信息 Oracle是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您提供可靠、高效且...
调度配置
例如，每天00:00~23:59的时间段内，每隔1小时会自动调度一次，因此调度系统会自动为任务生成实例并运行。分钟 调度，即每天指定的时间段内，调度任务按间隔时间数的时间间隔运行一次。您可以单击 开始 或 结束 后的 图标，指定运行的开始和...
Dataphin天调度任务如何依赖小时调度任务
概述 本文为您介绍Dataphin中天调度任务依赖小时任务调度是如何调度的。详细信息 判断下游天任务与上游小时任务是否是同周期。同周期：判断上游小时任务是否是自依赖：上游小时任务如果不是自依赖（即小时任务本身没有配置依赖上周期）,则...
SQL Server节点
DataWorks的SQL Server节点可进行SQL Server任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用SQL Server节点进行任务开发的主要流程。背景信息 SQL Server是用于存储和处理数据的关系型数据库管理系统（RDBMS），为您...
调度配置
例如，每天00:00~23:59的时间段内，每隔1小时会自动调度一次，因此调度系统会自动为任务生成实例并运行。分钟 调度，即每天指定的时间段内，调度任务按间隔时间数的时间间隔运行一次。您可以单击 开始 或 结束 后的 图标，指定运行的开始和...
调度中心
本文介绍调度中心功能的具体使用流程，帮助您快速掌握创建、查看及使用调度组。功能简介 调度中心功能可以帮助您实现对迁移任务的自动调度，支持将迁移任务加入调度组，并按照您自定义的调度规则自动执行迁移任务。通常，使用调度中心您...
XxlJob任务
背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是开发迅速、学习简单、轻量级、易扩展，在开源社区广泛流行，已在多家公司投入使用。XXL-JOB开源协议采用的是GPL，因此云厂商无法直接商业化托管该产品，各大中...
实例运行诊断
所有实例运行都需要进行限流规则的诊断，上游依赖及定时时间诊断通过后，需要同时满足所有命中的限流规则才会下发到资源调度系统。如需刷新诊断结果，可单击 刷新图标。如果实例最近1次运行满足上游依赖以及定时时间，且同时满足所有命中的...
实例运行诊断
所有实例运行都需要进行限流规则的诊断，上游依赖及定时时间诊断通过后，需要同时满足所有命中的限流规则才会下发到资源调度系统。如需刷新诊断结果，可单击 刷新图标。如果实例最近1次运行满足上游依赖以及定时时间，且同时满足所有命中的...
使用须知
调度资源管理 调度资源 即DataWorks上的调度资源，调度资源用于执行或分发调度系统下发的任务。DataWorks的调度资源分为如下两种模式，详情请参见 查看资源组列表。默认调度资源。指DataWorks的公共资源池。当DataWorks节点并发量很高，...
配置同周期调度依赖
被推荐的节点需在前一天提交至调度系统，待第二天数据产出后，才可被自动推荐功能识别。因此，自动推荐的节点存在T+1的延迟。本节点输出 本节点的输出是其他节点与本节点建立依赖关系的媒介。其他节点可通过本节点的输出名称找到本节点，并...
创建资源
本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域（Region）中，命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时，需要创建命名空间。应用 在具体的...
Cron
Cron是一款类Unix的操作系统下的基于时间的任务管理系统。您可以通过Cron在固定时间、日期间隔下运行定时任务（可以是命令和脚本）。Cron表达式 Cron的表达式为：秒 分 时 日 月 周[年]为了帮助您理解，下面介绍一些常用的Cron表达式示例。...
离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
数据开发功能索引
批量操作（）：用于快速对表、资源、函数进行批量修改（包括修改责任人、引擎实例、调度资源组、调度重跑属性、调度类型、调度周期、调度超时时间等操作）。导入（）：用于快速将本地数据上传至目标表中。目前仅支持上传数据至MaxCompute表...
故障演练
为此每一层的系统都会面向失败做设计，对下游组件零信任，确保在故障发生时可以快速的发现和处理。但这些措施在故障发生时的有效性、故障恢复工具的真实容灾能力、处理问题人员的熟练度，沟通机制、容灾措施对上层的影响等问题，平时并没有...
数据开发：开发者
步骤九：发布任务 DataWorks仅支持自动调度发布至生产环境的任务，因此在冒烟测试无误后，您需将任务发布至生产环境调度系统进行周期调度。步骤一：新建业务流程 DataWorks以业务流程为中心组织数据开发，通过各类型开发节点的容器看板，将...
离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
索引
OpenAPI问题 接口限流策略是什么?每分可以调用几次?用API创建k8s任务，控制台报错无法打开页面怎么办？支持API创建工作流吗？API触发任务，可以指定单次运行的机器或者Label吗？通过API创建任务成功或者返回错误信息，控制台报错无法打开...
如何使用定时任务的灰度
通过label进行灰度调度 基于Label的路由策略，Worker向Server心跳汇报时，可以附加当前Worker的Label。每个任务可以在静态配置或动态运行时，指定调度到某个Label的Worker上。方案一：复制一个灰度任务 复制一个任务，生产的任务指定生产的...
工作原理
本文介绍定时SQL功能的背景信息、功能简介、基本概念、调度与执行场景、使用建议等信息。背景信息 基于时间的数据（日志、指标）在日积月累后的数量是惊人的。例如每天产生1000万条数据，则一年为36亿条数据。一方面，长时间的数据存储需要...
使用Kettle调度MaxCompute
MaxCompute支持您通过ETL工具Kettle实现MaxCompute作业调度。您可以通过拖拽控件的方式，方便地定义数据传输的拓扑结构。本文为您介绍如何通过MaxCompute JDBC驱动，连接Kettle和MaxCompute项目并调度作业。背景信息 Kettle是一款开源的ETL...
功能发布记录
全部 Knative概述 支持基于ACK One构建混合云同城容灾系统 对于当前业务运行在IDC或第三方公共云的Kubernetes集群中的系统架构，如果希望通过云计算为云下业务提供同城灾备的高可用冗余能力，可利用阿里云分布式云容器平台 ACK One来提供...
巡检任务
巡检任务是巡检规则的聚合载体，并且提供修改规则的执行范围以及调度方式的功能。您可通过巡检任务模块对巡检任务进行统一的管理操作，包括新建、编辑、复制、删除、执行、调度任务等。新建任务 登录高可用管理控制台。在左侧导航栏上，...
- 产品推荐
- 这些文档可能帮助您