OSS数据离线同步至MaxCompute
取值可以是调度系统参数，如 ds=${bizdate}，当任务运行时，会自动替换调度系统参数。其他参数保持默认即可。配置字段映射 选择数据来源和数据去向后，需要指定读取端和写入端列的映射关系。您可以选择同名映射、同行映射、取消映射或自动...
OSS数据离线同步至MaxCompute
取值可以是调度系统参数，如 ds=${bizdate}，当任务运行时，会自动替换调度系统参数。其他参数保持默认即可。配置字段映射 选择数据来源和数据去向后，需要指定读取端和写入端列的映射关系。您可以选择同名映射、同行映射、取消映射或自动...
周期任务通用运维概述
周期任务是指调度系统按照调度配置自动定时运行的任务。本文为您介绍周期的脚本任务、明细及汇总表（维度逻辑表、事实逻辑表、汇总逻辑表）任务的通用功能，包括使用说明，支持的调度类型和相关功能说明。使用说明 仅生产环境运维中心支持...
周期任务通用运维概述
周期任务是指调度系统按照调度配置自动定时运行的任务。本文为您介绍周期的脚本任务、明细及汇总表（维度逻辑表、事实逻辑表、汇总逻辑表）任务的通用功能，包括使用说明，支持的调度类型和相关功能说明。使用说明 仅生产环境运维中心支持...
查看并管理周期任务
周期任务是指调度系统按照调度配置自动定时运行的任务。您可以在 运维中心>周期任务 页面查看当前工作空间下的定时调度的任务列表及生产环境调度任务配置详情，并管理周期任务。背景信息 周期任务的创建、发布、运行、暂停调度、下线等任务...
调度周期：年调度
年调度是指调度任务在每年的特定几天，在特定的时间点自动运行一次。例如，调度任务设置为每年一月的最后一天执行。注意事项 在非指定的调度时间内，为保证下游实例正常运行，年调度节点会生成空跑的周期实例。重要 空跑现象：系统直接返回...
调度周期：周调度
任务调度周期是基于单个任务维度的配置，任务最终是否每天调度与任务本身定义的调度周期有关，与上游节点调度周期无关，但上游节点定义的调度时间将影响下游节点实际开始调度的时间。配置示例 配置路径 您需要进入数据开发节点的编辑页面，...
调度周期：月调度
任务调度周期是基于单个任务维度的配置，任务最终是否每天调度与任务本身定义的调度周期有关，与上游节点的调度周期无关，但上游节点定义的调度时间将影响下游节点实际开始调度的时间。月调度支持将 指定时间 配置为 每月最后一天，则每...
任务管理
AliOS Things操作系统内核支持两种调度策略：基于优先级的抢占式调度 该调度策略下，每个任务优先级都维护了一个FIFO模式的就绪队列（ready queue），里面包含了当前所有可运行的任务列表，此列表中的任务都处于就绪状态，当处理器可用时，...
如何接入日志服务
阿里巴巴分布式任务调度系统SchedulerX 2.0提供日志服务，您无需修改代码，只需增加一个Log4j或Logback的配置，即可在控制台看到每次任务调度（包括分布式任务）的业务日志。本文介绍如何通过SchedulerX接入并查看日志服务。前提条件（可选...
依赖关系
配置调度依赖前您需先了解以下内容 什么是调度依赖 为什么要设置调度依赖 DataWorks上如何设置调度依赖？哪些场景不支持设置调度依赖？不需要依赖的表如何删除？调度依赖配置常见问题 提交节点报错：当前节点依赖的父节点输出名不存在 提交...
使用负载感知调度
ACK集群Pro版 调度器的负载感知调度功能会根据节点的实际负载情况，将Pod优先调度到负载较低的节点，以实现节点负载均衡，降低节点故障风险。前提条件 已安装ack-koordinator组件，且版本为1.1.1-ack.1及以上。具体操作，请参见 ack-...
通过ack-co-scheduler组件实现协同调度
与原生的Kubernetes调度器相比，容器服务ACK的调度器扩展出更多其他功能，例如Gang Scheduling、CPU拓扑感知、ECI弹性调度等。本文介绍通过为注册集群安装ack-co-scheduler组件的方式，以实现在您的本地集群中使用阿里云容器服务ACK的调度...
ConfigSchedruleOnDemand-修改代播实例的调度规则
declare RuleSwitch string 是 调度规则的开关状态。取值：on：表示开启。off：表示关闭。on RuleUndoMode string 是 调度规则的停止方式。取值：auto：表示自动停止调度。manual：表示手动停止调度。manual RuleUndoBeginTime string 是 ...
CreateSchedruleOnDemand-为代播实例创建一条调度规则
declare RuleSwitch string 是 调度规则的开关状态。取值：on：表示开启。off：表示关闭。on RuleUndoMode string 是 调度规则的停止方式。取值：auto：表示自动停止调度。manual：表示手动停止调度。auto RuleUndoBeginTime string 是 ...
调度参数配置最佳实践
背景信息 调度参数配置的相关应用场景及最佳实践如下：调度参数配置最佳实践 调度参数在数据集成的典型应用场景 各类型节点的调度参数配置示例：SQL类型节点及离线同步节点 PyODPS节点 通用Shell节点 自定义参数取值差异对比示例：不同格式...
智能解析调度不准问题
使用阿里云解析DNS服务器的域名，如果您设置的智能解析线路出现调度不准的情况，可以参考如下内容进行排查。说明 如果您不知道当前域名是否使用了阿里云解析DNS服务器，请参考 如何获知云解析DNS分配的DNS服务器。1.查看LocalDNS的出口IP ...
通过ack-co-scheduler实现多级弹性调度
在混合云场景下，通过多级弹性调度，可以使您线上线下混合部署的业务能更好的发挥混合云的优势，实现业务高可用，并能根据波峰波谷进行弹性资源申请等。本文介绍如何通过ack-co-scheduler进行多级弹性调度。前提条件 已创建注册集群，并将...
采集数据
注意事项 odps_first 数据源是工作空间绑定MaxCompute计算引擎时，系统根据引擎信息自动生成的默认数据源。配置数据去向为odps_first数据源，代表将源端数据写入至当前工作空间默认绑定的MaxCompute项目。DataWorks与MaxCompute关系及对应...
采集数据
3、配置调度属性 通过以下配置实现调度场景下，每日00:15将存储在OSS的 user_log.txt 文件数据通过数据集成同步至MaxCompute的 ods_raw_log_d 表对应时间分区。配置调度参数：bizdate=$bizdate，获取前一天的日期，格式为 yyyymmdd。配置...
数据风险点监控
在线数据风险点监控 在线业务系统的数据生成过程中必须确保数据质量，根据业务规则对数据进行监控。说明 MaxCompute本身未提供相应的监控工具，您可以借助DataWorks进行监控。详情请参见 概述。您可以对数据库表的记录进行规则校验，制定...
函数计算节点
函数是调度与运行的基本单位，是一段代码的处理逻辑。您需根据函数计算提供的函数接口形式编写代码，并将代码以函数的形式部署到函数计算进行应用。创建函数，详情请参见 创建函数。背景信息 函数计算 是一款事件驱动的全托管计算服务，...
RunInstances-批量创建实例
telecom ScheduleAreaLevel string 是 调度层级。通过该字段来执行节点级调度或者区域调度。取值：Big：大区 Middle：省份 Small：城市 Region：节点 Region SchedulingStrategy string 否 调度策略。取值：Concentrate：集中 Disperse：...
周期任务基本运维操作
周期任务是指在调度系统按照调度配置周期性自动调度的任务。您可以在 运维中心>周期任务 列表查看指定工作空间下的周期任务，并对任务进行运维操作，包括自动调度和手动运行周期任务、查看任务运行详情、暂停任务、下线任务等。本文为您...
调度中心
2.从创建SMC迁移任务将任务加入调度组（创建SMC迁移任务）在 创建SMC迁移任务 时，是否加入分组调度，选择是，系统会为您列出所有状态为开启的调度组，选择您需要的调度组，点击 提交 即可。3.从DTS迁移将任务加入调度组（创建DTS任务迁移...
使用Azkaban调度MaxCompute
背景信息 Azkaban是一套作业调度系统，可以调度Command、Hadoop MapReduce、Hive、Spark、Pig等类型作业，而且支持自定义Plugin，其中最简单而且最常用的是Command类型。更多Azkaban信息，请参见 Azkaban。您需要将待调度作业依赖的源数据...
调度周期：日调度
调度详情 调度系统会自动为任务生成实例并运行，各业务数据加工时间如下图所示。说明 调度节点执行需要满足如下条件：上游任务执行成功。节点的定时运行时间已到。任何一个条件不满足，调度节点都无法执行，并且两个条件没有先后顺序。默认...
调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置，详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...
调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置，详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...
Dataphin补数据任务空跑调度了是什么原因
补数据选择的是业务日期，而调度周期配置的是调度日期，如果补数据时选择的业务日期是20220930，那么对应的调度日期就是20221001，而调度周期是月调度，并没有包含每个月的1日，所以补数据选择20220930时任务是空跑运行的。解决方案 在调度...
场景：切换调度时区
在创建DataWorks工作空间时，您需要选择工作空间所在地域，默认情况下DataWorks工作空间所在地域对应的时区即为调度时区（即任务定时调度时间所使用的时区）。同时，还支持您切换工作空间的调度时区，本文为您介绍如何切换调度时区。背景...
工作原理
调度执行完成后，系统会根据实际执行情况变更实例状态为成功或失败。如何重试，请参见 重试定时SQL任务实例。使用建议 使用定时SQL时，建议根据业务情况，同时兼顾数据实时性和准确性。考虑数据上传日志服务存在延迟情况，您可以结合数据...
数据开发概述
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
其他问题
当两个节点的调度周期不同时，即上游节点5分钟调度一次，下游节点20分钟调度一次，下游节点如何获取数据？为何周期调度中某个节点的实例实际运行时间和计划时间有差异？任务执行是按照业务连线的先后顺序执行，即当前一节点运行结束，后一...
DTS任务填写字段说明
本文介绍了创建DTS迁移任务相关字段详解。创建DTS任务填写字段详解 名称 含义 说明 ...是否加入分组调度 是否加入调度组 是：可以将任务加入状态为 开启 的调度组，CMH会按照调度规则自动调度。否：不加入调度组，提交后任务会立刻开始执行。
配置并使用调度参数
调度参数是根据任务调度的业务时间及调度参数的取值格式自动替换为具体的值，实现在任务调度时间内参数的动态替换。本文为您介绍如何配置及使用调度参数，并以ODPS SQL节点为例，讲解调度参数配置完成后使用冒烟测试功能测试调度参数的替换...
集群概述
共享存储 E-HPC集群的用户数据、调度器信息、作业共享数据等信息均会存储在文件系统，以供集群所有节点共享访问。E-HPC支持以下几类文件系统：NAS：包括通用型NAS和极速型NAS。CPFS：支持CPFS-NFS和CPFS-POSIX两种挂载方式。其他：非阿里云...
湖仓版作业调度
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）的作业调度提供离线SQL应用、Spark应用的复杂任务流功能，具备灵活的ETL数据处理、数据开发等能力。使用流程 前提条件 如果通过阿里云账号（主账号）登录，使用作业调度功能需要满足以下两...
分区值格式说明
202304 表达式列表 系统变量 说明 示例${} 取业务日期数据，最小单位为天${yyyyMMdd}，表示取前一天数据${yyyyMM-1}，表示取前一个月数据$[]表达式取调度时间，最小运算单位为天$[yyyyMMdd HH-1/24]，表示取调度时间前一小时数据${bizdate}...
调度参数支持的格式
调度参数是DataWorks任务调度时使用的参数，可根据您配置的调度参数取值规则，在每次任务运行时自动替换为真实的取值，实现任务调度时间内参数的动态替换。本文为您介绍调度参数支持的格式及相关使用。背景信息 您可在代码中通过${变量名} ...
- 产品推荐
- 这些文档可能帮助您