调度周期：周调度
任务调度周期是基于单个任务维度的配置，任务最终是否每天调度与任务本身定义的调度周期有关，与上游节点调度周期无关，但上游节点定义的调度时间将影响下游节点实际开始调度的时间。配置示例 配置路径 您需要进入数据开发节点的编辑页面，...
调度周期：月调度
任务调度周期是基于单个任务维度的配置，任务最终是否每天调度与任务本身定义的调度周期有关，与上游节点的调度周期无关，但上游节点定义的调度时间将影响下游节点实际开始调度的时间。月调度支持将 指定时间 配置为 每月最后一天，则每...
调度设置
调度时区 任务调度时区默认为服务器时区，如果您使用海外地域并需将任务调度时区设置为东八时区，请 提交工单 联系技术支持人员处理。说明 修改调度时区前，请务必提前参考：创建工作空间，了解修改调度时区后的影响。定时调度时间 默认...
DataWorks按量计费概述
例如在DataWorks进行任务开发、定时任务调度、数据同步任务调度、大规模工作流监控、数据质量监控、数据服务API调用等操作。重要 当实例欠费后有停机风险，系统会提醒或通知您，请及时续费，避免对您的服务造成影响。公共调度资源组、公共...
场景：夏令时切换对调度任务运行的影响
任务调度周期配置示例如下。影响二：参数替换 场景一：若调度任务的定时时间为 03:00，调度参数 配置为$[hh24-1/24]，则参数取值正常替换为 02:00，当进入夏令时的时候，该参数将替换为 01:00。场景二：若调度任务的定时时间为 02:00，调度...
资源组说明
说明 实际任务执行数量取决于网络速率、数据库读写速度、数据量大小、任务调度周期等。通用任务执行资源占比1c2g，支持10个SQL任务并发，日均任务量参考值10w次。说明 实际任务数量取决于数据库SQL执行速度，任务调度周期等。数据服务资源...
资源组说明
说明 实际任务执行数量取决于网络速率、数据库读写速度、数据量大小、任务调度周期等。通用任务执行资源占比1c2g，支持10个SQL任务并发，日均任务量参考值10w次。说明 实际任务数量取决于数据库SQL执行速度，任务调度周期等。数据服务资源...
开通DataWorks服务
开通DataWorks服务后，在使用DataWorks的各项服务时，不同产品服务的功能模块（例如，任务开发、定时任务调度、数据同步任务调度、大规模工作流监控、数据质量监控、数据服务API调用）会根据使用量和占用的资源量进行按量计费。详情请参见 ...
配置资源属性
周期任务的运行依赖于调度资源组，您可以在目标任务调度配置的资源属性区域，选择任务调度运行时需要使用的资源组。配置资源组 进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 资源属性 区域配置节点调度时使用的资源组。在 ...
如何重刷数据
登录 分布式任务调度平台。在 任务管理 页面，单击目标任务 操作 列下的 更多，然后单击 重刷任务。在 重刷任务 面板，设置 起止日期 和 数据时间，单击 确定。起止日期：指定重刷的日期区间。数据时间：指定重刷日期区间内的重刷时间。...
如何重刷数据
登录 分布式任务调度平台。在 任务管理 页面，单击目标任务 操作 列下的 更多，然后单击 重刷任务。在 重刷任务 面板，设置 起止日期 和 数据时间，单击 确定。起止日期：指定重刷的日期区间。数据时间：指定重刷日期区间内的重刷时间。...
如何重刷数据
登录 分布式任务调度平台。在 任务管理 页面，单击目标任务 操作 列下的 更多，然后单击 重刷任务。在 重刷任务 面板，设置 起止日期 和 数据时间，单击 确定。起止日期：指定重刷的日期区间。数据时间：指定重刷日期区间内的重刷时间。...
如何重刷数据
登录 分布式任务调度平台。在 任务管理 页面，单击目标任务 操作 列下的 更多，然后单击 重刷任务。在 重刷任务 面板，设置 起止日期 和 数据时间，单击 确定。起止日期：指定重刷的日期区间。数据时间：指定重刷日期区间内的重刷时间。...
开发PyODPS 3任务
table('pyodps_iris'))print(iris.sepallength.head(5))返回结果：sepallength 0 4.5 1 5.5 2 4.9 3 5.0 4 6.0 编辑代码：进阶示例 若节点需要周期性调度，您需要定义节点调度时的相关属性，调度配置详情请参见 任务调度属性配置概述。...
数据开发：开发者
DataWorks提供内置参数及相关自定义参数，可供任务调度时实现参数动态赋值。若步骤四编辑代码时定义了变量，您可在此处对该变量进行赋值。本文示例为步骤四的如下变量赋值，用于将 bank_data 表中业务时间（即昨天）对应的小时数据写入 ...
调度周期：年调度
年调度是指调度任务在每年的特定几天，在特定的时间点自动运行一次。例如，调度任务设置为每年一月的最后一天执行。注意事项 在非指定的调度时间内，为保证下游实例正常运行，年调度节点会生成空跑的周期实例。重要 空跑现象：系统直接返回...
如何重刷数据
重刷调度任务 如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明 任务和工作流都支持重刷数据（只支持天级别的调度周期）。如果您之前执行的某个调度...
如何重刷数据
重刷调度任务 如果您的业务发生变更，如数据库增加一个字段或者上一个月数据有错误，需要把过去一段时间的任务重新执行一遍，可以重刷调度任务数据。说明 任务和工作流都支持重刷数据（只支持天级别的调度周期）。如果您之前执行的某个调度...
运维中心概述
周期任务在生产环境通过自动调度或手动触发来运行，分别产生周期实例、补数据实例和测试实例，您可以对 周期任务 设置数据质量规则来监控周期任务生成的实例（周期实例、补数据实例、测试实例）运行后所产出的表数据是否符合预期。...
EMR Studio概述
能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等开源大数据开发使用体验。覆盖了大数据处理ETL、交互式数据分析、机器学习和实时计算等多种应用场景。EMR Studio核心优势 ...
概念原理
当数据量很大时，任务调度系统支持在单个执行步骤中把数据拆分成多个分片（data chunk），把一个任务的数据分散到不同的机器上运行。一个数据分片只由一个线程执行。多个数据分片可以在多台机器上调度执行，也可以在一台机器的多个线程上...
什么是Dataphin
资产质量 资源治理 资源治理具备资源统计分析能力，可智能识别当前系统内低价值的数据资产和数据任务，并进行优化提示。您可以在治理工作台中，一站式的进行资源的优化处理，全局把控计算与存储成本，提升系统使用效率。资源治理 资产安全 ...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引...
基础术语
当数据量很大时，任务调度系统支持在单个执行步骤中把数据拆分成多个分片（data chunk），把一个任务的数据分散到不同的机器上运行。一个数据分片只由一个线程执行。多个数据分片可以在多台机器上调度执行，也可以在一台机器的多个线程上...
查看并管理定时调度补数据任务
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 ...
开发PyODPS 3任务
table('pyodps_iris'))print(iris.sepallength.head(5))返回结果：sepallength 0 4.5 1 5.5 2 4.9 3 5.0 4 6.0 编辑代码：进阶示例 若节点需要周期性调度，您需要定义节点调度时的相关属性，调度配置详情请参见 任务调度属性配置概述。...
补数据任务概述
调度类型说明 Dataphin补数据任务支持两种调度类型：定时调度和手动运行。定时调度：是指可以在预设的时间点自动运行的补数据任务，可以按照 日、周、月 进行调度。适用于调度策略和时间点固定，且需要定期进行补数据的场景。更多信息，请...
补数据任务概述
调度类型说明 Dataphin补数据任务支持两种调度类型：定时调度和手动运行。定时调度：是指可以在预设的时间点自动运行的补数据任务，可以按照 日、周、月 进行调度。适用于调度策略和时间点固定，且需要定期进行补数据的场景。更多信息，请...
新建补数据任务
补数据任务能够支持您以不同的调度方式对历史数据进行回刷。对于需要定期进行补数据的场景，您可以通过补数据的定时调度功能进行定期补数据；对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补...
新建补数据任务
补数据任务能够支持您以不同的调度方式对历史数据进行回刷。对于需要定期进行补数据的场景，您可以通过补数据的定时调度功能进行定期补数据；对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补...
在工作空间创建数据源或注册集群
仅MaxCompute、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for MySQL3.0、ClickHouse数据源可用于数据开发，若您需基于该类数据源进行数据开发、任务调度、数据分析等操作，则数据源创建完成后还需绑定至数据开发（DataStudio）。...
Dataphin补数据任务空跑调度了是什么原因
问题描述 Dataphin补数据任务空跑调度了是什么原因？问题原因 按当前的调度配置，补20220930（月末）的数据空跑了是正常的。补数据选择的是业务日期，而调度周期配置的是调度日期，如果补数据时选择的业务日期是20220930，那么对应的调度...
运维助手
若运行在独享调度资源组上的任务执行时需依赖第三方包，为保障任务可顺利执行，您需要先通过该资源组的运维助手功能，将相应的第三方包安装至独享调度资源组。DataWorks的运维助手提供了多种内置的第三方包，可直接安装使用，若内置的第三...
为什么会空跑
如果周期实例需要真实跑数据，任务定时时间需要设置为发布时间点十分钟后的未来时间。或者通过补数据补业务时间昨天数据，明天周期实例会正常执行。周月调度任务补数据空跑解决方法：您可以按下图观察一下当天周期实例的定时时间和业务时间...
通用参考：按量付费转包年包月
开通DataWorks后，默认享有DataWorks按量付费的基础版相关功能服务，您可使用该类服务执行任务。同时，DataWorks支持包年包月的标准版、专业版、企业版及...修改任务调度及运行资源组 切换任务配置时的默认资源组 修改数据服务API调用资源组
数据质量规则配置流程
启动：在数据质量规则关联产出表数据的调度任务执行时，便会触发质量规则校验。停止：在数据质量规则关联产出表数据的调度任务执行时，不会触发质量规则校验。设为强/弱规则：用于修改规则的强弱属性，规则强/弱将影响规则是否报警与阻塞...
其他问题
基线优先级高（取值[1,3,5,7,8]，数值越大，优先级越高），DataWorks上任务调度时将优先获得调度资源。通过调整基线优先级来调整周期任务每日实例的优先级。进入 运维中心 页面。在左侧导航栏，单击 智能监控>智能基线。单击相应基线后的 ...
Kafka增量数据同步至MaxCompute
生产环境不存在待同步的MaxCompute表，同步任务提交发布后，数据同步任务调度运行时将会由于无法找到待同步表而导致同步任务运行失败。开发环境和生产环境的表结构不一致，同步任务提交发布后，同步任务实际调度运行时的列对应关系，可能与...
Kafka增量数据同步至MaxCompute
生产环境不存在待同步的MaxCompute表，同步任务提交发布后，数据同步任务调度运行时将会由于无法找到待同步表而导致同步任务运行失败。开发环境和生产环境的表结构不一致，同步任务提交发布后，同步任务实际调度运行时的列对应关系，可能与...
DataWorks模块使用说明
通过对数据质量规则的高效校验，以及与任务调度流程的紧密结合，可以帮助用户第一时间发现质量问题、有效防止数据质量问题扩散，为业务提供高效、可靠、可信赖的数据。使用流程概览：参考文档：数据质量概述 数据分析 子模块：数据分析 ...
- 产品推荐
- 这些文档可能帮助您