创建数据源质量规则
调度配置列表 调度创建完成后，您可以在调度配置列表进行查看、编辑、克隆、删除等操作。区域 描述 ① 筛选及搜索区 支持按照调度名称进行快捷搜索。支持按照 定时调度、固定任务 触发调度 进行筛选。② 列表区 为您展示规则配置列表的 ...
创建数据源质量规则
调度配置列表 调度创建完成后，您可在调度配置列表进行查看、编辑、克隆、删除等操作。区域 描述 ① 筛选及搜索区 支持按照调度名称进行快捷搜索。支持按照 定时调度、固定任务 触发调度 进行筛选。② 列表区 为您展示规则配置列表的 调度...
逻辑表运行参数配置
在数据 开发 页面，选择您需配置调度的逻辑表，进入调度配置信息页面。下图以 维度逻辑表 为例。在调度配置 弹框 中单击 编辑。在 逻辑表编辑 页面的 调度&参数配置 页签，配置逻辑表 运行参数。对于逻辑表，系统将根据您配置的计算逻辑，...
逻辑表运行参数配置
在数据 开发 页面，选择您需配置调度的逻辑表，进入调度配置信息页面。下图以 维度逻辑表 为例。在调度配置 弹框 中单击 编辑。在 逻辑表编辑 页面的 调度&参数配置 页签，配置逻辑表 运行参数。对于逻辑表，系统将根据您配置的计算逻辑，...
周期性调度
DLC与DataWorks互通，方便您可以直接通过DataWorks的调度配置，实现定时提交DLC任务。本文为您介绍如何定时提交DLC任务。背景信息 目前支持以下两种方式配置任务周期性调度：方式一：通过DataWorks提供的PAI DLC节点载入DLC任务，并配置...
常见问题
A：移动调度中心实现高可用的策略如下：移动调度中心已预先配置好自身域名和 IP，这样 App 可以拉取到 MDGC 自身的域名调度配置。移动调度中心已预先配置好域名和 IP 到公网 DNS，主要用于 App 首次安装启动后通过公网域名拉取自身 IP。...
创建实时元表规则
调度配置列表 调度创建完成后，您可以在调度配置列表中进行查看、编辑、克隆、删除等操作。区域 描述 ①筛选及搜索区 支持按照调度名称进行快捷搜索。支持按照 定时调度、数据更新触发调度、固定任务触发调度 进行筛选。② 列表区 为您展示...
调度周期：月调度
配置示例 配置路径 您需要进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 调度配置>时间属性 区域配置节点的调度周期。场景示例 配置详情 目标任务配置在每月最后一天运行，则每月最后一天生成的实例会正常调度执行，而其它...
创建实时元表规则
调度配置列表 调度创建完成后，您可在调度配置列表进行查看、编辑、克隆、删除等操作。区域 描述 ①筛选及搜索区 支持按照调度名称进行快捷搜索。支持按照 定时调度、数据更新触发调度、固定任务触发调度 进行筛选。② 列表区 为您展示规则...
通过DataWorks管理作业
Lindorm计算引擎兼容CDH（Cloudera's Distribution Including Apache Hadoop），支持通过大数据开发治理平台DataWorks开发、管理、调度、运维分布式计算作业。作业类型包括交互式SQL查询、SQL作业、JAR作业、Python作业等。本文介绍如何...
离线集成概述
调度配置：调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。更多信息，请参见 离线管道调度配置。通道配置：通过离线集成管道通道配置，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道...
创建指标质量规则
调度配置列表 调度创建完成后，您可以在调度配置列表进行查看、编辑、克隆、删除等操作。区域 描述 ① 筛选及搜索区 支持按照调度名称进行快捷搜索。支持按照 定时调度、数据更新触发调度、固定任务触发调度 进行筛选。② 列表区 为您展示...
创建并使用PAI DLC节点
为避免使用DataWorks周期性调度DLC节点在PAI产生较多不易区分的同名任务，建议在DataWorks开发DLC任务时根据实际需要合理设置调度周期，同时，建议在任务名称中增加日期时间变量，并通过调度配置为该变量赋值时间调度参数，实现任务命名...
节点组
调度配置 调度配置 用于设置节点组的生产节点组的任务周期执行，关键参数说明如下：·定时调度只在生产环境场景生效。包含以下配置：参数 说明 定时调度 依赖本节点上一周期调度 选中后，则本次的调度依赖本节点上一周期调度的结果。生效...
节点组
调度配置 调度配置 用于设置节点组的生产节点组的任务周期执行，关键参数说明如下：·定时调度只在生产环境场景生效。包含以下配置：参数 说明 定时调度 依赖本节点上一周期调度 选中后，则本次的调度依赖本节点上一周期调度的结果。生效...
创建指标质量规则
调度配置列表 调度创建完成后，您可以在调度配置列表进行查看、编辑、克隆、删除等操作。区域 描述 ① 筛选及搜索区 支持按照调度名称进行快捷搜索。支持按照 定时调度、数据更新触发调度、固定任务触发调度 进行筛选。② 列表区 为您展示...
调度策略
在配置资源配额时，您可以根据调度策略的实现原理选择合适的调度策略，来提高出队效率，从而提高算力资源的利用率。本文为您介绍支持选择的调度策略和实现原理。背景信息 当多个任务或实例同时请求算力资源时，会形成一个队列并等待执行。...
批量上传质量规则
③ 操作区 您可进行 查看、编辑、调度配置、试跑、转交质量负责人、删除 操作。查看：可查看规则配置详情。编辑：编辑规则后，需重新试跑。调度配置：可在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。详情请参见 新建...
批量上传质量规则
③ 操作区 您可进行 查看、编辑、调度配置、试跑、转交质量负责人、删除 操作。查看：可查看规则配置详情。编辑：编辑规则后，需重新试跑。调度配置：可在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。详情请参见 新建...
配置逻辑表数据延迟
在数据 开发 页面，选择您需配置数据延迟的逻辑表，进入调度配置信息页面。在调度配置页面，配置逻辑表的数据延迟。开启数据延迟，系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部数据。可选择 1~15天。如下所示：说明 当前逻辑表无...
创建派生指标
调度配置 单击 支持配置派生指标的调度配置。派生指标支持的调度配置及参数说明如下：调度类型：派生指标仅支持 正常调度。生效日期：派生指标不支持设置生效日期。调度周期：系统将自动根据派生指标的统计周期设置对应值。包括年、月、周...
配置逻辑表数据延迟
在数据 开发 页面，选择您需配置数据延迟的逻辑表，进入调度配置信息页面。在调度配置页面，配置逻辑表的数据延迟。开启数据延迟，系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部数据。可选择 1~15天。如下所示：说明 当前逻辑表无...
离线集成概述
如果您需要调度数据流，在 调度配置 区域，打开 开启调度 开关，配置调度。参数 说明 调度类型 选择调度类型：周期调度：周期性调度任务，例如一周执行一次任务。调度一次：在指定时间执行一次任务，仅需配置执行的具体时间。生效时间 选择...
管理作业模板
通过作业模板，您无需配置作业参数，即可快速创建作业，提高工作效率。本文介绍如何创建、使用、编辑、删除作业模板。创建作业模板 创建作业模板时，一个地域下最多可创建20个作业模板。登录 弹性高性能计算控制台。在顶部菜单栏左上角处，...
配置离线任务调度依赖
Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍调度依赖实现流程与主要配置原则。背景信息 调度依赖就是节点间的上下游依赖关系，在Dataphin中，上游任务节点运行...
配置离线任务调度依赖
Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，保障业务数据有效、适时地产出。本文为您介绍调度依赖实现流程与主要配置原则。背景信息 调度依赖就是节点间的上下游依赖关系，在Dataphin中，上游任务节点运行...
数据传输的审计事件
ConfigureDtsJob 配置作业。ConfigureEtlJob 配置ETL任务。ConfigureMigrationJob 配置DTS的数据迁移任务。ConfigureMigrationJobAlert 配置监控报警。ConfigureSubscription 配置订阅任务。ConfigureSubscriptionInstance 配置订阅通道。...
SSH节点
sh/tmp/nihao.sh 开发代码：使用调度参数 DataWorks提供的 调度参数 可实现周期调度场景下代码动态入参，您可在节点任务中通过${变量名} 的方式定义代码中的变量，并在节点编辑页面右侧导航栏的 调度配置>调度参数，为该变量赋值。...
新建SPARK_JAR_ON_MAX_COMPUTE任务
属性包括任务的 基本信息、参数配置、调度属性（周期任务）、调度依赖（周期任务）、运行配置、资源配置。基本信息 用于定义调度任务的名称、对应的责任人、描述等基本信息。配置说明，请参见 配置任务基本信息。参数配置 若您的任务中调用...
快速入门
在 任务流信息 页签下的 调度配置 区域，开启调度 开关，进行调度配置。本文以配置在2023-08-03至2023-08-31范围内，每周一、周四的0时进行调度举例。步骤四：运行任务流 任务流配置完成后，单击 试运行，任务流将从任务流中的第一个节点...
配置离线集成管道基本信息
您可以在离线集成管道编辑器属性对话框中查看离线集成任务的基本详细和进行调度配置，包括集成任务的名称、节点ID、节点类型，并配置对应责任人、描述等基本信息。本文将为您介绍离线集成任务属性的基本信息参数配置。操作步骤 请参见 离线...
配置离线集成管道基本信息
您可以在离线集成管道编辑器属性对话框中查看离线集成任务的基本详细和进行调度配置，包括集成任务的名称、节点ID、节点类型，并配置对应责任人、描述等基本信息。本文将为您介绍离线集成任务属性的基本信息参数配置。操作步骤 请参见 离线...
实例生成方式：发布后即时生成实例
说明 变更调度时间的生产任务，其下游实例会按照最新的调度配置，为新生成的实例和未替换的旧实例挂载依赖，小时、分钟各场景依赖情况，详情请参见 必读：复杂依赖场景调度配置原则与示例。待发布的节点版本，其实例生成方式为 发布后即时...
Dataphin天调度如何依赖小时调度
问题描述 用户在使用Dataphin过程中，需要使用到天调度任务依赖小时调度任务。例如上游任务A，配置小时调度，2点和14点运行，下游任务B，配置天调度，每天4点运行，...更多信息 Dataphin小时调度依赖关系及运行说明 适用于 Dataphin 调度配置
新建PAI_DESIGNER任务
机器学习PAI_DESIGNER任务用于调用您在机器学习平台中构建的任务，并按照节点配置进行调度生产。本文为您介绍如何新建PAI_DESIGNER任务。功能上线时间 华东2（上海）、华北2（北京）：2022年03月03日 华南1（深圳）、华东1（杭州）：2022年...
查看版本
操作 查看：查看相应版本节点的任务代码及调度配置。对比：单击相应版本后的对比，即可对比该版本与当前保存版本间的差异，快速明确版本变更内容。您也可以勾选两个不同版本对比版本差异。说明 最多仅支持对比两个版本间的差异。回滚：回滚...
周期任务通用运维概述
周期任务是指调度系统按照调度配置自动定时运行的任务。本文为您介绍周期的脚本任务、明细及汇总表（维度逻辑表、事实逻辑表、汇总逻辑表）任务的通用功能，包括使用说明，支持的调度类型和相关功能说明。使用说明 仅生产环境运维中心支持...
管理任务流实例
在 任务流信息 页签下，配置任务流名称、责任人、相关人员、调度配置等属性。更多信息，请参见 配置基础属性 和 配置时间调度、配置事件调度。在 变量配置 页签下，配置任务流变量（时间变量）、任务流常量。配置变量的操作，请参见 变量。...
周期任务通用运维概述
周期任务是指调度系统按照调度配置自动定时运行的任务。本文为您介绍周期的脚本任务、明细及汇总表（维度逻辑表、事实逻辑表、汇总逻辑表）任务的通用功能，包括使用说明，支持的调度类型和相关功能说明。使用说明 仅生产环境运维中心支持...
离线集成概述
调度配置：调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。更多信息，请参见 配置离线管道调度。通道配置：通过离线集成管道通道配置，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道...
- 产品推荐
- 这些文档可能帮助您