JAR任务快速入门
步骤四：发布任务 重要 已发布的任务可以作为工作流节点的任务。任务运行完成后，单击右侧的 发布。在任务发布对话框中，可以输入发布信息，单击 确定。（可选）步骤五：查看Spark UI 任务正常运行后，您可以在Spark UI上查看任务的运行...
REMOTESHELL
重要 REMOTESHELL任务直接提交到SSH数据源所在的主机上运行，由于不涉及使用YARN等资源调度管理机制，无法实现对计算资源的合理分配和高效利用。因此，在生产环境的任务调度中，不建议使用REMOTESHELL任务类型。参数说明 参数 说明 节点...
功能发布记录
本软件的主要版本更新通知将在此记录。新功能发布记录 发布记录 时间 内容 2024年4月 求解器的收费商品（预付费）首次上线，包含联网和非联网环境版本。购买>>，查看 产品定价和计费。求解器SDK更新V1.2.0版本（V1.2.0下载）：新增参数 ...
名词解释
本文主要对SchedulerX涉及的专有名词及术语进行定义和解释，方便您更好地理解相关概念并使用SchedulerX。AppGroup 即应用分组，映射用户的具体应用，关联绑定机器，用来做业务的隔离。DAG Directed Acyclic Graph，即有向无环图。所谓有向...
导购任务
自定义任务 适用场景：自定义任务主要可用于设定好周期任务做线下实体门店的维护工作、安排指示性计划工作委派给导购人员。新增自定义任务，基本设置里不需要设定分享内容。规则设置里，可以设定是否为一次性任务或者设定周期性执行，可以...
PySpark任务快速入门
步骤四：发布任务 重要 已发布的任务可以作为工作流节点的任务。任务运行完成后，单击右侧的 发布。在任务发布对话框中，可以输入发布信息，然后单击 确定。步骤五：查看Spark UI 任务正常运行后，您可以在Spark UI上查看任务的运行情况。...
优化TensorFlow模型
import os import numpy as np import tensorflow.compat.v1 as tf import blade 编写一个简单的函数，用于下载待优化的模型和测试数据。虽然PAI-Blade支持没有测试数据的优化，即零输入优化，但是基于真实输入数据的优化结果会更加准确...
查看优化建议
背景信息 优化建议可查看近期可优化的 SQL 内容及优化结果，默认展示最近一次优化任务执行成功的结果。发起检查后，优化任务会对查询时间段内响应时间前 100 的 SQL 进行检测，包括 SQL 涉及的表和对应的索引。操作步骤 登录 OceanBase ...
周期任务基本运维操作
您可以在 运维中心>周期任务 列表查看指定工作空间下的周期任务，并对任务进行运维操作，包括自动调度和手动运行周期任务、查看任务运行详情、暂停任务、下线任务等。本文为您介绍周期任务的运维操作详情。使用说明 仅生产环境运维中心支持...
管理数据集成任务
重要 处于 已删除 状态的任务，不能再执行 恢复数据集成任务，请谨慎执行删除数据集成任务操作。操作步骤 登录 数据传输控制台。在左侧导航栏，单击 数据集成。在数据集成任务列表的顶部，选择目标数据集成任务所属地域。找到目标数据集成...
新增脚本同步任务
本文主要介绍如何新增脚本同步任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。已完成源端数据和目标端的物理表同步，具体操作，请参见 获取物理表。已添加同步任务目录，具体操作，请参见 添加脚本同步任务目录。操作步骤...
新增脚本同步任务
本文主要介绍如何新增脚本同步任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。已完成源端数据和目标端的物理表同步，具体操作，请参见 获取物理表。已添加同步任务目录，具体操作，请参见 添加脚本同步任务目录。操作步骤...
任务中心
不同类型的节点会生成各类任务，主要包括离线同步任务、离线计算任务、实时同步任务、实时计算任务等。对于离线同步任务、离线计算任务，每次运行时会生成该次运行周期的实例。全局概览 支持查看任务流、任务、任务实例的统计信息，并提供...
概述
不同类型的节点会生成各类任务，主要包括离线同步任务、离线计算任务、实时同步任务、实时计算任务等。对于离线同步任务、离线计算任务，每次运行时会生成该次运行周期的实例。全局概览 支持查看任务流、任务、任务实例的统计信息，并提供...
概述
不同类型的节点会生成各类任务，主要包括离线同步任务、离线计算任务、实时同步任务、实时计算任务等。对于离线同步任务、离线计算任务，每次运行时会生成该次运行周期的实例。全局概览 支持查看任务流、任务、任务实例的统计信息，并提供...
项目里程碑
项目管理中非常重要的就是合理设置阶段性的里程碑。里程碑指项目中的一些重大事件，用关键事件的完成来测量整个项目的进展。通常指一个可交付成果的完成的时间点。有了里程碑，在项目实施过程中就可以根据里程碑来灵活控制项目进度和节奏。...
新建调度任务
本文主要介绍新建调度任务。前提条件 已新建离线模型且模型已发布，具体操作，请参见 新建离线模型。已创建云计算资源作为数据源，具体操作，请参见 新建计算资源。操作步骤 登录 数据资源平台控制台。在页面左上角单击 图标，选择 探索。...
一键MaxCompute任务出错恢复
常见的实时任务写入失败场景 场景分类 相关文档 Binlog无丢失场景及全增量同步任务 Binlog无丢失 Binlog有丢失场景及全增量同步任务 Binlog有丢失 Merge任务的报错失败场景及全增量同步任务 Merge任务的报错失败 Binlog无丢失 出现不支持的...
智能诊断
全链路诊断 DataWorks根据任务运行的必要条件，将依次检查上游任务的运行状态、当前任务设置的定时时间、调度资源的使用情况、当前任务的执行情况：上游依赖 智能诊断的 上游依赖 页面，为您展示当前任务的上游任务运行情况，如果上游任务...
创建定时任务工作负载CronJob
创建CronJob涉及的主要参数如下：参数 描述.spec.schedule 指定任务运行周期，格式同 Cron schedule。spec.jobTemplate 指定需要运行的任务，格式同 Job patterns。spec.startingDeadlineSeconds 指定任务开始的截止期限。spec....
预处理规则管理
关联任务 在预处理规则的 关联任务 页签下，可以查看预处理规则关联的脚本执行任务、任务发起时间和任务结束时间，以及下游任务的相关信息。单击任务名称，即可查看该任务的相关信息，包括执行日志、执行结果和发起的脚本等相关信息，关于...
创建定时任务工作负载CronJob
定时任务CronJob用于创建周期性以及重复性的任务，例如执行备份操作或者发送邮件。Job负责批量处理短暂的一次性任务，即仅执行一次任务，而CronJob则是基于时间间隔重复调度的Job。本文介绍如何创建定时任务CronJob。通过控制台创建CronJob...
创建恢复任务
如果数据库的数据已被勒索病毒入侵，您可以创建恢复任务恢复被勒索病毒加密的数据，降低勒索病毒给您带来的损失。本文介绍如何创建恢复任务、查看恢复任务状态。前提条件 已为该数据库创建防护策略并且该策略运行正常（可以正常备份数据库...
脚本任务
本文介绍如何在创建任务时通过编写Shell、Python或Go脚本创建脚本任务。创建脚本任务 步骤一：选择脚本语言 在 任务管理 页面创建任务，具体操作，请参见 任务管理。任务类型 选择 脚本任务，然后选择 脚本语言。当前支持的脚本语言类型：...
项目统计
2、任务分布 任务分布报表包含按执行者查看每个人的任务数分布的任务报表、按任务的优先级查看任务分布的报表、按任务的分组查看任务的分布报表、和截止时间内有截止日期的任务完成情况的报表。3、项目进展 项目进展报表帮助追踪普通项目内...
联邦模型管理
关联任务 在联邦模型的 关联任务 页签下，可以查看该模型关联的脚本执行任务、任务发起时间和任务结束时间，以及下游任务的相关信息。单击任务名称，即可查看该任务的相关信息，包括执行日志、执行结果和发起的脚本等相关信息，关于任务的...
调度DLA Spark任务
操作步骤 任务调度中一个重要的功能是任务之间的依赖，为演示这个功能，本文会在DMS中创建一个DLA Serverless Spark任务和两个 DLA Spark SQL任务，任务之间的依赖关系如下图所示，任务 DLA Spark SQL-1和 DLA Spark SQL-2 依赖上游任务...
设备的自定义任务示例
物联网平台提供设备任务的配置和管理服务。设备的自定义任务需要您根据实际需求，自行定义任务规则和设备端的实现逻辑。本文提供示例代码，通过手动输入命令，模拟设备上报自定义任务状态，为您介绍自定义任务运行过程。本文以华东2（上海...
自动优化
说明 详细内容可参考Databricks官网文章：自动优化 自动优化的工作原理 自动优化包含两个重要特性：优化Delta表的写入 在开源版Spark中，每个executor向partition中写入文件时，都会创建一个文件进行写入，最终会导致一个partition中包含...
周期任务补数据
周期任务补数据功能用于对周期任务在指定的历史业务日期内进行数据回刷。周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的...
周期任务补数据
周期任务补数据功能用于对周期任务在指定的历史业务日期内进行数据回刷。周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的...
HTAP中的行列混存查询优化
本文介绍了查询优化的作用及基本原理，以及列存索引优化器Join Reorder的实现原理。查询优化的作用及基本原理 在数据库处理查询语句的过程中，优化器接收用户输入的查询语句并进行一系列的等价变换后，通过查询中的基数与代价估计，从等价...
任务管理
创建调度任务 重要 创建任务前，请确保您已经创建了任务分组。更多信息，请参见 应用管理。登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，选择 任务管理。在 任务管理 页面，选择目标命名空间，单击 创建任务。在 基本...
添加属性设置任务
如果您需要同时设置多个设备的属性值，可以使用物联网平台的设备批量属性设置任务。本文介绍该任务的创建方法、运行中Topic及其数据格式的说明，查看状态的具体操作。前提条件 设备所属产品下已添加物模型属性，且多个设备中包含相同属性...
任务管理
创建调度任务 重要 创建任务前，请确保您已经创建了任务分组。更多信息，请参见 应用管理。登录 EDAS控制台。在左侧导航栏，单击 任务调度。在顶部菜单栏选择地域。在左侧导航栏，选择 任务管理。在 任务管理 页面，选择目标命名空间，单击...
Python接口文档
optimize PAI-Blade主要使用optimize接口进行模型优化，接口详情如下：签名格式 def optimize(model:Any,optimization_level:str,device_type:str,config:Optional[Config]=None,inputs:Optional[List[str]]=None,outputs:Optional[List...
添加服务调用任务
如果您需要同时调用多个设备的异步服务，可使用物联网平台的设备批量服务调用任务。本文介绍该任务的创建方法、运行中Topic及其数据格式的说明，查看状态的具体操作。前提条件 设备所属产品下已添加物模型服务（异步调用），且多个设备中...
创建资源
本文介绍如何创建微服务空间、调度任务分组、调度任务和调度工作流。背景信息 资源 描述 使用场景 命名空间 在具体地域（Region）中，命名空间用于实现资源和服务的隔离。当您对资源有较高的安全要求时，需要创建命名空间。应用 在具体的...
新增实时任务
数据同步支持实时同步任务的新建，并支持一键启动多个上云任务，实现全量任务自动建表。本文以同步Kafka数据源到DataHub目标端为例，介绍如何新增实时任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。已完成源端数据和目标...
新增实时任务
数据同步支持实时同步任务的新建，并支持一键启动多个上云任务，实现全量任务自动建表。本文以同步Kafka数据源到DataHub目标端为例，介绍如何新增实时任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。已完成源端数据和目标...
- 产品推荐
- 这些文档可能帮助您