DataWorks On MaxCompute使用说明
在开发环境执行时，使用任务执行者个人云账号访问身份，访问开发数据源中目标表。在生产环境执行时，使用调度访问身份，访问生产数据源中目标表。二、功能模块权限控制 进行数据开发前，您可 为用户授权指引授予工作空间成员不同空间角色，...
出错提示“failed to leapp upgrade”
本文主要介绍在Linux操作系统迁移时，迁移任务出错提示“failed to leapp upgrade”信息时的问题描述、问题原因及其解决方案。问题描述 在SMC操作系统迁移到AnolisOS时，迁移任务出错提示“failed to leapp upgrade”信息。问题原因 可能...
识别任务说明
扫描说明 扫描模板 系统默认任务和自定义识别任务执行时除了使用对应的模板外（系统默认任务使用主用模板，自定义识别任务使用任务中指定的模板），默认还会使用通用识别模板。通用识别模板是根据中国国家标准委员会发布的个人信息安全规范...
设置集群身份映射
说明 若使用Presto组件且选择OPEN LDAP账号映射时，请在集群的基础信息中配置 Config.Properties 和 Presto.Jks 文件。请确保集群已开启OPEN LDAP服务。单击 完成编辑，即账号映射关系配置完成。后续，通过云账号执行的任务则实际由其映射...
背景知识
BatchCompute 除了支持把软件直接安装到 ECS 镜像，还支持通过 Docker 镜像部署应用程序。也可以自定义制作一个 Docker 镜像， ...BatchCompute 启动 Docker 容器时使用—privileged=false 模式，所以不允许在docker 容器中启动 docker 容器。
服务集成模式
Context.Current.TaskToken 使用WaitForCustomCallback任务模式时，可以使用表达式$Context.Current.TaskToken 在状态定义的 Parameters 字段中访问任务令牌。初始$Context 指定访问上下文对象的路径，并在正在运行的执行中获取当前任务的...
制定数据治理计划
数据治理计划提供不同治理场景下的治理计划模板，并可设置治理计划完成时间内的治理目标，同时，系统自动根据治理计划类型，快速选择治理项，圈定可优化对象，帮助负责人持续跟踪数据治理成效，推动团队及时达成治理目标。使用限制 版本...
修改任务执行信息
使用限制 修改任务执行信息时，必须满足以下条件：仅支持执行计划为 定时执行、系统下一次启动后、系统每次启动后 执行的任务。仅支持修改以下执行状态的任务：Pending：系统正在校验或发送命令。如果存在至少一台实例的命令执行状态为...
DataWorks On EMR使用说明
任务调度的调度资源费用 任务开发完成后，进行任务调度时需使用调度资源。您需按需购买包年包月的独享调度资源组，支付相应的资源组费用。数据同步的同步资源费用 运行数据同步任务时，除调度资源外，还需使用数据同步资源。您需按需购买...
DataWorks On CDP/CDH使用说明
任务调度的调度资源费用 任务开发完成后，进行任务调度时需使用调度资源。您需按需购买调度资源组（例如，包年包月的独享调度资源组、按量付费的公共调度资源组），支付相应的资源组费用。数据同步的同步资源费用 运行数据同步任务时，除...
DataWorks On Hologres使用说明
任务调度的调度资源费用 任务开发完成后，进行任务调度时需使用调度资源。您需按需购买调度资源组（例如，包年包月的独享调度资源组、按量付费的公共调度资源组），支付相应的资源组费用。数据同步的同步资源费用 运行数据同步任务时，除...
查看并管理定时调度补数据任务
调度资源组：可根据补数据任务指定运行时使用的调度资源组进行筛选 如果您需要重新筛选，则单击 重置，即可快速清空所有筛选条件，恢复系统默认。新建补数据任务：单击+新建补数据任务 可以新建补数据任务。具体操作，请参见 新建补数据...
自动设置用户网卡DNS
最后，在新建云电脑时可以选择包含该自定义镜像的云电脑模板，新建云电脑完成后系统自动执行任务计划程序，从而实现自动设置用户网卡DNS。操作步骤 下文为您介绍实现自动配置用户网卡DNS的具体步骤。步骤一：创建任务计划程序设置用户网卡...
功能特性
单个简单任务对应一个 handler，支持任务分片及分步：当需要并发执行并且不关注资源利用率时，可以使用简单任务的分片功能。当需要将一个任务分成若干步骤按顺序执行时，可以使用简单任务的分步功能。集群任务 适用于复杂的调度场景，支持...
SPARK
任务示例 引用OSS资源提交Spark任务 Spark任务开启 提交至Yarn执行 开关时，支持直接引用OSS资源，在执行该任务时会自动加载使用代码中的OSS资源。引用方式如下：程序类型 选择 CUSTOM_SCRIPT，打开 提交至Yarn执行 开关，在 脚本 中编辑...
使用限制
为保证数据的正确性，建议您在编写SQL及脚本时使用具有幂等性的操作语句，如 insert overwrite、replace into 等，并重复执行SQL以验证是否会影响下游数据的正确性。数量限制 单个 DMS 租户最多可创建5000个任务流（任务编排+数仓开发）。...
小文件优化及作业诊断常见问题
同步任务使用公共调度资源时一直在等待状态，您可以通过 离线同步任务调优 实现最大化的同步速度。您也可以添加自己的调度资源，详情请参见 新增和使用自定义数据集成资源组。Shell任务执行时，调度资源管理添加的其中一台服务器一直显示...
运维中心概述
手动任务 面板展示当前所有的手动触发式任务，您可以在手动任务面板修改任务执行时使用的调度资源组、责任人等信息。在手动任务面板中，选择类型为手动业务流程，支持您手动触发任务运行并且生成手动实例，您可以查看生成的手动实例的运行...
实现处理器接口和类
一个简单任务对应一个 handler，支持任务分片及分步：当需要并发执行并且不关注资源利用率时，可以使用简单任务的分片功能。当需要将一个任务分成若干步骤按顺序执行时，可以使用简单任务的分步功能。实现处理器接口/*简单任务处理器接口*/...
时间属性配置说明
说明 使用重跑属性时，应尽量保证任务的幂等性（特殊任务除外），避免在任务出错重跑后，出现大量数据质量问题。例如，在ODPS SQL的开发过程中，使用 insert overwrite 语句来替代 insert into 语句。DataWorks工作空间的 调度设置 页面，...
历史任务
本文介绍如何使用历史任务查看容灾保护时的任务状态。历史任务用于记录容灾的任务。查看历史任务的执行状态，有助于您了解容灾执行的结果，排查异常问题。操作步骤 登录 混合云容灾管理控制台。在左侧导航栏，单击 切换到云盘异步复制型容...
任务类型
单个简单任务对应一个 handler，支持任务分片及分步：当需要并发执行并且不关注资源利用率时，可以使用简单任务的分片功能。当需要将一个任务分成若干步骤按顺序执行时，可以使用简单任务的分步功能。集群任务 集群任务 适用于复杂的调度...
历史任务
本文介绍如何使用历史任务查看容灾保护时的任务状态。历史任务用于记录容灾的任务。查看历史任务的执行状态，有助于您了解容灾执行的结果，排查异常问题。操作步骤 登录 云备份Cloud Backup控制台。在左侧导航栏，选择 容灾>ECS容灾。在...
功能特性
修改专属集群任务的DU数 查看专属集群DU信息 磁盘变配 当专属集群的磁盘使用率过高，无法满足当前业务需求时，您可以对专属集群进行磁盘扩容操作，以确保当前专属集群的磁盘空间与您的业务需求相匹配。扩容专属集群节点磁盘空间 共享集群专...
通过脚本模式配置离线同步任务
通过配置参数您可以：读取端（Reader）操作 说明 配置同步范围 部分插件可利用过滤参数实现增量同步，例如，通过MySQL Reader插件同步MySQL数据时，使用MySQL Reader插件的 where 参数结合DataWorks调度参数实现增量同步。关于增量数据同步...
DescribeTasks
支持查看直接使用某API（如 CreateDBCluster）生成的任务，或在PolarDB控制台使用某功能（如 创建集群）时，系统调用了对应API生成的任务进度详情。当前仅支持查看创建集群时，即调用 CreateDBCluster 接口且 CreationOption 参数值不为 ...
DescribeTasks
支持查看直接使用某API（如 CreateDBCluster）生成的任务，或在PolarDB控制台使用某功能（如 创建集群）时，系统调用了对应API生成的任务进度详情。当前仅支持查看创建集群时，即调用 CreateDBCluster 接口且 CreationOption 参数值不为 ...
通过向导模式配置离线同步任务
配置资源属性：用于定义调度场景下，将当前任务下发至数据集成任务执行资源时所使用的调度资源组，您可以在调度配置的资源属性区域，选择任务调度运行时需要使用的资源组。说明 数据集成离线任务通过调度资源组下发至对应的数据集成任务...
DescribeTasks-获取任务列表
接口说明 支持查看直接使用某 API（如 CreateDBCluster）生成的任务，或在 PolarDB 控制台使用某功能（如 创建集群）时，系统调用了对应 API 生成的任务进度详情。当前仅支持查看创建集群时，即调用 CreateDBCluster 接口且 CreationOption...
部署Java任务模板至SAE
使用阿里云镜像仓库企业版 仅当使用镜像部署任务模板时，需要配置。任务插件 您可以根据需要，配置任务插件来发送流水线通知。钉钉机器人通知插件：具体操作，请参见 钉钉机器人发送群消息。邮件通知：输入邮件地址，多个地址间使用分号;...
部署PHP ZIP任务模板至SAE
使用阿里云镜像仓库企业版 仅当使用镜像部署任务模板时，需要配置。任务插件 您可以根据需要，配置任务插件来发送流水线通知。钉钉机器人通知插件：具体操作，请参见 钉钉机器人发送群消息。邮件通知：输入邮件地址，多个地址间使用分号;...
Windows系统通过计划任务设置定时重启
概述 本文介绍在Windows系统中，如何设置计划任务定时重启。...展开任务计划程序，选择Microsoft，单击创建基本任务。配置任务向导，选择任务触发时间。选择启动程序。创建基本任务完成。单击运行进行测试。适用于 云服务器ECS
Dataphin中语音告警中需要展示报错任务的详情
阿里云语音服务是自己的模板,现在Dataphin语音告警只能提示有任务出错了，希望语音中具体提示哪个任务出错了，播报出错任务详情。问题原因 语音通知中变量${taskname}设置错误。解决方案 语音通知中变量应该设置为${content}。content内容...
创建Hadoop计算源
Livy：使用HDFS连接信息的优先级队列设置，仅当Livy使用Yarn作为资源调度时生效，即席查询及生产任务均使用新的Connection的执行。MapReduce（MRS）：使用HDFS连接信息的优先级队列设置。配置 Impala任务配置信息 区域的参数。参数 描述 ...
任务设置
7.任务时间视图：开启后可使用任务时间视图。8.任务表格视图：开启后可使用任务表格视图。9.任务权限设置：点击可对任务的创建者和任务执行者做进一步的权限限制，包括删除任务、修改任务状态、更改执行者、设置任务开始/截止时间以及将...
创建同步任务
配置离线同步任务，当您选择使用多个数据库时，则每个数据库均需要配置一个数据源。认证选项 选择 无认证。备库设置 如果数据源具备只读实例（备库），可以在配置任务时开启 备库设置，并选择备库ID。设置备库的优势是防止干扰主库，不影响...
创建并管理MaxCompute节点
支持将您的自定义函数通过DataWorks创建为MaxCompute资源并注册为MaxCompute函数，供后续开发MaxCompute任务时直接调用，自定义函数的使用请参见 创建并使用MaxCompute资源、创建并使用自定义函数。支持将本地开发的资源包通过本地上传的...
计划任务执行类型
本文提供了您在调用API操作RPA客户端时可以查询的计划任务执行类型。实例状态 状态说明 specified_time 指定时间 immediate 立即执行 specified_interval_time 指定间隔时间 day_interval 指定间隔天数 week_interval 指定每隔周几 month_...
规则管理
8月24前创建的独享资源组，若要使用任务日志含关键字告警功能，请 提交工单 联系我们进行升级。否则无法收到相关报警信息。周期未完成 表示在指定的周期内，任务仍未结束运行，则系统发送报警。通常用于监控以小时为周期单位的实例任务。当...
任务类型配置
三、在项目中添加和使用任务类型 在企业后台创建好类型后，点击项目右上角的「菜单」，在「项目菜单」-「项目设置」-「任务类型配置」界面就可以选择已有的任务类型，同时在此界面也可以新建任务类型，然后在任务中就可以使用已添加的任务...
- 产品推荐
- 这些文档可能帮助您