通过OpenAPI创建、修改、删除离线同步任务
由于DataWorks调度系统的规则，cron表达式有以下限制：最短调度间隔时间为5分钟。每天最早调度时间为0点5分。CycleType String 否 NOT_DAY 调度周期的类型，包括NOT_DAY（分钟、小时）和DAY（日、周、月）。该参数与 DataWorks控制台 中，...
通过OpenAPI创建、修改、删除离线同步任务
由于DataWorks调度系统的规则，cron表达式有以下限制：最短调度间隔时间为5分钟。每天最早调度时间为0点5分。CycleType String 否 NOT_DAY 调度周期的类型，包括NOT_DAY（分钟、小时）和DAY（日、周、月）。该参数与 DataWorks控制台 中，...
GetFile
NodeId Long 300001 提交文件后，在调度系统生成的调度任务ID。AdvancedSettings String {"queue":"default","SPARK_CONF":"-conf spark.driver.memory=2g"} 任务的高级配置。该参数与 DataWorks控制台 中，EMR Spark Streaming和EMR ...
权限管理与规范化数据开发
开发角色可以不经过任何人审批，随时新增、修改代码并提交至调度系统，给生产环境带来不稳定因素。面向MaxCompute计算引擎时，开发角色默认拥有当前MaxCompute项目所有表的读写权限，可随意对表进行增加、删除和修改等操作，存在数据安全...
XxlJob任务
背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是开发迅速、学习简单、轻量级、易扩展，在开源社区广泛流行，已在多家公司投入使用。XXL-JOB开源协议采用的是GPL，因此云厂商无法直接商业化托管该产品，各大中...
XxlJob任务
背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是开发迅速、学习简单、轻量级、易扩展，在开源社区广泛流行，已在多家公司投入使用。XXL-JOB开源协议采用的是GPL，因此云厂商无法直接商业化托管该产品，各大中...
计费逻辑说明
调度费用 数据集成离线任务通过调度系统下发至对应资源组运行，会产生调度相关费用。说明 调度费用详情请参见 资源费用明细：任务调度。关于任务下发机制，详情请参见 DataWorks资源组概述。实时同步任务不收取离线调度实例费。同步解决...
文档修订记录
若任务需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。任务调度属性配置概述 2023年2月更新记录 时间 特性 类别 描述 产品文档 2023.2.28 新增功能 数据治理中心 DataWorks支持您根据业务需要，...
采集数据
注意事项 odps_first 数据源是工作空间绑定MaxCompute计算引擎时，系统根据引擎信息自动生成的默认数据源。配置数据去向为odps_first数据源，代表将源端数据写入至当前工作空间默认绑定的MaxCompute项目。DataWorks与MaxCompute关系及对应...
采集数据
3、配置调度属性 通过以下配置实现调度场景下，每日00:15将存储在OSS的 user_log.txt 文件数据通过数据集成同步至MaxCompute的 ods_raw_log_d 表对应时间分区。配置调度参数：bizdate=$bizdate，获取前一天的日期，格式为 yyyymmdd。配置...
CentOS 7系统中如何查看并设置开机启动项
概述 本文主要介绍CentOS 7系统如何查看并设置开机启动项。详细信息 阿里云提醒您：如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置与数据修改，...
服务定时自动部署
如果您在步骤一中引入了Designer全局变量，请参考 示例2：定时调度参数替换，在节点调度配置中将全局变量的配置替换成所需的系统变量。步骤三：部署后查看定时更新的服务版本 查看定时部署的模型服务版本，具体操作步骤如下。登录 PAI控制...
DataWorks On CDP/CDH使用说明
DataWorks支持基于CDH（Cloudera's Distribution Including Apache Hadoop，以下简称CDH）和CDP（Cloudera Data Platform，以下简称CDP）集群创建Hive、MR、Presto和Impala等节点，实现CDP/CDH任务工作流的配置、定时调度和元数据管理等...
DataWorks On Hologres使用说明
DataWorks基于 实时数仓Hologres 轻松构建实时数仓与即席分析系统。Hologres可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发Hologres任务...
DataWorks On MaxCompute使用说明
DataWorks基于 云原生大数据计算服务MaxCompute 轻松构建离线数仓分析系统。MaxCompute可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发...
虚拟节点调度方案对比及介绍
针对虚拟节点，ACK Serverless集群基础版 和 ACK Serverless集群Pro版 支持的调度方式不同，且有其特定的使用场景，例如调度到指定操作系统或架构类型的虚拟节点上、跨可用区亲和等。您可以依据调度场景以及集群类型，参考本文选择合适的...
上传管道脚本
Dataphin支持将已下载的管道脚本上传至系统进行二次开发。本文为您介绍如何上传管道脚本。前提条件 已下载管道脚本，详情请参见 下载管道脚本。背景信息 上传管道脚本，详情请参见 数据引入权限列表。操作步骤 登录 Dataphin控制台。在...
计算资源优化
基于云基础设施的操作系统优化 阿里云提供了Alibaba Cloud Linux操作系统镜像，是阿里云基于龙蜥社区（OpenAnolis）的龙蜥操作系统（Anolis OS）打造的操作系统发行版，在兼容RHEL/CentOS生态的同时，为云上应用程序提供安全、稳定、高性能...
上传管道脚本
Dataphin支持将已下载的管道脚本上传至系统进行二次开发。本文为您介绍如何上传管道脚本。前提条件 已下载管道脚本，详情请参见 下载管道脚本。背景信息 上传管道脚本，详情请参见 数据集成权限列表。操作步骤 登录 Dataphin控制台。在...
产品相关问题
分布式调度：提高系统的可用性、伸缩性，且调度与业务的分离，让研发更专注业务逻辑的开发。多种任务类型：简单任务，集群任务，消息任务，流式任务，满足不同场景需求。丰富的管理功能：包括定时触发、事件触发、手动触发、优雅停止、断点...
EventBridge事件调度
EventBridge事件调度包括云产品事件调度和自定义事件源事件调度。云产品事件调度支持包括弹性计算、存储服务、数据库、容器、大数据处理、可观测性服务及中间件服务在内的几乎所有阿里云官方事件源，而自定义事件源事件调度支持包括SLS、...
巡检任务
巡检任务是巡检规则的聚合载体，并且提供修改规则的执行范围以及调度方式的功能。您可通过巡检任务模块对巡检任务进行统一的管理操作，包括新建、编辑、复制、删除、执行、调度任务等。新建任务 登录高可用管理控制台。在左侧导航栏上，...
离线集成任务属性配置概述
对于离线集成任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。...
离线集成任务属性配置概述
对于离线集成任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。...
离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
使用Apache Airflow调度MaxCompute
MaxCompute支持您使用Apache Airflow通过Python接口实现作业调度。本文为您介绍如何使用Apache Airflow的Python Operator调度MaxCompute作业。背景信息 Apache Airflow是Airbnb开源的、基于Python编写的调度工具，基于有向无环图（DAG），...
查看并管理手动实例
共享调度资源池：SQL任务、Virtual等共享资源任务消耗的调度资源极少，系统默认预订一定额度的资源用于调度这些共享资源任务，并且不支持单独配置，不可修改。手动实例运行状态说明 状态 图标 说明 未运行 未开始运行的实例。等待中 已触发...
计算资源
计算资源常指用于执行计算任务的软硬件资源，包括CPU、GPU、内存、操作系统和特定计算任务的软硬件环境等。计算资源的主要作用是执行各种计算任务，包括数据处理、算法运算、业务逻辑执行等。计算资源的性能和容量直接影响到系统的计算能力...
短信发送状态回执错误码
isp.SYSTEM_ERROR 系统出现错误，请重新调用 原因：系统出现错误。解决方案：请重新调用接口。isv.MOBILE_NUMBER_ILLEGAL 手机号码格式错误 原因：手机号码格式错误。解决方案：参数 PhoneNumbers 请传入正确的格式。国内消息：+86/0086/86...
周期实例通用运维概述
周期实例是周期任务按照调度配置自动定时运行生成的实例。周期任务每调度一次，便生成一个实例。同时，可以对已生成的实例进行运维管理，例如查看运行状态、重跑和查看节点代码等操作。本文将介绍周期实例的通用功能。周期实例 生成时间及...
周期实例通用运维概述
周期实例是周期任务按照调度配置自动定时运行生成的实例。周期任务每调度一次，便生成一个实例。同时，可以对已生成的实例进行运维管理，例如查看运行状态、重跑和查看节点代码等操作。本文将介绍周期实例的通用功能。周期实例 生成时间及...
优雅下线
对于数据治理过程中的无效任务或表，数据治理中心为您提供完整的下线方案，包含下线风险评估、下线通知推送、下线过程管理等全流程功能，为您解决人工识别下线风险、任务存在正常调度的下游任务时不能下线、因无法预知风险而不敢轻易下线等...
查看并管理手动实例
共享调度资源池：SQL任务、Virtual等共享资源任务消耗的调度资源极少，无需用户单独指定，系统默认预订一定额度的资源用于调度这些共享资源任务，并且不支持单独配置，不可修改。手动实例运行状态说明 状态 图标 说明 未运行 未开始运行的...
功能更新动态（2023年）
支持补数据任务定时调度，系统自动定期回刷历史数据。通用补数据实例 资产目录 新增专题广场功能，实现资产分类管理。新增 运营管理员 角色，负责资产专题及专题分组管理。新增资产专题广场，可快捷搜索及查看有权限的资产专题，展示新建...
文档更新动态（2023年）
支持补数据任务定时调度，系统自动定期回刷历史数据。更新说明 通用补数据实例 新增专题广场功能和数据表列表优化 新增专题广场功能，实现资产分类管理。新增 运营管理员 角色，负责资产专题及专题分组管理。新增资产专题广场，可快捷搜索...
StartTimedResetOperate-停复机操作开机接口
调用该接口返回成功，表示系统成功接收到开机请求，此时该停复机实例状态为开机中，系统正在对该实例执行开机操作中，开机操作正常情况下需要 1-5 分钟时间，如果遇到平台资源池不足可能会需要更长时间。调用该接口之后可以轮询调用 停复机...
ubuntu 18.04版本如何设置开机自动启动脚本
从Ubuntu 16.10版本开始不再使用initd管理系统，改用systemd管理系统，而通过systemd管理系统可以实现开机运行自己的脚本，本文讲解如果通过systemd来实现开机自动运行脚本。详细信息 阿里云提醒您：如果您对实例或数据有修改、变更等风险...
使用GPU拓扑感知调度（Tensorflow版）
ACK基于Scheduling Framework机制，实现GPU拓扑感知调度，即在节点的GPU组合中选择具有最优训练速度的组合。本文介绍如何使用GPU拓扑感知调度来提升TensorFlow分布式训练的训练速度。前提条件 已创建ACK Pro集群，且集群的实例规格类型选择...
运维中心概述
系统的周期调度时间包括分钟、小时、日、周、月和年。触发任务运行包括补数据周期任务、手动运行手动任务和启动实时任务的运行。重要 开发环境的所有任务默认不运行，需要您手动触发任务的运行。周期任务发布到生产环境后即可开始正常调度...
- 产品推荐
- 这些文档可能帮助您