使用ECI弹性调度Spark作业
使用阿里云弹性容器实例（Elastic Container Instance）调度Spark作业，可以不受限于ACK集群的节点计算容量，灵活动态地按需创建Pod（容器组），有效地降低计算成本。本文为您介绍如何使用ECI弹性调度Spark作业。背景信息 如果您需要使用更...
使用ECI弹性调度Flink作业
使用阿里云弹性容器实例（Elastic Container Instance）调度Flink作业，可以不受限于ACK集群的节点计算容量，灵活动态地按需创建Pod（容器组），有效地降低计算成本。本文为您介绍如何使用ECI弹性调度Flink作业。背景信息 如果您需要使用更...
DMS作业调度
本文介绍 AnalyticDB PostgreSQL版 如何通过DMS的作业调度功能，实现定时调度RDS PostgreSQL数据库的数据。功能介绍 本次作业调度使用OSS作为中间态的存储，调度任务会将数据从RDS PostgreSQL数据库加载到OSS上，再使用 AnalyticDB ...
湖仓版作业调度
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）的作业调度提供离线SQL应用、Spark应用的复杂任务流功能，具备灵活的ETL数据处理、数据开发等能力。使用流程 前提条件 如果通过阿里云账号（主账号）登录，使用作业调度功能需要满足以下两...
DataWorks作业调度
使用DataWorks可以使云原生数据仓库PostgreSQL版获得任务开发、任务依赖关系管理、任务调度、任务运维等全方位强大的能力，进一步增强分析型数据库PostgreSQL版的ETL能力。本文将介绍如何使用DataWorks来调度云原生数据仓库PostgreSQL版的...
周期性调度作业概述
如果您希望周期性运行MaxCompute作业，可使用DataWorks的DataStudio开发周期性MaxCompute作业，并配置周期性调度的时间属性、调度依赖等配置项，将作业整体提交至DataWorks的运维中心进行周期性调度。本文为您概要介绍当前使用DataWorks...
定期调度Zeppelin中的作业
当您在Zeppelin里完成作业开发后，您就可以通过Airflow定期调度作业。本文为您介绍如何使用Airflow调度作业。前提条件 已创建EMR Studio集群。创建集群详情，请参见 创建集群。安全组规则已开启8000、8081和8443端口。添加安全组规则，详情...
定期调度Jupyter中的作业
当您在Jupyter里完成作业开发后，您就可以通过Airflow定期调度作业。本文为您介绍如何将Jupyter中编写的Notebook，生成调度任务并定时执行。前提条件 已创建EMR Studio集群。创建集群详情，请参见 创建集群。安全组规则已开启8000、8081和...
Airflow调度DLA Spark作业
您可以直接将开源Spark命令行工具包替换成DLA Spark命令行工具包，并进行简单的配置即可使用Airflow调度DLA Spark作业。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的...
2023年
Spark Connector 2023-10-27 新增数据科学计算概述 新说明 MaxFrame是由阿里云自研的分布式科学计算框架，是对历史相关产品功能（PyODPS、Mars）的重大升级，在MaxCompute之上提供一套完全兼容Pandas接口的API，让用户用更为熟悉、更符合...
使用Kettle调度MaxCompute
MaxCompute支持您通过ETL工具Kettle实现MaxCompute作业调度。您可以通过拖拽控件的方式，方便地定义数据传输的拓扑结构。本文为您介绍如何通过MaxCompute JDBC驱动，连接Kettle和MaxCompute项目并调度作业。背景信息 Kettle是一款开源的ETL...
使用Azkaban调度MaxCompute
MaxCompute支持您通过Azkaban实现作业调度，帮助您高效地完成高频数据分析工作。本文以通过MaxCompute客户端执行命令（Command）的方式为例为您介绍如何使用Azkaban调度SQL作业。背景信息 Azkaban是一套作业调度系统，可以调度Command、...
工作流调度Zeppelin Notebook
在Databricks数据开发中，您可以在项目空间的作业编辑中创建一组有依赖...填写作业名称、作业描述，作业类型选择 zeppline、单击 确定 编辑调度 Notebook、单击保存 使用作业调度Notebook有2种方式 方式一：使用OSS路径调度Notebook oss:/ddi-...
新用户必读
作业调度：云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）具备离线SQL应用、Spark应用的作业调度能力，帮助您完成复杂的ETL数据处理。SQL手册：详细介绍 AnalyticDB MySQL 支持的数据类型、SQL语法以及示例。系统函数：介绍 AnalyticDB ...
CancelDNAJob-取消DNA作业
建议先调用更新管道接口（UpdatePipeline）将管道状态置为 Paused，暂停作业调度，再调用取消作业接口取消作业；取消完后需要恢复管道状态为 Active，管道中的作业才会被调度执行。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您...
使用Apache Airflow调度MaxCompute
MaxCompute支持您使用Apache Airflow通过Python接口实现作业调度。本文为您介绍如何使用Apache Airflow的Python Operator调度MaxCompute作业。背景信息 Apache Airflow是Airbnb开源的、基于Python编写的调度工具，基于有向无环图（DAG），...
CancelJob-取消转码作业
建议先调用更新管道接口（UpdatePipeline）将管道状态置为 Paused，暂停作业调度，再调用取消作业接口取消作业；取消完后需要恢复管道状态为 Active，管道中的作业才会被调度执行。QPS 限制 本接口的单用户 QPS 限制为 100 次/秒。超过限制...
使用 Gang Scheduling
ACS 为作业调度场景提供了 Gang Scheduling 能力，满足作业调度场景 All-or-Nothing 需求。本文介绍如何使用 Gang Scheduling。功能介绍 作业（Job）一般会创建多个 Pod，并且这些 Pod 需要协调一致地启动运行。这要求在调度时一定要按照一...
通过命令行提交作业
E-HPC支持PBS、SLURM、SGE等作业调度系统，本文介绍如何使用三种调度系统，通过命令行提交作业。准备工作 创建集群用户。具体操作，请参见 创建用户。集群用户用于登录集群，进行编译软件、提交作业等操作，本文创建的用户示例如下：用户名...
设置调度器参数
调度器是集群上调度作业的软件，负责分发作业、处理作业优先级、按需分配计算节点资源（如vCPU、内存、节点个数）等。您可以根据作业大小，预估使用的节点资源和作业完成时间，设置集群的调度器参数，从而提高资源使用率。本文介绍如何在...
通过ack-co-scheduler组件实现协同调度
Gang scheduling 阿里云容器服务ACK基于新版的Kube-scheduler框架实现Gang scheduling的能力，解决原生调度器无法支持All-or-Nothing作业调度的问题。使用以下模板向集群中提交Tensorflow分布式作业。关于如何运行Tensorflow的分布式作业，...
创建CDH Spark节点
相关场景 DataWorks平台提供了完善的作业调度和监控功能，确保您的Spark作业能够顺利提交到CDH集群执行。这种方式不仅简化了作业的运维流程，还使得资源管理更为高效，以下是一些Spark任务的应用场景：数据分析：利用Spark SQL、Dataset...
DMS调度XIHE SQL
流程介绍 以 云原生数据仓库AnalyticDB MySQL版 数仓版（3.0）集群为例，介绍作业调度流程：通过DMS的任务编排功能在 AnalyticDB MySQL版 数据库的 orders 订单表中筛选出已完成且订单金额大于10000 元 的订单。步骤 说明 步骤一：新增任务...
SubmitIProductionJob-提交智能生产作业
{"Model":"gif"} ScheduleParams string 否 作业调度参数，设置任务调度配置（非必填，保持为空即可）。null NotifyUrl string 否 Callback 路径，目前仅支持 MNS 消息队列。消息队列的路径可以通过 MNS 控制台>队列列表>详情查看。mns:/...
运行模式
使用场景适合于离线作业，可与阿里云DataWorks产品结合进行作业调度，命令行提交方式如下。path/to/MaxCompute-Spark为编译后的Application JAR包路径。cd$SPARK_HOME bin/spark-submit-master yarn-cluster-class ...
常见问题
E-HPC在管控节点上配置作业调度器。以上流程都依赖于E-HPC服务部署。若您使用ECS管理控制台对节点进行操作，则可能会导致集群或部分节点状态异常，或集群相关资源不可使用等问题。因此不允许使用ECS管理控制台对E-HPC集群的节点进行操作。E...
概述
HoloStudio的数据开发模块与DataWorks无缝连接，提供一站式稳定高效的ETL（Extract-Transform-Load）服务，帮助您使用可视化方式周期性调度作业、创建外部表、同步外部表数据以及上传本地文件。数据开发 的核心功能如下：文件夹 用于存放并...
概述
HoloStudio的数据开发模块与DataWorks无缝连接，提供一站式稳定高效的ETL（Extract-Transform-Load）服务，帮助您使用可视化方式周期性调度作业、创建外部表、同步外部表数据以及上传本地文件。数据开发 的核心功能如下：文件夹 用于存放并...
使用插件部署混合云集群
操作步骤 步骤一：确认本地集群信息 确认调度器可以正常调度作业。本文方案适用于管控节点（含调度器）在本地，计算节点在云上的场景。您需要自行确认本地管控节点上部署的调度器可以正常调度作业。E-HPC支持的调度器类型为PBS、Slurm、LSF...
集群概述
调度器 调度器是集群上调度作业的软件。E-HPC支持的调度器如下：类型 调度器 控制台显示 PBS PBS Pro19 pbs19 PBS Pro18 pbs 说明 由选择的镜像决定安装的调度器软件版本。OpenPBS 20 OpenPBS 22 Slurm Slurm 22 slurm22 Slurm 20 slurm20 ...
项目空间运维与监控
操作界面如下图：调度告警 调度作业时，需要配置具体的调度属性和告警设置，具体操作如下图：。对于设置具体的告警人，请参考 项目空间告警人设置。当符合告警条件时，系统会根据设置的反馈方式，通知到具体报警人，高效处理运维，反馈示例...
数据开发常见问题
问题分析：作业Task数目过多或Spark Executor数目过多，导致AppMaster调度启动Task的时间过长，单个Task运行时间较短，作业调度的Overhead较大。解决方法：减少Task数目，使用CombinedInputFormat。提高前序作业产出数据的Block Size（dfs....
MaxCompute作业概述
MaxCompute中数据开发作业主要存在以下三种类型：周期性调度作业、数据集成作业、数据分析作业。典型场景 创建作业：创建ODPS SQL节点、数据传输作业：数据集成、数据分析作业。查看作业运行信息：使用Logview查看作业运行信息、在...
基本概念
调度器 调度器指集群上调度作业的软件。域账号 E-HPC支持创建NIS和LDAP两种域账号服务。NIS：网络信息服务（Network Information Service），是一种集中身份管理的方式。您可以在NIS服务器上建立用户，当新节点加入到NIS中时，便可以使用...
创建数据源质量规则
调度配置：可在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识库后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见 新建及管理知识库。删除：删除此...
创建数据源质量规则
调度配置：可在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识库后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见 新建及管理知识库。删除：删除此...
创建实时元表规则
调度配置：支持在对话框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度，为质量规则批量配置调度。开启：支持批量开启质量规则的对象的生效状态，开启生效状态后，所选规则会按照配置的调度自动执行。关闭：支持批量关闭质量规则...
- 产品推荐
- 这些文档可能帮助您