本地运行和调试包含连接器的作业
背景信息 当您在Inteillij IDEA中运行和调试Flink作业，如果其包含了阿里云实时计算Flink版的商业版连接器依赖，可能会遇到无法找到连接器有关类的运行错误。例如，运行含有 大数据计算服务MaxCompute 连接器的作业时出现如下异常：Caused ...
Blink和Flink常见问题及诊断
Blink/VVP用户读写Hologres报错显示无法连接Hologres 可能原因：Blink/VVP集群默认访问公网很慢或者无法访问。解决方法：需要保证和Hologres实例在相同Region，且使用VPC的Endpoint。报错：Hologres rpc mode dimension table does not ...
DataStudio概述
本文为您介绍什么是DataStudio，以及DataStudio支持的Hologres节点功能。简介 DataWorks基于Hologres、MaxCompute等大数据计算引擎，为您...一键表数据同步 您可以使用DataStudio导入MaxCompute数据至Hologres，并可以提交调度周期性作业。
临时查询
编辑锁 在编辑作业时，您可以单击右上方的 上锁，为该作业加上编辑锁，保证此时只有您可以编辑作业，项目其他成员无法编辑该作业。只有解锁之后，项目中其他成员才可以编辑该作业。说明 上锁之后，只有上锁的成员和阿里云账号管理员能够...
2023-06-21版本
CREATE TABLE AS（CTAS）语句 MySQL连接器结果表和维表能力增强 通过此增强，从此版本起，我们推荐您将之前使用阿里云RDS连接器的作业逐步迁移至MySQL连接器。MySQL MySQL源表CDC增量读取支持无主键的表 此次更新可以让更多种类的MySQL表...
计算成本控制
当您发现MaxCompute账单持续上涨，而且成本变得难以管理时，您可以从计算作业着手，通过对SQL作业和MapReduce作业的优化而减少计算成本。本文为您介绍SQL作业和MapReduce作业计算成本的控制方法。预估计算成本 您可以在计算前对计算成本...
Airflow调度DLA Spark作业
Airflow是比较流行的开源调度工具，可以实现各类工作负载的DAG编排与调度。您可以通过Spark-Submit和Spark-SQL命令行来实现Airflow调度Spark任务。DLA Spark提供了命令行工具包，支持通过Spark-Submit和Spark-SQL方式来提交Spark作业。您...
设置基线优先级与YARN队列优先级的映射关系
在YARN中，通过作业的YARN队列优先级，决定YARN优先为哪个作业分配资源，即优先调度运行哪个作业。更多YARN介绍，详情请参见 YARN概述。DataWorks中您可通过如下方式配置调度运行节点任务时使用的YARN队列：方式一（YARN队列全局配置）：...
作业编辑
背景信息 本文为您提供作业编辑的相关操作，具体如下：新建作业 设置作业 在作业中添加注解 运行作业 作业可执行操作 作业提交模式说明 前提条件 已创建项目或已被加入到项目中，详情请参见 项目管理。新建作业 进入数据开发的项目列表页面...
E-HPC集群调度器插件
E-HPC提供了调度器插件作为平台的外扩组件，在E-HPC现有调度器类型或版本不满足当前业务时，您可以通过该插件构建自定义调度器并接入E-HPC平台的能力。本文为您介绍E-HPC集群调度器插件的概念及组成。什么是调度器插件 E-HPC作为一款PaaS...
诊断转发路由器实例
如果转发路由器下的网络实例连接不需要和转发路由器路由表建立路由学习关系，请确保转发路由器路由表下存在去往网络实例的静态路由，否则转发路由器无法将流量转发至网络实例。关于路由学习的更多信息，请参见 路由学习。关联转发检查 检查...
创建安全沙箱应用
说明 应用非亲和性调度的设置方式与亲和性调度相同，但是相同的调度规则代表的意思不同，请根据使用场景进行选择。调度容忍 容忍被应用于Pod，允许这个Pod被调度到相对应的污点上。调度到虚拟节点 设置是否调度到虚拟节点。如果您集群中...
API概览
流量调度器 API 标题 API概述 CreateSchedulerRule 创建流量调度器调度规则 创建流量调度器调度规则。DeleteSchedulerRule 删除流量调度器调度规则 删除流量调度器调度规则。ModifySchedulerRule 编辑流量调度器调度规则 编辑流量调度器...
社区版CDC
重要 社区版CDC连接器是遵循Apache 2.0开源协议的社区开源项目，与阿里云实时计算Flink版产品提供的商业版连接器在服务支持及SLA存在差异：在使用时，如果您遇到配置失败、作业失败或数据丢失等问题，需要到开源社区寻找对应问题的解决方案...
实时数据集成（Flink版）
实时计算Flink版服务集成物联网平台的产品属性时序表数据、产品事件表数据和自定义存储表时序数据，需要在Flink SQL开发作业中使用SQL连接器连接物联网平台数据服务中对应的时序数据表。Flink全托管产品支持您自定义连接器后上传使用，物...
开发ODPS Spark任务
MaxCompute Spark作业可通过 Local模式、Cluster模式 执行，此外，您也可在DataWorks中运行MaxCompute Spark离线作业（Cluster模式），以便与其它类型执行节点集成和调度。本文为您介绍如何通过DataWorks实现MaxCompute Spark作业的配置与...
开发ODPS Spark任务
MaxCompute Spark作业可通过 Local模式、Cluster模式 执行，此外，您也可在DataWorks中运行MaxCompute Spark离线作业（Cluster模式），以便与其它类型执行节点集成和调度。本文为您介绍如何通过DataWorks实现MaxCompute Spark作业的配置与...
作业运维（新版）
MaxCompute作业运维功能支持查看历史作业和正在运行的作业，方便您了解作业运行详情及分析作业运行时的资源负载情况，帮助您对作业进行运维管理。功能介绍 MaxCompute的作业运维功能支持查看并运维您当前项目下 历史作业和正在运行的作业。...
EMR数据开发（旧版）停止全面支持公告
停止全面支持时间 2023年9月30日0点 影响 您在停止全面支持时间点前创建的数据开发（旧版）项目不会受到影响，可正常使用EMR数据开发（旧版）模块，包括运行作业和工作流调度，但阿里云不再提供EMR数据开发（旧版）的用户答疑、问题解决和...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
开发PyODPS 3任务
DataWorks为您提供PyODPS 3节点，您可以在该节点中直接使用Python代码编写MaxCompute作业，并进行作业的周期性调度。本文为您介绍如何通过DataWorks实现Python任务的配置与调度。前提条件 已创建PyODPS 3节点，详情请参见 创建并管理...
使用Logview查看作业运行信息
Instance信息部分，您可以单击Status查看当前队列的Status详细信息，包含四种状态：Waiting：说明当前作业正在MaxCompute中处理，并没有提交到分布式调度系统（Fuxi）中运行。Waiting List:n：说明作业已提交至分布式调度系统（Fuxi）排队...
什么是弹性高性能计算E-HPC
调度器服务器：运行调度器客户端，管理调度节点，处理作业提交。域账号服务器：管理集群内的用户。计算节点：运行高性能计算作业，其配置决定了E-HPC集群的总体性能。安全组是一种虚拟防火墙，具备集群节点状态检测和数据包过滤能力，用于...
创建AnalyticDB for PostgreSQL数据源
若地域不一致，则只能创建为跨地域的数据源，此类数据源无法在DataWorks的数据开发（DataStudio）模块绑定，即无法用于数据开发或周期性调度任务，仅可进行数据同步任务。已购买所需的DataWorks资源组并完成资源组配置。AnalyticDB for ...
作业诊断
获取作业各节点的启停调度信息。获取作业各节点的标准输入输出日志。Spark结果输出建议打印到StdOut，Spark的log4j日志则默认输出到StdErr。Logview的时效性为3～5天。当本地磁盘已满时，StdOut和StdErr会被清理掉。在浏览器中打开日志输出...
管理手动任务
打开该开关，您还可以选择配置以下参数：调度队列：指定作业提交的YARN队列。任务执行容器内存（MB）：指定作业执行容器的内存。默认值为1024。虚拟核数：指定作业执行容器的虚拟核数（vCores）。默认值为1。优先级：指定作业执行容器的...
新用户必读
作业调度：云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）具备离线SQL应用、Spark应用的作业调度能力，帮助您完成复杂的ETL数据处理。SQL手册：详细介绍 AnalyticDB MySQL 支持的数据类型、SQL语法以及示例。系统函数：介绍 AnalyticDB ...
AI负载调度
本文介绍弹性资源调度、AI任务调度、异构资源调度和任务队列调度，帮助用户提升集群的资源利用率和作业运行效率。弹性调度 ACK为不同弹性资源提供了混合调度的能力。功能 描述 参考文档 弹性调度 阿里云提供了不同种类的弹性资源，如ECS和...
功能特性
连接IPsec连接 连接转发路由器实例 跨地域管理 带宽包 跨地域连接 带宽复用 流量调度 路由管理 自定义路由表 自定义路由条目 关联转发 路由学习 前缀列表 路由同步 聚合路由 路由策略 多地域VBR等价路由 云服务管理 访问云服务 访问...
监控跨地域连接
背景信息 在您使用跨地域连接的过程中，支持查看跨地域连接下以下两种资源的带宽使用情况，且两种资源均支持创建阈值报警规则：跨地域连接 跨地域连接下指定流量调度队列 说明 仅支持在企业版转发路由器的跨地域连接下查看流量调度队列的...
DMS作业调度
本文介绍 AnalyticDB PostgreSQL版 如何通过DMS的作业调度功能，实现定时调度RDS PostgreSQL数据库的数据。功能介绍 本次作业调度使用OSS作为中间态的存储，调度任务会将数据从RDS PostgreSQL数据库加载到OSS上，再使用 AnalyticDB ...
任务编排
步骤四：连接节点并配置调度信息 在任务流中的画布中，单击 迁移数据节点 上的圆点并拉出连接线，连接至 清除历史数据节点。说明 通过连接线设置任务执行的先后顺序。本示例中，先执行 迁移数据节点，再执行 清除历史数据节点。单击任务流...
欠费说明
欠费停机影响 欠费后，控制台无法新建调度任务。欠费超过7天后，控制台自动释放调度任务实例。结清账单后，被释放的实例不可恢复。如果欠费影响了业务，例如调度任务被禁用，需要加入钉群（钉群号：23103656）联系SchedulerX技术支持人员将...
工作原理
调度和执行场景 一个作业可生成一个或多个实例，无论是正常被调度还是您触发异常实例重试的情况，同时只有一个实例处于运行中，不存在多个实例并发执行的情况。主要的调度与执行场景如下表所示。场景 说明 场景一：从当前时间开始执行时序...
注册调度集群
Dataphin支持连接不同集群的机器并统一管理对应的调度资源。本文介绍如何注册调度集群。操作步骤 使用元仓租户下的 超级管理员 或 系统管理员 账号登录Dataphin。在Dataphin首页，单击顶部菜单栏中的 管理中心。按照下图操作指引，进入 ...
Python作业开发
本文为您介绍Flink Python API作业开发的背景信息、使用限制、开发方法、调试方法和连接器使用等。背景信息 Flink Python作业需要您在本地完成开发工作，Python作业开发完成后，再在Flink开发控制台上部署并启动才能看到业务效果。整体的...
工作原理
调度和执行场景 一个作业可生成一个或多个实例，无论是正常被调度还是您触发异常实例重试的情况，同时只有一个实例处于运行中，不存在多个实例并发执行的情况。主要的调度与执行场景如下表所示。场景 说明 场景一：从当前时间开始执行下探...
配置集群连接
步骤三：下载描述文件并完成应用部署 按照下图操作指引，选择需要配置集群连接的集群，进入 调度集群管理 对话框。在 集群连接配置引导 对话框中，下载应用安装描述文件。步骤四：执行安装命令 在目标集群导入下载的描述文件并解压后执行...
创建和执行Spark作业
本文介绍如何在数据湖分析控制台创建和执行Spark作业。准备事项 您需要在提交作业之前先...使用DMS进行Spark作业编排和任务周期调度，请参考文档 DMS任务编排调度Spark任务训练机器学习模型。DLA Spark作业配置，请参考文档 作业配置指南。
接入问题
无可用机器（no worker available）问题现象：无可用机器，系统提示no worker available。...当公网直连环境正常但代理模式无法连接时，您需要指定对应Endpoint。关于部署应用的地域（Region）和对应的Endpoint，请参见 Endpoint列表。
- 产品推荐
- 这些文档可能帮助您