Spark SQL作业配置
本文介绍如何配置Spark SQL类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 ...
Spark Streaming作业配置
本文介绍如何配置Spark Streaming类型的作业。前提条件 已创建好项目，详情请参见 项目管理。已准备好作业所需的资源，以及作业要处理的数据。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部...
XIHE BSP SQL开发
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）支持通过SQL开发编辑器或JDBC方式提交XIHE BSP SQL作业。本文介绍XIHE BSP SQL作业开发的适用场景、提交方法、常见配置参数及常见问题。前提条件 已在湖仓版（3.0）集群中创建Job型资源组。...
在Serverless集群中提交作业
创建Serverless集群后，您可以在集群中提交作业，系统会自动创建ECI实例来运行作业。本文介绍如何在Serverless集群中提交作业。背景信息 在Serverless集群中提交作业后，系统会自动创建ECI实例来运行作业。一个ECI实例主要包含以下几部分...
MaxCompute作业概述
本文为您介绍MaxCompute作业的基本概念和常用场景。背景信息 在MaxCompute中作业由一个或者多个任务（Task）组成，Task是MaxCompute的基本计算单元，Task的详情请参见 任务。MaxCompute中数据开发作业主要存在以下三种类型：周期性调度作业...
Artifact
名称 类型 描述 示例值 object Artifact 承载了用户启动一个已部署作业所必需的用户侧信息，没有 Artifact 信息已部署作业无法创建。对于 SQL 作业是 SQL 文本以及依赖的 udf/connector 等，对于 JAR 作业是使用到的全部的 JAR 包和依赖...
作业诊断
本文为您介绍如何通过作业日志检查作业是否已正常提交并执行。MaxCompute为Spark作业提供Logview工具以及Spark Web-UI，帮助您诊断作业。背景信息 通过Spark-submit方式（DataWorks执行Spark任务时也会产生相应日志）提交作业。cd$SPARK_...
项目空间运维与监控
日志监控 当我们在项目空间中运行测试作业时，若运行过程中作业报错或作业失败，在下方的调试框内会给出相应的执行日志以及错误判断信息，在运行记录当中可以查看过往的提交信息，以供用户排查作业问题，如下图：日志监控图 运行记录列表图...
管理运维中心
本文介绍通过运维中心可以查看作业概览，监控任务运行状态，管理流式作业和查看审计日志，便于对作业的管理和运维。前提条件 已创建项目，详情请参见 新建项目。查看作业概览 使用阿里云账号登录 Databricks数据洞察控制台。在Databricks...
DBA_JOBS
DBA_JOBS 视图提供数据库中的所有作业的相关信息。名称 类型 说明 job INTEGER 作业的标识符（作业 ID）。log_user TEXT 提交了作业的用户的名称。priv_user TEXT 与 log_user 相同。仅为了实现兼容性而提供。schema_user TEXT 用于分析...
安全白皮书
数据恢复 手动创建作业快照：如果您需要在某个特定时间（作业运行时或者停止时）手动创建一个作业快照，并希望从该快照恢复作业，则可以手动创建作业快照。可用于数据恢复、快速部署业务或数据验证等场景。配置定时自动创建作业快照：如果...
ALL_JOBS
ALL_JOBS 视图提供位于数据库中的所有作业的相关信息。名称 类型 说明 job INTEGER 作业的标识符（作业 ID）。log_user TEXT 提交了作业的用户的名称。priv_user TEXT 与 log_user 相同。仅为了实现兼容性而提供。schema_user TEXT 用于...
USER_JOBS
USER_JOBS 视图提供当前用户拥有的所有作业的信息。名称 类型 说明 job INTEGER 作业的标识符（作业 ID）。log_user TEXT 提交了作业的用户的名称。priv_user TEXT 与 log_user 相同。仅为了实现兼容性而提供。schema_user TEXT 用于分析...
Streaming SQL作业配置
本文介绍Streaming SQL作业配置的操作步骤。背景信息 Streaming SQL的详细信息请参见 Spark Streaming SQL。在Streaming SQL作业配置过程中，您需要设置依赖库。以下列出了Spark Streaming SQL提供的数据源依赖包的版本信息和使用说明，...
ListJobsWithFilters-查询作业详情
按照相关参数查询指定作业详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
2023-10-23版本
部署作业 增强作业排序筛选能力 在作业运维页面，支持根据作业健康分、业务延迟进行排序，支持根据修改人筛选作业。暂无 支持RAM角色、资源目录成员、云SSO用户登录鉴权 阿里云账号体系全面适配，包括阿里云账号、RAM用户、RAM角色、资源...
配置作业资源
作业启动前或者作业上线后，您可以配置和修改作业资源，本文为您介绍如何配置和修改基础模式和专家模式的作业资源。使用限制 仅SQL作业支持配置专家模式。注意事项 作业资源配置后，需要重启作业才能生效。操作步骤 进入资源配置入口。登录...
本地调试作业
本文介绍Spark作业开发过程中，在本地上运行Spark作业并进行调试。前提条件 已开通 云原生多模数据库 Lindorm 计算引擎的外网地址。已将本地IP地址添加至Lindorm实例的白名单，具体操作请参见 设置白名单。已准备Spark作业项目。本地运行...
Spark Streaming
本文介绍DLA Serverless Spark如何提交Spark Streaming作业以及Spark Streaming作业重试的最佳实践。前提条件 在DLA Serverless Spark中运行Spark Streaming作业前，您需要完成以下准备工作：授权DLA Serverless Spark访问用户VPC网络的...
Hive作业配置
在 新建作业 对话框中，输入 作业名称 和 作业描述，从 作业类型 下拉列表中选择 Hive 作业类型。表示创建的作业是一个Hive作业。这种类型的作业，实际是通过以下方式提交Hive作业运行。hive[user provided parameters]单击 确定。编辑作业...
工作流调度Zeppelin Notebook
在Databricks数据开发中，您可以在项目空间的作业编辑中创建一组有依赖的 Zeppelin 作业，然后创建工作流，按照依赖次序定义执行顺序，Databricks工作流支持基于有向无环（DAG）并行执行大数据作业。前提条件 通过主账号登录 阿里云 ...
Presto SQL作业配置
在数据开发过程中如果您需要使用Presto SQL，可以在E-MapReduce中配置Presto SQL作业。本文介绍如何配置Presto SQL作业。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况...
作业超时监控告警
MaxCompute支持通过配置阈值报警规则，监控作业运行时长。当作业运行超时后，系统会将报警信息发送至报警联系人，助力及时识别异常作业，提升运维效率。本文为您介绍作业超时报警的监控指标、配置方法及处理报警方式。前提条件 在配置作业...
Task快速重启配置
本文为您介绍，如何配置Task快速重启，从而降低Failover对作业的影响。背景信息 重要 此功能为预览功能，请在生产环境下谨慎使用，如遇问题请及时 提交工单 和技术支持部门取得联系。通常，当Flink流作业中的某个Task发生异常时，为了保证...
常见问题
通过flink run命令运行作业时，作业的参数没有生效 在通过命令行命令运行Flink作业时，Flink作业的参数需要放在Flink作业JAR包的后面，例如 flink run-d-t yarn-per-job test.jar arg1 arg2。报错Multiple factories for identifier '.' ...
Spark Shell作业配置
本文介绍如何配置Spark Shell类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 ...
概述
为了满足开发迭代需求或业务发展需求，SQL作业也需要不断变更，否则修改SQL作业后，并使用原来的状态数据重启作业，会出现状态不兼容的问题。从vvr-4.0.11-flink-1.13版本开始，Flink全托管提供状态兼容性检查和状态数据迁移功能，可以最大...
Java SDK Demo
本文以一个完整的程序为例，提交一个计算π的作业到数据湖分析DLA，跟踪它的状态，查询历史上的运行结果。import com.aliyuncs.DefaultAcsClient;import com.aliyuncs.IAcsClient;import com.aliyuncs.exceptions.ClientException;import ...
Savepoint
名称 类型 描述 示例值 object 本数据结构代表作业快照相关信息。savepointId string 作业快照 ID。354dde66-a3ae-463e-967a-0b4107fd*deploymentId string 已部署作业 ID。1d716b22-6aad-4be2-85c2-50cfc757*jobId string 作业实例 ID。5...
提交Spark作业
EMR支持CRD、spark-submit和控制台终端三种方式提交作业。本文为您介绍如何通过这三种方式提交Spark作业。前提条件 已在EMR on ACK控制台创建Spark集群，详情请参见 创建集群。注意事项 在本文的示例中，JAR包已经直接打包在了镜像中。如果...
2021-03-16版本
开发控制台界面全新升级，作业上线后，您可以在开发界面继续对作业进行修正而不影响上线作业状态。Session模式作业支持设置Checkpoint和Savepoint。优化用户管理界面，可以添加用户名并显示用户名。支持Pyflink作业的提交。详情请参见 部署...
术语表
Job Transcode Job 转码作业 转码作业，一个转码作业由一路输入及一路输出构成，作业会被加入到管道中，管道中的作业会被调度引擎调度到转码系统进行转码。AnalysisJob Analysis Job 预置模板分析作业 预置模板分析作业由输入文件及分析...
API概览
克隆作业 调用CloneFlowJob接口，克隆作业。创建数据开发作业 调用 CreateFlowJob接口，创建数据开发作业。创建项目空间 调用CreateFlowProject，根据传入的地域、名称和描述创建项目空间，并返回创建好的项目空间的ID。删除工作流 调用...
GetJobStatus
获取Spark作业的执行状态。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 GetJobStatus 系统规定参数。取值：GetJobStatus。JobId String 是 j202011031935hangzhouf742a4330003667 Spark作业的ID。您可以登录 DLA控制台，在...
创建作业
相关操作 修改下探分析作业 创建下探分析作业后，您可以在下探分析作业列表中，找到目标下探分析作业，单击对应的 图标，修改该作业。删除下探分析作业 创建下探分析作业后，您可以在下探分析作业列表中，找到目标下探分析作业，单击对应的...
ListSparkJob
调用ListSparkJob用于翻页提取某个数据湖分析Spark虚拟集群的历史作业详情信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必...
Python作业开发
本文为您介绍Flink Python API作业开发的背景信息、使用限制、开发方法、调试方法和连接器使用等。背景信息 Flink Python作业需要您在本地完成开发工作，Python作业开发完成后，再在Flink开发控制台上部署并启动才能看到业务效果。整体的...
2021-08-04版本
VVP重大功能变更 作业停止后会清理该作业生成的所有Checkpoint，因此如果您需要恢复作业的状态，可以采取以下任何一种方式：暂停作业后再恢复作业。停止后从Savepoint恢复作业。新增 开发类功能 SQL作业支持配置细粒度资源，即可以配置CPU...
动态扩缩容与参数动态更新
动态更新Flink作业参数可以实现更快的参数配置生效，减少作业启停对业务的中断时间，方便进行TM动态扩缩容和系统检查点的排查。背景信息 传统的Flink参数更新方式需要重新启动作业，可能会出现业务中断、数据回追延迟和资源占用高峰等问题...
监控与报警
作业（任务）维度 监控指标 描述 CPU使用率（作业维度）指定作业的CPU使用百分比。内存使用率（作业维度）指定作业的内存使用百分比。磁盘读取数据量（作业维度）指定作业的磁盘读取数据量（MB）。磁盘写入数据量（作业维度）指定作业的...
- 产品推荐
- 这些文档可能帮助您