Hadoop MapReduce作业配置
本文介绍如何配置Hadoop MapReduce类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击...
查看历史作业实例日志
Flink全托管支持在作业探查界面、对象存储OSS或者日志服务SLS上查看历史作业实例的日志。本文为您介绍如何在作业探查界面、OSS或SLS上查看历史作业实例日志。背景信息 如果出现以下情况，则您需要查看历史作业实例的日志：您需要查看、搜索...
提交训练作业
PAI Python SDK提供了更易用的API（即HighLevel API），支持您将训练作业提交到PAI，并使用云上资源运行训练作业。本文为您介绍如何准备训练作业脚本并使用SDK提交训练作业。计费说明 在提交训练作业时，会调用DLC计算资源执行任务，由此会...
数据开发常见问题
解决方案：建议不要使用Shell类型作业开发Hive、Spark或Sqoop等作业，尽可能使用原生作业类型（例如，Hive、Spark或Sqoop等类型）进行开发，这些作业类型存在一定的关联机制，可以确保作业驱动程序本身和YARN Application状态的一致性。...
作业优先级
本文为您介绍MaxCompute的包年包月作业优先级功能，并提供开启、设置和查看作业优先级的操作指导。背景信息 MaxCompute的包年包月计算资源有限，在实际数据开发过程中，系统需要优先保障重要作业的计算资源。例如，系统必须在06:00点前产出...
Spark SQL作业配置
本文介绍如何配置Spark SQL类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 ...
XIHE BSP SQL开发
云原生数据仓库AnalyticDB MySQL版 湖仓版（3.0）支持通过SQL开发编辑器或JDBC方式提交XIHE BSP SQL作业。本文介绍XIHE BSP SQL作业开发的适用场景、提交方法、常见配置参数及常见问题。前提条件 已在湖仓版（3.0）集群中创建Job型资源组。...
Spark Streaming作业配置
本文介绍如何配置Spark Streaming类型的作业。前提条件 已创建好项目，详情请参见 项目管理。已准备好作业所需的资源，以及作业要处理的数据。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部...
在Serverless集群中提交作业
创建Serverless集群后，您可以在集群中提交作业，系统会自动创建ECI实例来运行作业。本文介绍如何在Serverless集群中提交作业。背景信息 在Serverless集群中提交作业后，系统会自动创建ECI实例来运行作业。一个ECI实例主要包含以下几部分...
MaxCompute作业概述
本文为您介绍MaxCompute作业的基本概念和常用场景。背景信息 在MaxCompute中作业由一个或者多个任务（Task）组成，Task是MaxCompute的基本计算单元，Task的详情请参见 任务。MaxCompute中数据开发作业主要存在以下三种类型：周期性调度作业...
Artifact
名称 类型 描述 示例值 object Artifact 承载了用户启动一个已部署作业所必需的用户侧信息，没有 Artifact 信息已部署作业无法创建。对于 SQL 作业是 SQL 文本以及依赖的 udf/connector 等，对于 JAR 作业是使用到的全部的 JAR 包和依赖...
作业诊断
本文为您介绍如何通过作业日志检查作业是否已正常提交并执行。MaxCompute为Spark作业提供Logview工具以及Spark Web-UI，帮助您诊断作业。背景信息 通过Spark-submit方式（DataWorks执行Spark任务时也会产生相应日志）提交作业。cd$SPARK_...
项目空间运维与监控
日志监控 当我们在项目空间中运行测试作业时，若运行过程中作业报错或作业失败，在下方的调试框内会给出相应的执行日志以及错误判断信息，在运行记录当中可以查看过往的提交信息，以供用户排查作业问题，如下图：日志监控图 运行记录列表图...
管理运维中心
本文介绍通过运维中心可以查看作业概览，监控任务运行状态，管理流式作业和查看审计日志，便于对作业的管理和运维。前提条件 已创建项目，详情请参见 新建项目。查看作业概览 使用阿里云账号登录 Databricks数据洞察控制台。在Databricks...
安全白皮书
数据恢复 手动创建作业快照：如果您需要在某个特定时间（作业运行时或者停止时）手动创建一个作业快照，并希望从该快照恢复作业，则可以手动创建作业快照。可用于数据恢复、快速部署业务或数据验证等场景。配置定时自动创建作业快照：如果...
DBA_JOBS
DBA_JOBS 视图提供数据库中的所有作业的相关信息。名称 类型 说明 job INTEGER 作业的标识符（作业 ID）。log_user TEXT 提交了作业的用户的名称。priv_user TEXT 与 log_user 相同。仅为了实现兼容性而提供。schema_user TEXT 用于分析...
ALL_JOBS
ALL_JOBS 视图提供位于数据库中的所有作业的相关信息。名称 类型 说明 job INTEGER 作业的标识符（作业 ID）。log_user TEXT 提交了作业的用户的名称。priv_user TEXT 与 log_user 相同。仅为了实现兼容性而提供。schema_user TEXT 用于...
Streaming SQL作业配置
本文介绍Streaming SQL作业配置的操作步骤。背景信息 在Streaming SQL作业配置过程中，您需要设置依赖库。以下列出了Spark Streaming SQL提供的数据源依赖包的版本信息和使用说明，建议使用最新版本。库名称 版本 发布日期 引用字符串 详细...
USER_JOBS
USER_JOBS 视图提供当前用户拥有的所有作业的信息。名称 类型 说明 job INTEGER 作业的标识符（作业 ID）。log_user TEXT 提交了作业的用户的名称。priv_user TEXT 与 log_user 相同。仅为了实现兼容性而提供。schema_user TEXT 用于分析...
ListJobsWithFilters-查询作业详情
按照相关参数查询指定作业详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
2023-10-23版本
部署作业 增强作业排序筛选能力 在作业运维页面，支持根据作业健康分、业务延迟进行排序，支持根据修改人筛选作业。暂无 支持RAM角色、资源目录成员、云SSO用户登录鉴权 阿里云账号体系全面适配，包括阿里云账号、RAM用户、RAM角色、资源...
配置作业资源
作业启动前或者作业上线后，您可以配置和修改作业资源，本文为您介绍如何配置和修改基础模式和专家模式的作业资源。使用限制 仅SQL作业支持配置专家模式。注意事项 作业资源配置后，需要重启作业才能生效。操作步骤 进入资源配置入口。登录...
本地调试作业
本文介绍Spark作业开发过程中，在本地上运行Spark作业并进行调试。前提条件 已开通 云原生多模数据库 Lindorm 计算引擎的外网地址。已将本地IP地址添加至Lindorm实例的白名单，具体操作请参见 设置白名单。已准备Spark作业项目。本地运行...
Spark Streaming
本文介绍DLA Serverless Spark如何提交Spark Streaming作业以及Spark Streaming作业重试的最佳实践。前提条件 在DLA Serverless Spark中运行Spark Streaming作业前，您需要完成以下准备工作：授权DLA Serverless Spark访问用户VPC网络的...
Hive作业配置
在 新建作业 对话框中，输入 作业名称 和 作业描述，从 作业类型 下拉列表中选择 Hive 作业类型。表示创建的作业是一个Hive作业。这种类型的作业，实际是通过以下方式提交Hive作业运行。hive[user provided parameters]单击 确定。编辑作业...
工作流调度Zeppelin Notebook
在Databricks数据开发中，您可以在项目空间的作业编辑中创建一组有依赖的 Zeppelin 作业，然后创建工作流，按照依赖次序定义执行顺序，Databricks工作流支持基于有向无环（DAG）并行执行大数据作业。前提条件 通过主账号登录 阿里云 ...
Presto SQL作业配置
在数据开发过程中如果您需要使用Presto SQL，可以在E-MapReduce中配置Presto SQL作业。本文介绍如何配置Presto SQL作业。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况...
常见问题
通过flink run命令运行作业时，作业的参数没有生效 在通过命令行命令运行Flink作业时，Flink作业的参数需要放在Flink作业JAR包的后面，例如 flink run-d-t yarn-per-job test.jar arg1 arg2。报错Multiple factories for identifier '.' ...
Task快速重启配置
本文为您介绍，如何配置Task快速重启，从而降低Failover对作业的影响。背景信息 重要 此功能为预览功能，请在生产环境下谨慎使用，如遇问题请及时 提交工单 和技术支持部门取得联系。通常，当Flink流作业中的某个Task发生异常时，为了保证...
Spark Shell作业配置
本文介绍如何配置Spark Shell类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 ...
概述
为了满足开发迭代需求或业务发展需求，SQL作业也需要不断变更，否则修改SQL作业后，并使用原来的状态数据重启作业，会出现状态不兼容的问题。从vvr-4.0.11-flink-1.13版本开始，Flink全托管提供状态兼容性检查和状态数据迁移功能，可以最大...
Java SDK Demo
本文以一个完整的程序为例，提交一个计算π的作业到数据湖分析DLA，跟踪它的状态，查询历史上的运行结果。import com.aliyuncs.DefaultAcsClient;import com.aliyuncs.IAcsClient;import com.aliyuncs.exceptions.ClientException;import ...
Savepoint
名称 类型 描述 示例值 object 本数据结构代表作业快照相关信息。savepointId string 作业快照 ID。354dde66-a3ae-463e-967a-0b4107fd*deploymentId string 已部署作业 ID。1d716b22-6aad-4be2-85c2-50cfc757*jobId string 作业实例 ID。5...
提交Spark作业
EMR支持CRD、spark-submit和控制台终端三种方式提交作业。本文为您介绍如何通过这三种方式提交Spark作业。前提条件 已在EMR on ACK控制台创建Spark集群，详情请参见 创建集群。注意事项 在本文的示例中，JAR包已经直接打包在了镜像中。如果...
2021-03-16版本
开发控制台界面全新升级，作业上线后，您可以在开发界面继续对作业进行修正而不影响上线作业状态。Session模式作业支持设置Checkpoint和Savepoint。优化用户管理界面，可以添加用户名并显示用户名。支持Pyflink作业的提交。详情请参见 部署...
术语表
Job Transcode Job 转码作业 转码作业，一个转码作业由一路输入及一路输出构成，作业会被加入到管道中，管道中的作业会被调度引擎调度到转码系统进行转码。AnalysisJob Analysis Job 预置模板分析作业 预置模板分析作业由输入文件及分析...
API概览
克隆作业 调用CloneFlowJob接口，克隆作业。创建数据开发作业 调用 CreateFlowJob接口，创建数据开发作业。创建项目空间 调用CreateFlowProject，根据传入的地域、名称和描述创建项目空间，并返回创建好的项目空间的ID。删除工作流 调用...
GetJobStatus
获取Spark作业的执行状态。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 GetJobStatus 系统规定参数。取值：GetJobStatus。JobId String 是 j202011031935hangzhouf742a4330003667 Spark作业的ID。您可以登录 DLA控制台，在...
创建作业
相关操作 修改下探分析作业 创建下探分析作业后，您可以在下探分析作业列表中，找到目标下探分析作业，单击对应的 图标，修改该作业。删除下探分析作业 创建下探分析作业后，您可以在下探分析作业列表中，找到目标下探分析作业，单击对应的...
ListSparkJob
调用ListSparkJob用于翻页提取某个数据湖分析Spark虚拟集群的历史作业详情信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必...
- 产品推荐
- 这些文档可能帮助您