通过控制台管理作业
本文介绍通过 云原生多模数据库 Lindorm 控制台管理计算引擎作业，包括创建、查看和终止Spark作业。前提条件 已开通计算引擎。如何开通，请参见 开通与变配。已完成作业开发。如何开发，请参见 JAR作业开发实践 或 Python作业开发实践。已...
停止作业
当作业运行失败或不再需要运行该作业时，您可以停止处于QUEUE或RUNNING状态的作业。本文介绍如何停止作业。前提条件 作业必须处于 QUEUE 或 RUNNING 状态。操作步骤 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧...
使用Logview 2.0查看作业运行信息
作业详情 您可以通过作业详情区域全方位了解作业，作业详情区域包含如下功能区：Job Details 作业执行图 Job Detail 页签的上半部分为作业执行图。执行图以可视化方式展示三个维度的子任务依赖关系：Fuxi Job层、Fuxi Task层和Operation层...
计算费用（按量付费）
计费公式 类型 价格 说明 示例 MapReduce作业当日计算费用=当日总计算时×单价 一个执行成功的MapReduce作业计算时=作业运行时间（小时）×作业调用的Core数量 标准MapReduce作业（指使用按量付费标准版计算配额的MapReduce作业）一般情况...
作业投递
AnalyticDB MySQL 数仓版（3.0）的作业投递功能支持将资源组中满足一定条件的查询作业（通常为资源消耗大、耗时久的大查询）投递至指定一资源组中，避免影响资源组中其他查询作业。本文介绍如何开启并使用作业投递功能。前提条件 ...
作业浏览
通过MaxCompute Studio的Job Explorer可以方便查看当前用户提交的MaxCompute实例情况，包括运行状态、作业类型、起止时间等。打开Job Explorer 在顶部菜单栏，单击 View>Tool Windows>Job Explorer 打开 Job Explorer。查看项目的作业实例 ...
API概览
QueryAnalysisJobList 查询模板分析作业 查询模板分析作业，模板分析作业完成后，返回可用的预置模板列表。自定义转码模板接口 API 标题 API概述 AddTemplate 新增自定义转码模版 创建自定义模板，包含容器信息，视频跟音频流等设置。...
Spark作业配置
本文介绍如何配置Spark类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据...
查看Spark监控
查看作业监控 您可以通过作业列表或者作业尝试列表查看作业监控。作业列表查看作业监控。登录 Data Lake Analytics管理控制台。单击 Serverless Spark>作业管理。在 作业列表 中，单击目标作业 操作，选择 监控。说明 作业监控 的监控项...
作业停止
如果您对作业进行了修改（例如更改SQL代码、增删改WITH参数、更改作业版本等），且希望修改生效，则需要先上线，然后停止再启动。另外，如果作业无法复用State，希望作业全新启动时，也需要停止后再启动作业。本文为您介绍如何停止作业。...
变量和密钥管理
作业变量：仅支持在对应的单个作业下使用，包括SQL作业的DDL、JAR/Python作业Main函数入参，使用格式为${变量名}，具体使用方法请参见 作业变量。密钥：支持在该项目空间下使用，包括SQL作业的DDL、日志配置和UI界面（创建Catalog），使用...
查看作业列表
本文为您介绍如何查看您集群下的作业信息。前提条件 已在E-MapReduce控制台创建on ACK的集群，详情请参见 快速入门。操作步骤 进入作业详情页面。登录 EMR on ACK控制台。在EMR on ACK页面，单击待查看集群的 名称。单击上方的 作业详情 页...
如何提交App作业
通过批量计算控制台作业列表的提交作业按钮进入作业提交页面。在作业提交页面选择 App 作业，并选择要使用的 App。各参数的含义如下：作业名称：作业的名称【必填参数】。备注：作业的备注信息【选填参数】。通知订阅：消息通知配置，用户...
Job型资源组的优先级队列
本文介绍设置 湖仓版（3.0）Job型资源组的作业优先级和查看优先级的方法。前提条件 AnalyticDB MySQL 湖仓版（3.0）集群的内核版本为3.1.6.3及以上版本。已创建Job型资源组，且提交作业时选择在Job型资源组中运行。注意事项 暂不支持修改已...
查看血缘关系
Flink作业的血缘关系可以进行作业的数据溯源和追踪、帮助您更好地管理和优化作业的数据流、快速定位问题和评估影响面。本文为您介绍如何通过作业角度和元数据角度查看血缘关系。背景信息 在数据的来源和变更历史无法追踪的情况下，数据的...
媒体处理的审计事件
CancelJob 取消转码作业。CategoryTree 查询类目树。CheckResource 检查资源。Create 登录产品售卖页面进行的购买操作。CreateCustomEntity 新增自定义实体。CreateCustomGroup 新增自定义库。CreateFpShotDB 新增视频DNA库任务。...
按量付费闲时版
SpotQuota且引用了OTS、OSS外部表的SQL作业）引用外部表的SpotSQL作业当日总费用=计算输入数据量×单价 计费单价如下：公共云：0.03元/GB 金融云：0.057元/GB SpotMapReduce作业（指计算配额为os_SpotQuota的MapReduce作业）SpotMapReduce...
SubmitLiveEditingJob-提交直播剪辑任务
提交后可以调用查询直播剪辑作业（GeLiveEditingJob）接口根据 jobId 来查询作业状态。也可调用获取媒资内容信息（GetMediaInfo）接口根据 MediaId 来查询生成媒资的信息。接口说明 当前支持对录制到 OSS 和 vod 的直播流进行直播剪辑。多...
管理作业版本
背景信息 本文从以下方面为您介绍如何管理作业版本：对比作业版本 回滚作业版本 锁定作业版本 删除作业版本 对比作业版本 仅支持SQL代码和作业配置内容的对比，有差异的内容就会被标记出来。登录 实时计算控制台。在 Flink全托管 页签，...
作业调试
您可以使用作业调试功能模拟作业运行、检查输出结果，验证SELECT或INSERT业务逻辑的正确性，提升开发效率，降低数据质量风险。本文为您介绍如何进行Flink SQL作业调试。背景信息 您可以在Flink开发控制台使用作业调试功能本地验证作业逻辑...
Hive SQL作业配置
本文介绍如何配置Hive SQL类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 ...
运维中心
功能 描述 详情 单击目标作业实例所在行的 详情，可以查看作业实例的详细信息，包括执行参数、作业内容以及作业日志。停止 单击目标作业实例所在行的 停止，可以终止正在运行的作业实例。流式作业 在左侧导航栏中，选择 工作流记录>流式...
迁移方案
本文为您介绍从原有集群（线下IDC自建集群或ECS自建）迁移Flink作业到DataFlow集群的整体流程，包括准备工作，如何迁移作业，以及常见问题等。背景信息 EMR集群的基础信息，请参见 集群规划。准备工作 集群规划 创建DataFlow集群时，集群...
SQL作业开发
本文为您介绍Flink全托管SQL作业开发的操作步骤。使用说明 在编写SQL作业代码时，您可以使用内置的丰富连接器，也可以使用自定义函数、自定义连接器等功能。相关的使用场景和使用方法详情如下：支持的连接器 密钥管理 管理自定义连接器 ...
查看作业结果
本文介绍作业运行完成后如何查看作业性能指标和作业运行结果。前提条件 已创建作业并且作业已运行完成，具体操作，请参见 创建作业。操作步骤 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧导航栏，选择 作业与性能...
2023-04-13版本
暂无 SQL作业调试流程优化 优化了SQL作业的调试流程，不再需要设置调试的Session集群，而是在作业调试阶段选择调试作业要使用的Session集群，避免作业多版本情况下需要频繁更换调试集群的问题。作业调试 新增安全页面 将用户授权与密钥托管...
通过命令行提交作业
E-HPC支持PBS、SLURM、SGE等作业调度系统，本文介绍如何使用三种调度系统，通过命令行提交作业。准备工作 创建集群用户。具体操作，请参见 创建用户。集群用户用于登录集群，进行编译软件、提交作业等操作，本文创建的用户示例如下：用户名...
Shell作业配置
本文介绍如何配置Shell类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据...
指定作业的报警设置
DLA不仅支持使用定义好的报警模板对所有作业进行监控报警，还支持对单个作业进行监控报警。本文介绍如何针对特定的作业进行监控报警。前提条件 您已经成功购买DLA虚拟集群。如果您是RAM用户，请确认已具备 AliyunARMSFullAccess 权限。您...
2022-09-19版本
作业状态集管理 SQL作业启动 JAR作业启动 Python作业启动 作业停止 定时调优 定时调优功能针对业务上有明显波峰波谷的Flink作业，对于这类作业我们支持用户在平台设置好自定义的定时策略，在用户需要的时间将作业自动调整到用户预先设定好...
Impala SQL作业配置
在数据开发过程中如果您需要使用Impala SQL，可以在E-MapReduce中配置Impala SQL作业。本文介绍如何配置Impala SQL作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-...
Job
名称 类型 描述 示例值 object 本数据结构代表已部署作业生成的实例详情。jobId string 作业实例 ID。354dde66-a3ae-463e-967a-0b4107fd*deploymentId string 已部署作业 ID。354dde66-a3ae-463e-967a-0b4107fd*deploymentName string 已...
创建作业
本文以运行水分子算例介绍如何快速创建作业。前提条件 已在集群中创建用户，具体操作，请参见 创建用户。操作步骤 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在 集群 页面，找到gromacs-test集群，单击 远程连接。在 ...
配置作业部署信息
在作业启动前，您需要配置作业部署信息。本文为您介绍如何配置作业部署信息。前提条件 其他阿里云账号或RAM用户等访问项目空间，并进行作业资源配置等操作时，则需要为其进行授权，详情请参见 作业操作授权。已完成作业部署，详情请参见 ...
资源观测
资源观测提供某段时间内，数据传输服务资源组（包括共享资源组和独享资源组）与计算资源组内各类CPU、内存、并发数等资源的使用情况，您可通过观测各指标的曲线图，优化和调整作业的执行计划及资源配置，提高作业的效率和性能。开通地域 ...
Quota调度策略说明
MaxCompute的包年包月计算资源有限，在实际数据开发过程中，系统可以并发运行多个作业，因此涉及到计算资源的分配。MaxCompute中每个包年包月二级Quota的调度策略分为FIFO（先进先出）和FAIR（公平调度）。您可以通过设置二级Quota的调度...
查看资源组监控
云原生数据仓库 AnalyticDB MySQL 版 湖仓版（3.0）的资源管理既可以展示集群级别的计算和存储资源用量，也展示资源组和作业级别的计算资源使用情况。本文介绍如何通过资源管理查看集群、资源组、作业的资源用量，包括预留资源用量和弹性...
配置自动调优
Flink作业支持智能调优和定时调优两种自动调优模式。本文为您介绍如何配置智能调优和定时调优，以及配置过程中的注意事项。背景信息 通常，您需要花费大量的时间进行作业调优。例如，新上线一个作业时，需要考虑如何配置该作业的资源、并发...
查看作业运行状态
计算引擎作业提交成功后，您可以通过SparkUI界面或者HDFS Shell工具查看作业运行状态。前提条件 已开通 云原生多模数据库 Lindorm 实例的计算引擎服务，具体操作请参见 开通与变配。已将客户端IP地址添加至 云原生多模数据库 Lindorm 实例...
Sqoop作业配置
本文介绍如何配置Sqoop类型的作业。前提条件 已创建好项目，详情请参见 项目管理。使用限制 EMR-1.3.0及后续版本支持Sqoop作业类型。在低版本集群上运行Sqoop作业会失败，errlog会报不支持的错误。参数详情请参见 Sqoop。操作步骤 进入数据...
- 产品推荐
- 这些文档可能帮助您