作业引擎版本升级
升级流程 步骤一：备份作业状态 您可以在 作业运维 页面，单击目标作业，在作业详情中的 状态集管理 页签查看作业状态集，详情请参见 查看状态生成总览。如果您的作业属于有状态计算，那么在升级版本时，首要考虑的是状态能否复用。升级前...
事务管理
作业类型 INSERT OVERWRITE/TRUNCATE（后结束）INSERT INTO（后结束）UPDATE/DELETE（后结束）MINOR COMPACT（后结束）MAJOR COMPACT（后结束）INSERT OVERWRITE/TRUNCAT（先结束）先、后结束的作业都会执行成功。后结束的结果会覆盖先结束...
基础使用
本文为您介绍如何在E-MapReduce上提交Flink作业以及查看作业。背景信息 Dataflow集群中的Flink服务是以YARN模式部署的，您可以通过SSH方式登录Dataflow集群，在命令行中进行Flink作业提交。基于YARN模式部署的Dataflow集群支持以Session...
作业类型
背景 批量计算依据您使用集群方式的区别，将作业分为固定集群作业，自动集群作业，组合集群作业三种类型。下面分别介绍三种作业的优缺点，您可依据业务需求选择相应的作业类型。作业概述 固定集群作业 优点：集群支持分布式缓存，适用大...
JobItem
名称 类型 描述 示例值 object 作业详情信息 JobId string 作业 ID dlc-20210126170216-*JobType string 作业类型 TFJob DisplayName string 作业名称 tf-mnist-test UserId string 作业所属用户的 UID 123456789 Username string 作业提交...
计算成本优化
当您需要在保证作业完成的前提下降低包年包月规格计算资源的费用或遇到基于现有资源配置作业完成时间达不到预期的情况时，MaxCompute为您提供 计算成本优化 功能，可基于实际作业请求量和资源配置期望，对 包年包月一级Quota 类型的计算...
查看与修改作业运行状态
本文为您介绍如何查看和修改作业运行状态，以及不同状态所代表的含义。前提条件 其他阿里云账号或RAM用户共同使用实时计算Flink版产品时，需要为阿里云账号或RAM用户授权，以进行查看与修改作业运行状态等相关操作，详情请参见 作业操作...
客户端功能概述
提交作业 运行应用 应用中心支持界面化提交作业，目前支持以下应用：GROMACS HPL iPerf FIO AutoDock Vina 运行GROMACS进行分子动力学模拟 运行HPL、iPerf和FIO以测试集群性能 使用AutoDock Vina软件进行药物筛选 查询作业 提交作业后，...
API概览
作业实例 API 标题 API概述 StopJob 停止作业实例 停止一个作业实例。StartJobWithParams 启动作业实例 创建并启动一个作业实例。StartJob 启动作业实例（废弃）创建并启动一个作业实例。GetJob 获取作业实例 获取作业实例的详细信息。...
作业实例详情
本文为您介绍如何查看作业实例详情。查看作业实例详情 MaxCompute Studio支持2种方式查看MaxCompute作业实例详情。通过Logview URL或本地的Logview离线文件以只读方式打开作业详情。使用Logview查看作业的详细信息是比较常用的方式。使用...
Flink Python作业快速入门
本文带您快速体验Flink Python流作业和批作业的创建、部署和启动，以了解实时计算Flink版Python作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink...
API概览
QueryAnalysisJobList 查询模板分析作业 查询模板分析作业，模板分析作业完成后，返回可用的预置模板列表。自定义转码模板接口 API 标题 API概述 AddTemplate 新增自定义转码模版 创建自定义模板，包含容器信息，视频跟音频流等设置。...
通过控制台管理作业
本文介绍通过 云原生多模数据库 Lindorm 控制台管理计算引擎作业，包括创建、查看和终止Spark作业。前提条件 已开通计算引擎。如何开通，请参见 开通与变配。已完成作业开发。如何开发，请参见 JAR作业开发实践 或 Python作业开发实践。已...
停止作业
当作业运行失败或不再需要运行该作业时，您可以停止处于QUEUE或RUNNING状态的作业。本文介绍如何停止作业。前提条件 作业必须处于 QUEUE 或 RUNNING 状态。操作步骤 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧...
使用Logview 2.0查看作业运行信息
作业详情 您可以通过作业详情区域全方位了解作业，作业详情区域包含如下功能区：Job Details 作业执行图 Job Detail 页签的上半部分为作业执行图。执行图以可视化方式展示三个维度的子任务依赖关系：Fuxi Job层、Fuxi Task层和Operation层...
作业投递
AnalyticDB MySQL 数仓版（3.0）的作业投递功能支持将资源组中满足一定条件的查询作业（通常为资源消耗大、耗时久的大查询）投递至指定一资源组中，避免影响资源组中其他查询作业。本文介绍如何开启并使用作业投递功能。前提条件 ...
作业浏览
通过MaxCompute Studio的Job Explorer可以方便查看当前用户提交的MaxCompute实例情况，包括运行状态、作业类型、起止时间等。打开Job Explorer 在顶部菜单栏，单击 View>Tool Windows>Job Explorer 打开 Job Explorer。查看项目的作业实例 ...
Spark作业配置
本文介绍如何配置Spark类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据...
作业停止
如果您对作业进行了修改（例如更改SQL代码、增删改WITH参数、更改作业版本等），且希望修改生效，则需要先上线，然后停止再启动。另外，如果作业无法复用State，希望作业全新启动时，也需要停止后再启动作业。本文为您介绍如何停止作业。...
Flink JAR作业快速入门
本文带您快速体验Flink JAR流作业和批作业的创建、部署和启动，以了解实时计算Flink版JAR作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作空间...
查看作业列表
本文为您介绍如何查看您集群下的作业信息。前提条件 已在E-MapReduce控制台创建on ACK的集群，详情请参见 快速入门。操作步骤 进入作业详情页面。登录 EMR on ACK控制台。在EMR on ACK页面，单击待查看集群的 名称。单击上方的 作业详情 页...
常见问题
如果不同客户分别在目的端建设DDoS清洗设施，则进一步加剧了攻防成本的不对等。因此，经济有效的DDoS防御方式是由云服务供应商集中建设大容量的网络带宽并在上层网络部署清洗设施，以近源方式清洗DDoS攻击流量，同时通过SaaS服务的形式将...
Job型资源组的优先级队列
本文介绍设置 湖仓版（3.0）Job型资源组的作业优先级和查看优先级的方法。前提条件 AnalyticDB MySQL 湖仓版（3.0）集群的内核版本为3.1.6.3及以上版本。已创建Job型资源组，且提交作业时选择在Job型资源组中运行。注意事项 暂不支持修改已...
媒体处理的审计事件
CancelJob 取消转码作业。CategoryTree 查询类目树。CheckResource 检查资源。Create 登录产品售卖页面进行的购买操作。CreateCustomEntity 新增自定义实体。CreateCustomGroup 新增自定义库。CreateFpShotDB 新增视频DNA库任务。...
按量付费闲时版
SpotQuota且引用了OTS、OSS外部表的SQL作业）引用外部表的SpotSQL作业当日总费用=计算输入数据量×单价 计费单价如下：公共云：0.03元/GB 金融云：0.057元/GB SpotMapReduce作业（指计算配额为os_SpotQuota的MapReduce作业）SpotMapReduce...
管理作业版本
背景信息 本文从以下方面为您介绍如何管理作业版本：对比作业版本 回滚作业版本 锁定作业版本 删除作业版本 对比作业版本 仅支持SQL代码和作业配置内容的对比，有差异的内容就会被标记出来。登录 实时计算控制台。在 Flink全托管 页签，...
查看血缘关系
Flink作业的血缘关系可以进行作业的数据溯源和追踪、帮助您更好地管理和优化作业的数据流、快速定位问题和评估影响面。本文为您介绍如何通过作业角度和元数据角度查看血缘关系。背景信息 在数据的来源和变更历史无法追踪的情况下，数据的...
Hive SQL作业配置
本文介绍如何配置Hive SQL类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 ...
作业调试
您可以使用作业调试功能模拟作业运行、检查输出结果，验证SELECT或INSERT业务逻辑的正确性，提升开发效率，降低数据质量风险。本文为您介绍如何进行Flink SQL作业调试。背景信息 您可以在Flink开发控制台使用作业调试功能本地验证作业逻辑...
运维中心
功能 描述 详情 单击目标作业实例所在行的 详情，可以查看作业实例的详细信息，包括执行参数、作业内容以及作业日志。停止 单击目标作业实例所在行的 停止，可以终止正在运行的作业实例。流式作业 在左侧导航栏中，选择 工作流记录>流式...
查看作业结果
本文介绍作业运行完成后如何查看作业性能指标和作业运行结果。前提条件 已创建作业并且作业已运行完成，具体操作，请参见 创建作业。操作步骤 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧导航栏，选择 作业与性能...
通过命令行提交作业
E-HPC支持PBS、SLURM、SGE等作业调度系统，本文介绍如何使用三种调度系统，通过命令行提交作业。准备工作 创建集群用户。具体操作，请参见 创建用户。集群用户用于登录集群，进行编译软件、提交作业等操作，本文创建的用户示例如下：用户名...
Shell作业配置
本文介绍如何配置Shell类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据...
指定作业的报警设置
DLA不仅支持使用定义好的报警模板对所有作业进行监控报警，还支持对单个作业进行监控报警。本文介绍如何针对特定的作业进行监控报警。前提条件 您已经成功购买DLA虚拟集群。如果您是RAM用户，请确认已具备 AliyunARMSFullAccess 权限。您...
Impala SQL作业配置
在数据开发过程中如果您需要使用Impala SQL，可以在E-MapReduce中配置Impala SQL作业。本文介绍如何配置Impala SQL作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-...
创建作业
本文以运行水分子算例介绍如何快速创建作业。前提条件 已在集群中创建用户，具体操作，请参见 创建用户。操作步骤 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在 集群 页面，找到gromacs-test集群，单击 远程连接。在 ...
配置作业部署信息
在作业启动前，您需要配置作业部署信息。本文为您介绍如何配置作业部署信息。前提条件 其他阿里云账号或RAM用户等访问项目空间，并进行作业资源配置等操作时，则需要为其进行授权，详情请参见 作业操作授权。已完成作业部署，详情请参见 ...
Quota调度策略说明
MaxCompute的包年包月计算资源有限，在实际数据开发过程中，系统可以并发运行多个作业，因此涉及到计算资源的分配。MaxCompute中每个包年包月二级Quota的调度策略分为FIFO（先进先出）和FAIR（公平调度）。您可以通过设置二级Quota的调度...
查看资源组监控
云原生数据仓库 AnalyticDB MySQL 版 湖仓版（3.0）的资源管理既可以展示集群级别的计算和存储资源用量，也展示资源组和作业级别的计算资源使用情况。本文介绍如何通过资源管理查看集群、资源组、作业的资源用量，包括预留资源用量和弹性...
配置自动调优
Flink作业支持智能调优和定时调优两种自动调优模式。本文为您介绍如何配置智能调优和定时调优，以及配置过程中的注意事项。背景信息 通常，您需要花费大量的时间进行作业调优。例如，新上线一个作业时，需要考虑如何配置该作业的资源、并发...
- 产品推荐
- 这些文档可能帮助您