Python SDK Demo
job(client,cluster_name,job_id)break#等待下一轮扫描 else:time.sleep(5)#打印作业的详情 print("log detail:{}".format(get_job_log(client,cluster_name,job_id)))#查询最近的10条作业内容 list_job(client,cluster_name,1,10)
作业编辑
背景信息 本文为您提供作业编辑的相关操作，具体如下：新建作业 设置作业 在作业中添加注解 运行作业 作业可执行操作 作业提交模式说明 前提条件 已创建项目或已被加入到项目中，详情请参见 项目管理。新建作业 进入数据开发的项目列表页面...
ListSparkJobAttempt
DurationTimeValue String 72000 持续时间戳 JobAttemptId String j202105272322hangzhou5d64f1560000128-0001 作业尝试ID JobId String j202105272322hangzhou5d64f1560000128 作业ID JobName String xxx 作业名称 SparkUI String xxx ...
PAI-TF概述
产品特点 PAI-TF产品的特点如下：服务化 MaxCompute是阿里云自主研发的飞天大数据平台，已经支持了数万企业及个人开发者。PAI-TF帮助您直接在MaxCompute中使用TensorFlow的计算框架。PAI-TF使用的API与开源版本一致，您可以直接通过...
算法说明
例如监控网站流量异常，分析流量异常时是哪些地域的访问或者哪些渠道的访问异常导致的。参数配置 您可以在 创建下探分析作业 配置向导的 算法配置 步骤中，完成算法配置。具体操作，请参见 创建作业。参数 说明 观测长度 表示最近时序数据...
停止作业实例
调用KillFlowJob接口，停止作业实例。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
计算资源使用
作业类型取值如下：SQL：SQL作业 SQLRT：查询加速SQL作业 SQLCost：SQL预估作业 LOT：MapReduce作业 CUPID：Spark或Mars作业 AlgoTask：机器学习作业 作业优先级 输入需要配置到规则里的作业优先级。输入 0-9 优先级区间，如：[0,3]表示...
计算费用（按量付费）
计费公式 类型 价格 说明 示例 MapReduce作业当日计算费用=当日总计算时×单价 一个执行成功的MapReduce作业计算时=作业运行时间（小时）×作业调用的Core数量 标准MapReduce作业（指使用按量付费标准版计算配额的MapReduce作业）一般情况...
通过SLS完成日志数据入湖OSS
假设您在2022-01-20 00:00:00创建投递作业，5分钟投递一次数据到OSS Bucket，则此次投递任务投递的是2022-01-19 23:55后写入日志服务的数据。由于写入日志服务的数据可能存在延时，因此当您希望分析2022-01-19全天日志，除了查看 2022/01/...
在Serverless集群中提交作业
创建Serverless集群后，您可以在集群中提交作业，系统会自动创建ECI实例来运行作业。本文介绍如何在Serverless集群中提交作业。背景信息 在Serverless集群中提交作业后，系统会自动创建ECI实例来运行作业。一个ECI实例主要包含以下几部分...
使用成本优化功能实现降本增效
即在较为重要的那批作业发起前保证此前的作业可以于5点运行完毕，5点发起的那批作业可以于8点前运行完毕。查看现状方案评估结果。单击 现状方案评估，查看当前资源配置情况下，作业产出情况。通过 CU消耗模拟 图，小K看到，在当前的CU配置...
QueryJobs
查询作业列表 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 QueryJobs 系统规定参数。取值：...
提交运行作业
调用SubmitFlowJob接口提交运行作业，每次只允许存在一个正在运行的实例。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 ...
停止作业实例
调用KillFlowJob接口，停止作业实例。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
使用Python依赖
您可以在Flink Python作业中使用自定义的Python虚拟环境、第三方Python包、JAR包和数据文件等，本文为您介绍如何在Python作业中使用这些依赖。背景信息 本文通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境 使用第三...
创建和执行Spark作业
本文介绍如何在数据湖分析控制台创建和执行Spark作业。准备事项 您需要在提交作业之前先创建虚拟集群。说明 创建虚拟集群时注意选择引擎类型为 Spark。如果您是子账号登录，需要配置子账号提交作业的权限，具体请参考 细粒度配置RAM子账号...
SubmitServerlessJob-提交Serverless作业
调用SubmitServerlessJob提交Serverless作业到E-HPC集群。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在...
Savepoint
名称 类型 描述 示例值 object 本数据结构代表作业快照相关信息。savepointId string 作业快照 ID。354dde66-a3ae-463e-967a-0b4107fd*deploymentId string 已部署作业 ID。1d716b22-6aad-4be2-85c2-50cfc757*jobId string 作业实例 ID。5...
提交训练作业
PAI Python SDK提供了更易用的API（即HighLevel API），支持您将训练作业提交到PAI，并使用云上资源运行训练作业。本文为您介绍如何准备训练作业脚本并使用SDK提交训练作业。计费说明 在提交训练作业时，会调用DLC计算资源执行任务，由此会...
GetJobStatus
获取Spark作业的执行状态。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 GetJobStatus 系统规定参数。取值：GetJobStatus。JobId String 是 j202011031935hangzhouf742a4330003667 Spark作业的ID。您可以登录 DLA控制台，在...
计算成本优化
当您需要在保证作业完成的前提下降低包年包月规格计算资源的费用或遇到基于现有资源配置作业完成时间达不到预期的情况时，MaxCompute为您提供 计算成本优化 功能，可基于实际作业请求量和资源配置期望，对 包年包月一级Quota 类型的计算...
Notebook开发编辑器
AnalyticDB MySQL 湖仓版（3.0）集群中的Notebook开发是 基于控制台的交互式数据分析开发平台，提供了作业编辑、数据分析、数据可视化等功能。Notebook开发 支持 Spark SQL和Python两种 编程语言编写Spark应 用程序。前提条件 已创建...
作业状态集管理
系统检查点（Checkpoint）和作业快照（Savepoint）统称为状态集。本文为您介绍如何管理作业的状态集，包括创建、查看、删除和从指定状态恢复。背景信息 概念 详情 系统检查点（对应Apache Flink中的Checkpoint）生命周期完全由Flink系统...
2022-09-19版本
作业状态集管理 SQL作业启动 JAR作业启动 Python作业启动 作业停止 定时调优 定时调优功能针对业务上有明显波峰波谷的Flink作业，对于这类作业我们支持用户在平台设置好自定义的定时策略，在用户需要的时间将作业自动调整到用户预先设定好...
AssignJobs
InstanceId String 是 12f3dd08-0c55-44ce-9b64-e69d35ed3a76 实例id JobGroupId String 是 d004cfd2-6a81-491c-83c6-cbe186620c95 批量创建作业归属的作业组id，如不传这个参数，系统自动将新建的作业归属到一个新生成的作业组 ...
Apache Log4j 0Day安全漏洞公告说明
说明 对于未运行的作业，您可以通过作业模板配置该参数后，后续创建的作业都会应用该参数；对于已运行的作业，您可以在 其他配置 中配置 env.java.opts:'-Dlog4j2.formatMsgNoLookups=true'，具体操作请参见 如何配置作业运行参数？检查...
Spark作业配置
本文介绍如何配置Spark类型的作业。前提条件 已创建好项目，详情请参见 项目管理。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 数据...
GetJobDetail
调用GetJobDetail获取Spark作业的详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
API概览
由于自签名细节非常复杂，需花费 5个工作日左右。因此建议加入我们的服务钉钉群（11370001915），在专家指导下进行签名对接。在使用API前，您需要准备好身份账号及访问密钥（AccessKey），才能有效通过客户端工具（SDK、CLI等）访问API。...
Java SDK Demo
本文以一个完整的程序为例，提交一个计算π的作业到数据湖分析DLA，跟踪它的状态，查询历史上的运行结果。import com.aliyuncs.DefaultAcsClient;import com.aliyuncs.IAcsClient;import com.aliyuncs.exceptions.ClientException;import ...
API概览
由于自签名细节非常复杂，需花费 5个工作日左右。因此建议加入我们的服务钉钉群（11370001915），在专家指导下进行签名对接。在使用API前，您需要准备好身份账号及访问密钥（AccessKey），才能有效通过客户端工具（SDK、CLI等）访问API。...
作业调试
您可以使用作业调试功能模拟作业运行、检查输出结果，验证SELECT或INSERT业务逻辑的正确性，提升开发效率，降低数据质量风险。本文为您介绍如何进行Flink SQL作业调试。背景信息 您可以在Flink开发控制台使用作业调试功能本地验证作业逻辑...
Presto SQL作业配置
presto.krb5-disable-remote-service-hostname-canonicalization*_presto.krb5-keytab-path<krb5 keytab path>*_presto.krb5-principal<krb5 principal>*_presto.krb5-remote-service-name<krb5 remote service name>*_presto.krb5-service...
查看作业结果
本文介绍作业运行完成后如何查看作业性能指标和作业运行结果。前提条件 已创建作业并且作业已运行完成，具体操作，请参见 创建作业。操作步骤 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧导航栏，选择 作业与性能...
查询加速（MCQA）
每天每个项目并发限制5个，每天每个项目最多运行500个作业，超过部分默认设置自动回退为普通作业，如果您设置了不回退，系统会报如下错误：ODPS-1800001:Session exception-Failed to submit sub-query in session because:Prepaid project...
StartJobRequestBody
名称 类型 描述 示例值 object 本数据结构代表作业启动的相关信息。...5a19a71b-1c42-4f34-94fd-86cf6078*resourceSettingSpec BriefResourceSetting 作业资源设置。restoreStrategy DeploymentRestoreStrategy 作业实例启动位点设置。
创建时序预测作业
预测结果 创建时序预测作业后，您可以在作业列表中，单击目标作业，查看时序预测作业详情。您还可以通过预测ID、实体ID、指标和时间筛选时间序列。说明如下：参数 说明 时间 通过选择不同的时间，您可以查看时序预测作业在对应时间段内的...
查看资源组监控
云原生数据仓库 AnalyticDB MySQL 版 湖仓版（3.0）的资源管理既可以展示集群级别的计算和存储资源用量，也展示资源组和作业级别的计算资源使用情况。本文介绍如何通过资源管理查看集群、资源组、作业的资源用量，包括预留资源用量和弹性...
GetJobLog
获取Spark作业的日志。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 GetJobLog 系统规定参数。取值：GetJobLog。JobId String 是 j202010271622hangzhouf742a4330000923 Spark作业的ID。您可以登录 DLA控制台，在作业任务...
查看历史作业实例日志
Flink全托管支持在作业探查界面、对象存储OSS或者日志服务SLS上查看历史作业实例的日志。本文为您介绍如何在作业探查界面、OSS或SLS上查看历史作业实例日志。背景信息 如果出现以下情况，则您需要查看历史作业实例的日志：您需要查看、搜索...
- 产品推荐
- 这些文档可能帮助您