查看历史作业实例日志
Flink全托管支持在作业探查界面、对象存储OSS或者日志服务SLS上查看历史作业实例的日志。本文为您介绍如何在作业探查界面、OSS或SLS上查看历史作业实例日志。背景信息 如果出现以下情况，则您需要查看历史作业实例的日志：您需要查看、搜索...
创建数据开发作业
Type String 是 SPARK 作业类型，取值如下：SPARK：spark作业，使用spark-submit提交 ZEPPELIN：提交zeppelin notebook，使用该作业类型，作业的params参数为notebook id SPARK_STREAMING：提交spark流处理作业 FailAct String 否 STOP ...
Quota调度策略说明
MaxCompute的包年包月计算资源有限，在实际数据开发过程中，系统可以并发运行多个作业，因此涉及到计算资源的分配。MaxCompute中每个包年包月二级Quota的调度策略分为FIFO（先进先出）和FAIR（公平调度）。您可以通过设置二级Quota的调度...
查询作业列表
调用ListFlowJobs接口查询作业列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
Spark Streaming作业配置
本文介绍如何配置Spark Streaming类型的作业。前提条件 已创建好项目，详情请参见 项目管理。已准备好作业所需的资源，以及作业要处理的数据。操作步骤 进入数据开发的项目列表页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部...
周期性调度作业概述
如果您希望周期性运行MaxCompute作业，可使用DataWorks的DataStudio开发周期性MaxCompute作业，并配置周期性调度的时间属性、调度依赖等配置项，将作业整体提交至DataWorks的运维中心进行周期性调度。本文为您概要介绍当前使用DataWorks...
作业日期设置
在作业编辑的过程中，支持在作业参数中设置时间变量通配符。变量通配符格式 DDI所支持的变量通配符的格式为${dateexpr-1d}或者${dateexpr-1h}。其中dateexpr表示标准的时间格式表达式，对应的规则如下。注意 请注意时间格式的大小写。格式 ...
作业诊断
本文为您介绍如何通过作业日志检查作业是否已正常提交并执行。MaxCompute为Spark作业提供Logview工具以及Spark Web-UI，帮助您诊断作业。背景信息 通过Spark-submit方式（DataWorks执行Spark任务时也会产生相应日志）提交作业。cd$SPARK_...
2023-10-23版本
部署作业 增强作业排序筛选能力 在作业运维页面，支持根据作业健康分、业务延迟进行排序，支持根据修改人筛选作业。暂无 支持RAM角色、资源目录成员、云SSO用户登录鉴权 阿里云账号体系全面适配，包括阿里云账号、RAM用户、RAM角色、资源...
创建作业
Type String 是 SHELL 作业类型，取值如下：MR SPARK HIVE_SQL HIVE PIG SQOOP SPARK_SQL SPARK_STREAMING SHELL FailAct String 否 CONTINUE 失败策略，取值如下：CONTINUE：跳过本次作业 STOP：停止作业 MaxRetry Integer 否 5 最大重试...
配置监控告警
实时计算Flink版默认使用云监控（免费监控服务）或ARMS提供监控报警服务，配置作业指标或事件监控告警，便于您及时发现并处理异常。本文为您介绍使用不同监控服务时如何配置监控告警。使用限制 部署时提交至Session集群的Flink作业不支持...
StopServerlessJobs-批量停止Serverless作业
按照作业ID或子任务ID（数组作业）停止集群中一个或多个Serverless作业。当传入数组作业的作业ID时，会停止该作业下的所有子任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer...
Python作业开发
软件包 版本 apache-beam 2.23.0 avro-python3 1.9.1 certifi 2020.12.5 cloudpickle 1.2.2 crcmod 1.7 cython 0.29.16 dill 0.3.1.1 docopt 0.6.2 fastavro 0.23.6 future 0.18.2 grpcio 1.29.0 hdfs 2.6.0 httplib2 0.17.4 idna 2.10 ...
人像风格重绘API详情
13b1848b-5493-4c0e-8c44-68d038b492af output.task_status String 被查询作业的作业状态 任务状态：PENDING 排队中 RUNNING 处理中 SUCCEEDED 成功 FAILED 失败 UNKNOWN 作业不存在或状态未知 output.result_url String 如果作业成功，...
创建作业
3,cast(json_extract(attributes,'$.attr_4')as varchar)as attr_4,cast(json_extract(attributes,'$.attr_5')as varchar)as attr_5,sum(cast(json_extract(metrics,'$.m')as double))as metric FROM log group by time,attr_1,attr_2,attr...
提交Spark作业
EMR支持CRD、spark-submit和控制台终端三种方式提交作业。本文为您介绍如何通过这三种方式提交Spark作业。前提条件 已在EMR on ACK控制台创建Spark集群，详情请参见 创建集群。注意事项 在本文的示例中，JAR包已经直接打包在了镜像中。如果...
作业超时监控告警
MaxCompute支持通过配置阈值报警规则，监控作业运行时长。当作业运行超时后，系统会将报警信息发送至报警联系人，助力及时识别异常作业，提升运维效率。本文为您介绍作业超时报警的监控指标、配置方法及处理报警方式。前提条件 在配置作业...
Task快速重启配置
本文为您介绍，如何配置Task快速重启，从而降低Failover对作业的影响。背景信息 重要 此功能为预览功能，请在生产环境下谨慎使用，如遇问题请及时 提交工单 和技术支持部门取得联系。通常，当Flink流作业中的某个Task发生异常时，为了保证...
常见问题
通过flink run命令运行作业时，作业的参数没有生效 在通过命令行命令运行Flink作业时，Flink作业的参数需要放在Flink作业JAR包的后面，例如 flink run-d-t yarn-per-job test.jar arg1 arg2。报错Multiple factories for identifier '.' ...
作业配置说明
您向Lindorm计算引擎提交的每一个作业（JDBC作业、JAR作业、Python作业等），都可以自定义资源配置项，包括资源规格配置项和资源规模配置项。表 2.资源规格 配置项 说明 默认值 spark.driver.memory Driver堆内内存大小。单位为MB。11264m ...
DescribeServerlessJobs-查询Serverless作业详细信息
按照作业ID或子任务ID（数组作业）查询Serverless作业详细信息。当前仅支持传入单个作业ID或单个子任务ID。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。...
动态扩缩容与参数动态更新
动态更新Flink作业参数可以实现更快的参数配置生效，减少作业启停对业务的中断时间，方便进行TM动态扩缩容和系统检查点的排查。背景信息 传统的Flink参数更新方式需要重新启动作业，可能会出现业务中断、数据回追延迟和资源占用高峰等问题...
计量计费
StableDiffusion文生图模型 ...同一时间并发运行作业数：1 个作业，在同一时刻，只有1个作业实际处于运行状态，其他队列中的作业处于排队状态。stable-diffusion-v1.5 查看账单 有关阿里云百炼大模型服务平台的账单时效信息请参阅 产品计费。
提交运行作业
调用SubmitFlowJob接口提交运行作业，每次只允许存在一个正在运行的实例。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 ...
竞价实例
当您希望以较低的成本执行Spark作业（包括Spark SQL作业和Spark Jar作业）时，可以为Job型资源组开启竞价实例功能。开启竞价实例功能后，集群会尝试使用闲置（更低价）的Spark Executor资源执行Spark作业。本文主要介绍什么是竞价实例，...
日志实时入仓快速入门
此时，如果您希望创建一个数据同步的作业，将该Topic中的日志数据都同步到Hologres中，则可以按照以下步骤进行：步骤一：配置IP白名单 步骤二：准备Kafka测试数据 步骤三：创建Hologres Catalog 步骤四：创建并启动数据同步作业 步骤五：...
GetJobAttemptLog
JobId String 是 j202105272322hangzhou5d64f1560000128 Spark作业ID。您可以在作业管理页面查看作业。VcName String 是 release-test 执行Spark作业的虚拟集群名称。您可以在虚拟集群管理页面查看虚拟集群名称。返回数据 名称 类型 示例值...
CancelDNAJob-取消DNA作业
调用CancelDNAJob取消DNA作业。接口说明 本接口只能取消状态处于“排队中”状态的作业；建议先调用更新管道接口（UpdatePipeline）将管道状态置为 Paused，暂停作业调度，再调用取消作业接口取消作业；取消完后需要恢复管道状态为 Active，...
修改数据开发作业
调用ModifyFlowJob接口，修改数据开发作业。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
Flink（VVR）作业配置
在 新建作业 对话框中，输入 作业名称 和 作业描述，从 作业类型 下拉列表中选择 Flink 作业类型。单击 确定。编辑作业内容。在 作业内容 中，填写提交该作业需要提供的命令行参数。Flink类型作业支持JAR包形式的Flink Datastream、Table和...
SubmitJob-提交作业
5 JobRetry.Priority integer 否 重试作业优先级，取值范围：0~9，取值越大，优先级越高。说明 若该参数为空，则重试作业优先级=min{原作业优先级+1,9} 1 JobRetry.OnExitCode integer 否 作业重试条件。退出码为参数值时，触发作业重试。...
API概览
DescribeServerlessJobs 查询Serverless作业详细信息 按照作业ID或子任务ID（数组作业）查询Serverless作业详细信息。当前仅支持传入单个作业ID或单个子任务ID。StopServerlessJobs 批量停止Serverless作业 按照作业ID或子任务ID（数组作业...
QueryJobStatistics
调用该接口查询指定任务下各状态作业的统计信息。QPS限制 单个阿里云账号调用该接口的每秒请求数（QPS）最大限制为5。说明 RAM用户共享阿里云账号配额。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后...
ListJobGroups
查询外呼作业组列表 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ListJobGroups 系统规定...
文字变形API详情
id String 查询作业的 task_id a8532587-fa8c-4ef8-82be-0c46b17950d1 output.task_status String 被查询作业的作业状态 任务状态：PENDING 排队中 RUNNING 处理中 SUCCEEDED 成功 FAILED 失败 UNKNOWN 作业不存在或状态未知 output....
使用教程（宽表模型）
说明 Session集群适用于非生产环境的开发测试环境，您可以使用Session集群模式部署或调试作业，提高作业JM（Job Manager）资源利用率和提高作业启动速度。但不推荐您将作业提交至Session集群中，因为会存在业务稳定性问题。具体操作，请...
查询作业信息
调用DescribeFlowJob接口，查询作业信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
入门概述
您可以安装GROMACS软件、PBS调度器，选择ecs.gn5-c4g1.xlarge规格的计算节点来创建集群。创建用户 您必须提前创建用户，用于在集群中提交作业时标识身份。创建成功后，您可以使用该用户管理集群、提交作业等。创建作业 作业指提交到E-HPC...
涂鸦作画API详情
id String 查询作业的 task_id a8532587-fa8c-4ef8-82be-0c46b17950d1 output.task_status String 被查询作业的作业状态 任务状态：PENDING 排队中 RUNNING 处理中 SUCCEEDED 成功 FAILED 失败 UNKNOWN 作业不存在或状态未知 output....
媒体信息
本文提供了媒体处理Go SDK媒体信息相关功能的API调用示例，包含提交媒体信息作业、查询媒体信息作业。前提条件 使用前请先初始化客户端，详细说明请参见 初始化。提交媒体信息作业 调用SubmitMediaInfoJob接口，完成提交媒体信息作业功能。...
- 产品推荐
- 这些文档可能帮助您