如何提交App作业
通过批量计算控制台作业列表的提交作业按钮进入作业提交页面。在作业提交页面选择 App 作业，并选择要使用的 App。各参数的含义如下：作业名称：作业的名称【必填参数】。备注：作业的备注信息【选填参数】。通知订阅：消息通知配置，用户...
入门概述
创建作业 作业指提交到E-HPC集群进行高性能计算的基本工作单元，包括Shell脚本、可执行文件等，具体作业执行顺序根据您设置的队列以及调度器决定。您可以在集群中使用GROMACS软件运行水分子算例。查看作业结果 您可以在E-HPC管理控制台查看...
实时数据集成（Flink版）
实时计算Flink版服务集成物联网平台的产品属性时序表数据、产品事件表数据和自定义存储表时序数据，需要在Flink SQL开发作业中使用SQL连接器连接物联网平台数据服务中对应的时序数据表。Flink全托管产品支持您自定义连接器后上传使用，物...
2023-04-13版本
密钥管理 新增连接器页面 连接器作业独立页面放置，方便您查看不同引擎版本支持的连接器类型以及版本，同时管理自己的自定义连接器。管理自定义连接器 提供作业失败的告警 并支持电话告警和联系人搜索能力 监控告警功能升级：支持您设置...
SQL作业开发
使用说明 在编写SQL作业代码时，您可以使用内置的丰富连接器，也可以使用自定义函数、自定义连接器等功能。相关的使用场景和使用方法详情如下：支持的连接器 密钥管理 管理自定义连接器 管理自定义函数（UDF）管理元数据 操作步骤 登录...
使用向导创建集群
背景信息 集群可为E-HPC计算提供计算资源、存储资源等，用于后续提交作业、调度作业、存储作业结果、查看作业结果。创建和使用E-HPC集群前请了解以下内容：限制条件：一个地域下最多可创建3个集群，如需要创建多个集群，请 提交工单。费用...
Flink JAR作业快速入门
本文带您快速体验Flink JAR流作业和批作业的创建、部署和启动，以了解实时计算Flink版JAR作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作空间...
配置自动伸缩
自动伸缩可以根据您配置的伸缩策略动态分配计算节点，实现根据实时负载自动增加或减少计算节点，以提高集群可用性，降低使用成本。本文介绍如何配置自动伸缩。功能优势 根据实时负载，自动增加计算节点，提高集群的可用性。在保证集群可用...
技术支持
不支持的服务 不负责基于实时计算Flink版的业务代码实现（包括SQL、DataStream和Python作业、自定义 UDX、自定义Format和自定义连接器）、数据正确性排查、作业性能调优和业务迁移等。不负责非产品标准能力的支持，例如产品未提供的连接器...
JAR作业开发实践
本文介绍Lindorm计算引擎JAR作业开发的详细步骤。前提条件 已创建并开通Lindorm实例的宽表引擎，具体操作请参见 创建实例。已开通Lindorm实例的计算引擎服务，具体操作请参见 开通与变配。已安装Java环境，要求使用JDK 1.8及以上版本。步骤...
计算费用（按量付费）
计费公式 类型 价格 说明 示例 MapReduce作业当日计算费用=当日总计算时×单价 一个执行成功的MapReduce作业计算时=作业运行时间（小时）×作业调用的Core数量 标准MapReduce作业（指使用按量付费标准版计算配额的MapReduce作业）一般情况...
EditJobTemplate-编辑作业模板
仅支持使用 pbs 调度器的集群，且集群内计算节点含 GPU 时该参数生效。1 InputFileUrl string 否 已上传到 OSS 上的作业文件链接。https://test.oss-cn-beijing.aliyuncs.com/test.py WithUnzipCmd boolean 否 是否解压下载后的作业文件。...
CreateJobTemplate-创建作业模板
仅支持使用 PBS 调度器的集群，且集群内计算节点含 GPU 时该参数生效。1 InputFileUrl string 否 已上传到 OSS 上的作业文件链接。https://test.oss-cn-beijing.aliyuncs.com/test.py WithUnzipCmd boolean 否 是否解压下载后的作业文件。...
通过DataWorks管理作业
Lindorm计算引擎兼容CDH（Cloudera's Distribution Including Apache Hadoop），支持通过大数据开发治理平台DataWorks开发、管理、调度、运维分布式计算作业。作业类型包括交互式SQL查询、SQL作业、JAR作业、Python作业等。本文介绍如何...
查看资源组监控
云原生数据仓库 AnalyticDB MySQL 版 湖仓版（3.0）的资源管理既可以展示集群级别的计算和存储资源用量，也展示资源组和作业级别的计算资源使用情况。本文介绍如何通过资源管理查看集群、资源组、作业的资源用量，包括预留资源用量和弹性...
查看账单详情
SpotOTS外表作业计算 取当前Project当日使用按量付费闲时版计算配额执行成功的计算Tablestore外部表的SQL任务输入量总和。Byte 公共云：用量×单价（0.03元/GB）。金融云：用量×单价（0.057元/GB）。交互式分析作业计算 取当前Project当日...
混合云代理模式最佳实践
CentOS_7.6_64 调度器 作业调度软件，请选择sge。sge 调度节点IP 代理管理本集群的已有集群的管理节点IP。10.0.XX.XX 调度节点主机名 代理管理本集群的已有集群的管理节点主机名。manager 账号系统 代理管理本集群的已有集群的账号系统。...
请求处理程序（Handler）
当您的 FC 函数被调用时，函数计算 会运行您提供的Handler方法处理请求。您可以通过 函数计算控制台 的 请求处理程序 配置Handler。对PHP语言的 FC 函数而言，您的请求处理程序格式为 文件名.方法名。例如，您的文件名为 main.php，方法名...
Cromwell 工作流引擎支持
通过 Cromwell 可以将 WDL 描述的 workflow 转化为批量计算的作业（Job）运行。用户将为作业运行时实际消耗的计算和存储资源付费，不需要支付资源之外的附加费用。本文将介绍如何使用 Cromwell 在阿里云批量计算服务上运行工作流。开通批量...
修复集群
修复集群后，集群所有节点的系统盘和数据盘数据将会丢失，包括用户信息、作业信息、调度器队列信息、自动伸缩队列配置信息，但文件存储NAS上的数据仍然保留。操作步骤 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧...
2023-08-21版本
除引擎内核与状态后端升级外，本次发布进一步增强了Flink与阿里云各存储和计算产品间的互操作性，提供了更丰富的连接器功能，并提升了性能和稳定性。主要包括：正式推出MongoDB CDC连接器，进入公测阶段，支持高效地从MongoDB数据库中...
公告
计算成本优化功能在原计算资源优化功能（对 包年包月一级Quota 类型的计算资源生成更优的资源配置方案）的基础上增加支持查看使用 按量付费计算资源 调整为使用 包年包月计算资源 的资源配置推荐方案及效果推演，帮助您进一步优化计算成本...
使用高性能容器应用
通过高性能容器应用，您可以在E-HPC集群上通过高性能容器应用启动高性能计算作业，从而降低业务部署的复杂性。高性能容器应用在支持E-HPC全部原有能力（如弹性伸缩、性能监控等）的基础上，可为您提供更加高效和便捷的计算解决方案。本文...
计算成本优化
当您需要在保证作业完成的前提下降低包年包月规格计算资源的费用或遇到基于现有资源配置作业完成时间达不到预期的情况时，MaxCompute为您提供 计算成本优化 功能，可基于实际作业请求量和资源配置期望，对 包年包月一级Quota 类型的计算...
迁移Batch批量计算到分布式工作流Argo集群
批处理作业（Batch）通常用于数据处理、仿真计算、科学计算等领域，往往需要大规模的计算资源。分布式工作流Argo集群基于开源Argo Workflows项目开发，完全符合开源工作流标准。通过 工作流集群，您可以轻松编排工作流，每个工作流步骤使用...
监控作业
提交作业到E-HPC集群后，您可以在控制台查看作业监控数据，包括运行、提交、排队和完成作业数，便于您了解集群内作业的运行情况，及时调整集群规模和作业任务，提升集群工作效率。前提条件 支持作业监控的集群需满足以下条件：调度器为PBS...
版本说明
本文介绍PHP SDK的版本信息。...2018-09-08 1.0.0 函数计算PHP SDK首次发布，支持函数计算所有API接口。主要包括以下信息：服务的CURD接口。函数的CURD接口以及同步调用和异步调用接口。触发器的CURD接口。更多信息，请参见 API概览。
查看集群性能
E-HPC优化器是性能监控与剖析平台，支持集群性能指标、查看集群性能历史记录、分析进程级的性能热点。您可以根据E-HPC优化器展示的性能大盘及性能数据优化集群性能。查看性能大盘 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择...
自动伸缩最佳实践
背景信息 当您需要每天不定时提交作业，使用E-HPC集群几个小时进行大规模计算，然后释放节点，您可以针对不同的作业类型，配置不同的伸缩策略。配置伸缩策略后，系统可以根据实时负载自动增加或减少计算节点。可以帮您合理利用资源，减少...
查看血缘关系
字段级别 查看表字段、字段类型，以及表级别相同的数据库名称、Catalog名称和链接器，作业有关信息。表级别血缘 字段级别血缘 从元数据角度查看血缘信息 说明 如果Catalog下某个表关联的作业比较多，血缘关系图不好查看，您可以通过缩放等...
查看集群报表
集群报表可以展示某一时间段集群的使用情况，包括用户使用量、队列使用量、作业列表等，便于您直观了解集群整体情况，及时调整集群规模和作业任务。前提条件 集群的状态为 运行中。集群中的作业已运行1小时以上。使用限制 仅支持使用PBS和...
作业引擎版本升级
本文将为您介绍如何升级实时计算Fllink版作业的引擎版本。注意事项 实时计算Fllink版引擎发布前，会进行丰富的兼容性测试，原则上同一大版本下的小版本间升级是兼容的，大版本间升级不保证兼容。引擎版本详情请参见 引擎版本号及其含义。...
功能发布记录
2023年 2023年9月 功能名称 变更类型 功能描述 发布时间 相关文档 通过Serverless集群提交作业 新增 Serverless集群的计算节点由ECI实例组成，您只需提供打包好的容器镜像，即可使用ECI实例来运行作业。2023-09-08 创建Serverless集群 在...
2023-10-23版本
在该版本中，我们增强了Flink与阿里云各存储和计算产品之间的互操作性，对MaxCompute、StarRocks、Redis、SLS、RocketMQ连接器进行了功能增强，提高了连接器的性能和稳定性，此外，我们还提升了CTAS的易用性。平台侧主要变更有：优化了自动...
ECS资源复用版
ECS资源复用版是MaxCompute按量付费类型中的一种实例规格，旨在将ECS闲置实例转换为可用的MaxCompute计算资源，该方式可以充分利用已有的计算资源，而不需要额外购买新的MaxCompute计算资源，从而在满足大数据处理需求的同时，提高资源利用...
SDK配置说明
本文为您介绍几种不同版本的Java SDK的...在作业运行逻辑中，可以通过WorkerContext接口取得计数器并进行计数，框架会自动进行汇总。WorkerContext 上下文对象，封装了框架提供的功能。例如，修改图拓扑结构、发送消息、写结果、读取资源等。
创建集群
调度器 pbs E-HPC集群上部署的作业调度软件。域账号服务 nis 通过域账号服务管理创建的集群以及集群用户。VNC 打开VNC开关 开启VNC开关后，创建集群时系统会自动部署远程可视化服务。您可以直接通过控制台Web方式访问远程图形桌面。单击 下...
快速开始
BatchCompute 提供了测试用的计算节点镜像（windows server 2008，ID：m-wz9du0xaa1pag4ylwzsu），它预装了 blender 渲染软件。使用 blender 制作一个小场景的演示视频已上传 OSS（测试时，需下载并上传到您的 OSS bucket）。实际生产时，...
使用成本优化功能实现降本增效
MaxCompute为您提供成本优化（计算资源优化推荐）功能，可基于实际作业请求量和资源配置期望，对包年包月一级Quota类型的计算资源生成更优的资源配置方案，帮助您进一步优化计算成本。本文通过典型场景案例介绍如何通过成本优化（计算资源...
2023-06-21版本
CREATE TABLE AS（CTAS）语句 MySQL连接器结果表和维表能力增强 通过此增强，从此版本起，我们推荐您将之前使用阿里云RDS连接器的作业逐步迁移至MySQL连接器。MySQL MySQL源表CDC增量读取支持无主键的表 此次更新可以让更多种类的MySQL表...
- 产品推荐
- 这些文档可能帮助您