系统检查点或作业快照
需要配置 state.backend.gemini.engine.type:STREAMING 后重启作业才能生效。参数配置方法请参见 如何配置作业运行参数？报错：No space left on device 报错详情 在作业运行过程中，出现类似以下异常。java.io.IOException:No space left ...
通过控制台提交作业
说明 OSS中的作业文件或作业文件压缩包，都会在作业执行前下载到以作业名命名的目录中，例如作业名为JobName，那么作业文件会被下载到/home/user/JobName目录下，压缩包会被下载并解压到/home/user/JobName目录下。编辑作业文件 单击 作业...
提交作业
E-HPC客户端支持以下两种方式上传作业文件：通过数据管理功能，您可以新建并编辑作业文件，或者直接将本地的作业文件上传到集群。具体操作，请参见 管理文件。通过会话管理功能，您可以远程登录到集群，执行命令创建作业文件。具体操作，请...
CreateJobFile-创建一个作业文件
调用CreateJobFile创建一个作业文件。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 ...
导入OSS作业文件到集群中
创建作业时，可直接选择OSS中的作业文件，以提升工作效率。本文介绍如何上传作业到OSS并导入作业数据到集群中。上传数据 至OSS 您可以将作业数据及执行文件上传至对象存储OSS，操作步骤如下：选择与E-HPC集群相同的地域开通OSS服务。具体...
Flink Python作业快速入门
如果Python作业文件为.zip文件，则需要在此处输入您的Entry Module，例如word_count。无需填写 Entry Point Main Arguments 填写输入数据文件的OSS路径。说明 本示例中输入数据文件、输出文件和测试Python存放路径一致。统一放在OSS控制台...
AutoDock Vina Ehpc服务实例部署文档
下载并解压作业文件。说明 如果集群中没有安装git，请先执行sudo yum install-y git安装git。下载作业文件。git clone https://code.aliyun.com/best-practice/022.git 解压作业文件。cd 022 tar xzvf vina-ehpcarrayjob.tar.gz 修改配置...
自动伸缩最佳实践
在编辑作业文件页面，配置lj.in文件和AutoScaling.pbs，单击 确认 提交作业。lj.in算例参数及说明，请参见 使用LAMMPS软件进行高性能计算。AutoScaling.pbs配置如下所示：#!bin/sh#PBS-l select=3:ncpus=1:mpiprocs=1#该脚本在3个计算节点...
使用高性能容器应用
具体操作，请参见 导入OSS作业文件到集群中。在 高性能容器应用 页面右侧 本地镜像 区域，从 集群 列表中选择目标集群。选择目标容器应用镜像，单击 操作 列的 启动作业。在 启动作业 对话框，完成作业参数配置。更多作业参数信息，请参见 ...
AutoDock Vina Ehpc计算巢部署文档
下载并解压作业文件。说明 如果集群中没有安装git，请先执行sudo yum install-y git安装git。下载作业文件。git clone https://code.aliyun.com/best-practice/022.git 解压作业文件。cd 022 tar xzvf vina-ehpcarrayjob.tar.gz 修改配置...
客户端功能概述
E-HPC客户端主要面向作业操作员，支持作业提交、作业文件管理等功能。具体功能如下：功能模块 说明 作业查询 支持按多种条件查询作业数据，以便调整作业任务。作业提交 支持通过界面、脚本或者作业模板来提交作业。应用中心 支持配置...
ListJobTemplates-查询作业模板列表
user1 InputFileUrl string 已上传到 OSS 上的作业文件链接。https://test.oss-cn-beijing.aliyuncs.com/test.py WithUnzipCmd boolean 是否解压下载后的作业文件。取值范围：true：是 false：否 true UnzipCmd string 解压命令，当 ...
使用Azkaban调度MaxCompute
基于此场景，您可以设计作业、作业调度流程、各作业对应的作业文件及脚本文件如下。前提条件 在执行操作前，请确认您已满足如下条件：已下载并安装MaxCompute客户端。更多安装并配置MaxCompute客户端操作，请参见 安装并配置MaxCompute客户...
SubmitJob-提交作业
接口说明 在集群提交作业前，请确认上传作业文件（如 job.sh）到集群。具体操作，请参见 CreateJobFile。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。...
API概览
CreateJobFile 创建一个作业文件 调用CreateJobFile创建一个作业文件。ListJobs 查询作业列表 调用ListJobs查询指定集群中的作业列表。DescribeJob 查询作业信息 调用DescribeJob查询一个集群内指定作业的详细信息。ListJobsWithFilters ...
弹性高性能计算E-HPC的审计事件
CreateJobFile 创建作业文件。CreateJobTemplate 创建作业模板。DeleteCluster 释放集群。DeleteContainerApps 批量删除容器应用。DeleteGWSCluster 删除可视化服务集群。DeleteGWSInstance 删除可视化实例。DeleteImage 删除本地镜像。...
术语表
OutputFile Output File 输出文件 作业输出文件，存储于OSS上，由OutputLocation、OutputBucket、OutputObject唯一标识一个输出文件。OutputBucket Output Bucket 转码输出Bucket 用户指定的转码输出Bucket，OSS文件转码流程中提交作业时...
Jupyter交互式作业开发
您可以选择如下两种方案避免编辑文件丢失：在启动Jupyter交互式开发环境时，将宿主机文件挂载到Docker容器中，并将作业文件存储在对应的文件路径下。格式为-v 宿主机路径:Docker容器文件路径。Docker容器文件路径可任意填写，建议填写为/...
ACID语义
作业类型 INSERT OVERWRITE/TRUNCATE作业（后结束）INSERT INTO作业（后结束）UPDATE/DELETE作业（后结束）MERGE小文件作业（后结束）INSERT OVERWRITE/TRUNCATE作业（先结束）先、后结束的作业都会执行成功。INSERT OVERWRITE/TRUNCATE...
重启作业
描述 重启作业，作业状态为 Stopped 和 Failed 时可以执行此操作。请求语法 POST/jobs/{ Id }/start 属性说明 属性名称 类型 是否必须 描述 Id String 是 作业标识符。返回信息 成功 返回201状态码。错误 状态码 错误码 错误信息 语义 404 ...
功能发布记录
2021-12-07 创建混合云集群 提交作业 优化 提交作业界面更新，支持Workbench登录集群编辑作业文件。2021-11-25 通过控制台提交作业 扩容混合云集群 优化 混合云集群支持多可用区扩容，您可以根据业务需求，选择不同的扩容策略。2021-10-26 ...
管理域名
说明 新增后，需要重启作业才会生效。修改 域名 进入域名管理入口。登录 实时计算控制台，单击 Flink全托管 页签。选择目标工作空间 操作 列下的 更多>管理域名。单击目标域名 操作 列下的 编辑，填写 域名 和 IP，单击 保存。请保证域名和...
Postgres CDC（公测中）
为了防止在Flink作业重启过程中由于Checkpoint对应的WAL（Write-Ahead Log）段被清除而引发数据丢失，Flink作业不会自动移除Replication Slot。因此，如果确认特定的Flink作业不会再次启动，应当手动删除相关的Replication Slot，以释放其...
动态扩缩容与参数动态更新
相关文档 不支持动态更新的参数，您可以在 部署详情 页签配置后重启作业，详情请参见 配置作业部署信息 和 作业启动。自动调优功能可以帮助您更合理地调整作业并发度和资源配置，解决相关性能调优问题，详情请参见 配置自动调优。作业智能...
QueryFpFileDeleteJobList-查询删除DNA文件
查询删除DNA文件作业。接口说明 本接口通过 DNA 文件删除作业 ID 查询作业详情，如果为空则返回最近 20 个作业列表。QPS 限制 本接口的单用户 QPS 限制为 100 次/秒。超过限制，API 调用会被限流，这可能会影响您的业务，请合理调用。更多...
API概览
QueryFpFileDeleteJobList 查询删除DNA文件 查询删除DNA文件作业。SubmitFpDBDeleteJob 提交清空或删除DNA库 提交清空或删除DNA库作业。QueryFpDBDeleteJobList 查询清空或删除DNA库 查询清空或删除DNA库作业。ListFpShotImportJob 查询...
概述
为了满足开发迭代需求或业务发展需求，SQL作业也需要不断变更，否则修改SQL作业后，并使用原来的状态数据重启作业，会出现状态不兼容的问题。从vvr-4.0.11-flink-1.13版本开始，Flink全托管提供状态兼容性检查和状态数据迁移功能，可以最大...
2021-08-04版本
Flink 1.11或Flink 1.10版本：手动将作业引擎版本升级到 vvr-3.0.3-flink-1.12 或 vvr-4.0.8-flink-1.13 版本后重启作业，否则会在启动作业时超时报错。运维类功能 支持自定义设置报警频率。支持设置Webhook报警。优化 优化上传JAR包的方式...
配置作业资源
注意事项 作业资源配置后，需要重启作业才能生效。操作步骤 进入资源配置入口。登录 实时计算控制台。单击目标工作空间 操作 列下的 控制台。在 作业运维 页面，单击目标作业名称。在 部署详情 页签，单击 资源配置 区域右侧的 编辑。修改...
通过实时计算订阅数据
启动成功后，可查看作业状态，按照需要停止或重启作业，并查看业务延迟。注意 选择的读取数据时间必须在数据同步到DataHub之前，否则可能造成数据丢失，影响查询结果。icmsDocProps={'productMethod':'created','language':'zh-CN',};
Apache Log4j 0Day安全漏洞公告说明
重启作业，使修改生效。Flink全托管云服务侧修复计划 VVR 1.x版本：因未使用log4j2，因此不受该漏洞影响。但是由于1.x已经不再提供技术支持，如果您还使用VVR 1.x版本，请尽快升级到更高版本，享受更强大的功能和服务保障。VVR 2.x、3.x和4...
部署作业
资源上传 作业部署前，您可以根据需要将JAR包、Python作业文件或Python依赖上传到Flink开发控制台。登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。在左侧导航栏，单击 资源管理。单击 上传资源，选择您...
网络架构升级
如果您想重新规划当前的网段，需要先在工作空间修改交换机到所需的网段，并设置上下游白名单，再提交工单升级，升级完毕后重启存量作业进行切换。平台功能 Session集群暂时无法升级，网络架构升级后您仍需要预留对应的IP资源给Session集群...
配置自动调优
说明 VVR 8.0.1及以上版本，Flink系统会先尝试使用动态参数更新重启作业，再尝试使用作业整体重启。动态参数更新下业务中断时间较之作业整体重启缩小30%-98%，具体依赖于作业状态和逻辑，目前仅支持并发的修改。详情请参见 动态更新作业...
设置调度器参数
假设集群只有一个8 vCPU的节点，如果Backfill周期设置为10s，则提交两个高优先级需要6 vCPU、运行时间为60 min的作业A和作业B后，再提交一个低优先级需要2 vCPU、运行时间为40 min的作业C时，作业运行情况如下：0s：开始调度，作业A开始...
CREATE DATABASE AS（CDAS）语句
使用VVR 8.0.5及以下版本时，CDAS作业启动后，作业同步的表已经确定，数据库中新增的表不会自动捕捉，也无法通过重启作业的方式捕获到。如果需要同步新增的表，您可以选择以下任一种方案：原有CDAS作业不变，启动一个新的作业同步新增的表...
通过命令行提交作业
提交作业 请根据集群的调度器类型，以及您准备好的作业文件，编写作业脚本，并提交作业。示例如下：说明 自动伸缩场景下，E-HPC不支持基于内存来扩缩容，建议您在提交作业时指定作业所需的vCPU数。PBS 编写作业脚本，脚本文件命名为...
CreateJobTemplate-创建作业模板
1 InputFileUrl string 否 已上传到 OSS 上的作业文件链接。https://test.oss-cn-beijing.aliyuncs.com/test.py WithUnzipCmd boolean 否 是否解压下载后的作业文件。取值范围：true：是 false：否 true UnzipCmd string 否 解压命令，当 ...
EditJobTemplate-编辑作业模板
1 InputFileUrl string 否 已上传到 OSS 上的作业文件链接。https://test.oss-cn-beijing.aliyuncs.com/test.py WithUnzipCmd boolean 否 是否解压下载后的作业文件。取值范围：true：是 false：否 true UnzipCmd string 否 解压命令，当 ...
2022-09-19版本
作业状态集管理 SQL作业启动 JAR作业启动 Python作业启动 作业停止 定时调优 定时调优功能针对业务上有明显波峰波谷的Flink作业，对于这类作业我们支持用户在平台设置好自定义的定时策略，在用户需要的时间将作业自动调整到用户预先设定好...
- 产品推荐
- 这些文档可能帮助您