功能概览
工作原理 您首先需要在本地一台或多台服务器上安装并激活云备份客户端，然后登录云备份控制台添加NAS、HDFS或S3兼容存储数据源，再选择已安装的云备份客户端对目标NAS或HDFS上的指定文件夹和文件进行归档。在执行归档任务时，云备份客户端...
文件存储NAS SMB ACL概述
NAS SMB ACL工作原理 阿里云文件存储NAS支持用户VPC（Virtual Private Cloud）或者用户IDC（Internet Data Center）内的AD域控制器的用户管理和文件系统访问权限控制，这样可以打通混合云用户的云上和云下用户认证以及文件系统权限控制。...
导入OSS作业文件到集群中
创建作业时，可直接选择OSS中的作业文件，以提升工作效率。本文介绍如何上传作业到OSS并导入作业数据到集群中。上传数据 至OSS 您可以将作业数据及执行文件上传至对象存储OSS，操作步骤如下：选择与E-HPC集群相同的地域开通OSS服务。具体...
常见问题
云存储网关文件网关的缓存工作原理是什么？反向同步和极速同步：如何通过极速同步即时处理OSS上传对象？如何通过极速同步在多个网关直接实现数据共享？如何在日志监控中查看网关文件同步列表？文件网关反向同步的使用场景及配置是什么？...
CreateJobFile-创建一个作业文件
调用CreateJobFile创建一个作业文件。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 ...
操作指南FAQ
云存储网关文件网关的缓存工作原理是什么？反向同步和极速同步：如何通过极速同步即时处理OSS上传对象？如何通过极速同步在多个网关直接实现数据共享？如何在日志监控中查看网关文件同步列表？文件网关反向同步的使用场景及配置是什么？...
AutoML工作原理
AutoML实现自动化调试参数的工作原理，是通过实验、Trial、训练任务进行循环迭代，来找到最优的超参组合。AutoML的工作机制如下图。您设定好超参数的值域、搜索算法、停止条件配置后，AutoML将其作为一次实验（experiment）传入到后端进行...
工作原理
工作原理 本地安装一个数据库网关代理（database gateway agent）。数据库网关代理负责与数据库网关云端服务（database gateway cloud service）建立安全的、可信任的通道。不同账号、不同网关所建立的通道彼此隔离。通道建立后，当您...
AutoDock Vina Ehpc服务实例部署文档
下载并解压作业文件。说明 如果集群中没有安装git，请先执行sudo yum install-y git安装git。下载作业文件。git clone https://code.aliyun.com/best-practice/022.git 解压作业文件。cd 022 tar xzvf vina-ehpcarrayjob.tar.gz 修改配置...
自动伸缩最佳实践
在编辑作业文件页面，配置lj.in文件和AutoScaling.pbs，单击 确认 提交作业。lj.in算例参数及说明，请参见 使用LAMMPS软件进行高性能计算。AutoScaling.pbs配置如下所示：#!bin/sh#PBS-l select=3:ncpus=1:mpiprocs=1#该脚本在3个计算节点...
配置Lindorm Spark节点
{"spark.hadoop.fs.oss.impl":"org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem"} configs参数配置：参数 说明 示例值 spark.hadoop.fs.oss.endpoint 作业文件所在OSS的Endpoint。说明 查看OSS的Endpoint，请参见 访问域名和数据中心...
使用高性能容器应用
具体操作，请参见 导入OSS作业文件到集群中。在 高性能容器应用 页面右侧 本地镜像 区域，从 集群 列表中选择目标集群。选择目标容器应用镜像，单击 操作 列的 启动作业。在 启动作业 对话框，完成作业参数配置。更多作业参数信息，请参见 ...
AutoDock Vina Ehpc计算巢部署文档
下载并解压作业文件。说明 如果集群中没有安装git，请先执行sudo yum install-y git安装git。下载作业文件。git clone https://code.aliyun.com/best-practice/022.git 解压作业文件。cd 022 tar xzvf vina-ehpcarrayjob.tar.gz 修改配置...
常见问题
云工作流的工作原理是什么？云工作流的优势是什么？云工作流最长执行多长时间？怎么执行云工作流？云工作流使用什么语言编写流程？云工作流是集成了云监控？云工作流是否集成了事件源？什么是 云工作流？云工作流 是一个用来协调多个分布式...
CreateJobTemplate-创建作业模板
1 InputFileUrl string 否 已上传到 OSS 上的作业文件链接。https://test.oss-cn-beijing.aliyuncs.com/test.py WithUnzipCmd boolean 否 是否解压下载后的作业文件。取值范围：true：是 false：否 true UnzipCmd string 否 解压命令，当 ...
EditJobTemplate-编辑作业模板
1 InputFileUrl string 否 已上传到 OSS 上的作业文件链接。https://test.oss-cn-beijing.aliyuncs.com/test.py WithUnzipCmd boolean 否 是否解压下载后的作业文件。取值范围：true：是 false：否 true UnzipCmd string 否 解压命令，当 ...
ListJobTemplates-查询作业模板列表
user1 InputFileUrl string 已上传到 OSS 上的作业文件链接。https://test.oss-cn-beijing.aliyuncs.com/test.py WithUnzipCmd boolean 是否解压下载后的作业文件。取值范围：true：是 false：否 true UnzipCmd string 解压命令，当 ...
SubmitJob-提交作业
接口说明 在集群提交作业前，请确认上传作业文件（如 job.sh）到集群。具体操作，请参见 CreateJobFile。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。...
弹性高性能计算E-HPC的审计事件
CreateJobFile 创建作业文件。CreateJobTemplate 创建作业模板。DeleteCluster 释放集群。DeleteContainerApps 批量删除容器应用。DeleteGWSCluster 删除可视化服务集群。DeleteGWSInstance 删除可视化实例。DeleteImage 删除本地镜像。...
ACID语义
作业类型 INSERT OVERWRITE/TRUNCATE作业（后结束）INSERT INTO作业（后结束）UPDATE/DELETE作业（后结束）MERGE小文件作业（后结束）INSERT OVERWRITE/TRUNCATE作业（先结束）先、后结束的作业都会执行成功。INSERT OVERWRITE/TRUNCATE...
Jupyter交互式作业开发
您可以选择如下两种方案避免编辑文件丢失：在启动Jupyter交互式开发环境时，将宿主机文件挂载到Docker容器中，并将作业文件存储在对应的文件路径下。格式为-v 宿主机路径:Docker容器文件路径。Docker容器文件路径可任意填写，建议填写为/...
功能概览
本文介绍 云备份 的本地文件备份功能概览，包括本地文件备份的优势、工作原理、操作流程和费用等。简介 本地备份功能是阿里云 云备份 提供的针对客户本地数据中心服务器上的文件系统的数据保护解决方案，通过简单、安全及可靠的方式将本地...
QueryFpFileDeleteJobList-查询删除DNA文件
查询删除DNA文件作业。接口说明 本接口通过 DNA 文件删除作业 ID 查询作业详情，如果为空则返回最近 20 个作业列表。QPS 限制 本接口的单用户 QPS 限制为 100 次/秒。超过限制，API 调用会被限流，这可能会影响您的业务，请合理调用。更多...
Routine Load
基本原理 Client向FE提交一个Routine Load作业的原理如下：+-+|Client|+-+-+|+-+|FE|+-v-+|Routine Load Job|+-+-+-+-+|+-v-+-v-+-v-+|task|task|task|+-+-+-+-+-+-+|+-+|v v v+-+-+-+-+-+|BE|BE|BE|+-+-+-+FE通过JobScheduler将一个导入...
API概览
创建工作流目录文件夹 调用CreateFlowCategory接口，创建工作流目录文件夹。创建工作流 调用CreateFlowForWeb接口，创建自定义图形工作流。创建作业 调用CreateFlowJob接口，创建数据开发作业。创建数据开发项目 调用CreateFlowProject接口...
功能概览
OSS多版本的工作原理是当您在对文件进行任何的修改时，都将保留一个新版本，便于您可以找回过去任何一个版本进行恢复。您可以根据文件的重要性和具体场景选择合适的方式来进行数据保护。操作流程 使用 云备份 控制台备份OSS Bucket中文件的...
提交作业
准备工作 提交作业前，您需要准备好作业文件，并上传到E-HPC集群中。E-HPC客户端支持以下两种方式上传作业文件：通过数据管理功能，您可以新建并编辑作业文件，或者直接将本地的作业文件上传到集群。具体操作，请参见 管理文件。通过会话...
通过控制台提交作业
说明 OSS中的作业文件或作业文件压缩包，都会在作业执行前下载到以作业名命名的目录中，例如作业名为JobName，那么作业文件会被下载到/home/user/JobName目录下，压缩包会被下载并解压到/home/user/JobName目录下。编辑作业文件 单击 作业...
配置M3U8标准加密改写
HLS协议的工作原理是把整个视频流分割成一个个小的TS格式视频文件来传输，在开始一个流媒体会话时，客户端会先下载一个包含TS文件URL地址的M3U8文件（相当于一个播放列表），给客户端用于下载TS文件。HLS基本字段：#EXTM3U：M3U8文件头，...
自动优化
说明 详细内容可参考Databricks官网文章：自动优化 自动优化的工作原理 自动优化包含两个重要特性：优化Delta表的写入 在开源版Spark中，每个executor向partition中写入文件时，都会创建一个文件进行写入，最终会导致一个partition中包含...
迁移Batch批量计算到分布式工作流Argo集群
功能映射 功能分类 Batch批量计算 Argo Workflows 用户体验 批量计算CLI Argo Workflows CLI Json定义作业 YMAL定义作业 SDK SDK 核心能力 作业（Jobs）工作流（Workflows)Array jobs 工作流（Workflows）Loops Job dependencies 工作流...
导出开源引擎任务
导出DolphinScheduler任务 原理介绍 DataWorks导出工具通过调用DolphinScheduler的批量导出工作流来定义API信息，获取DolphinScheduler工作流定义的JSON配置，生成一个Zip格式的文件。后续可在 迁移助手>任务上云 的 调度引擎作业导入 页面...
数据库实时入仓快速入门
flink-test 存储位置 指定该作业的代码文件所属的文件夹。您还可以在现有文件夹右侧，单击 图标，新建子文件夹。作业草稿 引擎版本 当前作业使用的Flink的引擎版本。引擎版本号含义、版本对应关系和生命周期重要时间点详情请参见 引擎版本...
数字水印（暗水印）
工作原理 版权水印的原理 为视频嵌入肉眼不可见的自定义文字信息，当视频被传播、加工后，可以通过提取识别嵌入的文字信息来明确视频的版权归属。溯源水印的原理 在播放时，利用提前生成的具有相同时间间隔的AB流分片，实时排列组合生成...
什么是ECS备份基础版
工作原理 ECS备份基础版功能涵盖ECS文件备份、ECS整机备份和ECS数据库备份三种场景，在工作原理上与云备份全功能版本没有任何区别，只是简化了售卖方式和使用流程，助力您更经济、更高效、更集中地管理备份。具体实现原理参见如下备份概览...
NFS文件系统传输加密
工作原理 NAS客户端工具定义了一个网络文件系统类型alinas，与标准 mount 命令兼容。在ECS实例挂载alinas类型文件系统时，如果指定 tls 参数，NAS客户端工具会启动一个Stunnel监听进程，该进程转发并加密ECS实例对NAS服务器的访问，同时会...
提交训练作业
print(est.model_data())以下内容为您介绍了提交训练作业的具体操作流程和相关原理介绍。此外，为了帮助您更直观地体验提交训练作业的操作流程，PAI Python SDK还提供了一系列详细的代码示例Notebook，供您参考和学习，详情请参见 代码示例...
导入概述
在导入流程中主要负责导入执行计划的生成和导入任务的调度工作。BE Backend，StarRocks系统的计算和存储节点。在导入流程中主要负责数据的ETL和存储。Tablet StarRocks表的逻辑分片，一个表按照分区、分桶规则可以划分为多个分片，详情请...
前言
工作原理 创建 App：创建 App 时，将运行作业需要的软件或脚本安装在自定义的镜像中，并设置资源的默认配置，以及输入输出的格式。提交 App 作业：提交作业时，按照上述资源配置启动虚拟机镜像或 Docker 镜像，使用用户输入的数据运行软件...
功能概览
本文介绍 云备份 ECS文件备份的功能概览，包括优势、工作原理、操作流程和费用等。简介 ECS文件备份功能是阿里云 云备份 提供的针对您ECS上的文件系统的数据保护方案，通过简单、安全及可靠的方式将ECS文件数据备份到备份库，确保客户生产...
- 产品推荐
- 这些文档可能帮助您