基于抢占式实例的弹性训练
为降低使用AI模型训练成本，云原生AI套件推出基于抢占式实例的弹性训练解决方案，该方案可以将AI模型训练这种有状态类型的工作负载运行在抢占式实例上，几乎可以做到在不影响训练作业成功率的情况下降低训练成本。优势与限制 基于抢占式...
采集MySQL查询结果
支持保存CheckPoint状态。支持SSL。支持限制每次最大采集数量。应用场景 根据数据中的自增ID或时间等标识采集增量数据。根据筛选条件自定义同步。操作步骤 登录 日志服务控制台。在 接入数据 区域，选择 MySQL查询结果-插件。选择目标...
采集SQL Server查询结果
支持保存CheckPoint状态。支持限制每次最大采集数量。应用场景 根据数据中的自增ID或时间等标志采集增量数据。根据筛选条件自定义同步。操作步骤 登录 日志服务控制台。在 接入数据 区域，选择 自定义数据插件。选择目标Project和Logstore...
采集PostgreSQL查询结果
支持保存CheckPoint状态。支持限制每次最大采集数量。应用场景 根据数据中的自增ID或时间等标志采集增量数据。根据筛选条件自定义同步。操作步骤 登录 日志服务控制台。在 接入数据 区域，选择 自定义数据插件。选择目标Project和Logstore...
使用控制台扩容ECS集群
在ECS实例中粘贴并执行脚本。在 进行导入 页签查看实例的导入状态。当实例导入完成后，返回集群详情页，实例的 健康检查 显示为 运行中 则表示实例导入成功。移除ECS实例 在 集群详情 页面 ECS实例 区域，单击 操作 列的 移除。在 移除ECS...
Stable Diffusion AIACC加速版部署文档
若希望finetune流程快一些，可将Save Model Frequency(Epochs)和“Save Preview(s)Frequency(Epochs)”选项调大（如果设置的值较小会导致finetune时间较长并且不稳定），不超过最大的epoch数（=迭代次数epoch x 图片数量N）即可。...
在ECS集群中代购ECS实例
在EDAS中创建ECS集群后，除了可以导入已购买的ECS实例外，还可以由EDAS为您代购ECS实例并添加到相应的集群中。代购ECS实例的方式包含基于现有实例规格购买和基于实例启动模板购买，计费方式支持包年包月和按量付费。本文介绍如何在ECS集群...
通过定时任务设置伸缩组内的实例数量
本文为您介绍通过创建定时任务的方式来设置伸缩组内的实例数量的方法，使您能够定时修改伸缩组内的最大实例数、最小实例数和期望实例数。背景信息 您可以通过如下两种方式设置或修改伸缩组内的实例数量，包括伸缩组内的最大实例数、最小...
快速扩缩容ECI实例
本文描述了如何快速配置弹性伸缩，来自动实现ECI实例的增加或减少，帮助您快速上手弹性伸缩。背景信息 本文以A公司的业务场景为例，为您展示如何快速配置弹性伸缩。不同业务场景，所需的操作不同，具体如下表所示。如果您想实现下表中所有...
Logtail
重要 同一个Logtail实例中请勿混用两种形式，否则可能导致同一文件匹配多个Logtail采集配置，出现重复采集。如果未处理完成的文件超过20个，将导致新生成的日志丢失。此类情况，请优先排查Logstore Shard写入Quota是否超限，并调整Logtail...
Logtail限制说明
本文简介Logtail采集数据时在运行环境、文件采集、容器采集、CheckPoint管理、Logtail采集配置、机器组、性能、错误处理等方面的限制。运行环境 限制项 限制说明 体系结构 Linux Logtail版本支持x86_64和arm64。Windows Logtail版本支持x86...
概述
本文介绍如何基于安全增强型实例（Intel ® SGX）部署TensorFlow Serving在线推理服务的技术架构和使用流程。背景信息 TensorFlow Serving是Google开源的机器学习平台TensorFlow生态的一部分，它的功能是将训练好的模型运行起来，提供接口...
OSS存储读写分离最佳实践
在训练过程中，中间文件将写入Pod的/mnt/training_logs 目录中，由ossfs上传至OSS Bucket的/tf-train/trainning_logs 目录中。验证数据正常读写。执行以下命令，查看Pod的状态。kubectl get pod tf-mnist 等待Pod状态从Running转换至...
变更实例节点
云原生多模数据库 Lindorm 支持变更各引擎的节点数量，当Lindorm实例的引擎节点数不符合（高于或低于）当前业务需求时，您可以对当前实例的引擎进行添加节点或者减少节点操作。前提条件 已创建 云原生多模数据库 Lindorm 实例并且实例状态...
通过弹性伸缩实现EDAS应用的自动扩缩容
设置 分组最大实例数：当集群内服务器数量达到配置的最大实例数后，不再继续扩容，请根据您的资源限额配置。在 弹性伸缩 页面的底部位置，单击 保存。自动扩缩容结果验证 设置了弹性伸缩规则后，如果发生了自动扩容或者自动缩容操作后，您...
实例类型
本文介绍 云消息队列 RabbitMQ 版 提供的实例类型。实例类型说明 表 1.实例类型说明 项目类别 项目 Serverless版 专业版 企业版 铂金版 计费方式 按量付费（后付费）无需提前预留资源，按照实际使用量收费，在实例上限值内可按需使用。具体...
使用限制
集群限制 限制项 Serverless版 专业版 企业版 铂金版 单实例的Vhost数量 200 单实例的Vhost数量取值范围为[Queue数量,200]。200 4096 单实例的Connection数量 最大1万。等于Queue数量×4。单实例的Connection数量取值范围为[1000,5000]。...
导入MySQL数据
您可以将自建MySQL数据库或RDS MySQL数据库中的数据导入到日志服务，实现数据的查询分析、加工等操作。本文介绍导入MySQL数据的操作步骤。使用限制 目前仅支持：华东1（杭州）、华东2（上海）、华北1（青岛）、华北2（北京）、华北3...
使用限制
单个伸缩组可以设置的组内最大实例数 单个地域下的定时任务总数 单次自动扩缩容可加入或删除的ECS实例或ECI实例总数 1000 单个伸缩配置中的多实例规格总数 10 单个伸缩组内的事件通知总数 6 单个伸缩组内的生命周期挂钩总数 10
使用限制
一个部署集内能容纳的实例数量 部署集内能创建的实例数量与部署策略有关：高可用策略：在部署集内创建ECS实例时，一个可用区内最多能创建20台ECS实例，一个阿里云地域下能创建的ECS实例数量为 20*可用区数量。部署集组高可用策略：在部署集...
常见问题
如何提升共享带宽实例可加入的EIP数量？如何为加入共享带宽的EIP设置最大可用带宽值？如何将共享带宽中的EIP转移到另一个共享带宽？共享 流量包和共享带宽有什么区别？如何为共享带宽实例设置报警？如何提升共享带宽实例可加入的EIP数量？...
关闭计算节点的CPU超线程
E-HPC集群的每个计算节点都是一台ECS实例，默认情况下，ECS实例均已开启CPU超线程。在部分HPC场景下，需要关闭CPU超线程以获得更好的性能表现。本文介绍如何关闭计算节点的CPU超线程。背景信息 CPU是中央处理器，一个CPU可以包含若干个物理...
EasyCkpt：AI大模型高性能状态保存恢复
数据安全须知 EasyCkpt需要在您提供的用户存储空间中读写数据，并且需要控制最大Checkpoint数量，可能引入删除数据的动作。为了确保您的数据安全，PAI在此定义了EasyCkpt涉及的所有读写动作，并给出EasyCkpt提供的数据安全保证以及推荐的...
对ECS集群中的应用进行弹性伸缩
设置 分组最大实例数：当集群内服务器数量达到配置的最大实例数后，不再继续扩容，请根据您的资源限额配置。查看弹性伸缩结果 设置了弹性伸缩规则后，如果发生了自动扩容或者自动缩容操作后，您可以通过以下方式来查看伸缩结果：在应用的 ...
自动弹性扩缩容
说明 应用目标实例数=Max（触发器1目标实例数，触发2目标实例数，.，触发器N目标实例数）当目标实例数大于当前实例数时，EDAS对应用进行扩容，其应用实例数不超过所设的 最大应用实例个数；反之，则进行缩容，其应用实例数不低于所设的 ...
工作原理
根据需要增加的ECS实例数量、实例配置信息、需要配置的负载均衡实例和RDS实例创建伸缩活动。在伸缩活动中，自动创建实例并配置负载均衡和RDS。按照实例配置信息创建指定数量的ECS实例。将创建好的ECS实例的内网IP添加到指定的RDS实例的访问...
通过配置文件管理管道
开启目标阿里云Elasticsearch实例的自动创建索引功能（本文以此为例），或提前在实例中创建索引和Mapping。开启自动创建索引功能的具体操作，请参见 配置YML参数。创建索引和Mapping的具体操作，请参见 步骤三：创建索引。说明 阿里云...
创建PostgreSQL只读实例
说明 创建只读实例期间对主实例无影响，创建成功后会在主实例中产生一个WAL Sender的进程，用于发送WAL日志到只读实例。RDS PostgreSQL通过快照的方式搭建只读实例，与数据量大小无关。查看只读实例 在实例列表中查看只读实例 登录 RDS管理...
管理数据库资产
最大保存长度 否 流量方向为 双向审计 时，设置返回信息的最大保存长度。取值范围：1~64 KB。建议您设置合理的保存长度，避免因长度设置的太小，影响保存的审计结果的完整性。说明 流量方向为 单向审计 时，不显示该参数。部分数据库类型...
通过Docker安装并使用cGPU服务
结果如下所示：框架 模型 batch_size 精度 images/sec（容器1）images/sec（容器2）TensorFlow ResNet50 16 FP16 151 307 TensorFlow ResNet50 32 FP16 204 418 TensorFlow ResNet50 64 FP16 247 503 TensorFlow ResNet50 128 FP16 257 516...
Flink消费
说明 如果在启动Flink任务时，设置了从Flink自身的StateBackend中恢复，那么Flink Log Connector会忽略上面的配置，使用StateBackend中保存的Checkpoint。可选：设置消费进度监控。Flink Log Consumer支持设置消费进度监控，获取每一个...
使用标签
例如，在团队或者项目管理中，您可以设置项目或部门为维度的标签（如 project:a），然后实现分组，在日常维护中能从众多SAP HANA实例中先筛选出一组带某些标签的实例再进行操作。使用说明 标签都由一对键值对（Key-Value）组成。标签必须...
基于弹性伸缩和云效实现容器服务的发布部署管理
1 组内最大实例数 当前实例数量超过上限时，伸缩组会自动移出实例，使得伸缩组内的实例数量等于上限。2 专有网络 选择已创建的专有网络。vpc-bp1jmxxau0lur929p*选择交换机 选择专有网络后必须选择交换机。vsw-bp155oak33mqngov2*创建并...
使用EasyVision进行目标检测
master：训练过程，负责写Summary、保存Checkpoint及定期进行Evaluation。worker：训练过程。具体脚本如下所示。encoding:utf-8-*-import multiprocessing import sys import os import easy_vision import json import logging import ...
使用启动模板创建ECS实例
分组最大实例数 表示当集群内服务器数量达到配置的最大实例数后，不再继续扩容，此配置请您根据自己的资源限额配置。结果验证 无论哪种使用模板添加实例的方式，在进行实例扩缩操作后，您都可以在应用的 基本信息 页面的 实例部署信息 页签...
通过消费组消费数据
说明 通过消费组消费，可以保存Checkpoint。在程序故障恢复时，能够从断点处继续消费，从而保证数据不会被重复消费。分配原则 一个Logstore中包含多个Shard，通过消费组消费数据就是将Shard分配给一个消费组下面的消费者，分配方式遵循以下...
通过消费组消费数据
说明 通过消费组消费，可以保存Checkpoint。在程序故障恢复时，能够从断点处继续消费，从而保证数据不会被重复消费。分配原则 一个Logstore中包含多个Shard，通过消费组消费数据就是将Shard分配给一个消费组下面的消费者，分配方式遵循以下...
配置弹性伸缩（仅Hadoop集群类型）
按量节点所占比例 弹性伸缩组内最小按量节点数量满足之后，创建实例中按量实例所占的比例。最低价的多个实例规格 指定最低价的多个实例规格种类数。当创建抢占实例时，将在这些规格种类中进行均衡分布。最大值为3。抢占实例补偿 是否开启...
基于ECS的弹性推理
arena serve tensorflow \-name=bert-tfserving \-model-name=chnsenticorp \-selector=inference:tensorflow \-gpus=1 \-image=tensorflow/serving:1.15.0-gpu \-data=model-pvc:/models \-model-path=models/tensorflow \-version-policy...
查看运行分析
对于开源Flink实时计算引擎的实时实例，可在Dataphin中查看运行分析。运行分析不仅可以支持对实时实例信息进行分析、刷新等操作，也可以展示失败次数、反压情况、各Sink的数据输出、Checkpoint失败次数等信息。运行分析入口 在Dataphin首页...
- 产品推荐
- 这些文档可能帮助您