配置训练数据和代码
本文介绍如何在AI开发控制台配置训练用的数据集和代码。前提条件 已创建ACK Pro版集群。ACK Pro版集群已安装云原生AI套件的 开发控制台 和 调度组件，且集群Kubernetes版本不低于1.20。集群管理员在 RAM控制台 创建子账号（即RAM用户），并...
ACK集群实现弹性裸金属AI训练
本方案使用了SCC超级计算集群，采用弹性裸金属GPU服务器、并行文件系统CPFS、RDMA网络、阿里云容器服务Kubernetes版和飞天AI加速训练工具，提供性能稳定的训练环境，保障业务能力。解决问题 搭建AI图片训练基础环境。使用CPFS存储训练数据...
智能双录质检
针对保险公司销售过程的合规要求，进行针对性的 AI 训练和优化，实现对销售过程中各种关键动作、证件的检测，销售活动关键角色的连续追踪等，实现销售过程的智能化合规监控，极大提升销售的友好度、保单一次性通过率，并降低成本。
召回定制同义词
OpenSearch提供了丰富的面向特定领域的同义词模型，用户可以基于对应的行业分析器，经过简单的配置训练得到专属的定制同义词模型。整个定制过程，同义词模型训练会自动抽取已有数据进行适配（如果用户已有一些个性化的同义词数据也支持导入...
通用环境变量列表
DLC为TensorFlow训练配置的通用环境变量如下：环境变量名 描述 TF_CONFIG TensorFlow分布式网络拓扑信息，示例如下：{"cluster":{"worker":["dlc1y3madghd*-worker-0.t1612285282502324.svc:2222","dlc1y3madghd*-worker-1.t...
应用场景
超大规模GPU算力系统，全对等网络架构，全资源池化，可以搭配PAI（机器学习平台）使用，支持多种训练框架（Pytorch、TensorFlow、Caffe、Keras、Xgboost、Mxnet等），可以满足多种规模的AI训练和推理业务。AI基础设施。平滑扩容。满足不同...
召回定制词权重
OpenSearch-行业算法版提供了丰富的面向特定领域的词权重模型，用户可以基于对应的行业分析器，经过简单的配置训练得到专属的定制词权重模型。整个定制过程无需进行额外的数据对接，词权重模型训练会自动抽取已有数据进行适配。定制召回...
异构计算产品最佳实践概览
神龙AI加速引擎AIACC 使用AIACC-Training（AIACC训练加速）加速BERT Finetune模型 适用于自然语言训练场景，使用GPU云服务器和极速型NAS进行BERT Finetune模型训练，使用AIACC-Training（AIACC训练加速）可以有效提升多机多卡的训练效率。...
召回定制分析器
召回定制功能就是由此产生，OpenSearch-行业算法版首先提供了丰富的面向特点领域的行业分析器，客户可以基于对应的行业分析器，经过简单的配置训练得到自己专属的定制分析器。整个定制过程无需客户进行额外的数据对接工作，召回定制模型...
什么是计算优化编译器AIACC-AGSpeed
AIACC-AGSpeed介绍 AIACC-AGSpeed简称为AGSpeed，AGSpeed作为阿里云自研的AI训练计算优化编译器，对PyTorch深度学习框架训练过程中的计算性能进行深度优化，具有其显著的计算性能优势。AGSpeed的组件架构图如下所示：组件架构 说明 编译器...
AIACC-ACSpeed体验示例
AIACC-ACSpeed（简称ACSpeed）作为阿里云自研的AI训练加速器，在提高训练效率的同时能够降低使用成本，可以实现无感的分布式通信性能优化。ACSpeed软件包中已为您提供了适配DDP的示例代码，您可以参考本文快速体验使用ACSpeed进行模型分布...
安装AIACC-Training
在接口层面上，目前AIACC-Training兼容了PyTorch DDP以及Horovod的API，对于原生使用上述分布式训练方法的训练代码，可以做到无感的性能加速。本文为您介绍安装AIACC-Training 1.5.0的多种方式。前提条件 已创建阿里云GPU实例，且GPU实例需...
ACK集群实现GPU AI模型训练
本文介绍GPU AI模型训练的场景描述、解决问题、架构图及操作参考链接。场景描述 本方案适用于AI图片训练场景，使用CPFS和NAS作为共享存储，利用容器服务Kubernetes版管理GPU云服务器集群进行图片AI训练。解决问题 搭建AI图片训练基础环境。...
文本摘要预测
您可以使用文本摘要预测...相关文档 关于文本摘要训练组件的配置详情，请参见 文本摘要训练。您可以使用文本摘要训练组件和文本摘要预测组件实现各类文本生成任务，包括文本摘要生成、新闻标题生成等。具体操作，请参见 智能文创解决方案。
高斯混合模型训练
本文为您介绍高斯混合模型训练组件的配置方法。使用限制 支持的计算引擎为MaxCompute、Flink或DLC。可视化配置组件参数 Designer支持通过可视化的方式，配置组件参数。页签 参数 描述 字段设置 向量列名 向量列对应的列名。参数设置 收敛...
Lasso回归训练
Lasso回归训练组件基于该算法，支持稀疏、稠密两种数据格式，且支持带权重样本的训练。本文为您介绍Lasso回归训练组件的配置方法。使用限制 支持的计算引擎为MaxCompute、Flink或DLC。算法原理 Lasso回归算法通过构造一个惩罚函数，得到...
岭回归训练
岭回归训练组件基于该算法，支持稀疏、稠密两种数据格式，且支持带权重样本的训练。本文为您介绍岭回归训练组件的配置方法。使用限制 支持的计算引擎为MaxCompute、Flink或DLC。算法原理 岭回归是一种专用于共线性数据分析的有偏估计回归...
文本摘要训练
本文为您介绍文本摘要训练组件的配置方法。使用限制 仅支持DLC计算资源。模型结构 文本（新闻标题）摘要训练组件的模型结构采用标准的Transformer结构，包括Encoder和Decoder两部分，分别表示对文本进行编码和解码。在具体训练的过程中，...
模型调优
模型调优 模型调优是通过Fine-tuning训练模式提高模型效果的功能模块，作为重要的大模型效果优化方式，用户可以通过构建符合业务场景任务的训练集，调整参数训练模型，训练模型学习业务数据和业务逻辑，最终提高在业务场景中的模型效果。...
使用EasyASR进行语音分类
EasyASR（语音智能增强算法包）提供多种模型的训练及预测功能，旨在帮助语音智能应用开发者方便快捷地构建语音模型并应用于生产，例如语音的背景音乐检测。本文为您介绍如何在 DSW 中使用EasyASR算法包训练语音分类模型。前提条件 已创建 ...
图像关键点训练
说明 如果您同时通过输入桩和该参数配置了该组件的训练数据，则优先使用输入桩配置的数据。无 训练数据标注结果文件路径 否 如果您没有通过输入桩配置该组件的训练数据标注结果文件，则需要配置该参数。训练数据标注结果文件所在的OSS路径...
概述
本文介绍了PolarDB for AI的子功能 Row-oriented AI 的概念、适用场景、使用限制以及使用方法等内容。简介 Row-oriented AI，即AI模型推理以及通过Loadable Function作为Hook来调用LLM（大语言模型）的能力，是PolarDB for AI的一个重要子...
使用EasyASR进行语音识别
EasyASR（语音智能增强算法包）提供多种模型的训练及预测功能，旨在帮助语音智能应用开发者方便快捷地构建语音模型并应用于生产。本文以语音识别为例，为您介绍如何在 DSW 中使用EasyASR算法包。前提条件 已创建 DSW 实例，且该实例满足...
智能文创解决方案
区域 描述 ① 配置实验的训练数据集，即配置 读OSS数据 组件的 OSS数据路径 参数为训练数据集在OSS Bucket中的存储路径。② 配置实验的验证数据集，即配置 读OSS数据 组件的 OSS数据路径 参数为验证数据集在OSS Bucket中的存储路径。③ ...
swing训练
本文为您介绍swing训练的参数配置。使用限制 支持运行的计算资源为MaxCompute和Flink。组件配置 您可以通过以下任意一种方式，配置swing训练组件参数。方式一：可视化方式 在Designer工作流页面配置组件参数。页签 参数名称 描述 字段设置 ...
在GPU集群中加速AI模型训练
本文适用于AI图片的训练场景，使用文件存储CPFS/NAS作为共享存储，使用容器服务Kubernetes版管理GPU云服务器集群实现AI图片的训练加速。方案优势 使用阿里云的容器服务ACK可快速搭建AI图片训练基础环境。使用CPFS存储训练数据，支持多个...
GetAITemplate-查询AI模板
先获取 AI 模板 ID，再调用本接口查询 AI 模板的配置信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在...
机器阅读理解解决方案
区域 描述 ① 配置实验的训练数据集，即配置 读OSS数据-1 组件的 OSS数据路径 参数为训练数据集在OSS Bucket中的存储路径。② 配置实验的验证数据集，即配置 读OSS数据-2 组件的 OSS数据路径 参数为验证数据集在OSS Bucket中的存储路径。③...
如何开启模型训练
超参配置 企业可以通过参数配置来影响模型调优的过程，从而影响模型调优的效果，不同的参数配置训练的结果不同，一般建议使用默认配置。开始训练 预览你的训练配置，准备开始训练，开始训练将进入队列，可在模型管理列表刷新状态，同时，可...
创建训练任务
步骤二：配置训练任务的参数 环境配置 在 环境信息 区域，完成以下关键参数的配置：参数 描述 节点镜像 工作节点的镜像。当前支持选择使用不同类型的镜像：官方镜像：由阿里云PAI产品提供的多种官方镜像，支持不同的Python版本及深度学习...
文本内容风控解决方案
区域 描述 ① 配置实验的训练数据集，即配置 读数据表 组件的 表名 参数为MaxCompute的训练表。例如 nlp_risk_train。② 配置实验的评估数据集，即配置 读数据表 组件的 表名 参数为MaxCompute的评估表。例如 nlp_risk_dev。③ 配置文本...
概述
polar.mysql.x8.2xlarge.gpu 这两个规格主要应用于AI模型的训练和推理。技术架构 PolarDB for AI 通过数据库代理进行SQL路由，含有/*polar4ai*/的SQL语句会被分发到具有AI能力的集群上进行计算，计算的返回结果和普通的SQL返回结果遵循同样...
云原生AI套件概述
弹性训练 AI数据编排与加速 Fluid：提出弹性数据集（Dataset）的概念。对“计算任务使用数据的过程”进行抽象，并创建数据编排与加速系统Fluid，以实现数据集管理、权限控制和访问加速等能力。Fluid支持将多个不同类型的存储服务作为数据源...
人工智能AI
本文列举了AI推理、AI训练、AI加速的最佳实践案例及人工智能AI的解决方案。AI推理 基于弹性计算的AI推理 AI训练 超级计算集群结合ACK快速实现NLP训练 基于机器学习PAI的云原生AI训练 GPU AI模型训练 基于NAS部署可更换模型的FC Stable ...
AI写真：Python SDK使用说明
images 配置为训练模型使用的训练图片的URL地址，多个URL地址之间使用半角逗号（,）分隔。response 请分别为该参数配置下列输入值：<model_name>：模型名称，默认输入空字符串，例如 ''。模型返回配置，默认为None，例如：...
Z-Score归一化
一、组件说明 在联邦学习任务中，Z-score归一...希望用训练数据的缩放比例来填充至预测数据中，此时可以将训练时使用的配置文件，通过【读配置文件】接入到【Z-Score归一化】的输入桩中，以此来保证训练数据和预测数据的一致性，如下图所示：
Min-Max归一化
一、组件说明 在联邦学习任务中，Min-Max归一...希望用训练数据的缩放比例来填充至预测数据中，此时可以将训练时使用的配置文件，通过【读配置文件】接入到【Min-Max归一化】的输入桩中，以此来保证训练数据和预测数据的一致性，如下图所示：
视频分类训练
如果没有通过该输入桩传入训练数据，则需要在 字段设置 页签中的 训练数据文件oss路径 参数配置训练数据，详情请参见下文的 组件参数。评估数据 OSS 读OSS数据 否。如果没有通过该输入桩传入评估数据，则需要在 字段设置 页签中的 评估数据...
AI加速概述
PAI-AI加速器主要用于训练加速和推理加速，它通过数据集加速、计算加速、优化算法、调度算法和资源优化技术等多种手段，提高了AI训练和推理的速度、易用性和稳定性，全面提升了AI计算的效率。本文为您介绍AI加速器的功能亮点。AI加速器功能...
缺失值填充
由于许多机器学习算法需要输入完整的数据集进行训练，所以在数据集中存在缺失值会对模型的训练和性能产生影响。因此，需要对缺失值进行填充，以便于联邦学习算法的处理。组件截图 二、参数说明 对于字符型特征和数值型特征，分别对应不同的...
- 产品推荐
- 这些文档可能帮助您