创建节点
项目类型 引擎类型 联邦建模 联邦学习 多方安全建模 训练和预测 多方安全分析 分析 隐私求交 分析 说明 同时选择预测和训练引擎，或者同时选择预测和分析引擎时，分析或训练任务可能会抢占预测服务资源，从而导致预测服务不稳定，请谨慎...
JindoFS实战演示
通过JindoFS，您可以完成数据迁移、OSS访问加速、缓存加速、AI训练加速和JindoTable计算加速。本文为您介绍JindoFS实战的详细文档和演示视频。注意 如果视频断链表明该视频已过时，且已被下线。由于产品在不断更新迭代，请以官方控制台操作...
使用AIACC-Training（AIACC训练加速）加速BERT Fine...
本文适用于自然语言训练场景，例如，通过使用GPU云服务器和极速型NAS训练BERT Finetune模型，同时使用AIACC-Training（AIACC训练加速）进行该模型的训练加速，可有效加快多机多卡的训练速度，提升模型的训练效率和性能。说明 BERT...
数据安全
通过VPC的网络隔离能力，实现数据的传输安全。同时，EAS支持HTTPS加密传输，访问服务时，将访问地址中的 http 替换成 https 即可，无需其他配置。专有网络 VPC安全性说明请参见 安全体系概述。数据存储安全 PAI提供数据集管理模块，支持...
新建资源组并购买灵骏智算资源
它旨在满足高性能AI训练和计算的异构算力需求，支持DSW、DLC和EAS模块，助力您的AI开发、训练和服务部署操作。本文为您介绍如何创建资源组并购买灵骏智算资源。功能简介 资源类型 灵骏智算类型的资源，是阿里云自主研发的新一代智能计算...
eRDMA
普惠的RDMA网络带来了应用场景的丰富化，相对于传统的线下RDMA的应用场景，eRDMA可以用在更加丰富的场景，例如缓存数据库（Redis）、大数据（Spark）、HPC（WRF）、AI训练等。并且在这些领域内，均取得了可观的性能收益。使用限制 在使用...
创建自定义组件
训练约束 训练约束用于定义训练任务需要的计算资源，您可以打开 训练约束开关 进行配置。训练约束配置转换为Designer组件界面化参数执行调优配置：具体参数说明如下：参数 描述 机器类型 配置自定义组件支持CPU或GPU机器。支持多机 组件...
产品优势
与业务流程深度结合的训练流程 用户真实的业务场景多变且复杂，传统的训练模式并不能很好地跟时刻变化的业务场景相耦合，导致用户在实际训练过程中产生了一堆无用的模型，效率和准确性不高。自学习平台将训练过程中的 数据选择>训练>评估>...
eRDMA概述
普惠的RDMA网络带来了应用场景的丰富化，相对于传统的线下RDMA的应用场景，eRDMA可以用在更加丰富的场景，例如缓存数据库（Redis）、大数据（Spark）、HPC（WRF）、AI训练等。并且在这些领域内，均取得了可观的性能收益。使用限制 在使用...
PAI端到端文字识别训练
PAI-EasyVision提供端到端文字识别模型的训练及预测功能，本文为您介绍如何通过PAI命令进行端到端文字识别模型训练。PAI-EasyVision对配置进行了简化，您通过-Dparam_config 即可配置常用参数，无需了解PAI-EasyVision的配置文件规则和逻辑...
监控与报警
通过监控报警功能，您可以对分布式训练（DLC）任务的资源水位进行实时监控，并灵活地配置报警规则和报警通知。如果资源水位出现波动，例如低于GPU使用率超过设定阈值，则会发送报警通知。本文为您介绍如何查看监控数据、配置监控报警通知、...
OSS存储读写分离最佳实践
kubectl logs pod tf-mnist|grep dataload 预期输出：dataload cost time:1.54191803932 实际查询的时间与实例的性能和网络状态相关。登录 OSS管理控制台。查看OSS Bucket的/tf-train/trainning_logs 目录中已出现相关文件，表明数据可以...
产品架构
如上图所示，PAI的业务架构分为以下四层：基础资源层（计算资源&基础设施）：基础设施包括CPU、GPU、高速RDMA网络以及容器服务ACK等。计算资源包括云原生资源（灵骏计算资源和通用计算资源）和大数据引擎资源（MaxCompute和Flink）。平台...
产品优势
调优过程自主 您可以通过选择训练样本，训练的目标标签，并对训练后的模型指标和实际预测结果进行评估，完全自主控制算法模型针对您实际使用场景及样本的定制优化。支持多种调用方式 支持公共云API调用，无需您自行构建环境，快速满足您的...
LightGBM
每次从当前所有叶子中，找到分裂增益最大的一个叶子，然后分裂，如此循环。同每层分裂(Level-wise)相比，在分裂次数相同的情况下，叶分裂(Leaf-wise)可以降低更多的误差，得到更好的精度。当样本量较小的时候，leaf-wise 可能会造成过拟合...
DataWorks节点合集
类型 描述 数据集成同步类节点 DataWorks数据集成支持复杂网络环境下的数据同步，并提供用于离线（批量）数据周期性同步的离线同步节点，与用于单表或整库增量数据实时同步的实时同步节点。该节点可在数据开发（DataStudio）界面直接创建。...
什么是人工智能平台PAI
社交网络服务关系挖掘场景：微博粉丝领袖分析或社交关系链分析。文本类场景：新闻分类、关键词提取、文章摘要或文本内容分析。非结构化数据处理场景：图片分类或图片文本内容提取。其他各类预测场景：降雨预测或足球比赛结果预测。机器学习...
云原生AI套件概述
GPU调度概述 AI负载调度 弹性AI任务 弹性调度分布式深度学习训练任务：训练过程中，支持动态伸缩子任务Worker实例数量和节点数量，同时基本维持整体训练进度和模型精度。在集群资源空闲时，支持增加更多Worker加速训练；在资源紧张时，释放...
基础设施安全
可用区间故障隔离 可用区是指在同一地域内，电力和网络互相独立的物理区域。在同一地域内，可用区与可用区之间内网互通。各可用区之间可以实现故障隔离，即如果一个可用区出现故障，不会影响其他可用区的正常运行。每个地域完全独立，不同...
在GPU集群中加速AI模型训练
本文适用于AI图片的训练场景，使用文件存储CPFS/NAS作为共享存储，使用容器服务Kubernetes版管理GPU云服务器集群实现AI图片的训练加速。方案优势 使用阿里云的容器服务ACK可快速搭建AI图片训练基础环境。使用CPFS存储训练数据，支持多个...
Tensorboard
您可以为分布式训练（DLC）任务创建Tensorboard实例，通过Tensorboard的可视化界面更直观地查看模型训练结果分析报告。本文为您介绍如何创建和管理Tensorboard实例。前提条件 已创建DLC任务，且绑定了数据集。具体操作，请参见 创建训练...
应用适配概述
应用场景 支持的应用场景包括数据库Redis、大数据应用Spark、AI训练、推理场景、HPC应用等，对于不同的应用场景我们有不同的适配方案。对于橙色箭头的适配方案，我们通过无感的方式进行适配，不需要修改代码，只需重新编译即可实现eRDMA...
弹性网卡概述
弹性网卡（Elastic Network Interfaces，简称ENI）是一种在专有网络VPC中为ECS实例提供网络接口和IP地址的虚拟网络接口。每台ECS实例可以附加一个或多个弹性网卡。辅助弹性网卡可以在不同ECS实例之间进行解绑和绑定操作，这使得网络配置...
循环属性说明
1、最大循环次数：循环最大次数，当没有符合【终止条件】时最多循环的次数，默认为2，最大为10，2、循环结合变量：节点发生循环后，每一轮都会有一个结果，这个变量会存储每次循环的结果，返回结果是一个list。3、当前循环变量：节点发生...
配置循环SQL节点
循环SQL节点可循环生成SQL语句，再将其分批提交给DMS管理的任意关系型数据库执行，同时，还可以搭配变量，控制SQL循环次数，达到简化SQL循环逻辑、平衡SQL语句对源库产生压力的目的。本文介绍配置循环SQL节点的操作步骤。背景信息 任务编排...
Cava 循环结构
简介 cava中通过循环结构来支持对同一个操作执行多次，目前cava仅支持for循环，不支持while和do…while循环。for循环 语法结构：for(初始化条件;条件判断;条件更新){/循环体，需要执行的操作 } 关于for循环的说明：for循环先执行初始化条件...
Cava 循环结构
简介 cava中通过循环结构来支持对同一个操作执行多次，目前cava仅支持for循环，不支持while和do…while循环。for循环 语法结构：for(初始化条件;条件判断;条件更新){/循环体，需要执行的操作 } 关于for循环的说明：for循环先执行初始化条件...
启动方式与环境变量说明
AIACC-Training提供了统一的启动命令来启动分布式训练，配合环境变量可调节AIACC-Training的性能，为您带来更好的训练体验和更高的训练效率。本文为您介绍AIACC-Training的启动命令和环境变量。分布式启动方式说明 为了更好地使用AIACC-...
配置do-while节点
DataWorks为您提供循环节点（do-while节点），您可以重新编排do-while节点内部的业务流程，将需要循环执行的逻辑写在节点内，再编辑end循环判断节点来控制是否退出循环。同时您也可以结合赋值节点来循环遍历赋值节点传递的结果集。本文通过...
蓝牙 Mesh 本地定时 SDK
概述 依赖 SDK 概述 物模型SDK 物模型 SDK 提供了 App 端的物模型 蓝牙 Mesh SDK 提供蓝牙mesh基础能力 使用说明 获取蓝牙Mesh网络是否有连接 可以使用下面的方式判断当前是否已经连接到了Mesh网络。boolean isConnected2Mesh=...
循环指令
通过添加循环指令可以设置循环的内容和次数，从而重复执行某些API或指令，例如循环登录、循环浏览等，进一步模拟真实的业务流量。本文介绍如何添加循环指令。操作步骤 登录 PTS控制台，添加API并配置基本信息，详情请参见 HTTP节点。在 ...
循环
LOOP 定义一个无条件循环，该循环将无限期地重复执行，直到被 EXIT 或 RETURN 语句终止。EXIT EXIT[WHEN expression];终止最里面的循环，并接着执行 END LOOP 后面的语句。如果 WHEN 存在，则仅当指定条件为 true 时才执行循环退出；否则...
do-while节点逻辑原理介绍
DataWorks为您提供循环节点（do-while节点），您可根据业务需要重新编排循环节点内部业务流程，将需要循环执行的业务逻辑放入循环节点内部，并通过循环节点内部的End节点来定义循环条件，即确认不满足何种条件的情况下退出循环。循环节点可...
循环指令
通过添加循环指令可以设置循环的内容和次数，从而重复执行某些API或指令，例如循环登录、循环浏览等，进一步模拟真实的业务流量。本文介绍如何添加循环指令。操作步骤 登录 PTS控制台，添加API并配置基本信息，详情请参见 基本请求信息。在...
2022年
2022-08-02 全部地域 XGBoost训练 DBSCAN 高斯混合模型训练 岭回归训练 Lasso回归训练 PAI灵骏智算 PAI灵骏智算上线公测 2022-08-18 华北6（乌兰察布）、华南2（河源）什么是灵骏 2022-7 功能名称 功能描述 发布时间 发布地域 相关文档 ...
蓝牙 Mesh 本地定时 SDK
概述 依赖 SDK 概述 物模型SDK 物模型 SDK 提供了 App 端的物模型 蓝牙 Mesh SDK 提供蓝牙mesh基础能力 使用说明 获取蓝牙Mesh网络是否有连接 可以使用下面的方式判断当前是否已经连接到了Mesh网络。BOOL isConnect=[ALBBluetoothMesh ...
SDK同步与异步通信模式
同步通信模式 大多数嵌入式平台移植C Link SDK使用同步底层通信模型，能够支持C Link SDK以轮询方式主动收取网络报文。例如嵌入式Linux、Windows系统，以及大部分配备LwIP协议栈通信的RTOS（FreeRTOS系统）等，都支持上层应用主动收取网络...
使用Megatron-Deepspeed训练GPT-2并生成文本
本文介绍如何使用GPU云服务器，使用Megatron-Deepspeed框架训练GPT-2模型并生成文本。背景信息 GPT-2模型是OpenAI于2018年在GPT模型的基础上发布的新的无监督NLP模型，当时被称为“史上最强通用NLP模型”。该模型可以生成连贯的文本段落，...
继续循环continue
流程搭建示例 搭建流程 利用 按照次数循环 组件，设置循环10次 利用 条件分支 组件，设置当循环项小于5时跳过本次循环 利用 继续循环 组件，跳过本次循环，开始下次循环 利用 记录日志 组件，打印当前循环项值 执行结果 如下图所示，该流程...
按照次数循环
1.组件介绍 说明 必要前置组件：无 利用本组件可以根据指定次数进行循环 2.输入项 说明 请参照可视化编辑器内组件面板中各输入项的帮助信息 3.输出项 说明 请参照可视化编辑器内组件面板中各输出项的帮助信息 4.组件使用示例 4.1.组件配置...
- 产品推荐
- 这些文档可能帮助您