创建训练任务
前提条件 已准备资源、镜像、数据集和代码集。具体操作，请参见 准备工作。如果使用Python SDK提交训练任务，需要配置环境变量。具体操作，请参见 安装Credentials工具 和 配置环境变量。通过控制台创建 步骤一：进入新建任务页面 登录 PAI...
新建实验
DLC 任务类型选择 DLC 时，参数配置如下表所示：参数 描述 框架 支持选择以下两种框架类型：Tensorflow PyTorch 数据集 此处需配置为已准备好的数据集，数据集配置方式请参见 创建及管理数据集。代码源 指定任务代码文件的存储位置（代码...
LLM on DLC-Megatron on DLC最佳实践
维基百科语料 维基百科数据集是自然语言处理的常见语料，在词表文件所在目录使用 WikiExtractor 产生Megatron-LM支持的索引数据集文件：#1.Install wikiextractor pip install wikiextractor#2.Download&extract to loose json wget ...
创建及管理数据集
PAI提供如下公共数据集：CIFAR-10图像数据集 PASCAL VOC 2007图像数据集 内容风控领域的图像分类数据集 内容风控领域的目标检测数据集 Deepfashion2图像数据集 关于公共数据集的更多内容，详情请参见 附录：公共数据集。管理数据集 您可以...
模型评测
基于公开数据集的评测是通过在多种公开数据集上加载并执行模型预测，根据每个数据集特定的评价框架，为您提供行业标准的评估参考。当前模型评测支持HuggingFace所有AutoModelForCausalLM类型的模型。使用场景 模型评测是模型开发中重要的...
产品架构
优化与加速框架：包括DatasetAcc数据集加速、TorchAcc训练加速、EPL并行训练框架、Blade推理加速、AIMaster自动容错训练以及EasyCkpt秒级异步训练快照等。按照机器学习全流程，PAI分别提供了数据准备、模型开发与训练以及模型部署阶段的...
DLC MNIST训练最佳实践
本方案采用PyTorch框架，通过torchvision.datasets.MNIST模块自动下载和加载MNIST手写数字数据集，并对其进行模型训练，以寻找最佳超参数配置。提供单机、分布式及嵌套参数三种训练模式供选择，以满足不同训练需求。前提条件 首次使用...
什么是DSW
DSW 提供丰富的异构计算资源，支持挂载OSS、NAS、CPFS类型的数据集，预置了多种开源框架的镜像，支持实例的生命周期管理，实现开箱即用的高效开发模式。快速入门 您可以参考如下视频，快速了解 DSW 支持的主要功能。功能特性 一站式服务 ...
配置管理
SQL结果集导出时是否开启文件水印 取值：Y：开启SQL结果集导出时增加文件水印功能。N：关闭SQL结果集导出时增加文件水印功能。附录：数据变更原因分类 系统默认的数据变更原因分类如下：[{"key":"config_correct","value":"Modify Config"}...
概述
它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持您以熟悉的开发使用方式提交运行Spark作业，满足更丰富的数据处理分析需求。使用限制 MaxCompute Spark支持如下场景：离线计算场景，例如GraphX、Mllib、RDD、Spark-SQL、...
功能特性
它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持提交运行Spark作业，满足更丰富的数据处理分析需求。Spark 向量计算 Proxima CE Proxima CE 是基于Proxima2.x内核提供的超大规模离线向量检索引擎，用于支持批量离线向量...
AI加速概述
PAI-AI加速器主要用于训练加速和推理加速，它通过数据集加速、计算加速、优化算法、调度算法和资源优化技术等多种手段，提高了AI训练和推理的速度、易用性和稳定性，全面提升了AI计算的效率。本文为您介绍AI加速器的功能亮点。AI加速器功能...
数据集加速器概述
创建加速槽，系统会根据数据类型、数据大小、训练的框架及模型等因素，对关联的数据集数据进行数据预处理。在完成加速初始化工作后，数据集加速器会提供相关接口，供训练任务直接使用。在PAI平台使用数据集加速器 在 PAI 平台创建数据集时...
创建及管理数据集加速槽
系统会根据数据源类型、数据大小、训练的框架以及模型等因素，对关联的数据集数据进行预处理，以提高对数据集数据的访问速度。本文为您介绍如何创建和管理数据集加速槽。前提条件 已创建数据集加速实例，具体操作，请参见 创建及管理数据集...
测试过程
本文介绍性能测试包含的主要步骤。构建数据结构 AnalyticDB MySQL Presto 数据初始化 构建数据 导入数据 TPC-H测试集 有关测试过程的更多信息可参见 附录：测试过程详解。
下载备份
费用说明 本地盘实例使用备份下载功能将产生外网流量费用，云盘实例使用备份下载功能将产生外网流量费用和备份集转换费用。流量费用 内网下载：免费。外网下载：免费额度为500 GB/月/实例，超出免费额度的部分将按量计费，根据下载数据量...
下载备份
如果使用其他第三方工具下载，可能会出现重复下载的情况（即实际下载数据量大于备份集大小），且会因使用外网流量下载而产生超出备份集大小部分的流量费用。wget 命令：nohup wget-c-t 0"备份文件下载地址"-O 下载的目标路径及文件名>下载...
关于开发小助手
开发小助手 DevHelper 是基于 mPaaS 框架，整合了解决用户常见问题的开发工具集，该工具集随着 mPaaS 插件一起提供给开发者（点击快速了解开发小助手的功能）。在将开发工程接入 mPaaS 后或基于 mPaaS 插件创建工程后，即可将开发小助手接...
代码配置
描述 代码集的描述信息，便于区分不同的代码集。可见范围 代码集的可见性，支持以下取值：私有：在此工作空间中，仅对您和管理员可见。公共：在此工作空间中，对所有人可见。Git地址 代码集的地址。代码分支 代码分支，默认值为 master。...
开发流程
支持多种算法框架，超大规模分布式深度学习任务的运行以及自定义算法框架。DLC概述 ⑤ 为了方便您在提交任务时指定所需的数据集和代码仓，PAI支持添加文件系统NAS或对象存储OSS的数据集以及Git代码仓。准备工作 ⑥ 模型管理模块统一管理...
分布式训练框架StarServer
它通过将复杂的模型分布在多个计算节点上实现并行计算，从而显著缩短训练时间，适应日益增长的数据集规模和大模型的训练需求。本文为您介绍如何使用分布式训练框架StarServer进行分布式训练。StarServer不仅将原生TensorFlow中的 Send/Recv...
Data Exchange数据集用于数据标注
选择源数据集用于数据标注 在Data Exchange-拥有的数据集页面，选择需要进行数据标注的数据集，点击操作列“数据应用”选择需要进行标注的数据集版本，页面默认选择了最新的数据集版本，可以根据需要切换到其他数据集版本。在数据使用场景...
AI加速：使用EPL实现AI训练加速
EPL（Easy Parallel Library）是高效易用的分布式模型训练框架，深度集成多种训练优化技术，提供了简单易用的API实现各种并行化策略。您可以使用EPL实现低成本、高性能分布式模型训练。本文为您介绍如何在DLC中使用EPL高效地进行分布式...
使用MapReduce处理JindoFS上的数据
Hadoop MapReduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。一个MapReduce作业通常会把输入的数据集切分为若干独立的数据块，由Map...
Salesforce on Alibaba Cloud 数据处理附录
一、适用范围 本附录构成您与阿里云计算有限公司（以下简称“阿里云”）签署的Salesforce on Alibaba Cloud框架服务协议（以下简称“主协议”）的一部分，适用于阿里云在向您提供Salesforce on Alibaba Cloud产品（以下简称“SFDC中国产品...
mPaaS 框架介绍
mPaaS iOS 框架源自支付宝客户端的开发框架，基于 Framework 的设计思想，将业务隔离成相对独立的模块，并着力追求模块与模块之间高內聚、低耦合。mPaaS iOS 框架直接接管应用的生命周期，负责整个应用启动托管、应用生命周期管理、处理与...
加载框架与定制
mPaaS Android 框架提供了一整套的加载逻辑。基于此框架，研发团队可以进行多业务线开发。本文描述框架的启动流程以及如何在框架下添加自己的代码以对接启动。启动流程 Application 传统 Android apk 运行时首先加载 AndroidManifest 文件 ...
DBSCAN
附录2：如何配置参数 DBSCAN组件常用的两个参数为：邻域中样本个数阈值（minPoints）和邻域距离阈值（epsilon），具体配置方法如下：当观测到簇数目过多，想要减少簇数目时，建议优先调大minPoints，再调小epsilon。当观测到簇数目过少，想...
附录：公共数据集
背景信息 PAI提供如下公共数据集：CIFAR-10图像数据集 PASCAL VOC 2007图像数据集 内容风控领域的图像分类数据集 内容风控领域的目标检测数据集 Deepfashion2图像数据集 CIFAR-10图像数据集 CIFAR-10是广泛应用于深度学习图像分类领域的...
结束语
本云采用框架白皮书始终关注于企业在业务目标和云采用目标达成一致，在云采用的生命周期：上云战略、上云准备、应用上云和运营治理四个阶段为企业提供业务和技术策略指导，帮助企业从组织、人员和技术层面着手采取行动，确保云采用的价值...
获取域名转移密码
附录2 获取域名转移码（美橙互联）登录 美橙互联，进入域名管理界面，单击 域名转出。按页面要求填写信息并上传以下资料，一般2个工作日出审核结果。填写申请表 个人：手写正楷签字。企业：加盖单位公章。提供域名持有者相关证明资料 个人...
微服务治理支持的Java框架
本文介绍微服务治理支持的Java框架，您可以根据需要选择合适的JDK和框架版本。支持的JDK版本 JDK 1.8 说明 对于Kubernetes集群应用部署，建议使用JDK 8u212及以上版本。JDK 11 说明 MSE微服务治理于2.9.x探针版本后支持，建议使用JDK 11.0....
使用Serverless Devs部署Web框架
示例介绍 部署Java框架 Sprint Boot 部署Node.js框架 Express Egg.js Nuxt.js Koa.js Hapi Next.js Think.js Nest.js Midway 无 部署Python框架 Flask Tornado Bottle Web.py Django Pyramid FastAPI 无 无 无 部署PHP框架 ThinkPHP ...
附录一：小程序页面及配置一览
本附录罗列一个最小可用小程序的主要页面信息（一个完整小程序，需包含以下页面。页面名称仅供参考，商家可自行设置）。对于新入驻的商家，系统会为商家自动创建以下页面；对于已入驻的商家，若系统未生成页面，请参考表格中的页面信息...
什么是云采用框架
云采用框架（Cloud Adoption Framework，简称CAF）为企业上云提供策略和技术的指导原则和最佳实践，帮助企业上好云、用好云、管好云，并成功实现业务目标。本云采用框架是基于服务大量企业客户的经验总结，将企业云采用分为四个阶段：上云...
接入方式介绍
基于 mPaaS 框架接入 mPaaS iOS 框架是源自支付宝客户端的开发框架。该框架直接接管应用的生命周期，负责整个应用 启动托管、应用生命周期管理。同时基于 Framework 的设计思想，将业务隔离成相对独立的模块，着力于追求模块之间的高內聚、...
集成Flutter框架播放器SDK
本文为您介绍Flutter框架播放器SDK的使用限制及集成方式等内容。环境要求 类别 说明 Flutter版本 支持Flutter 3.3.0•channel stable版本。Dart版本 支持Dart 2.18.0版本 系统版本 支持Android 5.0以上版本。手机芯片 架构要求：armeabi-v7...
基于模型生成ETL代码
维度表、明细表、汇总表等模型表发布后，DataWorks智能数据建模的模型开发功能支持快速生成代码框架，帮助您提高后续数据开发效率。本文为您介绍如何通过模型开发功能生成代码框架。前提条件 模型表已发布，操作详情请参见 发布模型至引擎...
动态日志配置
通常应用使用logback、log4j等日志框架记录日志，通过日志配置文件配置日志级别，最终将日志内容输出到文件中。EDAS支持应用在运行时修改日志配置并生效。您可以在EDAS控制台创建日志配置，并添加配置内容（或通过抓取原有日志配置）和选择...
服务指标
插件类型为：ERROR mosnErrorCode MOSN 的错误码 次 可选择自定义配置或框架配置日志，框架配置日志的文件采集路径为：/home/admin/logs/mosn/alert.default.log。插件类型为：MM odpstat ob proxy 指标 次 框架配置日志，该监控项不支持...
- 产品推荐
- 这些文档可能帮助您