AutoML使用案例汇总
案例名称 描述 MaxCompute K均值聚类最佳实践 介绍如何通过提交一个使用MaxCompute计算资源的超参数调优实验，来运行K均值聚类和聚类模型评估组件，以获取K均值聚类组件算法的较优超参数组合。MaxCompute PS-SMART二分类最佳实践 介绍如何...
新建实验
AutoML是PAI提供的机器学习增强型服务，集成了多种算法和分布式计算资源，无需编写代码，通过创建实验即可实现模型超参数调优，提高机器学习效率和性能。本文为您介绍如何新建实验。背景信息 AutoML的工作机制：实验会根据算法配置自动生成...
DLC MNIST训练最佳实践
本文介绍如何在DLC计算资源上提交AutoML实验进行超参数调优。本方案采用PyTorch框架，通过torchvision.datasets.MNIST模块自动下载和加载MNIST手写数字数据集，并对其进行模型训练，以寻找最佳超参数配置。提供单机、分布式及嵌套参数三种...
什么是AutoML
超参数不同于模型内部参数，模型内部参数在学习过程中被不断地更新和优化，超参数在学习过程开始前就设置，在模型训练过程中保持不变。超参调优：Hyper Parameter Optimization简称HPO，是指手动或者自动进行超参数调优，而本文中特指是...
MaxCompute K均值聚类最佳实践
本文为您介绍如何通过提交一个使用MaxCompute计算资源的超参数调优实验，来运行K均值聚类和聚类模型评估组件，以获取K均值聚类组件算法的较优超参数组合。步骤一：准备数据 您可以参考 聚类模型评估 中的示例来准备测试数据和评估数据。本...
查看实验详情
根据配置的算法，每次实验都会生成超参数组合，并为每组超参数组合创建一个Trial。同时，每个Trial可能会对应一个DLC任务，也可能对应1个或多个MaxCompute任务。任务的类型取决于实验的执行配置。后续将通过配置的任务来执行Trial。查看...
DLC LoRA训练最佳实践
本文为您介绍如何通过提交一个使用DLC计算资源的超参数调优实验，进行LoRA模型训练，以寻找最佳超参数配置。前提条件 首次使用AutoML功能时，需要完成AutoML相关权限授权。具体操作，请参见 云产品依赖与授权：AutoML。已完成DLC相关权限...
MaxCompute PS-SMART二分类最佳实践
本文为您介绍如何通过提交一个使用MaxCompute计算资源的超参数调优实验，来运行PS-SMART二分类、预测和评估组件，以获取PS-SMART组件算法的较优超参数组合。前提条件 首次使用AutoML功能时，需要完成AutoML相关权限授权。具体操作，请参见 ...
AutoML使用限制及规格
Random：纯随机生成超参组合的方法，与网络搜索原理相似，将超参数搜索空间分成网格，但随机搜索为每个trial会随机选择一组超参数。对于非线性、高维且计算代价较大的问题，它作为一个高效的初筛方法，缩小网格搜索的范围。Evolution：演化...
AutoML工作原理
您设定好超参数的值域、搜索算法、停止条件配置后，AutoML将其作为一次实验（experiment）传入到后端进行处理。一次实验会根据配置的算法来生成超参组合，而每个超参组合会对应一个trial。说明 您可以设置多个trials并发，以提升速度，但是...
模型优化
模型含有各种各样的超参数，为了减轻用户的负担，我们只开放了遍历次数和学习率两个参数。遍历次数一般不建议修改（除非您想快速训练完成），学习率参数有时对于模型的影响非常大，可以尝试在 0.001~0.0001 进行调整。有时候上述对于模型的...
管理实验
根据不同的参数性质，可能会缩短求解最优超参数组合的时间，也可能获得更优的超参数组合。具体操作步骤如下：进入自动机器学习（AutoML）页面。登录 PAI控制台。在左侧导航栏单击 工作空间列表，在工作空间列表页面中单击待操作的工作空间...
LLaMa2 大语言模型
所有超参数均有默认值。超参 类型 含义 取值范围 n_epochs Integer 训练数据所需的轮数，每一轮epoch，用户所提供的数据会被模型完整学习一遍。1到10之间的整数，默认为1 batch_size Integer 单次传递给模型用以训练的数据（样本）个数，...
百川开源大语言模型
所有超参数均有默认值。超参 类型 含义 取值范围 n_epochs Integer 训练数据所需的轮数，每一轮epoch，用户所提供的数据会被模型完整学习一遍。正整数 batch_size Integer 单次传递给模型用以训练的数据（样本）个数，一般单次训练数据个数...
百川开源大语言模型
所有超参数均有默认值。超参 类型 含义 取值范围 n_epochs Integer 训练数据所需的轮数，每一轮epoch，用户所提供的数据会被模型完整学习一遍。正整数 batch_size Integer 单次传递给模型用以训练的数据（样本）个数，一般单次训练数据个数...
LLaMa2 大语言模型
所有超参数均有默认值。超参 类型 含义 取值范围 n_epochs Integer 训练数据所需的轮数，每一轮epoch，用户所提供的数据会被模型完整学习一遍。1到10之间的整数，默认为1 batch_size Integer 单次传递给模型用以训练的数据（样本）个数，...
API详情
parameters Map 本次训练您设置的超参数，如果您未设置超参数，此处会返回系统默认值 output.training_type String 本次训练您选择的训练方法 output.create_time String 训练任务创建时间 output.status String 本次创建请求产生的定制...
提交训练作业
PAI的训练服务会将这些信息以环境变量的形式注入到训练作业的容器中，您可以通过环境变量在训练脚本中，或是在Estimator.command指定的训练作业启动命令中，获取超参数、输入数据路径和模型保存路径等信息。PAI_HPS_{HYPERPARAMETER_NAME} ...
创建自定义组件
参数 超参信息，支持配置以下参数：参数名称：参照界面提示配置参数名称。参数类型：目前支持配置Int、Float、String、Bool四种类型。参数约束：在 默认值 列，单击 约束，来配置参数约束关系。约束类型取值如下：范围：通过配置最大值和...
普通模式和Hive兼容模式下SQL的差异
结果是true GE（>=）当输入参数是DOUBLE类型的时候，普通模式下对相等的检查更加宽松，如果两个输入参数足够接近，就认为它们相等这会导致即使第1个输入参数小于第2个参数，但是只要他们足够接近，GE的返回结果也可能是 true。示例如下。...
设置集群超配降低成本
在 编辑专属集群 页，填写 CPU超配比参数、空间超配比参数 和 内存最大使用率，填写要求如下：CPU超配比参数：专属集群的CPU超配比。即所有实例的CPU资源之和可以是实际CPU资源的2倍，可以较大化使用CPU资源。空间超配比参数：专属集群中每...
管理Redis集群
空间超配比参数 专属集群的空间超配比。取值范围：100%~200%，默认为200%，即所有实例的空间资源之和可以是实际空间资源的2倍，可以最大化使用空间资源。内存最大使用率 专属集群中每台主机的内存最大使用率。取值范围：0%~100%。资源分配...
管理集群
空间超配比参数 设置专属集群的空间超配比，仅MySQl支持修改专属集群的空间超配比。说明 不同引擎该参数的取值范围与默认值有所差异，请以控制台页面展示为准。内存最大使用率 设置专属集群中每台主机的内存最大使用率。说明 不同引擎该...
管理集群
空间超配比参数 设置专属集群的空间超配比，仅MySQl支持修改专属集群的空间超配比。说明 不同引擎该参数的取值范围与默认值有所差异，请以控制台页面展示为准。内存最大使用率 设置专属集群中每台主机的内存最大使用率。说明 不同引擎该...
管理MySQL集群
CPU超配比参数 专属集群的CPU超配比。取值范围：100%~300%，默认为200%，即所有实例的CPU资源之和可以是实际CPU资源的2倍。空间超配比参数 专属集群的空间超配比。取值范围：100%~200%，默认为200%，即所有实例的空间资源之和可以是实际...
模型仓库（FastNN）
超参文件说明 PAI-FastNN支持以下类型的超参：数据集参数：确定训练集的基本属性的参数，例如训练集存储路径dataset_dir。数据预处理参数：数据预处理函数及dataset pipeline相关参数。模型参数：模型训练基本参数，包括model_name、batch_...
进度条表格
参数 说明 超链接字段名 超链接字段名称，需要在 数据源 面板中设置超链接 link 字段。对表格某一行设置超链接后，单击这一行内任意位置即可跳转到超链接。{"link":"https://xxxx.com" } 新窗口中打开 打开开关，跳转超链接时会新开一个...
进度条表格
参数 说明 超链接字段名 超链接字段名称，需要在数据面板中的设置超链接 link 字段。对表格某一行设置超链接后，单击这一行内任意位置即可跳转到超链接。新窗口中打开 打开开关，跳转超链接时会新开一个网页窗口；关闭开关，超链接在原先...
文字水印
文字类型编码对应表 参数值 中文意思 URL安全base64编码后的值 备注 wqy-zenhei 文泉驿正黑 d3F5LXplbmhlaQ=根据RFC，可省略填充符=变为d3F5LXplbmhlaQ wqy-microhei 文泉微米黑 d3F5LW1pY3JvaGVp 无 fangzhengshusong 方正书宋 ZmFuZ3poZW...
基础术语
业务错误码 用于解释响应里的业务错误码代表的意思。接口全名 RPC 接口的接口命名，就完成某些特定功能的类，是一个功能的集合。RPC 方法 RPC 接口里的方法，表明要资源执行的具体操作。OperationType 针对 mPaaS 移动应用设置的 API 服务...
PAI-TF超参支持
batch_size=10 learning_rate=0.01 TensorFlow Python SDK提供了相应的参数以便获取相应的超参，您可以通过 tf.app.flags.FLAGS 读取所需的超参，再将其传入运行脚本中，即可在模型训练文件中读取到相应的超参定义。具体方法如下：假设上面...
错误码说明
应用名由数字、26个英文字母或下划线组成，长度不超过30位 2005 应用名称没有设定 2006 新应用名称没有设定 2007 备注不超300字 2008 摘要配置参数错误 2009 更新状态失败 2010 应用暂停中 2011 应用冻结中 2012 应用未开启 2013 删除失败...
错误码说明
应用名由数字、26个英文字母或下划线组成，长度不超过30位 2005 应用名称没有设定 2006 新应用名称没有设定 2007 备注不超300字 2008 摘要配置参数错误 2009 更新状态失败 2010 应用暂停中 2011 应用冻结中 2012 应用未开启 2013 删除失败...
自定义和查看CPU选项
CpuOptions.ThreadsPerCore 参数值不为 1，即开启超线程配置时，每核线程数为您设置的参数值。设置CPU线程数的阿里云CLI请求示例如下，如果您使用的是SDK，请更新至最新版本。说明 ECS实例默认开启超线程配置。aliyun ecs RunInstances-...
转码
说明 如果此参数不填，实际输出视频尺寸为原视频超分放大倍率之后的尺寸。SDR转HDR 是否开启SDR转HDR，仅当输出视频的编码格式为H.265时，此参数才会生效。创建水印模板 参数 描述 模板名称 输入音画增强模板名称。水印类型 选择水印类型为...
关于图像超分能力版本升级公告
尊敬的阿里云用户，为进一步提升用户体验，提高图像超分（MakeSuperResolutionImage）API产品效果体验，视觉智能开放平台将于 2023年12月上旬 完成图像超分模型的版本升级和更新。本文介绍更新前后的具体差异内容。调整时间 2023年12月上旬...
模型训练
script 空 超参配置edit_config_json 否 选中 高级选项 后，将需要添加到EasyRec配置文件里的内容写到超参配置里，组件会将超参配置的内容，添加到EasyRec配置文件中。edit_config_json 无 执行调优 ps数量 否 PS节点的数量。完整的执行调...
Hyperlink
语法 表达式.app.ActiveSheet.Hyperlinks.Item(Index)表达式：文档类型应用对象 参数 属性 数据类型 是否必填 描述 Index number 是 超链接Index，值从1开始。返回值 返回 Hyperlink 超链接对象 示例/file=base.Excel async function ...
SHOW
本文介绍了SHOW的语法、参数以及示例等内容。描述 SHOW 将显示运行时参数的当前设置。这些变量可以使用 SET 语句、编辑 postgresql.conf 配置参数、通过 PGOPTIONS 环境变量（使用 libpq或者基于libpq的应用时）或者启动 postgres 服务器时...
Hyperlink
语法 表达式.ActivePresentation.SlideShowWindow.View.Slide.Hyperlinks.Item(Index)表达式：文档类型应用对象 参数 属性 数据类型 是否必填 描述 Index Number 是 超链接序列号。示例 async function example(){ await instance.ready();...
- 产品推荐
- 这些文档可能帮助您