Lasso回归训练
Lasso（Least absolute shrinkage and selection operator）回归算法是一种压缩估计算法。Lasso回归训练组件基于该算法，支持稀疏、稠密两种数据格式，且支持带权重样本的训练。本文为您介绍Lasso回归训练组件的配置方法。使用限制 支持的...
梯度提升回归树算法（GBRT）
简介 GBRT算法是集成学习Boosting家族的成员，使用了前向分布算法，但是弱学习器限定了只能使用CART回归树模型。前向分布算法的思想是基于当前模型和拟合函数来选择合适的决策树函数，从而最小化损失函数。GBRT主要有以下两部分组成：回归...
组件参考：所有组件汇总
经验概率密度图 该组件是采用经验分布和内核分布两种算法。全表统计 该组件用于统计全表，或某些选中的列。卡方拟合性检验 该组件用于变量为类别型变量的场景，旨在检验单个多项分类型变量在各分类间的实际观测次数与理论次数是否一致，其...
使用向量检索插件（aliyun-knn）
算法说明 在算法上，目前向量检索引擎已经支持了hnsw算法以及linear算法，适用于单机数据量小（全内存）的业务场景。两种算法性能对比如下。表 1.hnsw算法和linear算法性能对比 表格中为阿里云Elasticsearch 6.7.0版本环境实测数据，测试...
自动机器学习（AutoML）
什么是AutoML AutoML是PAI产品的机器学习增强型服务，集成了多种PAI平台支持的算法和分布式计算资源，支持多种方式访问。在模型超参调优领域，它可以帮助您自动寻找最优化超参值，大幅提高模型调优效率。AutoML工作原理 AutoML实现自动化...
LightGBM算法
简介 LightGBM（Light Gradient Boosting Machine）是一个基于决策树算法的分布式梯度提升框架。设计初衷是提供一个快速、高效、低内存、高准确度、支持并行和大规模数据处理的工具。LightGBM可以减少数据对内存的使用、减少通信代价以及...
概述
支持单时序序列的预测、异常检测、变点检测、折点检测、多周期估计算法。支持单时序序列的分解操作。支持多时序序列的多种聚类算法。支持多字段（数值列、文本列）的模式挖掘。使用限制 使用日志服务机器学习函数须遵循以下限制：输入的...
时序异常检测
本文介绍异常检测算法的概念和时序异常检测的语法。引擎与版本 时序异常检测仅支持时序引擎。无版本要求。使用限制 时序异常检测必须和 SAMPLE BY 语句搭配使用。功能简介 时序异常检测用于检测指定时间线上异常点的值，支持阿里达摩院自研...
什么是向量检索服务
超大规模索引构建和检索：引入复合性检索算法，精于工程实现和算法底层优化，低成本实现高效率的检索方法，单片索引可达几十亿的规模。标签+向量检索：在索引算法层实现了“带条件的向量检索”，解决了传统多路归并召回结果不理想的情况，...
概览
本文汇总了PAI的最佳实践。热点文章 通义千问Qwen全托管灵骏最佳实践 5分钟使用EAS一键部署LLM大语言模型应用 PAI+向量检索快速搭建大模型知识库对话 5分钟使用EAS一键部署...TF 使用TensorFlow实现分布式DeepFM算法 模型仓库（FastNN）
推荐解决方案综述
深度学习推荐算法 在PAI-TensorFlow基础上，PAI开发了经典的深度学习推荐算法，即源码级开源的DeepFM代码，详情请参见 使用TensorFlow实现分布式DeepFM算法。DeepFM中详细描述了读取MaxCompute数据表、特征处理、构造Graph、训练及评估等...
技术原理
PolarDB-X优化器会基于代价估计将请求区分为TP与AP负载，其中AP查询会被进一步改写为分布式执行计划，发往只读实例进行计算，避免它对主实例的TP查询造成影响。MySQL生态兼容 PolarDB-X将兼容MySQL以及周边生态作为核心设计目标之一。本文...
HTAP中的行列混存查询优化
cardinality estimation：根据查询表的分布情况，估计查询执行过程中的数据量、数据分布情况等。cost model：根据执行计划以及数据库内部的状态，计算按照各个执行计划执行所需要的代价。在查询优化器中，最为广泛研究的是查询计划中的join...
LightGBM
它可以说是分布式的，高效的，有以下优势：更快的训练效率 低内存使用 更高的准确率 支持并行化学习 可以处理大规模数据 与常见的机器学习算法对比，速度是非常快的。计算逻辑原理 LightGBM 通过叶分裂(Leaf-wise)策略来生长树。每次从当前...
存储引擎对比
项目 云存储 Local存储 底层算法 阿里云云盘算法 原生Apache Kafka的ISR复制算法 实例版本要求 无 副本机制 分布式3副本机制 标准版：如果您购买300 GB磁盘，则实际存储业务的磁盘大小为100 GB，其余200 GB为备份容量。专业版：如果您购买...
PS-SMART回归
参数服务器PS（Parameter Server）致力于解决大规模的离线及在线训练任务，SMART（Scalable Multiple Additive Regression Tree）是GBDT（Gradient Boosting Decision Tree）基于PS实现的迭代算法。PS-SMART支持百亿样本及几十万特征的训练...
逻辑回归
本质是假设数据服从这个分布，然后使用极大似然估计做参数的估计。参数说明 IN端口 参数名 参数描述 是否必填 输入数据类型 数据源类型 特征变量 配置模型特征列 是 整数或浮点数 说明 若存在非数值数据，则会抛出异常。CSV组件。...
变更消息配置
您可以按照业务需求调整消息保留时长、最大消息大小、消费位点保留时间和SSL证书算法位数。前提条件 您已购买 云消息队列 Kafka 版 实例，且实例处于服务中状态。操作步骤 登录 云消息队列 Kafka 版 控制台，在 概览 页面的 资源分布 区域...
通过阿里云物联网平台使用AI算法保护
1.简介 AI算法保护，提供内容的加密保护和全生命周期管理；授权过程的自动化和授权管理的统一化，防止内容的拷贝和泄漏，以及提供商业售卖的灵活性、安全性和管理成本。内容加密保护，一次性加密，多种许可分发和管理，支持不同的授权管理...
2022年
2022-12-8 全部地域 EAS模型服务概述 Designer 新增多种算法组件 Designer 新增多种算法组件，包括Prophet时序算法、Mtable展开、MTable聚合、时间窗口SQL等组件。您可以在Designer平台的左侧组件树中查找并使用这些组件。2022-12-5 全部...
PS-SMART二分类训练
参数服务器PS（Parameter Server）致力于解决大规模的离线及在线训练任务，SMART（Scalable Multiple Additive Regression Tree）是GBDT（Gradient Boosting Decision Tree）基于PS实现的迭代算法。PS-SMART支持百亿样本及几十万特征的训练...
PS-SMART多分类
参数服务器PS（Parameter Server）致力于解决大规模的离线及在线训练任务，SMART（Scalable Multiple Additive Regression Tree）是GBDT（Gradient Boosting Decision Tree）基于PS实现的迭代算法。PS-SMART支持百亿样本及几十万特征的训练...
错误码
SDK 集成相关 错误码 错误消息 错误说明 解决方案 DTX-000 dtx component scanner init error.SDK 启动失败，分布式事务不可用。DTX-001 Bean[%s]can not have@DtxTransaction and@TccBusinessAction both.同一个 bean 不能既有@...
性能参数调优
max_connections与数据库服务器并发连接的最大数量，是实例连接总数的硬性值，在master和segment上需要分布设置，一般不建议调整这个值，而是调整rds_max_non_super_conns，目前初始值是500，如果业务的并发短连接的场景，可以适当调大这个...
2019年
无 优化 Worker因为server负载高被误guarantined，可以自动恢复，不同重启客户端。分布式模型子任务详情，运行中可以真实显示每台机器正在运行的子任务数。Master节点挂了，server会负责清理slave节点的资源，防止内存泄漏。无 1.0.0，2019...
开发流程
支持多种算法框架，超大规模分布式深度学习任务的运行以及自定义算法框架。DLC概述 ⑤ 为了方便您在提交任务时指定所需的数据集和代码仓，PAI支持添加文件系统NAS或对象存储OSS的数据集以及Git代码仓。准备工作 ⑥ 模型管理模块统一管理...
AutoML使用限制及规格
AutoML的使用限制以及规格，包括当前支持的地域，支持的搜索算法TPE、GridSearch（网络搜索）、Random（随机搜索）、Evolution（演化算法）、GP（贝叶斯优化）、PBT（异步优化算法），以及对应的应用场景。支持地域（region）当前AutoML...
如何不间断地进行时序异常检测
异常检测状态 介绍 异常检测状态是指在单次查询异常的检测过程中算法分析出的数据分布状态与统计信息。该状态决定了时序异常检测算法检测结果的精确性。不同场景中异常检测状态的影响如下：默认情况下，在不间断检测场景中为了保持异常检测...
什么是AI分布式训练通信优化库AIACC-ACSpeed
AIACC-ACSpeed（AIACC 2.0-AIACC Communication Speeding）是阿里云推出的AI分布式训练通信优化库AIACC-Training 2.0版本。相比较于分布式训练AIACC-Training 1.5版本，AIACC-ACSpeed基于模块化的解耦优化设计方案，实现了分布式训练在兼容...
DBSCAN聚类
计算逻辑原理 DBSCAN是一种基于密度的聚类算法，这类密度聚类算法一般假定类别可以通过样本分布的紧密程度决定。同一类别的样本，他们之间的紧密相连的，也就是说，在该类别任意样本周围不远处一定有同类别的样本存在。通过将紧密相连的...
限流算法选择
服务限流中主要使用了 QPS 限流算法和令牌桶算法两种限流算法，本文对这两种算法进行介绍。QPS 限流算法 QPS 限流算法通过限制单位时间内允许通过的请求数来限流。优点：计算简单，是否限流只跟请求数相关，放过的请求数是可预知的（令牌桶...
模型管理
② 列表区 为您展示模型的名称、算法分类、训练类型、特征分布、数据格式、创建时间信息，同时您可对模型执行刷新、删除操作。您可点击模型名称前的图标，展开查看模型的版本。查看：可查看联邦学习过程中的验证、训练的评估指标和指标折线...
部署及微调Qwen-72B-Chat模型
from pai.model import RegisteredModel#获取快速开始提供的Qwen-72b-Chat模型 m=RegisteredModel(model_name="qwen-72b-chat",model_provider="pai",)#获取模型配置的微调算法 est=m.get_estimator()#查看算法支持的超参，以及算法输入...
引擎简介
弹性伸缩：时序引擎采用分布式架构，支持在线弹性伸缩，以适应任何规模的数据存储与处理需求。数据库内机器学习：时序引擎内置数据库内机器学习服务，支持主流的时序预测及时序异常检测算法。云原生多模数据库 Lindorm 更多特性请参见 功能...
Swift
重启Windows系统。调用示例 以情感分析算法为例，示例代码如下所示 import Foundation import AlibabacloudAlinlp20200629 import AlibabacloudOpenApi import XCTest import Tea open class TestNLPAutom { public static func ...
Multi-Master关键技术介绍
本文对Multi-Master架构的关键技术点进行介绍，包括分布式事务处理、全局死锁处理、DDL支持、分布式表锁支持、集群容错和高可用能力。分布式事务管理 AnalyticDB PostgreSQL版 分布式事务 AnalyticDB PostgreSQL版 通过二阶段提交协议（2PC...
C#
重启Windows系统。调用示例 以中文分词算法为例，示例代码如下所示 using System;using System.Collections.Generic;using Aliyun.Acs.Core;using Aliyun.Acs.Core.Exceptions;using Aliyun.Acs.Core.Profile;using Aliyun.Acs.Core.Auth;...
统计类算法参数调优
本文介绍统计类算法（esd、ttest和nsigma）的参数调优方法。背景信息 统计类算法（esd、ttest和nsigma）可以根据历史数据为每一个数据点计算异常分数anomalyScore。算法的输入参数（如 esd.alpha、ttest.alpha 和 nsigma.n）会决定判断阈值...
SSL证书算法升级说明
您可以根据安全需求调整您的V2系列实例SSL证书算法位数。前提条件 您已购买 云消息队列 Kafka 版 公网实例，且实例处于 服务中 状态。背景信息 您的实例开启公网时，会启动SSL相关的端口，在 云消息队列 Kafka 版 控制台 的 配置信息 页面...
行业算法版介绍
行业算法版简介 快速接入教程 OpenSearch-行业算法版 是基于阿里巴巴自主研发的大规模分布式搜索引擎搭建的一站式智能搜索业务开发平台，目前为包括淘宝、天猫在内的阿里集团核心业务提供搜索服务支持。通过内置各行业的查询语义理解、机器...
- 产品推荐
- 这些文档可能帮助您