PS-SMART回归
页签 参数 描述 字段设置 是否稀疏格式 稀疏格式的 KV 之间使用空格分隔，key 与 value 之间使用半角冒号（:）分隔。例如 1:0.3 3:0.9。选择特征列 输入表中，用于训练的特征列。如果输入数据是Dense格式，则只能选择数值（BIGINT或DOUBLE...
离散值特征分析
稀疏矩阵 当输入表数据为稀疏格式时，需要设置KV格式的特征。方式二：PAI命令方式 使用PAI命令方式，配置该组件参数。您可以使用SQL脚本组件进行PAI命令调用，详情请参见 SQL脚本。PAI-name enum_feature_selection-project algo_public-...
检索Doc
Python#根据向量进行相似性检索+稀疏向量 ret=collection.query(vector=[0.1,0.2,0.3,0.4],#向量检索 sparse_vector={1:0.3,20:0.7})通过过滤条件进行匹配查询 Python#支持向量和主键都不传入，那么只进行条件过滤 ret=collection.query...
快速开始
DashText，是向量检索服务DashVector推荐使用的稀疏向量编码器（Sparse Vector Encoder），DashText可通过BM25算法将原始文本转换为稀疏向量（Sparse Vector）表达，通过DashText可大幅度简化使用DashVector 关键词感知检索 能力。...
组件参考：所有组件汇总
one-hot编码 您可以通过该组件后数据会变成稀疏，输出结果也是KV的稀疏结构。统计分析 数据视图 通过数据视图组件，您可以可视化地了解特征与标签列的分布情况及特征的特点，以便后续进行数据分析。协方差 该组件用于衡量两个变量的总体...
检索Doc
方法 必填 默认值 描述 vector(Vector vector)否-向量数据 sparseVector(Map(Integer,Float))否-稀疏向量 id(String id)否-主键，表示根据主键对应的向量进行相似性检索 topk(int topk)否 10 返回topk相似性结果 filter(String filter)否-...
ExistsQuery
ExistsQuery也叫NULL查询或者空值查询，一般用于判断稀疏数据中某一行的某一列是否存在。例如查询所有数据中address列不为空的行。数据结构 message ExistsQuery { optional string field_name=1;} 名称 类型 是否必选 描述 field_name ...
K均值聚类
是 300[1,99999999]算法 自动：根据数据值是否是稀疏的，来决定选择“K-Means”或“elkan K-Means”。建议直接使用此默认选项。elkan K-Means：数据值稠密可以选择此算法。K-Means：数据值稀疏可以选择此算法。是 自动 自动 K-Means算法 ...
朴素贝叶斯
输入数据是否为稀疏格式 使用KV格式表示稀疏数据。当输入为稀疏时，K:V间的分隔符 默认为半角逗号（,）。当输入为稀疏时，key和value的分隔符 默认为半角冒号（:）。是否生成PMML 选中该复选框，即可生成PMML模型。如果未设置工作流数据...
多query查询
使用内积时，只返回大于scoreThreshold的结果 无 float 否 SparseData：参数名称 描述 默认值 类型 是否必须 count 每个稀疏向量中包含的元素个数 只有一个稀疏向量时默认为indices长度 list[int]否 indices 元素下标（需要从小到大排序）...
返回状态码说明
2033 查询参数转化失败 ExceedRateLimit-2034 触发流控 InvalidSparseValues-2035 无效的稀疏向量值 InvalidBatchSize-2036 无效的批次数量 InvalidDimension-2037 无效的维度 InvalidExtraParam-2038 无效的额外参数 InvalidRadius-2039 ...
高频快照备份
部分地域的 云盘实例 现已支持将备份策略页面 切换高级版本，升级后可用于实现稀疏备份，即更灵活地设置备份策略并保留最少的备份集。具体详情，请参见 稀疏备份。如需了解更多数据库备份或恢复方案，请参见 备份方案概览 或 恢复方案概览...
高频快照备份
部分地域的 云盘实例 现已支持将备份策略页面 切换高级版本，升级后可用于实现稀疏备份，即更灵活地设置备份策略并保留最少的备份集。具体详情，请参见 稀疏备份。如需了解更多数据库备份或恢复方案，请参见 备份方案概览 或 恢复方案概览...
列式JSONB
所以如果JSONB数据包含的都是稀疏字段，比如极端情况下每个字段都只会出现一次，那么列式化将不会起效，因为所有字段都是稀疏的，那么所有字段都会合并至 holo.remaining 字段，等于没有进行列式化，这种情况下不会有查询性能的提升。...
大仓库提效指南
部分克隆：可以保留仓库的历史信息，并按照对象的类型或者配合稀疏检出按照目录下载对象，在用到缺失的对象时自动按需下载；这些特性的使用，并不只局限于上文所列场景，功能也不相冲突，可以根据实际情况，灵活结合使用。如果在使用过程中...
线性回归
是否稀疏格式 使用KV格式表示稀疏格式。kv对间分隔符 默认使用英文逗号（,）分隔。key与value分隔符 默认使用英文冒号（:）分隔。参数设置 最大迭代轮数 算法进行的最大迭代次数。最小似然误差 如果两次迭代间的Log Likelihood之差小于该值...
DeepFM算法
取值如下：adam（默认）：吸收了AdaGrad（自适应学习率的梯度下降算法）和动量梯度下降算法的优点，既能适应稀疏梯度（即自然语言和计算机视觉问题），又能缓解梯度震荡的问题。sgd：随机梯度下降。rmsprop：对AdaGrad算法进行改进，引入了...
COUNT
以下示例显示可以稀疏地填充关联数组（即，已赋值元素的序列中存在“间隙”）。COUNT仅包括已赋值的元素。DECLARE TYPE sparse_arr_typ IS TABLE OF NUMBER INDEX BY BINARY_INTEGER;sparse_arr sparse_arr_typ;BEGIN sparse_arr(-100):=-...
分组检索Doc
vector(Vector vector)否-向量数据 sparseVector(Map(Integer,Float))否-稀疏向量 id(String id)否-主键，表示根据主键对应的向量进行相似性检索 filter(String filter)否-过滤条件，需满足SQL where子句规范，详见 includeVector(bool ...
线性支持向量机
英文逗号（,）kvDelimiter 否 当输入表数据为稀疏格式时，key 和 value 之间的分隔符。英文冒号（:）coreNum 否 计算的核心数，取值范围为正整数。系统自动分配 memSizePerCore 否 每个核心的内存，取值范围为1 MB~65536 MB。系统自动分配 ...
数据模型
在HBase中，数据存储在具有行和列的表中，这是与关系数据库（RDBMS）类似的模型，但与之不同的是其具备结构松散、多维有序映射的特点，它的索引排序键由行+列+时间戳组成，HBase表可以被看做一个“稀疏的、分布式的、持久的、多维度有序Map...
归一化
PAI-name Normalize-project algo_public-DkeepOriginal="true"-DoutputTableName="test_4"-DinputTablePartitions="pt=20150501"-DinputTableName="bank_data_partition"-DselectedColNames="emp_var_rate,euribor3m"稀疏数据的命令 ...
备份PostgreSQL数据
部分地域的 云盘 实例现已支持将备份策略页面 切换至高级版本，升级后可用于实现 稀疏备份（如无升级入口，请提交 申请 使用）。升级后，备份策略设置入口及部分参数设置方法会略有不同，请根据实际情况选择设置方法。常规备份策略页面（未...
分组检索Doc
Python#根据向量进行分组相似性检索+稀疏向量 ret=collection.query(vector=[0.1,0.2,0.3,0.4],#向量检索 sparse_vector={1:0.3,20:0.7},group_by_field='name',)入参描述 说明 vector 和 id 两个入参需要二选一使用，并保证其中一个不为空...
标准化
系统自动分配 enableSparse 否 是否打开稀疏支持：true false false itemDelimiter 否 KV对之间分隔符。默认”,”kvDelimiter 否 Key和Value之间分隔符。默认”:”kvIndices 否 KV表中需要归一化的特征索引。无 示例 详细示例 drop table ...
数据类型定义
Doc Python@dataclass(frozen=True)class Doc(object):id:str#主键 vector:Union[List[int],List[float],np.ndarray]#向量数据 sparse_vector:Optional[Dict[int,float]]=None#稀疏向量数据 fields:Optional[FieldDataType]=None#Doc自定义...
lo-implementation
这和 Unix 文件系统中“稀疏”文件的一般行为相对应。大对象可以有一个拥有者和一组访问权限，它们可以用GRANT和REVOKE管理。读一个大对象需要 SELECT 权限，而写或者截断一个大对象则需要 UPDATE 权限。只有大对象的拥有者（或者一个数据...
pg_largeobject
目录 pg_largeobject 保存构成“大对象”的数据。一个大对象在被创建时会被分配一个OID。...现在的实现允许稀疏存储：页面可能丢失，并且可能比 LOBLKSIZE 字节短（即便不是最后一页）。一个大对象中丢失的区域会被读出为 0。
进阶使用
d 和 q 的稀疏向量后，就可以通过简单的点积进行距离计算，即将相同单词上的值对应相乘再求和，通过稀疏向量计算距离的方式如下所示：上述计算方式本质上是通过点积来计算的，score 越大表示越相似，如果需要结合Dense Vector一起进行距离...
什么是人工智能平台PAI
业内领先的AI优化：高性能的训练框架，稀疏训练场景，支持数十亿到数百亿的稀疏特征规模，数百 亿到数千亿的样本规模，上千worker的分布式增量训练。主流框架模型加速，使用PAI Blade提升RestNet50、Transformer+LM等十数个主流模型加速比...
GIN索引
应用场景 搜索多值类型，例如数组、全文检索 按照任意列进行搜索 查找的数据比较稀疏 操作符 操作符 示例*from test where id[1,2];select*from test where id@>array[1,2];select*from test where id=array[1,2];select*from test where ...
使用ALS算法实现音乐评分预测（旧版）
ALS算法 交替最小二乘ALS（Alternating Least Squares）算法的原理是对稀疏矩阵进行模型分解，评估缺失项的值，从而得到基本的训练模型。在协同过滤分类方面，ALS算法属于User-Item CF（Collaborative Filtering），兼顾 User 和 Item 项，...
岭回归预测
岭回归预测组件支持稀疏、稠密两种数据格式。您可以使用岭回归预测组件做数值型变量的预测，包括房价预测、销售量预测、湿度预测等。本文为您介绍岭回归预测组件的配置方法。使用限制 支持的计算引擎为MaxCompute、Flink或DLC。算法原理 岭...
参数配置指导
适用范围 常规训练设置：数据参数 常规训练设置：模型参数 常规训练设置：训练参数 加速开关设置：MoE稀疏训练 加速开关设置：混合精度训练 加速开关设置：模型状态切分（ZeRO，OSS，SDP，FSDP）加速开关设置：3D混合并行（Data，Tensor，...
one-hot编码
因此，经过独热编码后数据会变成稀疏的，输出结果也是KV的稀疏结构。功能介绍 one-hot编码组件包括训练和预测功能：one-hot编码组件训练功能：输入节点：该组件第一个输入节点（左）是训练数据的输入，训练时无需设置输入节点（右）。输出...
Lasso回归预测
Lasso回归预测组件支持稀疏、稠密两种数据格式。您可以使用该组件做一些数值型变量的预测，比如贷款额度预测、温度预测等。本文为您介绍Lasso回归预测组件的配置方法。使用限制 支持的计算引擎为MaxCompute、Flink或DLC。算法原理 Lasso...
PS-SMART二分类训练
页签 参数 描述 字段设置 是否稀疏格式 稀疏格式的 KV 之间使用空格分隔，key 与 value 之间使用英文冒号（:）分隔。例如 1:0.3 3:0.9。选择特征列 输入表中，用于训练的特征列。如果输入数据是Dense格式，则只能选择数值（BIGINT或DOUBLE...
DSW使用案例汇总
使用EasyCompression进行模型压缩训练 本文介绍如何使用EasyCompression进行剪枝、量化及结构化稀疏训练。AIGC文生图模型微调及WebUI部署 本文为您介绍如何在阿里云 DSW 中，基于Diffusers开源库进行AIGC Stable Diffusion模型的微调训练，...
自动备份
操作步骤 部分地域的实例现已支持将备份策略页面 升级至高级版本（如无升级入口，请提交 申请 使用），升级后可用于实现 稀疏备份。升级后，备份策略设置入口及部分参数设置方法会略有不同，请根据实际情况选择设置方法。常规备份策略页面...
产品简介
高性能 针对多个参与方可能出现的高延迟、低带宽问题，产品在通信机制上进行了优化，如采用模型/梯度稀疏化的方案，实现了对大规模、分布式模型训练的可靠支持。针对部分数据异构和算力异构的问题，则采用了 client 模型个性化算法，优化和...
- 产品推荐
- 这些文档可能帮助您