快速开始
DashText，是向量检索服务DashVector推荐使用的稀疏向量编码器（Sparse Vector Encoder），DashText可通过BM25算法将原始文本转换为稀疏向量（Sparse Vector）表达，通过DashText可大幅度简化使用DashVector 关键词感知检索 能力。...
组件参考：所有组件汇总
词频统计 该组件是指输入一些字符串（手动输入或者从指定的文件读取），用程序来统计这些字符串中总共有多少个单词，每个单词出现的次数。TF-IDF 该组件是一种用于资讯检索与文本挖掘的常用加权技术。通常在搜索引擎中应用，可以作为文件与...
检索Doc
方法 必填 默认值 描述 vector(Vector vector)否-向量数据 sparseVector(Map(Integer,Float))否-稀疏向量 id(String id)否-主键，表示根据主键对应的向量进行相似性检索 topk(int topk)否 10 返回topk相似性结果 filter(String filter)否-...
ExistsQuery
ExistsQuery也叫NULL查询或者空值查询，一般用于判断稀疏数据中某一行的某一列是否存在。例如查询所有数据中address列不为空的行。数据结构 message ExistsQuery { optional string field_name=1;} 名称 类型 是否必选 描述 field_name ...
K均值聚类
是 300[1,99999999]算法 自动：根据数据值是否是稀疏的，来决定选择“K-Means”或“elkan K-Means”。建议直接使用此默认选项。elkan K-Means：数据值稠密可以选择此算法。K-Means：数据值稀疏可以选择此算法。是 自动 自动 K-Means算法 ...
朴素贝叶斯
输入数据是否为稀疏格式 使用KV格式表示稀疏数据。当输入为稀疏时，K:V间的分隔符 默认为半角逗号（,）。当输入为稀疏时，key和value的分隔符 默认为半角冒号（:）。是否生成PMML 选中该复选框，即可生成PMML模型。如果未设置工作流数据...
多query查询
使用内积时，只返回大于scoreThreshold的结果 无 float 否 SparseData：参数名称 描述 默认值 类型 是否必须 count 每个稀疏向量中包含的元素个数 只有一个稀疏向量时默认为indices长度 list[int]否 indices 元素下标（需要从小到大排序）...
返回状态码说明
2033 查询参数转化失败 ExceedRateLimit-2034 触发流控 InvalidSparseValues-2035 无效的稀疏向量值 InvalidBatchSize-2036 无效的批次数量 InvalidDimension-2037 无效的维度 InvalidExtraParam-2038 无效的额外参数 InvalidRadius-2039 ...
列式JSONB
所以如果JSONB数据包含的都是稀疏字段，比如极端情况下每个字段都只会出现一次，那么列式化将不会起效，因为所有字段都是稀疏的，那么所有字段都会合并至 holo.remaining 字段，等于没有进行列式化，这种情况下不会有查询性能的提升。...
大仓库提效指南
部分克隆：可以保留仓库的历史信息，并按照对象的类型或者配合稀疏检出按照目录下载对象，在用到缺失的对象时自动按需下载；这些特性的使用，并不只局限于上文所列场景，功能也不相冲突，可以根据实际情况，灵活结合使用。如果在使用过程中...
Python组件常用SDK
如下：#key的组成#tenant_xxxxxx：租户编码#filter_node：节点编码#pres_diff_filter：测点编码 {"pres_diff_filter":{"keyName":"生料磨压差滤波","time":1617160993670,"value":8.343000411987305,"key":"tenant_xxxxxx.filter_node.pres...
线性回归
是否稀疏格式 使用KV格式表示稀疏格式。kv对间分隔符 默认使用英文逗号（,）分隔。key与value分隔符 默认使用英文冒号（:）分隔。参数设置 最大迭代轮数 算法进行的最大迭代次数。最小似然误差 如果两次迭代间的Log Likelihood之差小于该值...
COUNT
以下示例显示可以稀疏地填充关联数组（即，已赋值元素的序列中存在“间隙”）。COUNT仅包括已赋值的元素。DECLARE TYPE sparse_arr_typ IS TABLE OF NUMBER INDEX BY BINARY_INTEGER;sparse_arr sparse_arr_typ;BEGIN sparse_arr(-100):=-...
分组检索Doc
vector(Vector vector)否-向量数据 sparseVector(Map(Integer,Float))否-稀疏向量 id(String id)否-主键，表示根据主键对应的向量进行相似性检索 filter(String filter)否-过滤条件，需满足SQL where子句规范，详见 includeVector(bool ...
线性支持向量机
英文逗号（,）kvDelimiter 否 当输入表数据为稀疏格式时，key 和 value 之间的分隔符。英文冒号（:）coreNum 否 计算的核心数，取值范围为正整数。系统自动分配 memSizePerCore 否 每个核心的内存，取值范围为1 MB~65536 MB。系统自动分配 ...
数据模型
在HBase中，数据存储在具有行和列的表中，这是与关系数据库（RDBMS）类似的模型，但与之不同的是其具备结构松散、多维有序映射的特点，它的索引排序键由行+列+时间戳组成，HBase表可以被看做一个“稀疏的、分布式的、持久的、多维度有序Map...
归一化
PAI-name Normalize-project algo_public-DkeepOriginal="true"-DoutputTableName="test_4"-DinputTablePartitions="pt=20150501"-DinputTableName="bank_data_partition"-DselectedColNames="emp_var_rate,euribor3m"稀疏数据的命令 ...
分组检索Doc
Python#根据向量进行分组相似性检索+稀疏向量 ret=collection.query(vector=[0.1,0.2,0.3,0.4],#向量检索 sparse_vector={1:0.3,20:0.7},group_by_field='name',)入参描述 说明 vector 和 id 两个入参需要二选一使用，并保证其中一个不为空...
标准化
系统自动分配 enableSparse 否 是否打开稀疏支持：true false false itemDelimiter 否 KV对之间分隔符。默认”,”kvDelimiter 否 Key和Value之间分隔符。默认”:”kvIndices 否 KV表中需要归一化的特征索引。无 示例 详细示例 drop table ...
电子罗盘
较大的OSR值会带来较小的滤波器带宽，以及更少的带内噪声和更高的功耗。可以通过配置此寄存器达到噪声和功率之间的良好平衡。RNG Range 量程选择寄存器。可以通过寄存器RNG配置磁传感器的感应范围。量程的选择应该是由具体的应用场景决定的...
数据类型定义
Doc Python@dataclass(frozen=True)class Doc(object):id:str#主键 vector:Union[List[int],List[float],np.ndarray]#向量数据 sparse_vector:Optional[Dict[int,float]]=None#稀疏向量数据 fields:Optional[FieldDataType]=None#Doc自定义...
lo-implementation
这和 Unix 文件系统中“稀疏”文件的一般行为相对应。大对象可以有一个拥有者和一组访问权限，它们可以用GRANT和REVOKE管理。读一个大对象需要 SELECT 权限，而写或者截断一个大对象则需要 UPDATE 权限。只有大对象的拥有者（或者一个数据...
pg_largeobject
目录 pg_largeobject 保存构成“大对象”的数据。一个大对象在被创建时会被分配一个OID。...现在的实现允许稀疏存储：页面可能丢失，并且可能比 LOBLKSIZE 字节短（即便不是最后一页）。一个大对象中丢失的区域会被读出为 0。
进阶使用
d 和 q 的稀疏向量后，就可以通过简单的点积进行距离计算，即将相同单词上的值对应相乘再求和，通过稀疏向量计算距离的方式如下所示：上述计算方式本质上是通过点积来计算的，score 越大表示越相似，如果需要结合Dense Vector一起进行距离...
GIN索引
应用场景 搜索多值类型，例如数组、全文检索 按照任意列进行搜索 查找的数据比较稀疏 操作符 操作符 示例*from test where id[1,2];select*from test where id@>array[1,2];select*from test where id=array[1,2];select*from test where ...
岭回归预测
岭回归预测组件支持稀疏、稠密两种数据格式。您可以使用岭回归预测组件做数值型变量的预测，包括房价预测、销售量预测、湿度预测等。本文为您介绍岭回归预测组件的配置方法。使用限制 支持的计算引擎为MaxCompute、Flink或DLC。算法原理 岭...
参数配置指导
适用范围 常规训练设置：数据参数 常规训练设置：模型参数 常规训练设置：训练参数 加速开关设置：MoE稀疏训练 加速开关设置：混合精度训练 加速开关设置：模型状态切分（ZeRO，OSS，SDP，FSDP）加速开关设置：3D混合并行（Data，Tensor，...
one-hot编码
因此，经过独热编码后数据会变成稀疏的，输出结果也是KV的稀疏结构。功能介绍 one-hot编码组件包括训练和预测功能：one-hot编码组件训练功能：输入节点：该组件第一个输入节点（左）是训练数据的输入，训练时无需设置输入节点（右）。输出...
Lasso回归预测
Lasso回归预测组件支持稀疏、稠密两种数据格式。您可以使用该组件做一些数值型变量的预测，比如贷款额度预测、温度预测等。本文为您介绍Lasso回归预测组件的配置方法。使用限制 支持的计算引擎为MaxCompute、Flink或DLC。算法原理 Lasso...
PS-SMART二分类训练
页签 参数 描述 字段设置 是否稀疏格式 稀疏格式的 KV 之间使用空格分隔，key 与 value 之间使用英文冒号（:）分隔。例如 1:0.3 3:0.9。选择特征列 输入表中，用于训练的特征列。如果输入数据是Dense格式，则只能选择数值（BIGINT或DOUBLE...
DSW使用案例汇总
使用EasyCompression进行模型压缩训练 本文介绍如何使用EasyCompression进行剪枝、量化及结构化稀疏训练。AIGC文生图模型微调及WebUI部署 本文为您介绍如何在阿里云 DSW 中，基于Diffusers开源库进行AIGC Stable Diffusion模型的微调训练，...
自定义算子管理
数据预处理算子：对数据进行智能预处理平台内置目标视觉增强、视觉图片视角偏转、各类点云滤波、图像分辨率调整、图像颜色通道调整等预处理算法支持您自定义所需算子。数据预标注算子：对数据进行智能预标注平台内置2D图片/3D点云...
产品简介
高性能 针对多个参与方可能出现的高延迟、低带宽问题，产品在通信机制上进行了优化，如采用模型/梯度稀疏化的方案，实现了对大规模、分布式模型训练的可靠支持。针对部分数据异构和算力异构的问题，则采用了 client 模型个性化算法，优化和...
ST_BuildPyramid
数值越大，金字塔越稀疏。maxLevel int 16 金字塔的最大层级，取值为0~20。sourceSRS int-1 源数据的坐标系。如果不设置，则读取元数据的 SRID。destSRS int 3857 输出瓦片坐标系参考编码（EPSG），仅支持3857和4326两个值。buildRules ...
列存在性查询
ExistsQuery也叫NULL查询或者空值查询，一般用于判断稀疏数据中某一行的某一列是否存在。例如查询所有数据中address列不为空的行。说明 要对Nested字段进行列存在性查询（ExistsQuery）时，请使用嵌套类型查询（NestedQuery）进行嵌套。...
DescribeBackups-查看备份集列表
2020-11-15T07:30:05Z ExpectExpireTime string 备份集预期过期时间（仅支持开启稀疏备份的实例）2022-10-24T08:13:23Z ExpectExpireType string 备份集预期过期类型（仅支持开启稀疏备份的实例）枚举值：NEVER：NEVER。EXPIRED：EXPIRED。...
ST_BuildPyramid
数值越大，金字塔越稀疏。maxLevel int 16 金字塔的最大层级，取值为0~20。sourceSRS int-1 源数据的坐标系。如果不设置，则读取元数据的 SRID。destSRS int 3857 输出瓦片坐标系参考编码（EPSG），仅支持3857和4326两个值。buildRules ...
功能概览
✔️ ✔️ ✔️ ✔️ 历史事件 ✔️ ✔️ ✔️ ✔️ 数据库备份 备份数据 ✔️ ✔️ ✔️ ✔️ 快照备份 ✔️ ✔️ ✔️ ✔️ 稀疏备份 ✔️ ✔️ ✔️ ✔️ 跨地域备份 ✔️ ✔️ ✔️ ✔️ 免费额度 ✔️ ✔️ ✔️ ✔️ 下载备份 ✔️ ...
EmbeddingVariable
作为一种“函数映射”，Embedding通常将高维稀疏特征映射为低维稠密向量，再进行模型端到端训练。在TensorFlow中，使用Variable定义模型或节点状态，其实现依赖于数据结构Tensor。Tensor是TensorFlow的抽象数据类型，包括标量、向量、矩阵...
什么是云数据库HBase
代表场景 类型 存储对象 引擎接口 优势 社交分发或聊天信息等 KV Key和Value HBase API 延迟低、并发高 传统关系型数据库升级 SQL 关系模型 SQL（参见Lindorm产品）存储量大、分布式SQL数据库 风控或画像 表格存储 稀疏Table HBase API ...
- 产品推荐
- 这些文档可能帮助您