PAI-TF数据转换方法
max_id 是 类型INT64稀疏矩阵的最大列数，用于设定输出中的dense_shape值。如果实际ID大于或等于dense_shape值，则报错。id_as_value 否 类型BOOL，默认为True，将Index编号作为稀疏矩阵中有效点的值，类型为INT64。无特殊情况不建议更改为...
K均值聚类
建议将稀疏矩阵的列从0或1开始，重新编号。如果模型规模 col*centerCount>27,0000,000，则只能通过命令行的方式，去除 modelName 参数，再重新执行聚类。如果输入表的列名存在SQL关键字，则系统报错 FAILED:Failed Task createCenterTable:...
使用ALS算法实现音乐评分预测（旧版）
ALS算法 交替最小二乘ALS（Alternating Least Squares）算法的原理是对稀疏矩阵进行模型分解，评估缺失项的值，从而得到基本的训练模型。在协同过滤分类方面，ALS算法属于User-Item CF（Collaborative Filtering），兼顾 User 和 Item 项，...
ALS评分
交替最小二乘ALS（Alternating Least Squares）算法的原理是对稀疏矩阵进行模型分解，评估缺失项的值，从而得到基本的训练模型。在协同过滤分类方面，ALS算法属于User-Item CF（Collaborative Filtering），兼顾 User 和 Item 项，也称为...
多元索引介绍
使用多元索引时，索引数据量占用的存储空间为多元索引存储，通过多元索引查询与分析数据会消耗计算资源。按量模式：多元索引计费项包括读吞吐量、数据存储量和外网下行流量，其中读吞吐量包括预留读吞吐量和按量读吞吐量。更多信息，请参见...
ALS矩阵分解
交替最小二乘ALS（Alternating Least Squares）算法的原理是对稀疏矩阵进行模型分解，评估缺失项的值，从而得到基本的训练模型。在协同过滤分类方面，ALS算法属于User-Item CF（Collaborative Filtering），兼顾 User 和 Item 项，也称为...
组件参考：所有组件汇总
ALS矩阵分解 交替最小二乘ALS（Alternating Least Squares）算法的原理是对稀疏矩阵进行模型分解，评估缺失项的值，从而得到基本的训练模型。swing训练 该组件是一种Item召回算法，您可以使用swing训练组件基于User-Item-User原理衡量Item...
特征尺度变换
10 isSparse 否 是否为 k:v 的稀疏特征。稠密数据 itemSpliter 否 稀疏特征item的分隔符。kvSpliter 否 稀疏特征item的分隔符。lifecycle 否 结果表的生命周期。7 coreNum 否 节点个数。取值范围为[1,9999]的正整数。与 memSizePerCore ...
冷热分离介绍
Lindorm宽表引擎的冷热分离功能可以将冷热数据分别存储在不同的介质上，有效降低了数据的存储成本。同时，通过定期将数据迁移至冷存储介质，降低了查询基数，提升了热数据查询效率。本文介绍冷热分离功能的原理及相关注意事项。背景信息 在...
表格存储和传统关系型数据库（例如MySQL、SQL Server...
表格存储是阿里云自研的多模型结构化数据存储，提供海量结构化数据存储以及快速的查询和分析服务，与传统关系型数据库（RDBMS，例如MySQL、SQL Server）在数据模型和技术实现上都有较大的区别。表格存储和传统关系型数据库的主要区别如下：...
列式JSONB
为了提升JSONB数据的查询效率，Hologres从 V1.3版本开始支持对于JSONB类型开启列式存储优化，能够降低JSONB数据的存储大小并加速查询。本文将会为您介绍Hologres中列式JSONB的使用。列式JSONB原理介绍 如下图所示开启JSONB列式存储优化后，...
快照原理
快照容量计算原理 原理说明 云盘的快照总容量以快照链（一块云盘中所有快照组成的关系链）为粒度进行统计，统计当前云盘所有快照的数据块占用的存储空间。快照容量涉及的概念说明如下：快照全量大小：单个快照所有数据块占用的存储空间大小...
数据模型
在HBase中，数据存储在具有行和列的表中，这是与关系数据库（RDBMS）类似的模型，但与之不同的是其具备结构松散、多维有序映射的特点，它的索引排序键由行+列+时间戳组成，HBase表可以被看做一个“稀疏的、分布式的、持久的、多维度有序Map...
云存储网关软件版公测
云存储网关软件版是一款可以安装在阿里云用户ECS上或者用户本地数据中心客户端的产品，提供类似ossfs的功能，使用云存储网关软件版可以将OSS桶挂载到客户端本地以POSIX文件接口进行访问，从而您可以像操作本地文件一样操作OSS里面的文件。...
恢复原理
用户选择待恢复备份集，新实例将会从远程OSS存储下载该备份集到自己的分布式集群中，并执行数据导入。恢复时长与备份集大小相关，集群内各节点通过并行下载的方式来优化恢复速度。时间点恢复使用有效备份集及后面一段时间的Redo Log进行。...
如何使用阿里云CDN和OSS等产品实现跨境加速
方法四：将源站服务迁移到阿里云对象存储OSS，OSS支持传输加速的功能，通过CDN和全站加速回源OSS对象存储，具体操作如下：说明 传输加速主要是针对跨境问题，但与CDN和全站加速原理不同。更多信息，请参见 CDN加速和OSS传输加速的区别。将...
基本原理
下面详细介绍 SOFARegistry 的原理。SOFARegistry 组成 SOFARegistry 即服务注册中心。其包含的 4 个组件及其职责为：客户端（Client）：提供应用接入服务注册中心的基本 API 能力，可以是订阅方，也可以是发布方。会话服务器...
疏密快照管理策略
功能说明 根据您选择的备份频率，将有不同的稀疏保留规则。更多功能详情，请参见 高频快照备份。快照频率 快照保留策略 频率为分钟级 快照频率若设置为分钟级别，1小时内的快照数据会全部保留。超过1小时仅保留整点后完成的第一个快照点；...
什么是云原生数据湖分析
DLA支持的数据源 DLA支持的数据源矩阵，具体请参见 数据源与功能的矩阵。数据源 Serverless Presto Serverless Spark OSS 支持 支持 RDS 支持 支持 PolarDB 支持 支持 Lindorm 待支持 支持 Hbase 待支持 支持 MongoDB 支持 待支持 ...
OSS如何与RAM协同工作
本文介绍OSS支持的RAM功能以及这些功能与RAM协同工作的原理。OSS支 持的RAM功能 OSS支持的RAM功能及支持程度如下表所示：RAM功能 OSS是否支持 RAM用户访问 支持 安全令牌（STS Token）访问 支持 基于身份的策略（账号级）支持 基于身份的...
预测
稀疏矩阵 使用KV格式表示稀疏数据。key与value分隔符 默认为英文冒号（:）。kv对间的分隔符 默认为英文逗号（,）。执行调优 核心数 与参数 每个核的内存大小 搭配使用，取值范围为正整数。每个核的内存大小 与参数 核心数 搭配使用，单位为...
产品架构
架构优势 在传统的分布式系统中，常用的存储计算架构有如下三种。Shared Disk/Storage（共享存储）有一个分布式的存储集群，每个计算节点像访问单机数据一样访问这个共享存储上的数据。这种架构的存储层可以比较方便的扩展，但是计算节点...
概述
PolarDB PostgreSQL版 支持冷热数据分层存储功能，使用OSS等更低成本的存储介质，将冷热数据进行分层存储。将访问频率和更新频率低的数据转存到OSS中，可以有效降低存储成本。本文介绍了冷数据分层存储的优势和技术原理。功能优势 当 开启...
概述
PolarDB PostgreSQL版（兼容Oracle）支持冷热数据分层存储功能，使用OSS等更低成本的存储介质，将冷热数据进行分层存储。将访问频率和更新频率低的数据转存到OSS中，可以有效降低存储成本。本文介绍了冷数据分层存储的优势和技术原理。功能...
高级备份设置
例如希望最近20年每年保留一个备份集，如果直接将标准存储池的保留时间设置为7300天，备份频率为一周两次，那么一年会有52×2=104个备份集，存储成本非常高，这时候如果使用稀疏备份的策略设置每年仅保留一个备份集，将大幅降低存储成本。...
单账号跟踪概览
工作原理 创建单账号跟踪并投递到日志服务SLS或对象存储OSS，事件会以JSON格式保存在SLS Logstore或OSS存储空间中，便于您后续查询、分析或长时间存储事件。您可以按需选择存储服务：如果您需要查询或分析事件，可以将事件投递到日志服务...
备份中心概述
通过云备份的数据在恢复时可通过转换存储类恢复为指定的存储类型，由集群CSI provisioner根据目标存储类创建并挂载PV后，云备份将数据恢复至对应的底层存储（例如云盘、NAS等）。重要 备份NAS、OSS、本地盘存储卷时，备份中心需要使用 云...
概述
是 相同数据量的情况下，占用的存储空间为CSV格式文件占用的存储空间的45%。使用说明 归档冷数据 您需要先登录 PolarDB控制台 并 开启冷数据归档 功能，然后 连接数据库集群，再执行冷数据归档操作：普通表：您可以手动将冷数据 归档为CSV...
混淆矩阵
混淆矩阵（Confusion Matrix）适用于监督学习，与无监督学习中的匹配矩阵对应。在精度评价中，混淆矩阵主要用于比较分类结果和实际测量值，可以将分类结果的精度显示在一个矩阵中。本文为您介绍混淆矩阵组件的配置方法。使用限制 支持的...
备份策略
稀疏备份：稀疏备份支持您更灵活地设置备份策略并保留最少的备份集，最大限度地降低您的存储成本，常用于审计等备份长期保留的业务场景。如果您需要保障数据可在备份区间内的任意时间点可恢复，请务必保留日志备份；如果您中途进行关闭，则...
回源概述
当请求者向您的对象存储OSS请求的数据不存在时，本应返回404错误。如果您设置了回源规则，填写了数据的正确地址，请求者即可通过回源规则从OSS获取到正确的数据。回源分为镜像回源和重定向两种，可以满足您对于数据热迁移、特定请求的重...
加速管理概述
加速方案 功能原理 适用场景 优点 缺点 传输加速 利用全球分布的云机房，将全球各地用户对您的Bucket资源的访问，经过智能路由解析至就近的接入点，使用优化后的网络及协议，为云存储互联网的上传、下载提供端到端的加速方案。远距离数据...
索引优化
使用索引也会给数据库带来一些额外的开销，比如需要更多的存储，以及数据的写放大，还有包括在进行数据update时的索引维护工作的开销。因此我们需要确保我们为表增加的索引相对于全表扫描，能够切实、有效地提高了查询效率，否则宁愿不建...
混合查询最佳实践
对比传统的 文本+向量 多路召回，向量检索版中的稀疏-稠密向量是将稠密向量和稀疏向量嵌入组合为单个向量，而其中的稀疏向量是将文本向量化成稀疏向量，稠密向量是传统的向量。稀疏向量和稠密向量代表不同类型的信息并支持不同类型的搜索。...
转换文件存储类型
本文主要介绍如何转换文件（Object）的存储类型。注意事项 当您使用webpack或browserify等打包工具时，请通过 npm install ali-oss 的方式安装Browser.js SDK。通过浏览器访问OSS时涉及跨域请求，如果未设置跨域规则，浏览器会拒绝跨域访问...
服务器端加密
文件存储NAS支持服务器端加密功能。当您对文件存储有高安全性或者合规性要求时，建议您开启服务器端加密功能。开启该功能后，NAS会对存储在文件系统中的数据进行加密，访问数据时，NAS自动将加密数据解密后返回给用户。本文介绍服务器端...
基于对象特征的推荐
其中：工作流数据存储 配置为OSS Bucket路径，用于存储工作流运行中产出的临时数据和模型。单击 确定。您需要等待大约十秒钟，工作流可以创建成功。在工作流列表，双击 基于对象特征的推荐 工作流，进入工作流。系统根据预置的模板，自动...
奇异值分解
如果是稀疏矩阵，支持STRING类型。如果是表，支持INT和DOUBLE类型。默认选择所有列。inputTablePartitions 否 输入表中指定参与分析的分区，格式为 Partition_name=value。如果是多级分区，格式为 name1=value1/name2=value2，。如果指定多...
预测学生考试成绩
其中：工作流数据存储 配置为OSS Bucket路径，用于存储工作流运行中产出的临时数据和模型。单击 确定。您需要等待大约十秒钟，工作流可以创建成功。在工作流列表，双击 在线预测-中学生成绩预测 工作流，进入工作流。系统根据预置的模板，...
特征异常平滑
9999 isSparse 否 是否为k:v的稀疏特征，取值如下：true false 默认为稠密数据。false itemSpliter 否 稀疏特征item的分隔符。kvSpliter 否 稀疏特征item的分隔符。lifecycle 否 结果表生命周期。取值为正整数。7 coreNum 否 节点个数。与 ...
- 产品推荐
- 这些文档可能帮助您