OpenSearch产品选型
场景与优势 商品版本 目标场景 版本优势 行业算法版 对搜索效果有更高的要求，可快速一站式搭建行业智能搜索系统，需要 行业最佳实践、行业查询分析算法、行业排序模型、定制调优模型的企业及开发者建议接入此类型；目前重点覆盖行业：电商...
TairVector性能白皮书
TairVector支持高性能的向量近似最近邻（ANN）检索，可用于非结构化数据的语义检索、个性化推荐等场景，更多信息请参见 Vector。测试说明 数据库测试环境 测试环境信息 说明 地域和可用区 华北3（张家口）地域，可用区A。存储介质 内存型...
AIRec智能推荐效果评估指南与策略调整介绍
如果需要使用历史数据做不同时间段的对比，也需要确认使用推荐系统前后采集口径是否一致，不一致的话需要明确原因，看是否可以做修正，亦或选择上线推荐系统后自行做分流ABtest测试对比。3、确保两侧流量分配的随机性 效果对比时为了确保...
AliPG功能模块
位图功能扩展 varbitx 社区版PostgreSQL内置的varbit插件支持的BIT类型操作函数比较简单，AliPG对其进行了扩展，支持更多的BIT操作，可以覆盖更多的应用场景，例如实时用户画像推荐系统、门禁广告系统、购票系统等。向量检索 PASE高效向量...
概述
AnalyticDB PostgreSQL版 向量分析可以通过AI算法提取非结构化数据的特征，并利用特征向量作为非结构化数据的唯一标识，帮您快速且低成本地实现对非结构化数据检索和对结构化数据关联分析。向量数据库简介 在现实世界中，绝大多数的数据都...
V3.3.28版本说明
V3.3.28推出全新功能模块——智能实验室，包括品牌高潜预测、商品匹配推荐功能，为企业实现精细化运营提供科学的算法策略指导，提升企业会员的复购率、购买力和转化率：品牌高潜预测：基于用户既往购买行为记录，通过训练算法模型，预测...
通过阿里云百炼搭建专属大模型应用
概述 产品简介 阿里云百炼是基于通义千问大模型、大行级模型及企业专属数据，结合全链路大模型开发工具所打造的一站式企业专属大模型商业化平台。提供完整的模型训练、微调、评估等产品工具，预置丰富的应用插件，提供便捷的集成方式，可以...
2023年
使用do-while节点实现复杂的数据分析 2023-09-20 新增通过跨项目数据访问实现不同地域MaxCompute项目数据迁移 新说明 本文为您介绍如何通过跨项目数据访问实现不同Region的MaxCompute项目数据迁移，包括两种使用场景：同云账号内不同Region...
基于Alink框架的FM推荐
Designer 预置了FM算法模板，便于您快速构建基于Alink框架的FM推荐模型，快速实现推荐系统并应用于上述场景。本文为您介绍如何通过 Designer 预置的FM算法模板，快速构建推荐模型。前提条件 已创建工作空间，详情请参见 创建工作空间。已将...
DB2数据源
数据同步系统会启动并发任务进行数据同步，以提高数据同步的效能：推荐 splitPk 用户使用表主键，因为表主键通常情况下比较均匀，因此切分出来的分片也不容易出现数据热点。目前 splitPk 仅支持整型数据切分，不支持浮点、字符串和日期等...
图算法
图计算服务GraphCompute新增图算法分析功能，提供分析查询一体化解决方案，方便用户快速进行全图数据分析。功能介绍 图计算服务GraphCompute新增图算法功能，基于当前服务的数据进行算法执行，方便用户快速进行全图数据的分析。只需要开通...
AdvanceEncrypt
说明 单次加解密的数据量越大，网络传输失败可能性越大，网络传输所需时间越长，KMS实例对数据进行加解密所需时间也越长。请求参数 名称 类型 是否必选 示例值 描述 KeyId string 是 key-hzz62f1cb66fa42qo*密钥的全局唯一标识符。该参数也...
Designer概述
同时，Designer中内置了丰富且成熟的机器学习算法，覆盖商品推荐、金融风控及广告预测等场景，支持基于MaxCompute、通用训练资源、Flink等计算资源进行大规模分布式运算，可以快速满足不同方向的业务需求。Designer&PAIFlow产品架构 ...
性能测试工具-Shell
配置被测表的压缩算法，可选项有:#NONE LZO ZSTD SNAPPY GZ LZ4 ZSTD 等#注意部分被测系统可能不支持指定的压缩算法#云数据库HBase性能增强版推荐使用ZSTD ahbench.table.compression=SNAPPY#配置被测表的编码算法，可选项有:#NONE DIFF ...
策略配置
您可以根据自身业务特点配置推荐策略，从而使推荐系统实现预期的推荐逻辑。说明 系统将根据您配置的推荐策略尽可能全面满足您的诉求，但是对于可推荐物品不足的情况，推荐策略也可能无法满足，这种情况建议您减少推荐策略并丰富物品数量、...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
MapReduce
自然语言处理：基于大数据的训练和预测。基于语料库构建单词同现矩阵，频繁项集数据挖掘、重复文档检测等。广告推荐：用户单击（CTR）和购买行为（CVR）预测。MapReduce流程说明 MapReduce处理数据过程主要分成Map和Reduce两个阶段。首先...
SQL优化技术
本文介绍数据库自治服务DAS（Database Autonomy Service）的SQL优化技术。背景信息 作为数据库管理员或应用开发者，都有过SQL优化经历。数据库上执行的SQL千差万别，且伴随着业务快速迭代、数据分布特征变化、热点变化、数据库版本升级等...
PAI-REC推荐算法定制的最佳实践文档
阅读指引：为方便用户快捷体验PAI-REC产品，本文提供了一份公开数据集，用户可按照文档说明按步体验PAI-REC...下一步即可补数据、调试模型，离线效果达到预期后，欢迎继续体验PAI-REC在线引擎、A/B Test等功能，完成推荐系统的搭建与调优。
PolarDB PostgreSQL版（兼容Oracle）间的迁移
2.0版本引入了新的查询优化算法和存储引擎，提高了查询速度和并发处理能力，能够更快地处理大量数据，提升数据库的响应能力和性能。此外，2.0版本还引入了许多新的功能和增强功能，提供更好的用户体验和开发者工具。例如，改进了对JSON数据...
数据推送
使用API/SDK推送数据有次数及大小限制，具体值请参考系统限制项，推荐将文档批量打包发送。数据上传后请务必检查返回值，并对相关错误码进行重试（尤其是3007错误），否则会出现数据丢失情况。同时，数据处理是异步的，系统返回“OK”后只...
应用场景
公司以提升燃煤发电效率作为突破口，使用喷煤到产出蒸汽整个流程中采集到的数据，基于工业大脑构建算法优化模型，准确实时预测蒸汽量，并向燃煤工程师推荐最优燃煤工艺参数指导实际生产，进而降低总体燃煤消耗。最终，燃煤效率提升2.6%，这...
性能测试工具-Shell
配置被测表的压缩算法，可选项有：#NONE LZO ZSTD SNAPPY GZ LZ4 ZSTD 等#注意部分被测系统可能不支持指定的压缩算法#云Lindorm推荐使用ZSTD ahbench.table.compression=SNAPPY#配置被测表的编码算法，可选项有：#NONE DIFF INDEX#注意部分...
DataWorks On EMR使用说明
背景信息 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。阿里云...
深度解析Lindorm搜索索引（SearchIndex）特性
索引是加速数据库查询的重要手段，Lindorm除了提供高性能的二级索引外，同时支持搜索索引(SearchIndex)，主要面向复杂的多维查询场景，并能够覆盖模糊查询、聚合分析、排序、分页等场景。本文主要介绍SearchIndex的技术原理和核心能力。...
集成GoLang_EncMySQL
目前支持AES（国际算法）和 SM4（国密算法）两个大类，其中具体的算法有：SM4_128_GCM（默认）SM4_128_CTR SM4_128_CBC SM4_128_ECB（不推荐）AES_128_GCM AES_128_CTR AES_128_CBC AES_128_ECB（不推荐）说明 AES_128_ECB和SM4_128_ECB...
Cost-based SQL诊断引擎
和其它公司一样，在阿里巴巴业务场景下，大部分业务跟数据库有着非常紧密的关系，数据库一个微小的抖动都有可能对业务造成非常大的影响，如何让数据库更稳定，得到持续优化一直都是非常重要的诉求。数据库环境下的业务优化，通常涉及三个...
创建和管理IPsec连接（双隧道模式）
3des 是三重数据加密算法，加密时间较长且算法复杂度较高，运算量较大，相比aes会降低转发性能。认证算法 选择第一阶段协商使用的认证算法。如果IPsec连接绑定的为普通型VPN网关，则认证算法支持 sha1（默认值）、md5、sha256、sha384 和 ...
如何处理Tair集群数据倾斜
为什么会产生数据倾斜 Tair 集群架构作为一个分布式系统，整个数据库空间会被分为16384个槽（Slot），每个数据分片节点将存储与处理指定Slot的数据（Key），例如3分片集群实例，3个分片分别负责的Slot为：[0,5460]、[5461,10922]、[10923,...
如何处理Redis集群数据倾斜
为什么会产生数据倾斜 Redis 集群架构作为一个分布式系统，整个数据库空间会被分为16384个槽（Slot），每个数据分片节点将存储与处理指定Slot的数据（Key），例如3分片集群实例，3个分片分别负责的Slot为：[0,5460]、[5461,10922]、[10923,...
通过Lindorm Shell访问宽表引擎
推荐在Linux或者macOS操作系统使用Lindorm Shell。在Windows系统使用Lindorm Shell时，可能会遇到报错或缺少库的问题，请根据报错信息自行在系统中添加相应的库。操作步骤 下载Lindorm Shell工具。在 Lindorm管理控制台 左上角，选择实例...
文档修订记录
Check节点 2024.1.12 新增功能 最佳实践 新增DataWorks大数据安全治理实践新增指南，为您介绍数据安全治理的常见思路、DataWorks产品的安全能力，以及在DataWorks上基于“基础防护建设”、“数据安全防护措施”、“数据安全持续运营”三个...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
功能更新动态（2023年）
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
使用数据传输同步数据
数据同步能够保持源端和目标端的数据一致性，实现关键业务的数据实时流动。本文以同步 OceanBase 数据库的数据至 Kafka 为例，介绍如何使用数据传输同步数据。前提条件 在同步数据之前，您需要确认以下信息：数据传输已具备云资源访问权限...
集成PyEncMySQL
目前支持 AES 和 SM4（也就是国密）两个大类，其中具体的算法有：AES_128_GCM AES_128_CBC AES_128_CTR AES_128_ECB（不推荐）SM4_128_GCM SM4_128_CBC（默认）SM4_128_CTR SM4_128_ECB（不推荐）。写入配置文件。您需要新建1个文件如：...
商品推荐任务
算法模型训练成功后，您可以使用算法模型进行货品推荐，得到用户的TopN推荐商品或用户针对某一指定商品的偏好指数。新建推荐任务 说明 新建推荐任务时将使用状态为训练成功的唯一算法模型，请确保本空间当前有训练成功的算法模型，否则不能...
组件参考：所有组件汇总
推荐方法 FM算法 FM（Factorization Machine）算法兼顾特征之间的相互作用，是一种非线性模型，适用于电商、广告及直播的推荐场景。ALS矩阵分解 交替最小二乘ALS（Alternating Least Squares）算法的原理是对稀疏矩阵进行模型分解，评估...
Encrypt
说明 单次加解密的数据量越大，网络传输失败可能性越大，网络传输所需时间越长，KMS实例对数据进行加解密所需时间也越长。请求参数 名称 类型 是否必选 示例值 描述 KeyId string 是 key-hzz62f1cb66fa42qo*密钥的全局唯一标识符。该参数也...
点热力层（v3.x版本）
过滤器 打开 过滤器，选择已创建的数据过滤器或新建数据过滤器，并配置数据过滤器脚本，实现数据的筛选功能。详情请参见 管理数据过滤器。数据响应结果 实时展示了组件所使用的数据。当组件数据源发生变化时，数据响应结果会对应展示最新的...
- 产品推荐
- 这些文档可能帮助您