使用行为过滤表实现曝光过滤功能
本文介绍使用只能召回引擎的行为表和行为过滤功能实现曝光过滤的需求 创建一个召回服务 用户可以创建一个X2I、向量、多路归并召回，详情参见 快速拉起服务 注册行为数据表 在MaxCompute客户端中准备数据 DROP TABLE IF EXISTS aime_...
算分定制
召回引擎版提供三种方式让用户定制自己的算分逻辑：内置排序表达式、cava脚本和c++算分插件。目前用户可以通过内置的排序表达式定制自己的算分逻辑，cava脚本和使用c++编写算分插件还未开放。
算子功能详解
Trigger组件“Trigger组件”是“Recall召回”组件的前置组件，获取召回表的trigger，只能存在一个同类型组件。点击“+”选择新增算子类型 选择trigger表 KV类型trigger表的trigger字段为STRING类型的非主键字段（非pk字段）。KKV类型...
英文分析器
例如：文档字段内容为“英文分词器 english analyzer”，则搜索“英文分词器”、“english”、“analyz”、“analyzer”、“analyzers”、“analyze”、“analyzed”、“analyzing”等情况下可以召回。（注意：英文分词器中连续的中文会被...
推荐解决方案综述
用户进入PAI平台，首先调用 EAS 的召回服务获取召回列表，然后在Tablestore中，使用User ID和Item ID读取特征，并将拼接好的样本传入 EAS 排序服务，最终获取排序结果。推荐系统的相关资料【强烈推荐】完整的推荐解决方案（基于该资料，...
API概览
召回表 API 标题 API概述 CreateFilteringAlgorithm 创建召回表 创建召回表，目前召回表由PAI训练完成导出到odps中，在AIRec中指定ODPS表信息。DeleteFilteringAlgorithm 删除召回表 删除指定的召回配置及相关索引表信息。...
OpenSearch-召回引擎版服务关联角色
背景信息 OpenSearch-召回引擎版服务关联角色（AliyunServiceRoleForSearchEngine）是在某些情况下，为了完成OpenSearch-召回引擎版自身的某个功能，需要获取其他云服务的访问权限，而提供的RAM角色。更多关于服务关联角色的信息请参见 ...
模糊分析器
注意事项：短语查询使用双引号 短语查询召回的结果准确性更高，减少了文档召回量（一般此类搜索场景建议使用中文通用分词）比较消耗性能。模糊搜索用于搜索意图不明确或者数据较少想返回更多查询结果的场景，因此除了拼音搜索、前后缀、...
指标监控
使用方法 当您通过子账号登录召回引擎版控制台后，在某个实例下查看监控指标有如下报错：同时点击进行授权：提示“调用未被授权”：此时您需要 主账号，或者 有AliyunRAMFullAccess 权限的管理员账号，登录召回引擎版控制台，点击授权。...
Summary查询
描述 Summary查询用于兼容Ha3两阶段查询。Ha3表生成时会额外注册一张...在确保查询条件中含有pk字段后，还可以通过 AND 语句叠加其他的条件，对召回的宝贝进行筛选 SELECT brand,price FROM phone_summary_WHERE nid IN(7,8,9)AND price< 2000
搜索增强
其中文本相关性召回是从文本分词后的词粒度的一致性上做文档召回，语义向量召回是指将文本转为语义向量后在向量空间里的寻找空间距离最靠近的文档作为召回。推荐值：目前建议50%，表示文本召回和语义向量召回的文档数各占总召回数量的一半...
量化使用
Proxima 2.x开始支持converter，用于实现对数据做量化、归一化等功能。...对于某种向量检索算法而言，它的召回率指的是：对于某个query，它通过该算法召回的doc与通过暴力比对召回的doc之间的近似程度，召回率越高说明该检索算法越准确。
召回引擎版召回结果解析
本文将介绍召回引擎版两种二进制数据召回结果的处理方式（protobuf和flatbuffers）。项目代码可 点击此处 进行参考。protobuf格式 Maven依赖<properties><grpc.version>1.6.1</grpc.version><protobuf.version>3.21.5</protobuf.version></...
DescribeExperiment-DescribeExperiment
取值：I2I：I2I 召回链路。u2X2I：U2X2I 召回链路。hot：热门商品召回链路。new：新品召回链路。embedding：向量召回链路。mtorder：召回链路优先级。rankservice：排序服务。I2I config object[]子配置项列表。key string 算法配置项 key...
查询测试
HA3查询 查询测试下拉框选择【HA3查询】，会出现对应的输入项，query 串和 子句 输入，query语句 属于HA3查询中的必选项，子句语句中的 config语句 与 cluster语句 同样属于查询必选项，平台默认会添加，其他字句可根据召回需求自行添加。...
DescribeBaseExperiment-获取基础实验
取值：I2I：I2I 召回链路。u2X2I：U2X2I 召回链路。hot：热门商品召回链路。new：新品召回链路。embedding：向量召回链路。mtorder：召回链路优先级。rankservice：排序服务。I2I config object[]子配置项列表。key string 算法配置项 key...
停用词干预词典
用户可进行两种类型的干预，-添加停用词：添加一个停用词后，如果查询的Query中分词后有term为添加的这个停用词，在召回时该term将不参与召回。屏蔽停用词：屏蔽一个停用词后，如果查询的Query中分词后有term为屏蔽的这个停用词，在召回时...
曝光过滤实现
未来智能推荐也会提供其他产品使用户可以方便串联智能召回引擎与Redis等其他存储引擎。在请求召回引擎前，您需要从其他存储引擎曝光数据的item_id。使用filter子句完成曝光过滤 在查询请求中，使用filter子句，将曝光物品过滤掉，达到曝光...
新功能发布记录
本文为您提供OpenSearch-召回引擎版的重要功能发布信息。发布记录 时间 特性 类别 描述 2024-01-08 产品新功能迭代 新增 支持为单个doc配置多向量 新增文本转向量模型，新模型支持128、512、1024token长度的中英文文本进行向量化自动处理 ...
CloneExperiment-克隆实验
I2I算法 defaultValue string 默认召回数量。i2i;u2x2i;new;hot;embedding;embedding type string 算法类别。取值：SYSTEM：系统默认类型。CUSTOM：用户自定义类型。SYSTEM experimentValue string 实验值。300 hasConfig boolean 是否有子...
动态摘要
召回引擎版内置了动态摘要功能，只需要在查询时设置一些参数就可以对搜索的结果进行飘红展示。动态摘要语法 在kvpairs中只要按照如下语法格式添加freeschema_extract_fields就可以实现动态摘要的功能。freeschema_extract_fields内容格式...
选型介绍
集群评估 智能召回引擎BE采用分布式集群架构，主要由三部分组成：节点类型（即每个分片的规格）、副本数（即replica，每个备份都可独立承担线上流量，通过增加副本数可扩展集群的水平负载能力）、分片数（即partition，通过内部Hash处理，...
UpdateExperimentStatus-更新实验状态
取值：I2I：I2I 召回链路。u2X2I：U2X2I 召回链路。hot：热门商品召回链路。new：新品召回链路。embedding：向量召回链路。mtorder：召回链路优先级。rankservice：排序服务。hot config object[]子配置项列表。key string 算法配置项 key...
向量召回过滤优化
为了召回结果，只能调整扫描比例，有时甚至需要扫描全部数据才有结果。但扫描比例提高后，查询耗时会增加很多。优化原理 为了解决满足过滤条件文档少，向量召回无结果的问题。我们先预估满足filter条件的文档数，如果数量少则直接使用...
产品动态
2021年8月 变更项 说明 发布时间 智能召回引擎BE在北京区域发布内测版本 首次上线 2021年8月27日
开发参考
服务端SDK 友盟SDK的使用 API概览 推荐全链路深度定制开发平台 PAIRec 基础介绍 快速导览 PAI-REC 引擎功能 快速创建项目 PAI－REC引擎配置参考 智能召回引擎BE 智能召回引擎搭建完成后，通过API（Application Programming Interface）方式...
聚类分片全链路测试
测试结论 Proxima CE在不同的数据集上，针对不同的采样率、聚类中心点个数以及索引分片个数，观察聚类分片方式的召回情况与耗时情况，经测试验证Proxima CE聚类分片的正确性测试符合预期。以下是几条经验准则：聚类中心点个数与召回呈正...
A/B 服务集成
ok { r.version=params["version"].(string)} return&r } 原理实现：召回运行时，首先检查召回相关的实验参数，如果有，根据已有的召回实例反射调用 CloneWithConfig 方法，传入实验参数从而生成新的召回实例。新的召回实例会注册到系统中...
规格计算器
QC：基于量化聚类的向量检索算法，召回结果正确率极高，占用资源较少，性能较好，在低维度向量数据集上有更好表现,内存及储存占用一般只有Linear和HNSW的1/4,适用于对召回率没有严苛要求的大数据量检索场景。Linear：线性检索，即暴力检索...
基于二部图GraphSAGE算法实现推荐召回
本文为您介绍如何使用二部图GraphSAGE算法，快速生成推荐召回场景中的User和Item向量。背景信息 图神经网络是深度学习的热点发展方向，PAI开源Graph-Learn框架，提供大量图学习算法。二部图GraphSAGE是经典的图神经网络算法，而GraphSAGE为...
查询结果格式
查询结果格式介绍 当前召回引擎版支持XML、JSON两种格式的查询结果。其中，XML格式的查询结果可读性好，但是效率不高，常用在引擎问题查找。JSON格式的查询结果可读性好，效率高于XML格式，目前SDK默认支持该格式。ProtoBuf格式的结果不...
同义词
在现实生活中，相同语义的表述词汇往往有很多，而用户在检索的时候很难在一条 query 中将它们全部体现，所以识别和提供同义词检索显然可以获得更高的召回率。同义词功能主要是对查询词进行同义扩展，扩大召回和查询词同义的文档。例：...
索引结构
向量分析器：多维度的通用向量召回、适用于面向教育行业的通用性内容的256维向量召回。属性字段介绍 使用说明：在filter、aggregate、sort、distinct子句中使用属性字段，可实现过滤、统计、排序等功能。比如“filter=id>100000”。
粗排配置
当我们完成召回，过滤（曝光、状态）等，为了性能考虑，需要对 item 数量进行裁剪才能进入排序阶段。有时候可以通过简单的数量调整可以进行数量裁剪，比如使用 数量调整过滤（AdjustCountFilter），优先级数量调整过滤...
过滤配置
例如上述配置：recall_1 数量最多控制在 125，当 recall_1 不足 125 时，recall_2 也会尽量补齐到 250，依次类推 fix 为固定限制：各路召回按照自己的 count 进行取数，某一路召回数量不足时，其他路召回不进行补足 状态过滤...
模糊搜索
注意事项：短语查询使用双引号 短语查询召回的结果准确性更高，减少了文档召回量（一般此类搜索场景建议使用中文通用分词）比较消耗性能。模糊搜索用于搜索意图不明确或者数据较少想返回更多查询结果的场景，因此除了拼音搜索、前后缀、...
模糊搜索
注意事项：短语查询使用双引号 短语查询召回的结果准确性更高，减少了文档召回量（一般此类搜索场景建议使用中文通用分词）比较消耗性能。模糊搜索用于搜索意图不明确或者数据较少想返回更多查询结果的场景，因此除了拼音搜索、前后缀、...
模型配置
模型训练成功后，您可以查看训练中前10个最重要的特征，并通过模型验证了解该模型的准确率、召回率预期。前提条件 算法模型需要依赖行为数据集作为训练数据，经算法引擎学习后生成可用的模型。算法模型的优劣依赖于训练数据，数据质量越高...
Java SDK快速入门
本文介绍如何使用Java SDK对智能召回引擎进行读写操作。前提条件 已完成Java SDK安装。更多信息，请参见 安装Java SDK。示例代码 本示例中，初始化智能召回引擎的客户端，并调用接口完成对服务的查询操作，对详情表的写操作。示例如下：...
使用FM-Embedding实现推荐召回
在推荐业务场景中，使用 Designer 提供的整套FM-Embedding方案可以快速获得User和Item对应的特征向量，您只需要在召回模块对该特征向量进行乘积，即可得到User对Item的评分结果。本文为您介绍如何使用FM算法和Embedding提取算法，快速生成...
- 产品推荐
- 这些文档可能帮助您