EDAS监控报警功能升级说明（2020年02月13日）
如果您在应用监控页面上看到了需要重启应用的有关提示，则说明您的应用已经被迁移，请在业务允许的窗口时间内尽快重启您的应用程序。应用程序在重启之后才能启用新的监控功能。从应用重启的这个时间点开始，之前产生的监控数据需要在老的...
DeployRankingSystem-部署排序服务
部署/重启部署排序服务，已经部署过的服务，修改配置后必须重启部署，注：若未修改任何参数，则可以不传body。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码...
签名机制
签名算法遵循RFC 2104 HMAC-SHA1规范，使用AccessSecret对编码、排序后的整个请求串计算HMAC值作为签名。签名的元素是请求自身的一些参数，由于每个API请求内容不同，所以签名的结果也不尽相同。Signature=Base64(HMAC-SHA1(AccessSecret,...
SQL性能问题
TopN算法 当TopN的输入是非更新流（例如SLS数据源），TopN只有1种算法AppendRank。当TopN的输入是更新流时（例如经过了AGG或JOIN计算），TopN有2种算法，性能从高到低分别是：UpdateFastRank和RetractRank。算法名字会显示在拓扑图的节点...
产品优势
行业算法版 智能 内置丰富的定制化算法模型，并结合不同行业搜索特点，推出行业召回、排序算法，保障更优搜索效果。灵活、可定制 开发者可基于自身业务特性与数据，定制相应的算法模型、应用结构、数据处理、查询分析、排序等配置，满足...
高性能Flink SQL优化技巧
使用UpdateFastRank算法需要具备3个条件：输入流为更新流，但不能包含DELETE（D）、UPDATE_BEFORE（UB）类型的消息，否则会影响排序字段的单调性。关于输入流的消息类型，可以通过执行 EXPLAIN CHANGELOG_MODE命令来获取对应节点输出的消息...
排序策略配置
查看排序效果，在搜索测试界面，配置基础和业务排序参数，并打开显示排序明细：查看各函数算分结果：说明 对于文档得分的排序分为两个阶段：基础排序和业务排序，通过query召回并通过filter过滤后的文档，首先进入基础排序，根据基础排序...
推荐算法定制概述
为了演示如何使用Designer中EasyRec组件来完成推荐算法中特征工程、样本生成、排序、向量召回、模型评估等功能，PAI准备了以下几个案例帮助您更好的理解以上功能：特征工程 排序 DSSM向量召回 基于etrec的U2I2I召回 以上案例中的代码均来自...
动态修改schema
如果由于业务变更、性能优化等情况需要在多元索引中新增、更新或者删除索引列以及修改多元索引的路由键和预排序方式，您可以通过动态修改多元索引的schema实现。动态修改schema操作包括为源索引创建灰度索引并修改多元索引schema、等待表...
排序策略配置
查看排序效果，在搜索测试界面，配置基础和业务排序参数，并打开显示排序明细：查看各函数算分结果：说明 对于文档得分的排序分为两个阶段：基础排序和业务排序，通过query召回并通过filter过滤后的文档，首先进入基础排序，根据基础排序...
CTR预估模型
创建并训练模型 创建 行业模板，之后进入开放搜索 控制台 页面，左侧导航栏选择：搜索算法中心>排序配置>CTR预估模型，然后点击 创建 按钮：创建CTR预估模型，填写模型名称，设置训练字段：映射训练字段：（目前商品ID，和商品标题是必选项...
什么是智能开放搜索OpenSearch
大数据检索，较之行业算法版，高性能检索版取消了繁重的行业算法能力，在支持搜索通用能力（分析器、排序）的基础上，重点关注业务查询和写入的吞吐，为开发者提供了大数据集检索场景下，秒级响应、实时查询的能力。向量检索版 Pass平台，...
什么是推荐全链路深度定制开发平台PAI-REC
使用PAI-REC建设推荐系统的特点是：白盒化：提供大量源代码，让用户理解推荐算法细节，可自定义代码灵活满足业务需求 推荐算法定制：只需配置用户表、物品表、行为表，即可生成召回、排序脚本和配置文件 提供完整的引擎管理和实验管理...
Quick BI图表的时间顺序混乱，没有进行自动排序
问题描述 Quick BI图表的时间顺序混乱，没有进行自动排序。问题原因 这个问题的原因是因为在颜色图例中进行了自定义排序，并且除了2022年4月之外，其他的月份一厂的数据缺失造成的。解决方案 可以将其他月份，一厂的数据设置为0，时间就...
API概览
DeployRankingSystem 部署排序服务 部署/重启部署排序服务，已经部署过的服务，修改配置后必须重启部署，注：若未修改任何参数，则可以不传body。VerifyRankingSystem 调试排序服务 调试排序服务。RollbackRankingSystem 回滚排序服务 回滚...
拓扑排序
代码示例 拓扑排序算法的代码，如下所示。import java.io.IOException;import org.apache.commons.logging.Log;import org.apache.commons.logging.LogFactory;import com.aliyun.odps.data.TableInfo;import ...
类目预测功能使用
相关管控API：算法周边 进阶 查询规则中配合实体识别功能使用类目预测，可以扩大类目预测的召回。查询分析会更加实体识别的结果，在原query查询得到类目预测无结果时，会按照一定规则对query进行丢词，进一步查询类目预测，并将丢词后的...
Range Clustering
背景信息 哈希聚簇（Hash Clustering）表有以下优点：对于等值的列条件查询，可以利用Hash算法直接定位到对应的哈希桶（Bucket Pruning），如果桶内数据排序存储，还可以进一步利用索引定位，从而减少数据扫描量，提高查询效率。...
PAI-REC推荐算法定制的最佳实践文档
阅读指引：为方便用户快捷体验PAI-REC产品，本文提供了一份公开数据集，用户可按照文档说明按步体验PAI-REC推荐算法定制的召回、特征工程、精排等关键功能的配置，生成代码并部署到 DataWorks 相应的业务流程中。1.克隆公开数据集 我们在可...
附录：字段和操作符的支持列表
本文介绍了简单查询条件、聚合操作以及排序操作中支持的字段（Field）和操作符（Operation），以及字段对相应操作符的支持情况。注意事项 简单查询条件中支持使用的操作符包括eq（等于）、gt（大于）、gte（大于等于）、lt（小于）、lte...
使用方法
LE-V-B004型号边缘一体机已部署了算法应用，算法应用相关说明，请参见 算法应用。说明 若未部署算法应用，请联系您购买边缘一体机的业务接口人进行部署。已准备ONVIF协议的IPC设备，并将该设备接入到LE-V-B004型号边缘一体机，详细操作，请...
设置列索引的排序键
排序流程 新建列存索引时数据排序流程 列存索引数据排序总体上实现与DDL过程中二级索引的排序算法类似，支持单线程与多线程排序。单线程使用标准二路归并排序，多线程使用败者树多路外排且支持抽样排序法策略。总体流程如下：按照主键索引...
A/B Test
为了让用户更加合理地使用、调试OpenSearch的各种算法，上线A/B Test功能，方便业务在全量使用前可以分配一定比例的流量进行先验，避免盲用带来对线上业务的负面影响。A/B Test功能目前支持用户对 查询分析、基础排序、业务排序 进行实验...
创建向量索引
背景信息 云原生数据仓库AnalyticDB PostgreSQL版 向量数据库中的FastANN向量检索引擎实现了主流的HNSW（Hierarchical Small World Graph）算法，它基于PostgreSQL中的段页式存储实现，并且在索引中只存储了指向表中向量列的指针，极大地...
标注模板概述
多模态RLHF标注-输入问答 对话排序 对话排序 对话排序模板可以将对话内容进行分类排序。视觉问答-多轮问答 VQA对话 视觉问答模板可以根据您提供的图片，对图片的内容进行问答，问答均可接入机器人UDF。其中，单轮对话指问题和答案不考虑上...
2023-11-03
支持多电站排序和单电站检测两个版本，多电站排序通过衡量曲线弯曲程度、毛刺数量、饱满程度进行发电效能的排序，单电站检测版本基于额定功率、光照、气温等多因素对电站状态进行更加准确的评定，可根据需求灵活选择。数据服务分析洞察支持...
问答策略设置
问答策略 1、允许澄清和直出：系统预置了直出阈值和澄清阈值，每一个问题经过算法计算后呈现的阈值不同，高于直出阈值的问题答案，经过排序后将直接回复，依次排序的问题如高于澄清阈值，将作为澄清话术推出。2、仅允许直出：系统只允许...
新功能发布记录
本文为您介绍了OpenSearch-行业算法版内容更新的最新动态，基于此您可以了解OpenSearch-行业算法版中增加了哪些新功能、语法新特性等等变更，为您开发项目提高效率。时间 特性 类别 描述 2023-01-10 独享型能力升级 新增 独享型规格新增...
快速创建会话机器人
问答策略 先直出再推荐：系统预置了直出阈值和推荐阈值，每一个问题经过算法计算后呈现的阈值不同，高于直出阈值的问题答案，经过排序后将直接回复，依次排序的问题如高于推荐阈值，将作为推荐推出。只直出：系统只允许高于直出阈值的问题...
ECS系统事件概述
说明 计划内运维事件也称主动运维事件，是阿里云基于百万级服务器的管理运维经验，服务上万家大型企业客户的能力沉淀，以及达摩院的前沿机器学习算法，对底层宿主机的软硬件故障风险进行预测和主动规避。当宿主机上的故障风险无法规避时，...
业务排序函数
业务排序表达式，主要是对基础排序后召回的结果做进一步排序算分，最终返回最优结果给用户。业务排序表达式允许用户为应用自定义搜索结果排序方式，通过在查询请求中指定表达式来对结果排序。排序表达式支持基本运算（算术运算、关系运算、...
基础排序函数
基础排序即是海选，从检索结果中快速找到质量高的文档，取出TOP N个结果再按照业务排序进行精细算分，最终返回最优的结果给用户。由此可见，基础排序对性能影响比较大，业务排序对最终排序效果影响比较大。因此，基础排序要求尽量简单有效...
MapReduce
机器学习：监督学习、无监督学习和分类算法（例如决策树、SVM）。自然语言处理：基于大数据的训练和预测。基于语料库构建单词同现矩阵，频繁项集数据挖掘、重复文档检测等。广告推荐：用户单击（CTR）和购买行为（CVR）预测。MapReduce流程...
基本概念
当有多个算法工程师做召回或者排序实验的时候，我们可以通过划分实验组，可以让他们相互自己不干涉。每个实验组中，一般都会有多个实验。例如下面我们配置了swing、etrec两个实验，而dssm还在测试中，因此流量占比设置为“0%”,但是出于...
智能推荐的审计事件
DeployRankingSystem 部署或重启排序服务。DescribeBaseExperiment 查询基础实验。DescribeCustomAnalysisTask 查询自定义分析任务。DescribeDataSetMessage 查询指定实例的指定数据集版本数据错误详情。DescribeDataSetMessage 查询数据集...
2023年
字典编码（公测）多维排序 新增Beam排序优化功能，可以通过Beam组合排序和多维排序实现更灵活和精确的排序能力。每个排序键分配相同的权重，适合于查询条件包含任意过滤条件子集的场景。Beam排序优化（7.0版）Btree-GIST插件 Btree-GIST...
多路召回实战
补充：相关参考文档 OpenSearch-行业算法版文档排序实践 排序表达式 业务排序函数 以下给出一个完整的查询语句，仅供参考：query=vector:'xxx&n=100&sf=1.100000' OR default:"1948年在城南庄发生了什么"OR title:'1948年在城南庄发生了...
索引类型
每一种索引类型使用了一种不同的算法来适应不同类型的查询。默认情况下，CREATE INDEX 命令创建适合于大部分情况的B-tree索引。B-tree B-tree可以在可排序数据上的处理等值和范围查询。特别地，本数据库的查询规划器会在任何一种涉及到以下...
Sql与OpenSearch查询语法的对比
8.ORDER BY：SQL：用于根据某个字段，或者某个表达式的结果进行排序（正序/倒序）OpenSearch：可以通过 sort子句 时实现，当然OpenSearch的排序，不仅仅是根据某个字段排序，还可以通过文档得分进行排序，还可以根据算法模型，对文档进行...
JOIN优化和执行
Sort-Merge Join Sort-Merge Join是另一种等值JOIN算法，它依赖左右两边输入的顺序，必须按JOIN Key排序。它的原理如下：开始Sort-Merge Join之前，输入端必须排序（借助MergeSort或MemSort）。比较当前左右表输入的行，并按以下方式操作，...
- 产品推荐
- 这些文档可能帮助您