JSON和JSONB类型
SELECT class,jsonb_agg(v ORDER BY v DESC)FILTER(WHERE v<>'b')AS"jsonb_agg",jsonb_object_agg(v,k ORDER BY v DESC)FILTER(WHERE v<>'e')AS"jsonb_object_agg(v,k)"FROM t GROUP BY class;class|jsonb_agg|jsonb_object_agg(v,k)-+-+-...
JSON函数和操作符
json_array_elements(json)→setof json jsonb_array_elements(jsonb)→setof jsonb select*from json_array_elements('[1,true,[2,false]]')→value-1 true[2,false]将顶级JSON数组展开为一组文本值。json_array_elements_text(json)→...
iOS播放器常见问题
出现引入mpf_filter.framework、vfi_filter.framework等插帧、锐化后处理插件相关报错 问题现象：当使用iOS Xcode14打包APP并提交到App Store审核时出现引入mpf_filter.framework、vfi_filter.framework等插帧、锐化后处理插件相关的错误，...
iOS播放器常见问题
出现引入mpf_filter.framework、vfi_filter.framework等插帧、锐化后处理插件相关报错 问题现象：当使用iOS Xcode14打包APP并提交到App Store审核时出现引入mpf_filter.framework、vfi_filter.framework等插帧、锐化后处理插件相关的错误，...
iOS端
出现引入mpf_filter.framework、vfi_filter.framework等插帧、锐化后处理插件相关报错 问题现象：当使用iOS Xcode14打包APP并提交到App Store审核时出现引入mpf_filter.framework、vfi_filter.framework等插帧、锐化后处理插件相关的错误，...
数组函数和运算符
array_agg函数 array_agg(x)以数组形式返回 x 中的所有值。array_distinct函数 array_distinct(x)删除数组中重复的元素。array_except函数 array_except(x,y)计算两个数组的差集。array_intersect函数 array_intersect(x,y)计算两个数组的...
阿里云ES实现同义词动态更新
Elasticsearch（ES）不支持直接动态加载修改的词典内容，您可以通过安装elasticsearch-analysis-dynamic-synonym插件，实现动态加载OSS仓库词典文件。本文以新网络架构下的阿里云ES实例为例，介绍如何实现同义词动态更新。背景信息 阿里云...
Python 3 UDTF
Python 2 UDTF：改写Python 2 UDTF，使其可以同时兼容Python 2和Python 3。改写方法请参见 将Python 2代码移植到Python 3。说明 如果您需要编写公共UDTF，并为多个MaxCompute项目授权UDTF的操作权限，建议UDTF同时兼容Python 2和Python 3。...
Runtime Filter
Bloom Filter长度相关参数 包括 runtime_bloom_filter_min_size、runtime_bloom_filter_max_size、runtime_bloom_filter_size，用于确定Runtime Filter使用的Bloom Filter数据结构的大小（以字节为单位）。取值范围：整数。因为需要保证每...
复杂类型函数
ARRAY_EXCEPT 找出在ARRAY A中，但不在ARRAY B中的元素，并去掉重复的元素后，以ARRAY形式返回结果。ARRAY_INTERSECT 计算两个ARRAY数组的交集。ARRAY_JOIN 将ARRAY数组中的元素按照指定字符串进行拼接。ARRAY_MAX 计算ARRAY数组中的最大值...
统计聚合
使用统计聚合功能可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组等操作；同时多个统计聚合功能可以组合使用，满足复杂的查询需求。流程 统计聚合的完整...
列存索引中TopK算子的实现
在内存算法的执行过程中，如果出现内存不足的情况（例如，K比较大时，可用执行内存不足以缓存足够的sorted run使其包含的记录数量大于K，或者可用执行内存不足以完成pre-merge的过程），那么执行回退机制。回退机制：采集内存中已积累的...
Python 3 UDAF
Python 2 UDAF：改写Python 2 UDAF，使其可以同时兼容Python 2和Python 3。改写方法请参见 将Python 2代码移植到Python 3。说明 如果您需要编写公共UDAF，并为多个MaxCompute项目授权UDAF的操作权限，建议UDAF同时兼容Python 2和Python 3。...
列存索引如何实现高效数据过滤
列存索引中TopK算子的实现 一文中介绍了PolarDB IMCI如何利用统计信息在运行时进行剪枝，以提高TopK算法的查询性能。本文将进一步全面介绍PolarDB IMCI的查询剪枝（pruning or data skipping）技术。背景与作用 在HTAP场景中，PolarDB IMCI...
PolarDB PostgreSQL 14版相对于PolarDB PostgreSQL 11...
具体来说，array_append()、array_prepend()、array_cat()、array_position()、array_positions()、array_remove()、array_replace()和 width_bucket()在PG 11版本中接受 anyarray 参数，但在PG 14版本中接受 anycompatiblearray。...
混合检索使用指南
双路召回一般会通过向量检索和全文检索分别召回部分数据，然后再做精排蒸馏，后处理等以获得更佳的召回效果。AnalyticDB PostgreSQL版 既支持高性能向量检索，又支持高性能全文检索，因此您可以在 AnalyticDB PostgreSQL版 中完成向量检索...
向量计算使用指南
CREATE TABLE t1(f1 int PRIMARY KEY,f2 float4[]NOT NULL CHECK(array_ndims(f2)=1 AND array_length(f2,1)=4),f3 float4[]NOT NULL CHECK(array_ndims(f3)=1 AND array_length(f3,1)=4));CALL set_table_property('t1','proxima_vectors'...
通过Logstash实现多字段数据整合
模块 输入类型 coerce hash rename hash update hash replace hash convert hash gsub array uppercase array capitalize array lowercase array strip array remove_field array split hash join hash merge hash copy hash 前提条件 创建...
Proxima向量计算
CREATE TABLE t1(f1 int PRIMARY KEY,f2 float4[]NOT NULL CHECK(array_ndims(f2)=1 AND array_length(f2,1)=4),f3 float4[]NOT NULL CHECK(array_ndims(f3)=1 AND array_length(f3,1)=4));CALL set_table_property('t1','proxima_vectors'...
2021年
TO_JSON函数可以将给定的复杂类型ARRAY、MAP或STRUCT，以JSON字符串格式输出。2021-03-16 全部地域 字符串函数 MaxCompute SQL支持UPDATE/DELETE/MERGE INTO语法（公测）UPDATE/DELETE是MaxCompute新支持的在行级别操作表或者分区数据的...
高维向量相似度搜索（pgvector）
CREATE OR REPLACE FUNCTION random_array(dim integer)RETURNS DOUBLE PRECISION[]AS$SELECT array_agg(random())FROM generate_series(1,dim);LANGUAGE SQL VOLATILE COST 1;创建一个存储1536维向量的表。CREATE TABLE vtest(id BIGINT,v...
关联子查询上拉
优化器通常会对带有关联查询的 ANY/IN/EXISTS/NOT EXISTS 子查询尝试上拉，使其能够与父查询被共同优化为带有半连接（Semi Join）或反连接（Anti Join）的执行计划，从而提升查询性能。其中，对于 ANY_SUBLINK，如果子查询引用了上一级父...
SQL调优
本文为您介绍常见的SQL问题以及优化示例。并行度优化 并行度是衡量并行计算并行程度的一个指标，从执行计划上来...collect_list实现 select array_join(collect_list(key),',')from src;wm_concat实现更优 select wm_concat(',',key)from src;
MongoDB数据源
转换后的类型分类 MongoDB数据类型 LONG INT、LONG、document.INT和document.LONG DOUBLE DOUBLE和document.DOUBLE STRING STRING、ARRAY、document.STRING、document.ARRAY和COMBINE DATE DATE和document.DATE BOOLEAN BOOL和document....
高维向量检索（PASE）
本文介绍 PolarDB PostgreSQL版 如何通过PASE插件（基于IVFFlat或HNSW算法）实现高维向量检索。背景信息 近年来，深度学习领域内的表示学习技术，作为人工智能的代表性技术，取得了长足性进展，在工业界中已经被大量应用，例如广告投放、...
高维向量检索（PASE）
本文介绍 PolarDB PostgreSQL版（兼容Oracle）如何通过PASE插件（基于IVFFlat或HNSW算法）实现高维向量检索。背景信息 近年来，深度学习领域内的表示学习技术，作为人工智能的代表性技术，取得了长足性进展，在工业界中已经被大量应用，...
功能发布记录
新增数组函数，支持array_max、array_min、array_contains、array_except、array_distinct、array_union函数，详情请参见 数组函数。新增聚合函数max_by与min_by，简化窗口类排序操作，详情请参见 MAX_BY与MIN_BY。运维&稳定性改善 在pg_...
高效向量检索（PASE）
本文介绍RDS PostgreSQL如何通过PASE插件（基于IVFFlat或HNSW算法）实现高效向量检索。说明 PASE插件已不再维护，建议您使用 高维向量相似度搜索（pgvector）插件。前提条件 实例为RDS PostgreSQL 11或以上版本。背景信息 近年来，深度学习...
Array数组类型
array_dims-[1:2][1:2](1 row)示例二：使用 array_upper 和 array_lower 函数查询数组特定维的上界和下界，示例如下。SELECT array_upper(schedule,1),array_lower(schedule,1)FROM sal_emp WHERE name='Carol';返回结果如下。array_upper|...
Logtail配置
通过在创建Logtail配置时设置数据源、采集模式等参数，实现定制化的采集策略。本文介绍API模式下Logtail配置相关的参数说明。Logtail配置基础参数说明 参数名称 数据类型 是否必填 示例值 描述 configName string 是 config-sample Logtail...
DescribeProtectionModuleRules
expressions：Array类型|必选|规则条件表达式，以更易读的方式表示所有规则条件信息。bypassTags：String类型|必选|不检测的模块。在合法爬虫规则配置中固定为 antibot，表示Bot管理模块。tags：Array类型|必选|规则所属防护功能模块。在...
DescribeProtectionModuleRules-查询WAF防护功能规则...
expressions：Array 类型|必选|规则条件表达式，以更易读的方式表示所有规则条件信息。bypassTags：String 类型|必选|不检测的模块。在合法爬虫规则配置中固定为 antibot，表示 Bot 管理模块。tags：Array 类型|必选|规则所属防护功能模块...
TairVector混合检索实践
本文介绍基于Tair向量检索（Vector）实现条件过滤、向量检索、全文检索融合的混合检索方案。背景信息 大语言模型（Large Language Model,LLM）的发展使得文本、图片、音视频等非结构化数据都可以通过向量来表示其语义信息，基于向量的KNN...
画像分析-BSI优化方案（Beta）
通过原始行为标签表和uid字典编码表生成行为标签BSI数据并分桶 INSERT INTO bsi_gmv SELECT bsi_build(array_agg(b.encode_uid),array_agg(a.gmv))AS bitmap FROM usershop_behavior a JOIN dws_uid_dict b ON a.uid=b.uid;画像分析 通过...
内建函数概述
复杂类型函数 支持处理MAP、ARRAY、STRUCT及JSON类型数据，实现去重元素、聚合元素、元素排序、合并元素等业务处理能力。加密函数 支持处理STRING、BINARY类型的表数据，实现加密、解密等业务处理能力。其他函数 除上述函数之外，提供支持...
接口说明
自定义过滤词调用示例如下：/以实时转写为例，JSONObject root=new JSONObject();root.put("system_reserved_filter",true);将以下词语替换成空 JSONObject root1=new JSONObject();JSONArray array1=new JSONArray();array1.add("开始");...
值表达式
.][order_by_clause])[FILTER(WHERE filter_clause)]aggregate_name(*)[FILTER(WHERE filter_clause)]aggregate_name([expression[,.]])WITHIN GROUP(order_by_clause)[FILTER(WHERE filter_clause)]这里 aggregate_name 是一个之前定义的...
2021年
新功能 安装Package后，如果您需要对Package进行更细微的权限控制，例如控制只能访问Package内的部分资源或控制只能访问Package内表的部分列，您可以通过MaxCompute提供的细粒度授权或LABEL授权实现。Package的权限控制 2021-03-12 支持...
CreateCluster-创建集群
当集群版本在 1.12.6 及以上时支持以下两种策略：static：允许为节点上具有某些资源特征 Pod 增强其 CPU 亲和性和独占性。none：表示启用现有的默认 CPU 亲和性方案。默认值：none。none proxy_mode string 否 kube-proxy 代理模式 ...
CreateCluster-创建集群
当集群版本在 1.12.6 及以上时支持以下两种策略：static：允许为节点上具有某些资源特征 Pod 增强其 CPU 亲和性和独占性。none：表示启用现有的默认 CPU 亲和性方案。默认值：none。none proxy_mode string 否 kube-proxy 代理模式 ...
- 产品推荐
- 这些文档可能帮助您