分组聚合查询优化
通过Hint优化分组聚合 适用场景 在大多数场景下，两步聚合可以在内存和网络资源之间实现较好的平衡，但在分组聚合的分组数较多（即GROUP BY字段的唯一值较多）等特殊场景下，两步聚合不一定是最好的处理方法。例如，在需要使用手机号码或...
App端性能体验功能说明
您可能发现您的产品后台和产品文档中的UI略有差异，但是这不影响您的使用以及产品功能，您可以参考此文档进行产品功能学习 开关与采样配置 安卓平台：iOS平台：您可以在产品后台中灵活进行开关和采样率的配置，此处的配置下发到SDK后优先级...
CREATE FUNCTION.AGGREGATE USING type_name
原理介绍（并行聚合）用户定义聚合的并行评估 与内置聚合函数一样，用户定义的聚合可以并行计算。但是，聚合函数必须声明为启用并行。创建函数 MyUDAG(.)返回.PARALLEL_ENABLE 聚合使用MyAggrRoutines。通过聚合并行从属中的行子集生成的...
聚合立方产品介绍常见问题
高可用加速包可以针对聚合网关流量传输，实现端侧分流，云上做流量聚合，做稳定性提升、加速转发处理、及高可靠SLA保障；针对具体业务场景，保证提供给客户极速带宽、超低时间、抗丢包、或综合平衡稳定性网络，保证业务的高可用。2.3 高...
会话管理
说明 按SQL ID聚合可以帮助您分析不同SQL ID的流量和消耗对比，确认系统资源消耗方。通过 用户 和 数据库名 对会话进行筛选。通过 会话 ID、来源、目标源 对会话进行搜索。通过 执行时间 对会话进行排序。单击 SQL 内容跳转到对应 SQL 诊断...
统计聚合
通过统计聚合接口可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组、直方图统计、日期直方图统计、嵌套功能；同时支持多个统计聚合功能组合使用，满足复杂...
开源Elasticsearch FAQ
PUT/my_index{"mappings":{"properties":{"my_text_field":{"type":"text","fielddata":true } } } } 如果您不希望某个字段参与聚合，可以根据您的应用逻辑选择以下任一方式：通过设置enabled属性为false来排除整个对象字段。选择不将非...
CREATE AGGREGATE
这样做的主要原因是，如果最终函数是多态的，那么状态值的数据类型将不适合于用来确定结果类型。这些额外的参数总是以 NULL 形式传递（因此使用 FINALFUNC_EXTRA 选项时，最终函数不能是严格的），但尽管如此它们都是合法参数。例如，最终...
常见问题以及改进措施
一般情况下，部分聚合可以显著减少聚合计算的数据量，但如果遇到数据倾斜严重，或者部分聚合列比较Unique从而不能减少聚合计算数量的情况下，部分聚合反而会带来额外的性能开销而非收益。其它问题 本文只列举了几类常见的查询计划问题，...
离线UV计算
distribution_key根据需求设置，根据该表的实时查询需求，从什么维度做分片能够取得较好效果即可 CALL set_table_property('public.ods_app','distribution_key','uid');用于做where过滤条件，包含完整年月日时间字段推荐设为clustering_...
多值数据查询
重要 在域查询信息中，aggregator 是必要条款，但是可以通过 none 来指明不做聚合运算。但是，TSDB多值模型不支持在同一个查询中有的域做聚合，有的域不做聚合。插值 如果某条时间线某个精度区间没有值且没有使用 fill policy 进行填值，而...
安全联合分析TrustDA/MPCSQL
作为分组键时，可以查询明细，能在比较/聚合函数中透出 次之 用于比较/聚合查询，可做分组键 不能作为关联键，能作为分组键；作为分组字段时能查询明细，能在比较/聚合函数中透出 次之 使用无限制 任意操作；可以任意出现在SELECT的分析中 ...
Range Clustering
这样做的好处是，既可以在Project级别上做一些聚合查询，示例命令如下：SELECT COUNT(*)from mf_project.mf_tab WHERE project_name="xxxdw"AND ds="20180115"AND type="TABLE;又可以用组合键来精确定位某张表，示例命令如下：SELECT count...
数据倾斜调优
MapReduce 在了解数据倾斜之前首先需要了解什么是MapReduce，MapReduce是一种典型的分布式计算框架，它采用分治法的思想，将一些规模较大或者难以直接求解的问题分割成较小规模或容易处理的若干子问题，对这些子问题进行求解后将结果合并成...
物化视图
当您需要优化重复且耗时较长的复杂查询时，您可以使用 云数据库 SelectDB 版 中的物化视图功能来缓存复杂查询，实现快速访问和高效数据处理。概述 物化视图是将预先计算（根据定义好的SELECT语句）的数据集，存储在 云数据库 SelectDB 版 ...
宽表模型介绍
多元索引统计聚合：使用多元索引统计聚合可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、百分位统计、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组、直方图统计、日期直方图统计、获取统计聚合分组内...
数据模型
通过以下示例来阐述什么是聚合模型，以及如何正确地使用 Aggregate 聚合模型。示例1：导入数据聚合 数据表 example_tbl1 的结构定义表。ColumnName Type AggregationType Comment user_id LARGEINT 无 用户ID date DATE 无 数据写入日期 ...
创建FC Sink Connector
函数计算能做什么？利用函数实现业务消息的处理，通过函数计算平台开发、运行业务消息处理逻辑，订单处理，任务执行。利用函数对消息进行快速加工处理，ETL清洗。利用函数计算灵活扩展将消息转储到指定VPC中的其他下游系统。利用函数连接...
仪表板制作常见问题
图表间的数据是否可以做关联操作？支持跨源关联MaxCompute表吗？如何在仪表板中展示30天的数据，并且每天自动更新当前到30天之前的数据？仪表板中是否支持不同数据集的联动？个人版下的图表支持跳转吗？仪表板是否支持联动和跳转功能？同比...
执行机制
可以注意到Avg函数在merge阶段，需要将所有collect阶段的Accumulator.count累加，才能得到该Group在所有Searcher上的数据条目数。这与collect阶段统计count的实现并不相同，这也是为什么要针对两个阶段分别设置处理函数的原因。template,...
执行机制
可以注意到Avg函数在merge阶段，需要将所有collect阶段的Accumulator.count累加，才能得到该Group在所有Searcher上的数据条目数。这与collect阶段统计count的实现并不相同，这也是为什么要针对两个阶段分别设置处理函数的原因。template,...
2021年
v2.8.2.2 2021年11月 模块 功能名称 功能概述 发布时间 支持地域 版本号 Prometheus监控 预聚合 预聚合（Recording Rule）可以对落地的指标数据做二次开发。可以配置预聚合规则将计算过程提前到写入端，减少查询端资源占用，尤其在大规模...
数据集常见问题
sum(order_amt)fenmu from zhanbi_test where${date:date_para} and${province:province_para} and${city:city_para} group by province)b on a.province=b.province 上述SQL是以city字段聚合的示例，您也可以为其他字段做聚合。...
SQL性能问题
输入流有Primary Key信息，例如上游做了GROUP BY聚合操作。排序字段的更新是单调的，且单调方向与排序方向相反。例如，ORDER BY COUNT/COUNT_DISTINCT/SUM（正数）DESC。如果您要获取到UpdateFastRank的优化Plan，则您需要在使用ORDER BY ...
流式数据通道概述
提供了增量数据异步处理机制，可以在使用过程中无感知情况下对新写入的增量数据做进一步处理，已经支持数据聚合（Merge）：提升存储效率。应用场景 MaxCompute流式数据通道服务应用场景如下。场景 说明 特点 大量事件日志实时写入...
子查询（SUBQUERY）
例如单独计算聚合值、检查某条记录的存在性、筛选基于另一查询结果的数据、关联更新或删除操作、简化JOIN操作以获取单个值、作为派生表给主查询使用、提供排序或分组的依据以及进行逐行比较，可以通过子查询操作实现。本文为您介绍...
EXPLAIN和执行计划
本文着重介绍 PolarDB-X 1.0 执行计划中各个操作符的含义，以便用户通过查询...Aggregate Aggregate是聚合操作符，通常包含两部分内容：Group By字段和聚合函数。示例如下：explain select k,count(*)from sbtest1 where id>1000 group by k;...
聚合函数
聚合（Aggregate）函数的输入与输出是多对一的关系，即将多条输入记录聚合成一条输出值，可以与MaxCompute SQL中的 group by 语句配合使用。本文为您提供MaxCompute SQL支持的聚合函数的命令格式、参数说明及示例，指导您使用聚合函数完成...
消费者负载均衡
什么是消费者负载均衡 如上文所述，消费组间广播消费场景下，每个消费者分组内只有一个消费者，因此不涉及消费者的负载均衡。消费组内共享消费场景下，消费者分组内多个消费者共同分担消息，消息按照哪种逻辑分配给哪个消费者，就是由消费...
指标含义与异常处理建议
有agg查询或者有脚本查询 聚合查询场景，需要耗用大量的计算资源做数据聚合，尤其是内存，在使用时请注意。term查询数值字段 大批量的数值型byte、short、integer、long字段做term查询时，在构造docid集合的bitset很耗时，会影响查询速度。...
Insight 更新日志
2023-08月更新 版本度量报表 更新时间：2023-08-...更新 权限设置，你可以设置云效·Insight 的超级管理员、管理员，做更好的权限分层管理；更新云效·Projex 的项目中的项目度量报表，你可以看到项目现状、需求和缺陷进展、效能等相关数据。
小程序场景
第二轮为精排，对粗排的结果做更精细筛选-人气模型——量化出每个商品的静态质量及受欢迎的程度的值，不断训练统计形成人气分，构建更精细化的排序模型，精准命中搜索需求 下拉提示 在用户输入查询词的过程中，智能推荐候选query，帮助用户...
GRANT
当一个对象的非拥有者尝试 GRANT 该对象上的特权，如果该用户在该对象上什么特权都不拥有，该命令将立刻失败。只要有一些特权可用，该命令将继续，但是它将只授予那些用户具有授权选项的特权。如果不持有授权选项，GRANT ALL PRIVILEGES ...
2022年
2022-07-14 全部地域 窗口函数 新增六个聚合函数 新增 BITWISE_OR_AGG、MAP_AGG、MULTIMAP_AGG、MAP_UNION、MAP_UNION_SUM、HISTOGRAM 六个聚合函数，可以对输入的Bit值或者Map对象做聚合操作，更加便捷的做数据分析统计。2022-07-14 全部...
数据聚合
功能说明 数据聚合组件可以根据指定的索引，将相同索引的数据进行聚合处理。聚合的方法包括：均值、最大值、最小值、中位数、标准差、方差、求和。计算逻辑原理 均值：取分组聚合中的均值。最大值：取分组聚合中的最大值。最小值：取分组...
窗口聚合
功能说明 窗口聚合组件可以根据指定的索引，将相同索引的数据根据时间变量进行开窗聚合。在需要将某一段时间内的数据聚合时，可以使用窗口聚合组件。聚合的方法包括：均值、最大值、最小值、中位数、标准差、方差、求和。若窗口内无数值，...
2024年功能发布记录
可以通过标签功能将函数进行分组，实现不同角色对不同分组的函数拥有不同的操作权限。标签管理 企业分账 新增 函数计算 为其资源管理单位函数提供了标签功能，便于搜索和资源聚合。您可以为函数创建标签，并通过标签的分类实现企业分账管理...
GROUPING SETS
7|NULL|NULL|Beijing|4|NULL|NULL|Shijiazhuang|3|ios|Phone|NULL|1|linux|PC|NULL|1|linux|Phone|NULL|1|windows|PC|NULL|3|windows|Phone|NULL|1|+-+-+-+-+说明 分组集中不使用的表达式，会使用NULL充当占位符，使得这些结果集可以做操作...
GROUPING SETS
7|NULL|NULL|Beijing|4|NULL|NULL|Shijiazhuang|3|ios|Phone|NULL|1|linux|PC|NULL|1|linux|Phone|NULL|1|windows|PC|NULL|3|windows|Phone|NULL|1|+-+-+-+-+说明 分组集中不使用的表达式，会使用NULL充当占位符，使得这些结果集可以做操作...
MapReduce API
上面的例子，您可以使用 reducer 作为 combiner 在 mapper 端对数据做初步的聚合，减少Shuffle出去的数据量。words_df.map_reduce(mapper,reducer,combiner=reducer,group='word')引用资源 在MapReduce API里，您可以分别指定 mapper 和 ...
- 产品推荐
- 这些文档可能帮助您