统计聚合
通过统计聚合接口可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组、直方图统计、日期直方图统计、嵌套功能；同时支持多个统计聚合功能组合使用，满足复杂...
GetLogsV2
highlights Array 高亮内容 Array of LogContent 高亮内容 count Integer 1 本次查询请求返回的日志行数。processedBytes Long 10000 查询处理日志量 isAccurate Boolean true 是否秒级精确 columnTypes Array of String long 类型 ...
统计聚合
使用统计聚合功能可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组等操作；同时多个统计聚合功能可以组合使用，满足复杂的查询需求。流程 统计聚合的完整...
Python 3 UDAF
因为这里给出了三个返回值，所以UDTF在调用 forward 时，forward 必须是长度为3的数组，否则会出现运行时报错。说明 这种错误无法在编译时报出，因此UDTF的调用者在SQL中设置alias个数时，必须遵循该UDAF定义的规则。由于聚合函数的返回值...
日志服务SLS
partitionField 指定字段名，数据写入时会根据该列值计算Hash值，Hash值相同的数据会写入同一个shard。String 否 无 如果未指定，则每条数据会随机写入当前可用的Shard中。buckets 当指定partitionField时，根据Hash值重新分组的个数。...
GetLogsV2-查询Logstore中的日志数据
1024 highlights array 高亮内容 array 高亮内容 LogContent 高亮日志内容 count integer 本次查询请求返回的日志行数。1 processedBytes long 查询处理日志量 10000 isAccurate boolean 是否秒级精确 true columnTypes array 列类型 ...
Array数组类型
操作符 描述 示例 结果=等于 ARRAY[1.1,2.1,3.1]:int[]=ARRAY[1,2,3]t不等于 ARRAY[1,2,3]<>ARRAY[1,2,4]t<小于 ARRAY[1,2,3]<ARRAY[1,2,4]t>大于 ARRAY[1,4,3]>ARRAY[1,2,4]t小于或等于 ARRAY[1,2,3]<=ARRAY[1,2,3]t>=大于或等于 ARRAY[1,...
DTS触发器
DTS（Data Transmission Service）作为事件源通过 事件总线EventBridge 与函数计算集成后，通过DTS触发器能够触发关联函数执行。通过函数可以对DTS数据订阅获取的数据库实时增量数据进行自定义处理。本文介绍如何在函数计算控制台创建DTS...
窗口函数
窗口函数支持在一个动态定义的数据子集上执行聚合操作或其他计算，常用于处理时间序列数据、排名、移动平均等问题，本文为您介绍MaxCompute SQL支持的窗口函数的命令格式、参数说明及示例，指导您使用窗口函数完成开发。MaxCompute SQL支持...
创建Web函数
并发度流控 函数计算 在一个地域中按量实例数的上限默认值为300，一个地域可以同时处理的最大请求数为“300×实例并发数”。例如，设置实例并发数=10时，则一个地域最多允许同时处理3000个并发请求。当并发请求数超过 函数计算 可以处理的...
SET
例如，如果每个复杂类型变量大小不会超过1024 Byte，同时 batch row count 值使用的是默认值（1024），则可以将属性值设置为1024×1024，示例如下。set odps.sql.executionengine.coldata.deep.buffer.size.max=1048576;如果您预先知道每个...
Python 3 UDTF读取MaxCompute资源示例
因为这里给出了三个返回值，所以UDTF在调用 forward 时，forward 必须是长度为3的数组，否则会出现运行时报错。说明 这种错误无法在编译时报出，因此UDTF的调用者在SQL中设置alias个数时，必须遵循该UDTF定义的规则。由于聚合函数的返回值...
GetResourceCounts-查询当前账号下的资源数量
RegionId Values array 过滤条件值。string 过滤条件值。cn-shanghai ResourceCounts object []资源数量列表。GroupName string 分组名称。ACS:ECS:NetworkInterface Count long 资源数量。2 示例 正常返回示例 JSON 格式 {"GroupByKey":...
DTS触发器
DTS（Data Transmission Service）作为事件源通过 事件总线EventBridge 与函数计算集成后，通过DTS触发器能够触发关联函数执行。通过函数可以对DTS数据订阅获取的数据库实时增量数据进行自定义处理。本文介绍如何在函数计算控制台创建DTS...
Hive作业调优
作业调优方案 作业调优方向 调优方案 参数调优 内存参数 CPU参数 Task数量优化 并行运行 Fetch task 开启向量化 合并小文件 代码优化 代码优化 代码优化 数据清洗 读取表时分区过滤，避免全表扫描。数据过滤之后再JOIN。重复使用数据时，...
普通模式和Hive兼容模式下SQL的差异
运算符 BITAND（&）当输入参数是BIGINT类型的时候，如果BITAND的计算结果是LONG_MIN(-2 63)，在普通模式下会返回NULL，而Hive模式仍然是LONG_MIN。示例如下。普通模式 set odps.sql.hive.compatible=false;select cast((a&b)as string)from...
DescribeDBClusterPerformance-查看集群性能数据
Values array 不同时间点下的性能值详情。string 不同时间点下的性能值详情。[["2023-06-27T13:21:00+08:00","0.1250"],["2022-03-11T10:00:42.739Z","0.3125"].]Name string CPU AnalyticDB_CPU_Usage_Percentage：CPU 使用率。AnalyticDB...
原生SDK概述
在Map端运行，作用类似于单个Map对本地的相同Key值做Reduce。void setSplitSize(long size)设置分片大小，单位MB，默认值256。void setNumReduceTasks(int n)设置Reducer任务数，默认为Mapper任务数的1/4。void setMemoryForMapTask(int ...
计算成本控制
当您发现MaxCompute账单持续上涨，而且成本变得难以管理时，您可以从计算作业着手，通过对SQL作业和MapReduce作业的优化而减少计算成本。本文为您介绍SQL作业和MapReduce作业计算成本的控制方法。预估计算成本 您可以在计算前对计算成本...
云监控
使用建议 目前云监控已经支持按照Hologres实例类型（包括 实时数仓Hologres（从实例）、实时数仓Hologres（湖仓加速）、实时数仓Hologres（通用型）、实时数仓Hologres（计算组））展示对应实例的监控指标，不同的实例类型对应专属监控指标...
Clickhouse兼容函数
返回结果 c1|array_min-+-|{hello,holo,blackhole,array}|array(2 rows)arrayMax(anyarray)描述：返回数组元素的最大值。Hologres实现：array_max(anyarray)。说明 Hologres 1.3.19起支持array_max函数，暂不支持常量入参。使用示例：...
InfluxQL参考
SELECT mean("value")FROM"cpu"GROUP BY region,time(1d)fill(0)tz('America/Chicago')SHOW CARDINALITY 指用于估计或精确计算measurement、序列、tag key、tag value和field key的基数的一组命令。SHOW CARDINALITY命令有两种可用的版本：...
GetHistograms
调用GetHistograms接口查询指定Logstore中满足查询语法条件的日志分布情况，返回结果显示某时间区间中的日志条数（数量）。接口说明 请求语法中Host由Project名称和日志服务Endpoint构成，您需要在Host中指定Project。已创建并获取...
ModifyEciScalingConfiguration-修改一个ECI类型伸缩...
接口说明 如果修改伸缩配置的名称，请注意同一伸缩组下不能存在名称相同的伸缩配置。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是...
表引擎
ReplacingMergeTree 用于解决MergeTree表引擎相同主键无法去重的问题，可以删除主键值相同的重复项。CollapsingMergeTree 在建表语句中新增标记列 Sign，用于消除ReplacingMergeTree表引擎的如下功能限制。在分布式场景下，相同主键的数据...
基于Flink+Hologres搭建实时数仓
使用Flink+Hologres搭建实时数仓可以充分利用Flink强大的实时处理能力和Hologres提供的Binlog、行列共存和资源强隔离等能力，实现高效、可扩展的实时数据处理和分析，帮助您更好地应对不断增长的数据量和实时业务需求。本文介绍如何通过...
优化内部表的性能
例如，Hologres需要收集数据的采样统计信息，包括数据的分布和特征、表的统计信息、列的统计信息、行数、列数、字段宽度、基数、频度、最大值、最小值、长键值、分桶分布特征等信息。这些信息将为优化器更新算子执行预估COST、搜索空间裁剪...
请求级别指标日志
多个相同RequestId反复出现时，无法定位指定请求的日志，多见于异步调用的重试场景。Custom Runtime与Custom Container运行时中如果打印了 FC Invoke Start RequestId:xxx 与 FC Invoke End RequestId:xxx，会出现一次调用在请求列表中出现...
MapReduce API
df.pivot_table(rows=['A','B'],values='D')A B D_mean 0 bar one 4.500000 1 bar two 6.500000 2 foo one 1.666667 3 foo two 3.000000 计算值列时，默认会计算平均值。通过 aggfunc 指定一个或者多个聚合函数。df.pivot_table(rows=['A',...
DescribeDBClusterPerformance-查看集群性能数据
executor_unavailable_node_count：计算节点不可用节点数。WLM 相关 AnalyticDB_WLM_ResubmitQueries_Count：WLM 重新投递查询数。AnalyticDB_WLM_ResubmitQueries_Count：WLM 重新投递查询数。AnalyticDB_WLM_SQA_AvgRt_MS：WLM 小查询...
ListServerGroups-查询服务器组
查询指定地域的服务器组。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
2021年
2021-12-30 全部地域 MaxCompute湖仓一体概述 MaxCompute支持渐进式计算 MaxCompute支持渐进式计算，在处理数据过程中按照一定时间颗粒度自动按时间分区保存处理过程中的中间结果数据，在下一个周期执行时可以重复使用上周期已经计算好的...
指标说明
可观测监控 Prometheus 版 按照指标上报次数收费。指标分为两种类型：基础指标和自定义指标，非基础指标的即是自定义指标。其中，基础指标不收费，自定义指标于2020年01月06日开始收费。容器集群 可观测监控 Prometheus 版 支持的容器集群...
指标说明
可观测监控 Prometheus 版 按照指标上报次数收费。指标分为两种类型：基础指标和自定义指标，非基础指标的即是自定义指标。其中，基础指标不收费，自定义指标于2020年01月06日开始收费。容器集群 可观测监控 Prometheus 版 支持的容器集群...
排序优化
查询两张表中数据的总行数：SELECT count(*)FROM test;返回信息如下：count-10000000(1 row)SELECT count(*)FROM test_multi;返回信息如下：count-10000000(1 row)对两张表分别进行组合排序和多维排序。对test表进行组合排序：SORT test;对...
请求级别指标日志
多个相同RequestId反复出现时，无法定位指定请求的日志，多见于异步调用的重试场景。Custom Runtime与Custom Container运行时中如果打印了 FC Invoke Start RequestId:xxx 与 FC Invoke End RequestId:xxx，会出现一次调用在请求列表中出现...
使用do-while节点实现复杂的数据分析
当您需要对一组数据或任务进行多次处理，直到满足某个条件才停止时，您可以使用 do-while 节点来自动化重复执行，简化复杂任务的操作步骤，以提高任务的执行效率和可靠性。本文以统计电商行业中的订单数据为示例，为您介绍如何使用 do-...
distinct子句
子句语法"distinct":{"default":{"dist_key":"field","dist_count":number,"dist_times":number,"dist_filter":"filter_expression","reserved":boolean,"max_item_count":number,"grade":[]},"rank":{"dist_key":"field","dist_count":...
distinct子句
子句语法"distinct":{"default":{"dist_key":"field","dist_count":number,"dist_times":number,"dist_filter":"filter_expression","reserved":boolean,"max_item_count":number,"grade":[]},"rank":{"dist_key":"field","dist_count":...
DescribeDBClusterPerformance-查看性能数据
Point array 性能值 string 不同时间点下的性能值详情。["2021-11-26T16:39:00Z","15.08"]Name string 性能数据列表的名称。cc-bp125e3uu94wo1s0k16*Name string 性能值名称。mem_usage 示例 正常返回示例 JSON 格式 {"EndTime":"2021-11-...
- 产品推荐
- 这些文档可能帮助您