Ververica Flink实时任务资源自定义
Ververica Flink实时任务资源自定义，即指实时计算Flink配置细粒度资源的专家模式（BETA），Flink全托管引入的全新的资源配置模式，支持对作业所使用的资源进行细粒度的资源控制，以满足作业吞吐的要求。系统会自动根据您配置的资源需求，...
数据模型
该阶段会在每一批次导入的数据内部进行聚合。计算集群进行数据Compaction的阶段。该阶段，计算集群会对已导入的不同批次的数据进行进一步的聚合。数据查询阶段。在数据查询时，对于查询涉及到的数据，会进行对应的聚合。数据在不同时间聚合...
云监控
如果您希望实时掌握Kafka资源（实例、Topic、Group）状态，监控资源数据是否超过阈值，您可以使用云监控实时监测您账户下创建的资源。您还可以为云监控项设置报警规则，当监控项数据超过设定的报警阈值时，云监控可以通过电话、短信、邮件...
SELECT
在分组和聚合计算完成后，HAVING对分组进行过滤。以下示例查询customer表，并进行分组，查出账户余额大于指定值的记录。SELECT count(*),mktsegment,nationkey,CAST(sum(acctbal)AS bigint)AS totalbal FROM customer GROUP BY mktsegment,...
InfluxQL参考
InfluxQL是一种类似SQL的查询语言，用于与TSDB For InfluxDB®进行交互并提供专门用于存储和分析时序数据的功能。本文档是Influx查询语言（InfluxQL）的参考文档。符号 使用Extended Backus-Naur Form（“EBNF”）指定语法。EBNF与 Go 语言...
管理SLS日志的监控指标
如果Group By不选择任何维度，则根据聚合方法对全部监控数据进行聚合。关于Group By，请参见 Group By子句。数据存入指标仓库 指标仓库名称。标签 监控项的标签。您可以设置标签键和标签值。单击 确定。修改监控指标 登录 云监控控制台。在...
通过日志监控实现业务日志的监控与报警
本文档介绍如何对存储在日志服务（Log Service）中的数据进行统计和设置报警规则。重要 仅2022年09月13日22:00:00之前已订购包年包月套餐（cms_edition）的用户或已开通按量计费（cms_post）的用户能使用日志监控功能。日志监控功能将于...
调优集群性能
如下图所示，某张表是根据a字段进行分布，因为a字段本身比较均匀，所以数据均匀地分布在不同的存储节点上，当您使用了b字段进行分组（group by b），那么存储节点1会将b字段值为b1的数据行分发到计算节点1，为确保计算节点1具有所有b字段值...
管理健康报告
一般的，表的执行次数越多，越需要对表设计进行精心的优化来改善Starrocks实例的使用。关联的参数化SQL个数 这里指的是这张表关联了几个参数化SQL。您可以分析表的查询SQL类型模式来优化表的设计。更进一步的，您可以从不同的查询类型中...
BITWISE_OR_AGG
对于输入的value，按照bit OR操作计算聚合值。注意事项 升级到MaxCompute 2.0后，产品扩展了部分函数。如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下...
数据倾斜调优
本文为您介绍使用MaxCompute过程中常见的数据倾斜场景以及对应的解决方案。MapReduce 在了解数据倾斜之前首先需要了解什么是MapReduce，MapReduce是一种典型的分布式计算框架，它采用分治法的思想，将一些规模较大或者难以直接求解的问题...
BITWISE_AND_AGG
对于输入的value，按照bit AND操作计算聚合值。注意事项 升级到MaxCompute 2.0后，产品扩展了部分函数。如果您用到的函数涉及新数据类型（TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP或BINARY），在使用扩展函数时，需要执行如下...
概述
实时计算Flink版支持在Flink SQL作业中使用Python自定义函数，本文为您介绍Flink Python自定义函数的分类、Python依赖使用方法和能调优方式。自定义函数分类 分类 描述 UDSF（User Defined Scalar Function）用户自定义标量值函数，将0个、...
管理日志监控项
如果Group By不选择任何维度，则根据聚合方法对全部监控数据进行聚合。关于Group By，请参见 Group By子句。Select SQL 将统计方法转化成SQL语句，方便您理解数据的处理方式。应用分组 应用分组的名称。将该监控项添加到指定应用分组中。在...
通过 HyperLoglog 实现高性能多维数据透视
本文通过电商类数据透视示例，介绍了使用 AnalyticDB PostgreSQL 通过HLL预计算，实现毫秒级多维数据透视的方法。关于HyperLogLog的用法，请参考 使用HLL。实践总结 本文介绍的操作方法，涉及以下最佳实践。如您已了解操作方法，可以直接...
管理日志监控项
如果Group By不选择任何维度，则根据聚合方法对全部监控数据进行聚合。关于Group By，请参见 Group By子句。Select SQL 将统计方法转化成SQL语句，方便您理解数据的处理方式。应用分组 应用分组的名称。将该监控项添加到指定应用分组中。在...
计算成本控制
在UNION ALL内部尽可能不使用GROUP BY，改为在外层统一GROUP BY。SELECT t.id,SUM(t.val)AS val FROM(SELECT id,SUM(col3)AS val FROM table3 GROUP BY id UNION ALL SELECT id,SUM(col4)AS val FROM table4 GROUP BY id)t GROUP BY t.id;...
CREATE FUNCTION.AGGREGATE USING type_name
每个用户定义的聚合函数最多使用四个ODCIAggregate函数或步骤来定义任何聚合函数执行的内部操作，包括初始化、迭代、合并和终止。函数名称 说明 ODCIAggregateInitialize Oracle调用该函数来初始化用户定义聚合的计算。初始化的聚合上下文...
查看运行分析
对于开源Flink实时计算引擎的实时实例，可在Dataphin中查看运行分析。运行分析不仅可以支持对实时实例信息进行分析、刷新等操作，也可以展示失败次数、反压情况、各Sink的数据输出、Checkpoint失败次数等信息。运行分析入口 在Dataphin首页...
Table Group设置最佳实践
实例规格推荐 在实践过程中存在数据量可预估，最适宜的Shard数区间应该设置为多少的问题，由于最适宜Shard数不仅和数据存储量有关，还和实际访问频率、实际数据访问量、计算负载的类型（点查、分析等）、写入吞吐、Table Group上表的个数等...
实时UV精确去重（Flink+Hologres）
可视化展示 计算出UV、PV后，大多数情况需要使用BI工具以更直观的方式可视化展示，由于需要使用 RB_CARDINALITY 和 RB_OR_AGG 进行聚合计算，需要使用BI的自定义聚合函数的能力，常见的具备该能力的BI包括Apache Superset和Tableau。...
HAVING
在分组和聚合计算完成后，HAVING对分组进行过滤。[HAVING condition]以下示例查询CUSTOMER表，并进行分组，查出账户余额大于指定值的记录：SELECT count(*),mktsegment,nationkey,CAST(sum(acctbal)AS bigint)AS totalbal FROM customer ...
创建安全联合分析任务
场景描述 A有一张数据表datatrust_a/host_train_adult_10用于记录人群属性（记录年龄、工作等信息），id作为主键，有一张数据表datatrust_a/sj_mpcsql_out，用于统计结果输出；B有一张数据表datatrust_b/slave_train_adult_10用于记录人群...
Hive作业调优
重复使用数据时，避免重复计算，构建中间表，重复使用中间表。多Distinct优化 优化前代码 多个Distinct时，数据会出现膨胀。select k,count(distinct case when a>1 then user_id)user1,count(distinct case when a>2 then user_id)user2,...
Table Group与Shard Count操作指南
当遇到需要进行实时数据处理或大规模数据采集等场景（如：实时分析、日志收集），面临大量并发读写请求时，通过合理的Table Group选择与Shard Count制定可以实现数据分布和负载均衡，优化查询性能，从根本上提升数据的存储与计算效率。...
表流读写
因此，如果只想从某些分区删除数据，可以使用：Scala%spark events.readStream.format("delta").option("ignoreDeletes","true").load("/mnt/delta/user_events")但是，如果您必须基于user_email删除数据，则需要使用：Scala%spark events....
DescribeHistoryMonitorValues-查看Redis实例的性能...
通用类监控项 通用类监控项的使用说明如下，以 CpuUsage 为例：查询所有数据节点（DB）整体的 CPU 使用率：您需要传入 CpuUsage$db。查询单个数据节点的 CPU 使用率：您需要传入 CpuUsage，同时在 NodeId 参数指定 DB 节点。查询所有 Proxy...
DescribeHistoryMonitorValues-查看Redis实例的性能...
通用类监控项 通用类监控项的使用说明如下，以 CpuUsage 为例：查询所有数据节点（DB）整体的 CPU 使用率：您需要传入 CpuUsage$db。查询单个数据节点的 CPU 使用率：您需要传入 CpuUsage，同时在 NodeId 参数指定 DB 节点。查询所有 Proxy...
内建函数概述
数学函数 MaxCompute SQL提供了如下数学函数供您在开发过程中使用，您可以根据实际需要选择合适的数学函数，进行数据计算、数据转换相关操作。说明 取余数计算等更多计算请参见 算术运算符。函数 功能 ABS 计算绝对值。ACOS 计算反余弦值。...
高性能Flink SQL优化技巧
作业配置优化推荐方案 资源优化技巧 VVP中限制了JobManager和TaskManager的CPU的实际使用大小，配置了多少个CPU，最大就只能使用多少个CPU。因此在资源优化时，建议：作业并发大时：在作业的 部署详情 页签的 资源配置 中，增加JobManager...
数仓构建流程
本文为您介绍如何基于阿里巴巴OneData方法论最佳实践，使用Dataphin助力企业数据中台的建设与管理，快速构建标准、规范的数据仓库。数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前，您需要了解...
统计聚合
使用统计聚合功能可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组等操作；同时多个统计聚合功能可以组合使用，满足复杂的查询需求。说明 从Python SDK 5....
SQL
queryid bigint 内部哈希码，从语句的解析树计算得来。query text 语句的文本形式。calls bigint 被执行的次数。total_time double precision 在该语句中花费的总时间。单位：毫秒。min_time double precision 在该语句中花费的最小时间。...
SQL
queryid bigint 内部哈希码，从语句的解析树计算得来。query text 语句的文本形式。calls bigint 被执行的次数。total_time double precision 在该语句中花费的总时间。单位：毫秒。min_time double precision 在该语句中花费的最小时间。...
使用SDK示例代码消费订阅数据
完成数据订阅通道的配置后，您可以使用DTS提供的SDK示例代码来订阅数据变更信息，本文介绍该示例代码的使用说明。操作步骤 重要 若数据源是PolarDB-X 1.0或DMS LogicDB，消费订阅数据的操作步骤请参见 使用SDK示例代码消费PolarDB-X 1.0...
数据查询
大范围的时间查询 预降采样 通过存储引擎将写入的数据降低精度后单独存储，查询时按查询条件中指定的降采样精度自动查询最接近预降采样精度的数据，然后再对查询的数据进行聚合计算，减少实时查询的计算数据量，降低访问延迟。预降采样是一...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
聚合函数
聚合（Aggregate）函数的输入与输出是多对一的关系，即将多条输入记录聚合成一条输出值，可以与MaxCompute SQL中的 group by 语句配合使用。本文为您提供MaxCompute SQL支持的聚合函数的命令格式、参数说明及示例，指导您使用聚合函数完成...
数据类型
QUANTILE_STATE/QUANTILE_STATE是一种计算分位数近似值的类型，在导入时会对相同的Key，不同Value进行预聚合，当Value数量不超过2048时采用明细记录所有数据，当Value数量大于2048时采用TDigest算法，对数据进行聚合（聚类）保存聚类后的...
VAR_SAMP
当您需要了解数据值的波动或分布情况时，MaxCompute支持使用VAR_SAMP函数计算指定数值列的样本方差，帮助您从数据中提取出更深层次的价值。此函数为MaxCompute 2.0扩展函数。注意事项 升级到MaxCompute 2.0后，产品扩展了部分函数。如果您...
- 产品推荐
- 这些文档可能帮助您