DescribeInstances-查询数据资产实例列表
123 Id long 数据安全中心服务中记录的数据资产实例的唯一标识 ID。11111 ProductCode string 数据资产实例所属产品的名称，包括 MaxCompute、OSS、RDS 等。关于支持的具体产品名称，请参见 支持识别敏感数据的数据类型。RDS ModelTags ...
PolarDB处理TPC-H查询的挑战和机遇
或者是在join时只获取join key列，当匹配上时才把其余的列读取出来，由于列数据本身是按照row group来拆分的，每个row group内的一批数据形成一个block，因此可能跳过很多block，避免做IO/decompression的开销。数据访问位置（Data Access ...
从ECS上的Codis集群同步至Redis实例
阿里云数据库Redis版是兼容开源Redis协议标准、提供内存加硬盘混合存储的数据库服务，基于高可靠双机热备架构及可平滑扩展的集群架构，可充分满足高吞吐、低延迟及弹性变配的业务需求。通过数据传输服务DTS（Data Transmission Service），...
使用SDK示例代码消费订阅数据
在完成数据订阅通道的配置（创建好订阅任务和消费组）后，您可以自行编写SDK示例代码或使用DTS提供的SDK示例代码来订阅数据变更信息，本文介绍示例代码的使用方法。重要 本操作为Java语言的SDK客户端示例，Python和Go语言的示例代码，请...
MIN
示例数据 为便于理解各函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例。创建表emp，并添加数据，命令示例如下：create table if not exists emp(empno bigint,ename string,job string,mgr bigint,hiredate datetime,sal...
WM_CONCAT
示例数据 为便于理解各函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例。创建表emp，并添加数据，命令示例如下：create table if not exists emp(empno bigint,ename string,job string,mgr bigint,hiredate datetime,sal...
STDDEV_SAMP
示例数据 为便于理解各函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例。创建表emp，并添加数据，命令示例如下：create table if not exists emp(empno bigint,ename string,job string,mgr bigint,hiredate datetime,sal...
从ECS上的Codis集群同步至Redis实例
阿里云数据库Redis版是兼容开源Redis协议标准、提供内存加硬盘混合存储的数据库服务，基于高可靠双机热备架构及可平滑扩展的集群架构，可充分满足高吞吐、低延迟及弹性变配的业务需求。通过数据传输服务DTS（Data Transmission Service），...
MAX
示例数据 为便于理解各函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例。创建表emp，并添加数据，命令示例如下：create table if not exists emp(empno bigint,ename string,job string,mgr bigint,hiredate datetime,sal...
StarRocks物理表和字段详情
表结构：字段列表包括 字段名称、键类型、描述、数据类型、聚合类型、允许空值、默认值、关联标准（需购买数据标准模块）、数据分类（需购买安全模块）、数据分级（需购买安全模块）、热度 信息，同时您可以在 操作 列下单击 图标，查看...
COLLECT_SET
示例数据 为便于理解各函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例。创建表emp，并添加数据，命令示例如下：create table if not exists emp(empno bigint,ename string,job string,mgr bigint,hiredate datetime,sal...
统计聚合
使用统计聚合功能可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、百分位统计、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组、直方图统计、获取统计聚合分组内的行、嵌套查询等；同时多个统计聚合功能...
COUNT
计算记录数。使用限制 窗口函数的使用限制如下：窗口函数只能出现在 select 语句中。窗口函数中不能嵌套使用窗口函数和聚合函数。窗口函数不能和同级别的聚合函数一起使用。命令格式-计算记录数 bigint count([distinct|all])-计算窗口中的...
MEDIAN
其他类型返回规则如下：输入类型 返回类型 TINYINT DOUBLE SMALLINT DOUBLE INT DOUBLE BIGINT DOUBLE FLOAT DOUBLE DOUBLE DOUBLE DECIMAL DECIMAL 示例数据 为便于理解各函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例...
Logview诊断实践
解决思路：一种情况是数据分布变化导致的，我们在写表的过程中，会对数据进行压缩，而压缩算法对于重复数据的压缩率是最高的，所以如果写表的过程中，如果相同的数据都排布在一起，就可以获得很高的压缩率。写表的数据分布情况主要取决于写...
COVAR_POP
示例数据 为便于理解各函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例。创建表emp，并添加数据，命令示例如下：create table if not exists emp(empno bigint,ename string,job string,mgr bigint,hiredate datetime,sal...
VARIANCE/VAR_POP
示例数据 为便于理解各函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例。创建表emp，并添加数据，命令示例如下：create table if not exists emp(empno bigint,ename string,job string,mgr bigint,hiredate datetime,sal...
核心概念
本文为您介绍Dataphin中，业务板块、数据域、项目、维度、业务过程、维度逻辑表、事实逻辑表、原子指标等基本概念。数据板块 数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。当数据的业务含义存在较大差异时，您可以...
物化视图增量刷新（预览版）
增量刷新会通过特定算法，只计算变更部分的数据，然后定向更新物化视图中的数据，且增量刷新相较于全量刷新开销更低，可以更高频地更新。如果您仅需要刷新变更的数据，可以选择增量刷新物化视图。本文介绍如何在创建物化视图时指定增量刷新...
统计聚合
使用统计聚合功能可以实现求最小值、求最大值、求和、求平均值、统计行数、去重统计行数、按字段值分组、按范围分组、按地理位置分组、按过滤条件分组等操作；同时多个统计聚合功能可以组合使用，满足复杂的查询需求。流程 统计聚合的完整...
云计算资源类型
云计算资源是 数据资源平台 中数据标准字段使用的基础，通过了解数据标准支持的云计算资源类型，并在系统设置模块添加数据标准需要使用的云计算资源类型对应资源，以备在物理化质量校验函数和物理化数据字典时使用。本文介绍数据标准设计中...
ANY_VALUE
示例数据 为便于理解各函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例。创建表emp，并添加数据，命令示例如下：create table if not exists emp(empno bigint,ename string,job string,mgr bigint,hiredate datetime,sal...
什么是Dataphin
数据服务 告警中心 告警中心是基于Dataphin构建的监控告警平台，为您展示资产质量、实时计算、数据服务模块的告警事件和推送记录。告警中心 为什么选择Dataphin Dataphin可以屏蔽不同计算与存储环境的差异，助您快速引入数据并规范化地构建...
AVG
示例数据 为便于理解各函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例。创建表emp，并添加数据，命令示例如下：create table if not exists emp(empno bigint,ename string,job string,mgr bigint,hiredate datetime,sal...
SUM
其他类型返回规则如下：输入类型 返回类型 TINYINT BIGINT SMALLINT BIGINT INT BIGINT BIGINT BIGINT FLOAT DOUBLE DOUBLE DOUBLE DECIMAL DECIMAL 示例数据 为便于理解各函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例...
PERCENTILE_APPROX
当您需要估计大型数据集中的百分位数，尤其是当精确计算百分位数成本过高或不可行时，MaxCompute支持使用PERCENTILE_APPROX函数计算近似百分位数，先对指定列升序排列，然后取第 p 位百分数对应的值。此函数为MaxCompute 2.0扩展函数，本文...
概述
例如，需要统计在过去的1分钟内有多少用户单击了某个网页，可以通过定义一个窗口来收集最近1分钟内的数据，并对这个窗口内的数据进行实时计算。Flink SQL支持的窗口聚合主要是两种：Window聚合和Over聚合。本文档主要为您介绍Window聚合。...
ARG_MIN
示例数据 为便于理解各函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例。创建表emp，并添加数据，命令示例如下：create table if not exists emp(empno bigint,ename string,job string,mgr bigint,hiredate datetime,sal...
ARG_MAX
示例数据 为便于理解各函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例。创建表emp，并添加数据，命令示例如下：create table if not exists emp(empno bigint,ename string,job string,mgr bigint,hiredate datetime,sal...
云计算资源类型
云计算资源是 企业数据智能平台 中数据标准字段使用的基础，通过了解数据标准支持的云计算资源类型，并在系统设置模块添加数据标准需要使用的云计算资源类型对应资源，以备在物理化质量校验函数和物理化数据字典时使用。本文介绍数据标准...
COVAR_SAMP
示例数据 为便于理解各函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例。创建表emp，并添加数据，命令示例如下：create table if not exists emp(empno bigint,ename string,job string,mgr bigint,hiredate datetime,sal...
功能发布记录 2022年之前
DataWorks的数据治理中心从全局视角、工作空间视角、个人视角，自动发现并量化平台使用过程中数据存储、任务计算、代码开发、数据质量及数据安全等维度存在的待治理问题，并通过健康分模型进行统计，以治理报告及治理排行榜的形式呈现治理...
聚合函数
聚合（Aggregate）函数的输入与输出是多对一的关系，即将多条输入记录聚合成一条输出值，可以与 group by 语句配合使用。本文为您提供SQL分析支持的聚合函数的命令格式、参数说明及示例，指导您使用聚合函数完成开发。SQL分析支持的聚合...
MIN_BY
示例数据 为便于理解各函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例。创建表emp，并添加数据，命令示例如下：create table if not exists emp(empno bigint,ename string,job string,mgr bigint,hiredate datetime,sal...
MAX_BY
示例数据 为便于理解各函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示例。创建表emp，并添加数据，命令示例如下：create table if not exists emp(empno bigint,ename string,job string,mgr bigint,hiredate datetime,sal...
PERCENTILE
计算精确百分位数，适用于小数据量。先对指定列升序排列，然后取精确的第 p 位百分数。p 必须在0和1之间。此函数为MaxCompute 2.0扩展函数。注意事项 升级到MaxCompute 2.0后，产品扩展了部分函数。如果您用到的函数涉及新数据类型...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
基于Flink+Paimon搭建流式湖仓
本文为您介绍如何通过实时计算Flink版和流式数据湖仓Paimon搭建流式湖仓。背景信息 随着社会数字化发展，企业对数据时效性的需求越来越强烈。传统的离线数仓搭建方法论比较明确，通过定时调度离线作业的方式，将上一时段产生的新鲜变更并入...
MaxCompute安全白皮书
如果多个项目空间之间两两互相设置为TrustedProject，那么这些项目空间就形成了一个TrustedProject Group，数据可以在这个Project Group内流动，但禁止流出到Project Group之外。管理TrustedProject的命令如下 list trustedprojects;查看...
HTAP中的行列混存查询优化
由于在执行查询时使用的执行计划好坏对性能的影响非常关键，因此在所有的数据库系统中都存在查询优化器，典型的查询优化器结构如下图所示：通常，查询优化器会通过如下三个典型组件来协同工作：Plan space enumeration：根据一系列的等价...
- 产品推荐
- 这些文档可能帮助您