API概览
GetTableColumnStatistics 获取元数据表字段的统计信息 获取数据湖元数据表指定字段的统计信息。GetTableVersion 获取元数据表指定版本 获取数据湖元数据表的一个指定版本。ListTableNames 获取元数据表名称列表 仅用于查询数据湖元数据表...
基础统计分析
二、诊断报告 下面用demo数据演示了基础统计分析报告，其中展示了每天的用户量，展示了多个bigint特征从最大值最小值、百分位数、频数统计等多个角度的分析报表。诊断结果中显示空值率大于0.4，需要关注city字段。展示每天的数据总量 唯一...
数据源配置常见问题
如果您想获取阿里云产品的数据信息（例如ECS负载状况、SLS日志统计），在DataV中可以使用 Open API数据源。Open API仅支持调用阿里云产品提供的API。具体使用操作请参见 添加Open API数据源。什么情况下DataV不能直接使用API数据源，只能...
数据源配置常见问题
如果您想获取阿里云产品的数据信息（例如ECS负载状况、SLS日志统计），在DataV中可以使用 Open API数据源。Open API仅支持调用阿里云产品提供的API。具体使用操作请参见 添加Open API数据源。什么情况下DataV不能直接使用API数据源，只能...
规划器使用的统计信息
在组合多个列（例如 GROUP BY a,b）时，如果规划器只有单列统计数据，则对可区分值数量的估计常常会错误，导致选择不好的计划。为了改进这种估计，ANALYZE 可以为列组收集可区分值统计信息。和以前一样，为每一种可能的列组合做这件事情是...
名词解释
度量 即被聚合（观察）的统计值。是聚合运算的结果，如UV（用户数）、交易金额等经过统计的数值。数据集 以二维表表现的数据集合。二维数据基于特定数据库和特定SQL查询所产生，因此需要配置数据库和查询SQL。图表 可用来直观表现数据特性...
如何统计冷存数据
场景描述 表、索引转存至冷存过程中会进行压缩，所以存储在冷存中的数据相比在云盘上的存储空间也会减少，其统计的规则也会发生变化，PolarDB PostgreSQL版 提供了冷存数据存储空间统计函数，用户可以通过统计函数了解数据的使用情况。...
如何统计冷存数据
场景描述 表、索引转存至冷存过程中会进行压缩，所以存储在冷存中的数据相比在云盘上的存储空间也会减少，其统计的规则也会发生变化，PolarDB PostgreSQL版（兼容Oracle）提供了冷存数据存储空间统计函数，用户可以通过统计函数了解数据的...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
数据保护规则简介
在使用全密态功能之前，您需要配置数据保护规则，规则包括：指定目标数据列为被保护数据、声明数据保护方法（例如加密、脱敏）、授权指定用户访问数据等。本文介绍数据保护规则格式及说明。规则格式及说明 {"version":20230830,"rules":[{...
配置数据识别规则
背景信息 DataWorks支持您按照数据的敏感级别和所属分类定义数据识别规则，帮助您识别组织内的敏感数据，对于识别结果不准确的数据，您可以 手动修正数据，并在 敏感数据概况 模块为您展示最近的通过数据识别规则命中的、按照项目细分的...
2023年
从RDS MySQL同步至AnalyticDB PostgreSQL版Serverless模式 什么是数据传输服务DTS 索引 Serverless支持主键索引和二级索引。无 行级别的数据更新 Serverless支持行级别的数据并发写入、更新和删除。无 Bloom Filter优化功能 Serverless新增...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
创建逻辑模型：维度表
存储策略 维度表基于什么策略（即存储数据的时间周期及数据量范围）存储数据。维度 维度表关联的维度，用于配置维度表分析数据的视角。说明 创建维度，详情请参见 创建概念模型：维度。表名规则 通过已配置的检查器规范维度表的命名规则。...
查看运维大屏
运维大屏为您展示工作空间的运维稳定性评估、重点关注的运维指标、调度资源使用及周期任务运行概况，以及数据集成同步任务的运行详情，助力您从宏观角度快速了解空间任务的整体概况，及时发现并处理异常任务，提升运维效率。使用说明 运维...
数仓构建流程
本文为您介绍如何基于阿里巴巴OneData方法论最佳实践，使用Dataphin助力企业数据中台的建设与管理，快速构建标准、规范的数据仓库。数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前，您需要了解...
常见问题
本文汇总了 云数据库ClickHouse 的常见问题及解决方案。选型与购买 云数据库ClickHouse和官方版本对比多了哪些功能和特性？购买实例时，推荐选择哪一个版本？单双副本实例各有什么特点？购买链路资源时显示“当前区域资源不足”，应该如何...
名词解释
度量 即被聚合（观察）的统计值。是聚合运算的结果，如UV（用户数）、交易金额等经过统计的数值。数据集 以二维表表现的数据集合。二维数据基于特定数据库和特定SQL查询所产生，因此需要配置数据库和查询SQL。图表 可用来直观表现数据特性...
数仓构建流程
粒度是维度的一个组合，指明您的统计范围。例如，某个指标是某个卖家在某个省份的成交额，则粒度就是卖家、地区这两个维度的组合。如果您需要统计全表的数据，则粒度为全表。在指定粒度时，您需要充分考虑到业务和维度的关系。统计粒度常...
数仓构建流程
粒度是维度的一个组合，指明您的统计范围。例如，某个指标是某个卖家在某个省份的成交额，则粒度就是卖家、地区这两个维度的组合。如果您需要统计全表的数据，则粒度为全表。在指定粒度时，您需要充分考虑到业务和维度的关系。统计粒度常...
SQL其他常见问题
定时（例如每天）对ODS层的增量数据做数据清洗，复杂字段拆分为多个简单字段，然后存储在CDM层的表中，便于统计和分析数据。在执行MaxCompute SQL过程中，报错partitions exceeds the specified limit，如何解决？问题现象 在执行...
新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
开发运维建议
本文介绍RDS PostgreSQL的一些开发运维建议，帮助您有效提升数据库使用的规范性和稳定性，保持高性能。客户端连接池 使用绑定变量（PreparedStatement），消除数据库SQL硬解析CPU消耗，对性能提升巨大。减少idle connection数量。可以降低...
API概览
DescribeChannelAreaDistributionStatData 获取频道地区分布统计数据 本接口用于获取频道地区分布统计数据。DescribeChannelTopPubUserList 获取频道内发布端的用户列表 本接口用于获取频道内发布端的用户列表（按用户在线时长降序）。...
2020年
本文介绍 PolarDB PostgreSQL版（兼容Oracle）的产品功能动态，分别为内核小版本、控制台、时空数据库和API的更新说明。说明 您可通过如下语句查看 PolarDB PostgreSQL版（兼容Oracle）的内核小版本的版本号：show polar_version;2020年12...
C100售前支持相关问题
审计规则有什么用，能否拦截操作？审计规则可以发现数据库中存在的安全风险。数据库审计是旁路设备，无法拦截数据库的操作。数据库配置审计规则后，审计记录命中规则时，会触发告警。报表是否可以同步外送？可以。添加订阅报表任务后，数据...
数据标准概述
Dataphin支持创建并管理数据标准，以保障数据的标准化生产与管理，节约数据应用和处理的成本。背景信息 数据标准目标是为 业务、技术 和 管理 提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。...
数据标准概述
Dataphin支持创建并管理数据标准，以保障数据的标准化生产与管理，节约数据应用和处理的成本。背景信息 数据标准目标是为 业务、技术 和 管理 提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义和应用的过程。...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
统计信息
在 统计信息 页，查看数据库实例的统计信息。在 统计信息总览 区域，查看统计信息的概况。单击 更新统计信息 按钮并确认，系统后台会异步更新实例上所有统计信息。单击 重新采集 按钮并确认，系统后台会异步重新采集数据，等待几分钟后，...
存储成本优化
如果小时调度的统计任务也按天分区，数据每小时追加，则每小时将多读取大量的无用数据，增加不必要的费用。您可以根据实际的业务情况选择分区字段，除了日期和时间，也可以使用其他的枚举值个数相对固定的字段，例如渠道、国家和省份地市。...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
数据建模
本文将为您介绍如何载入DataWorks中处理好的数据到人工智能平台PAI中，构建窃漏电用户的识别模型。前提条件 开始本文的操作前，请首先完成 加工数据 中的操作。新建实验 新建空白工作流并进入工作流，具体操作，请参见 新建自定义工作流。...
DROP STATISTICS
DROP STATISTICS 用于删除数据库中的统计对象。注意事项 只有统计对象的所有者、模式的所有者或超级用户可以删除统计对象。语法 DROP STATISTICS[IF EXISTS]name[,.]参数 name 要删除的统计对象的名称（可以有模式修饰）。示例 删除不同...
配置跨库Spark SQL节点
示例：某消费服务平台使用的是MySQL数据库，需要在数据仓库 AnalyticDB PostgreSQL版 中对消费数据进行消费金额、消费笔数等的统计分析，将统计分析后的数据回传到消费服务平台上，供用户进行在线查询。将MySQL中的增量消费数据同步到 ...
计费项
数据传输服务DTS（Data Transmission Service）不同实例的收费项目不同，本文详细介绍了DTS产品的计费项和计费规则。DTS实例的价格主要与计费方式、实例的功能类型、实例的集群类型、源和目标数据库实例所属的地域、链路数量、订购时长等...
查看资源用量大盘
默认展示最近60天的统计数据。②指标统计区 为您展示当前租户已使用的数据处理单元总量，以及每种任务类型分别占用的数据处理单元数。您可点击卡片标题后的 的图标查看该任务类型的数据处理单元折算口径，此外，为可更快捷的对比用量增长...
数据资产管理
本文介绍如何通过DMS的数据资产管理功能对 云原生数据仓库AnalyticDB MySQL版 集群中的元数据、数据血缘、数据质量进行统一管理。背景信息 AnalyticDB MySQL版 中包含了大量对内对外极具价值或核心的数据（这里不仅指数字，还包含业务逻辑...
数据库
数据库基本信息 pg_stat_database pg_stat_database 视图将显示集群中每一个数据库中的每一行数据库范围的统计信息。相关参数信息如下表所示：参数 类型 描述 datid oid 数据库OID。datname name 数据库名称。numbackends integer 当前连接...
- 产品推荐
- 这些文档可能帮助您