存储空间分析
说明 如果主键索引数据量较大，您可以在 表空间信息 中找到主键索引占比较大的表，并进行优化。表空间信息详情，请参见 查看表的数据量。其他 AnalyticDB for MySQL 集群中所有表热分区的元数据、临时数据等。冷数据量 说明 AnalyticDB for...
逆向建模：物理表反向建模
建模流程 逆向建模主要用于将大数据引擎中已经存在的物理表反向建模至DataWorks的维度建模中，其建模流程如下：配置逆向建模策略。建模范围：创建模型前，您需要根据业务需求确定需要将哪些表逆向生成模型。该过程需确定表所在的工作空间、...
数据传输规格说明
目标端实例的写入性能不是瓶颈，能够支持各规格对应的性能压力。源端实例/目标端实例与 OceanBase 数据传输服务的网络延迟小于等于 2ms。迁移或同步的表对象数量小于或等于下表建议的迁移或同步最大表对象数量。规格定义 性能上限（RPS）...
管理健康报告
当平均写入文件耗时较短，同时文件数量较大时，此类表的小文件问题潜在影响也越大。通过上述算法，我们可以量化表的小文件问题，从而有针对性地对Top 20的表进行优化处理，以改善整体集群性能。主要字段说明如下。字段 说明 表集合 记录...
流量诊断
本文介绍如何通过集群管理系统查看表流量信息和表异常流量检测结果。背景信息 在实际使用数据库的过程中...在 大查询表检测 区域，查看采样命中次数较多的表流量监测的详细信息。检测结果中的预估请求量表示热点分片所在表每秒的预估请求数。
查询报错问题
当SQL所需处理单表或者多表join时的结果较大时，计算节点内存会成为系统瓶颈。分析型数据库MySQL版CN节点为避免SQL压垮系统，会进行自我保护，自动将查询消耗内存较大的SQL fail掉，保证其它查询正常。因此当查询分析型数据库MySQL版报错...
ALTER TABLE
ALTER TABLE语法用于修改表的结构，例如增加列、删除列、修改列的数据类型、新增表属性等。本文介绍ALTER TABLE语法在不同引擎中的使用方法和差异。引擎与版本 ALTER TABLE语法适用于宽表引擎和时序引擎。无版本限制。注意事项 ALTER TABLE...
嵌套表
嵌套表具有以下特征：必须定义嵌套表类型，之后可以为该嵌套表类型声明嵌套表变量。使用嵌套表变量（或简称为“表”）进行数据操作。声明嵌套表变量时，嵌套表最初不存在（它是一个null集合）。必须使用构造函数初始化null表。您还可以使用...
表结构设计
在选择表类型时，需要注意如下几点：复制表会在集群的每个节点存储一份数据，因此建议复制表中的数据量不宜太大，每张复制表存储的数据不超过2万行。普通表（即分区表）能够充分利用分布式系统的查询优势，提高查询效率。普通表可存储的...
表设计规范
表设计主要影响 表设计影响的操作有：创建表、导入数据、更新表、删除表及管理表。其中，导入数据场景按照实时数据采集和离线导入批量数据的方式分为如下三种：导入后立即查询与计算。导入后立即查询与计算，需要考虑每次导入的数据量，...
表设计最佳实践
表中的部分字段被更新。例如，用户的地址、产品的描述信息、订单的状态和手机号码等。需要查看某一个时间点或时间段的历史快照信息。例如，查看某一个订单在某一个历史时间点的状态，或查看某一个用户在过去某段时间内更新过几次等。变化的...
CREATE TABLE
创建非分区表、分区表、外部表或聚簇表。限制条件 分区表的分区层级不能超过6级。例如某张表以日期为分区列，分区层级为 年/月/周/日/时/分。一张表允许的分区个数支持按照具体的项目配置，默认为6万个。更多表的限制条件，请参见 SQL使用...
版本发布说明
本文介绍 PolarDB-X 实例版本的发布...修复在JDBC模式下，通过DMS不带执行limit的大表扫描时可能偶发报错的问题。发布日期：2023-07-13 大版本：V5.4.17 小版本：16890724 类别 说明 优化 优化索引的缺省命名逻辑，与MySQL保持一致。缺陷修复 ...
表
PyODPS支持对MaxCompute表的基本操作，包括创建表、创建表的Schema、同步表更新、获取表数据、删除表、表分区操作以及如何将表转换为DataFrame对象。背景信息 PyODPS提供对MaxCompute表的基本操作方法。操作 说明 基本操作 列出项目空间下...
外部表自动加载（Auto Load）
应用场景 Hologres与 云原生大数据计算服务MaxCompute、阿里云数据湖构建（Data Lake Formation，DLF）和 阿里云对象存储（Object Storage Service，OSS）深度兼容，无需数据搬迁，即可通过外部表加速查询存储于MaxCompute或OSS的数据。...
超大消息传输
当消息内容大于64 KB以至于无法直接存入MNS队列时，不做...注意事项 大消息主要消费网络带宽，用该方案发送大消息时，生产者和消费者的网络带宽可能会是瓶颈。大消息网络传输时间较长，受网络波动影响的概率更大，建议在上层做必要的重试。
基于MaxCompute实现拉链表
表中的部分字段被更新。例如，用户的地址、产品的描述信息、订单的状态和手机号码等。需要查看某一个时间点或时间段的历史快照信息。例如，查看某一个订单在某一个历史时间点的状态，或查看某一个用户在过去某段时间内更新过几次等。变化的...
Hive采集字段
简介 Hive采集工具通过访问Metastore DB 进行相关资源信息采集，当前支持的类型为MySQL数据库。基本信息 通过对Hive的对象信息进行盘点，采集的字段重点举例为：Hive版本 Hive db名称 Hive db大小 表个数 分区表个数 外部表个数 事物表个数...
查看集群日报与分析
存在分区热点的表详细信息 表分区均衡度倒排Top 表分区平均数据量倒排Top 表数据量Top 表数据量日环比Top 表分区数Top 表分区日环比Top 表读请求数Top 表读请求数日环比Top 表写请求数Top 表写请求数日环比Top Hive存储资源 详细分析 该...
应用场景
海量数据读写 随着业务的快速增长，数据量不断的增大，就会出现单表/单库数据量太大、单台数据库服务器压力很大、读写速度遇到瓶颈等一系列问题。尽管可以通过增大数据库实例的物理配置得到一定程度的缓解，但无法根本解决数据库单机瓶颈。...
透视分析：按资源类型
表数量趋势：查看所选工作空间在指定时间段内的开发表、生产表或所有表的数量变化趋势。表存储分布：查看所选工作空间在指定日期内表的存储情况。表存储趋势：查看所选工作空间在指定时间段内的开发表、生产表或所有表的存储变化趋势。表...
如何统计表行数
注意事项 云原生多模数据库 Lindorm 是基于LSM-Tree存储结构的NoSQL数据库，如果您要精确查询Lindorm宽表的行数，需要扫描全表，表越大，耗时越长，所以不建议频繁在Lindorm宽表中进行COUNT操作。如果您确实需要获取表的行数，可以通过以下...
同步时源库为Db2 for LUW的注意事项及限制
全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。在DTS同步期间，若有除DTS外的数据写入目标库，则会导致源库与目标库数据不一致。您可以在DTS同步结束后，使用...
同步时源库为PolarDB-X 2.0的注意事项及限制
全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。在DTS同步...
使用HBase快照
重要 如果导入快照时您没有指定该参数，HBase会根据表的大小来计算该值，如果数量过大，则会影响HBase正在运行的任务。因此，建议您指定-mappers 或者-bandwidth 参数的值以限制导入快照使用的集群资源。导出快照 您可以使用命令行方式将...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
创建数据表
使用CreateTable接口创建数据表时，需要指定数据表的结构信息和配置信息，高性能实例中的数据表还可以根据需要设置预留读/写吞吐量。创建数据表的同时支持创建一个或者多个索引表。说明 创建数据表后需要几秒钟进行加载，在此期间对该数据...
RDS外部表
在查询表或列名时，无需区分大小写，且不支持强制转换大小写。开启Hive兼容模式。set odps.sql.hive.compatible=true;CREATE EXTERNAL TABLE(<col_name1><data_type>,<col_name2><data_type>,.)STORED BY '...
概览
集群管理系统的概览页面提供了 云原生多模数据库 Lindorm 实例宽表引擎中所有表的详细信息，包括表的大小、分片情况、数据预览、表结构、限流信息等。本文介绍如何通过集群管理系统管理宽表。前提条件 已登录目标实例的集群管理系统，具体...
创建二级索引
二级索引相当于把数据表的主键查询能力扩展到了不同的列，当需要使用属性查询数据时，您可以通过创建二级索引加快数据查询的效率。设置预定义列后，在创建二级索引时将预定义列作为索引表的索引列或者属性列。创建二级索引后，您可以使用二...
ANALYZE和AUTO ANALYZE
会对列的Number of Distinct Value（NDV）进行APPROX_COUNT_DISTINCT计算，在很多情况下，这样计算的值相比采样更准确，但开销比采样表更大，因此只适合对重点列进行指定ANALYZE。NDV以外的Histogram、Width等信息，仍然通过采样得到。因此...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
公共维度汇总层（DIM）
公共维度汇总层（DIM）主要由维度表（维表）构成。维度是逻辑概念，是衡量和观察业务的角度。维表是根据维度及其属性将数据平台上构建的物理化的表，采用宽表设计的原则。因此，公共维度汇总层（DIM）首先需要定义维度。定义维度 在划分...
公共维度汇总层（DIM）
公共维度汇总层（DIM）主要由维度表（维表）构成。维度是逻辑概念，是衡量和观察业务的角度。维表是根据维度及其属性将数据平台上构建的物理化的表，采用宽表设计的原则。因此，公共维度汇总层（DIM）首先需要定义维度。定义维度 在划分...
pg_class
TOAST表将大属性“线外”存储在一个二级表中。relhasindex bool 如果这是一个表并且其上建有（或最近建有）索引则为真。relisshared bool 如果该表在集簇中的所有数据库间共享则为真。只有某些系统目录（如 pg_database）是共享的。...
创建二级索引
二级索引相当于把数据表的主键查询能力扩展到了不同的列，当需要使用属性查询数据时，您可以通过创建二级索引加快数据查询的效率。设置预定义列后，在创建二级索引时将预定义列作为索引表的索引列或者属性列。说明 二级索引包括全局二级...
同步时源库为MySQL的注意事项及限制
全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。如同步对象为单个或多个表（非整库），那么在数据同步时，勿对源库的同步对象使用pt-online-schema-change等类似...
CLONE TABLE
当您需要将一张表中的数据复制到另一个表中时，可以使用MaxCompute的 clone table 功能，提高数据迁移效率。本文以具体示例为您介绍 clone table 功能的使用。功能介绍 clone table 支持高效地将源表中的数据复制到目标表中。将数据复制到...
新建层级维度逻辑表
层级维度逻辑表是具有层级结构关系的维度表。例如时间层级维度逻辑表，包含日、周、月、季、年等日期数据。本文为您介绍如何新建并配置层级维度逻辑表。前提条件 已完成层级业务对象的创建，具体操作请参见 创建并管理业务实体。步骤一：...
新建层级维度逻辑表
层级维度逻辑表是具有层级结构关系的维度表。例如时间层级维度逻辑表，包含日、周、月、季、年等日期数据。本文为您介绍如何新建并配置层级维度逻辑表。前提条件 已完成层级业务对象的创建，具体操作请参见 创建并管理业务实体。步骤一：...
- 产品推荐
- 这些文档可能帮助您