如何优化Batch Insert
单表的性能基准 在分布式场景下单表只会在一个主机上，其性能可以作为一个基础的性能基线，用于评测分区表的水平扩展的能力，分区表会将数据均匀分布到多台主机上。测试方法为对 PolarDB-X 中的单表进行Batch Insert操作，单表的数据只会...
版本发布说明
修复开启单表打散功能时，单表关联存在错误下推风险的问题。修复CoHash的Right分区函数计算结果不正确导致的分区路由问题，发布日期：2023-12-27 大版本：V5.4.18 小版本：17034692 类别 说明 新增&优化 新增支持AUTO模式数据库的co_hash...
分区表常见问题
相同数据量的情况下，单表只有一个B+树，分区表是每个分区一个B+树，树的层级相对较低，insert性能会更好；分区表能使用where条件进行分区剪枝的查询场景可以减少数据的扫描和计算，性能也会更优；相对于分库分表，使用分区表在做JOIN、DDL...
案例介绍
下表为下单的事实逻辑表，仅列举了部分属性字段。属性字段 说明 来源字段 关联维度 order_id 订单ID dummy_retail_ods.s_order.id 无 order_time 下单时间 dummy_retail_ods.s_order.gmt_create 无 customer_id 消费者（买家）ID dummy_...
基于MaxCompute实现拉链表
节点间的依赖关系，如下图所示：ods_order_di 表数据：交易下单源表，包含业务主键订单ID和需要追踪变化的订单状态status字段，用于存放每日新增交易下单数据。在 ods_order_di 节点编辑页面，需要将以下 ods_order.csv 测试数据，存储在 ...
明细数据层（DWD）
在事实表中，通常通过业务描述来表述粒度并定义事实表主键，但对于聚集性事实表的粒度描述（例如存在下单、支付等多个事务），可以基于多个字段拼接，形成新的字段作为事实表主键，也可以不定义主键，这样一行记录即最小粒度。在同一个事实...
V5.4.x系列实例版本说明
新增支持单表下推场景下的变量赋值语法。修复问题 修复 MIN_ALLOCATE_SIZE 参数设置时会出错的问题。修复当列名定义与引用的大小写不同时，会导致GSI创建失败的问题。V5.4.9-16116300 日期2021-01-26 类别 说明 新增特性 兼容MySQL ...
V5.3.x系列实例版本说明
修复单表场景下ALTER TABLE ADD自增主键错误创建了SEQUENCE的问题。修复一些开启事物场景下导致报错的问题，提升事物兼容性。修复数据库插入YEAR类型非法字段成功导致的SELECT语句出错问题。修复CREATE TABLE…PARTITION BY RANGE COLUMNS...
如何支持超大事务
在本场景下，单分片的事务修改的数据量最多不应超过1 GB，8分片的事务修改的数据量最多不应超过4 GB。如果想支持更大的事务，比如在一个事务中修改更多的数据，请把数据表划分到更多的分片上。场景三 在该场景下，执行SQL语句数量较多，每...
CreateTable
如果需要提高单实例下表数目的上限，请 提交工单。请求消息结构 message CreateTableRequest { required TableMeta table_meta=1;required ReservedThroughput reserved_throughput=2;optional TableOptions table_options=3;optional ...
MaxCompute表数据
数据探查提供 手动探查 和 自动探查 两种方式：手动探查：配置手动探查任务的操作如下：说明 探查任务运行在当前表所在的MaxCompute项目下，单表探查仅支持10列。为优化资源，请仅勾选需要探查的列。在 数据探查 页签下，单击 手动探查。在...
明细粒度事实层（DWD）
例如：dwd_asale_trd_ordcrt_trip_di（A电商公司航旅机票订单下单事实表，日刷新增量）及dwd_asale_itm_item_df（A电商商品快照事实表，日刷新全量）。本教程中，DWD层主要由三个表构成：交易商品信息事实表：dwd_asale_trd_itm_di。交易...
明细粒度事实层（DWD）
例如：dwd_asale_trd_ordcrt_trip_di（A电商公司航旅机票订单下单事实表，日刷新增量）及dwd_asale_itm_item_df（A电商商品快照事实表，日刷新全量）。本教程中，DWD层主要由三个表构成：交易商品信息事实表：dwd_asale_trd_itm_di。交易...
步骤二：开发事实逻辑表
本文为您介绍如何基于本教程完成 下单购买事实逻辑表（fct_order_buy_di）开发。步骤一：新建事实逻辑表 在Dataphin首页，单击顶部菜单栏的 开发。按照下图操作指引，进入 新建事实逻辑表 对话框。在 新建事实逻辑表 页面，配置相关参数。...
步骤二：开发事实逻辑表
本文为您介绍如何基于本教程完成 下单购买事实逻辑表（fct_order_buy_di）开发。步骤一：新建事实逻辑表 在Dataphin首页，单击顶部菜单栏的 开发。按照下图操作指引，进入 新建事实逻辑表 对话框。在 新建事实逻辑表 页面，配置相关参数。...
ALTER TABLE
限制条件 MaxCompute单表支持的分区数量上限为6万个。对于有多级分区的表，如果需要添加新的分区值，必须指明全部的分区。仅支持新增分区值，不支持新增分区字段。命令格式 alter table<table_name>add[if not exists]partition[partition...
AUTO模式数据库与DRDS模式数据库
上述DDL在DRDS模式数据库中创建出来的表是一张单表（如下图所示，默认不分区）：执行 SHOW 语句，查看完整建表语句：SHOW FULL CREATE TABLE tb \G*1.row*Table:tb Create Table:CREATE TABLE `tb`(`a` int(11)NOT NULL,`b` int(11)DEFAULT...
逻辑表DQL操作
示例说明：下图示例中，下单事实逻辑表ld_test.fct_crt_sale_order_id 关联了 客户维度逻辑表ld_test.dim_customer 和 地址维度逻辑表ld_test.dim_address；地址维度逻辑表ld_test.dim_address 关联了 城市维度逻辑表 ld_test.dim_region_...
逻辑表DQL操作
示例说明：下图示例中，下单事实逻辑表ld_test.fct_crt_sale_order_id 关联了 客户维度逻辑表ld_test.dim_customer 和 地址维度逻辑表ld_test.dim_address；地址维度逻辑表ld_test.dim_address 关联了 城市维度逻辑表 ld_test.dim_region_...
RDS MySQL的单表尺寸限制
单表的有效最大表尺寸通常受限于操作系统的文件尺寸限制，而不是受MySQL内部机制的限制。由于存在部分元数据的开销，RDS MySQL单表的最大尺寸为略小于2 TB。说明 建议控制单表数据量在如下范围以保证良好的性能。表中记录数在2000万条以内...
RDS MySQL的单表尺寸限制
单表的有效最大表尺寸通常受限于操作系统的文件尺寸限制，而不是受MySQL内部机制的限制。由于存在部分元数据的开销，RDS MySQL单表的最大尺寸为略小于2 TB。说明 建议控制单表数据量在如下范围以保证良好的性能。表中记录数在2000万条以内...
产品和业务限制
在计算资源充足的情况下，特定目标单表查询近3个月内的数据，返回前10000条，响应时间不超过5秒，并发度不低于100。单台前端机入库能力峰值不低于3万行/秒或18 MB/秒（每条按600字节计算，全天按4万秒计算），集群入库能力峰值不低于42万行...
EXCHANGE PARTITION
本文介绍了使用一个分区或子分区与单表进行交换的方法。语法 ALTER TABLE.EXCHANGE PARTITION 命令用于将一个分区或子分区与单表进行交换，可以将一个与分区表的表结构相同的单表交换为分区表中的一个分区或子分区。语法如下：ALTER TABLE ...
基本概念
分片（Shard）在超大规模海量数据处理场景下，单台服务器的存储、计算资源会成为瓶颈。为了进一步提高效率，云数据库ClickHouse 将海量数据分散存储到多台服务器上，每台服务器只存储和处理海量数据的一部分，在这种架构下，每台服务器被...
连接 Navicat 客户端
功能说明 数据访问代理与 Navicat 完成连接后，在本地 Navicat 客户端中，支持与不支持的操作分别如下：支持访问授权的数据库 支持双击打开数据表（单库单表、分库分表均支持）支持查询数据表结构（单库单表、分库分表均支持）支持在 SQL ...
2020年及以前
本文介绍2020年及以前 云原生数据仓库AnalyticDB PostgreSQL版 的产品功能动态和对应的文档。2020年12月28日 类别 功能 功能描述 相关文档 新增 Ganos...无 缺陷修复 单表简单查询场景下优先选择PostgreSQL自带优化器。实例扩容升配性能提升。
如何发布和调用JDBC数据服务
多表查询 与单表查询类似，可参见单表查询结果参数说明，只是特定配置项和字段要求略有不同。在 接入协议 页面配置接入服务。配置项说明：数据服务类型：选择 多表查询。数据表名和表别名列表：以英文逗号（,）分隔的多个数据库表和别名，...
UPDATE
AnalyticDB MySQL 支持单表更新和多表更新。注意事项 执行 UPDATE 命令时，要求表中存在主键。暂不支持更新主键列。仅单表更新支持ORDER BY和LIMIT子句。单表更新 语法 UPDATE table_name SET assignment_list[WHERE where_condition]...
SQL使用限制
单表分区数 60000个 数量限制 单表的分区个数最多为60000个。表的分区层级 6级 数量限制 在表中创建的分区层次不能超过6级。屏显 10000行 数量限制 SELECT语句屏显最多输出10000行。INSERT 目标个数 256个 数量限制 MULTI-INSERT 场景，...
维度建模概述
例如下订单这一业务过程中，您可以创建下订单这一明细表，用于记录下单过程可能产生实际数据字段，例如订单ID、订单创建时间、商品ID、数量、金额等。后续您可将这些明细表部署到数仓中，通过ETL将真实的数据按照明细表的定义方式进行汇总...
创建逻辑模型：明细表
例如下订单这一业务过程中，您可以创建下订单这一明细表，用于记录下单过程可能产生实际数据字段，例如订单ID、订单创建时间、商品ID、数量、金额等。后续您可将这些明细表部署到数仓中，通过ETL将真实的数据按照明细表的定义方式进行汇总...
Dataphin资产治理功能的治理分析打分规则
存储 物理表 物理表总分 物理表权重：文件大小的1/3，空表大小默认1 总分为各物理表的加权平均分数 存储 逻辑表 单表分数 初始100分，逻辑空表扣20分，黑盒物化空表扣30分，逻辑废弃扣30分，逻辑未管理表扣20分。存储 逻辑表 逻辑表总分 ...
整体流程和预估时间
224.06 GB 4000 8000 是 3小时38分钟25秒 1小时43分钟36秒 1.03 GB/分钟 2.16 GB/分钟 111%否 2小时23分钟0秒 1.57 GB/分钟 38%4核16 GB 单表 208.83 GB 4000 8000 是 3小时3分钟31秒 1小时36分钟41秒 1.14 GB/分钟 2.16 GB/分钟 89%否 1...
维度层（DIM）
通过单表的不同字段混合处理得到维度属性。通过对单表的某个字段进行解析得到维度属性。维度表规范 提交普通维度或层级维度时，会自动生成对应的维度逻辑表，不支持用户自定义新建维度逻辑表。此外，Dataphin还支持定义枚举维度和虚拟维度...
读写MaxCompute数据
同步单表信息（非分区表）例如MaxCompute中有以下分区表：CREATE TABLE IF NOT EXISTS part_datatype_test_complex(int_test int,bigint_test bigint,double_test double,string_test string,datetime_test datetime,boolean_test boolean,...
概述
例如下订单这一业务过程中，您可以创建下订单这一明细表，用于记录下单过程可能产生实际数据字段，例如订单ID、订单创建时间、商品ID、数量、金额等。后续您可将这些明细表部署到数仓中，通过ETL将真实的数据按照明细表的定义方式进行汇总...
变更表类型及拆分规则（DRDS模式）
PolarDB-X 新增支持变更表的类型（即在单表、拆分表和广播表三者间进行相互转换），和变更拆分表的拆分规则（包括拆分函数或拆分列）。本文介绍相关语法和示例，本语法仅适用于DRDS模式数据库。前提条件 仅内核小版本为5.4.8或以上的 ...
QuerySingleAggregationReport-单表聚合查询
单表聚合查询（数据可能有修改）。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 GET/v2/openapi/...
二级索引限制
单表二级索引个数 5 每张数据表最多创建5个索引表。索引列个数 1～4 索引表中最多添加4个索引列，索引列为数据表主键和预定义列的任意组合。主键列个数 8 索引表的主键由索引列和数据表自动补齐的主键列组成。索引列的数据类型 String、...
BUILD
自动触发BUILD任务 自动触发BUILD任务需要满足以下其中一个条件：达到最小BUILD时间间隔（数仓版（3.0）预留模式：0.5小时，数仓版（3.0）弹性模式：1.5小时，湖仓版（3.0）：1.5小时），且单表的某个一级分区满足新增数据达到5万条。...
- 产品推荐
- 这些文档可能帮助您