管理分区
DDM目前支持对MySQL、Oracle、DB2和GaussDB等数据库进行表分区操作。在逆向数据库时，支持抽取MySQL和Oracle数据库的表分区信息至模型工具中。操作步骤 在模型设计区，右键单击 编辑表，进入 表编辑器。在 表编辑器 页面，您可以编辑 分区 ...
分区表扫描算子
背景信息 对数据库的分区表进行扫描时，优化器会对每个子分区生成最优的执行计划，然后通过Append算子将子分区的执行计划串联起来，作为分区表扫描的最优执行计划。如果子分区的数量不多，上述过程将会快速完成。然而，PolarDB PostgreSQL...
分区表扫描算子
背景信息 对数据库的分区表进行扫描时，优化器会对每个子分区生成最优的执行计划，然后通过Append算子将子分区的执行计划串联起来，作为分区表扫描的最优执行计划。如果子分区的数量不多，上述过程将会快速完成。然而，PolarDB PostgreSQL...
应用场景
同时，OceanBase 数据库的分区表方案也可以使得用户完全无需关注数据的分布细节，轻松支持跨分区的分布式事务、多分区的关联，真正实现“透明”访问分布式数据库。会员系统的多维度查询 会员系统在很多企业中也都是存在的，系统中保存了很...
确认表血缘
任务配置上下游节点依赖前，您需先确认当前节点的表血缘关系（例如，表数据间的血缘关系、表产出的分区数据），基于血缘关系配置节点的调度依赖。本文为您介绍如何确认表血缘，以及未基于表血缘配置节点依赖的影响。背景信息 确认表血缘，...
分区表系统视图
PolarDB PostgreSQL版（兼容Oracle）提供了以下几个系统视图和系统函数，供您查看数据库中分区表的相关信息。pg_partitioned_table 返回字段说明 列名 描述 partrelid 分区表 pg_class 项的OID。partstrat 分区策略。取值如下：h：哈希分区...
分区表系统视图
PolarDB PostgreSQL版 提供了以下几个系统视图和系统函数，供您查看数据库中分区表的相关信息。pg_partitioned_table 返回字段说明 列名 描述 partrelid 分区表 pg_class 项的OID。partstrat 分区策略。取值如下：h：哈希分区表 l：列表...
版本发布说明
优化表组的表数目过大时，AUTO模式数据库中建表的速度。优化AUTO模式数据库中表数据量较大时，建表的速度。优化部分场景下数据迁移过程的校验速度。缺陷修复 修复XRPC下使用流式早停，小概率导致实例级连接池切库失败的问题。修复子查询...
DDL语句
表操作 功能 当前是否支持 创建表 是 说明 对于创建的外部表，Dataphin支持使用msck repair补全外部表分区数据语法格式。具体操作，请参见 内置Extractor访问OSS。修改表的注释 是 修改表的修改时间 是 修改表的聚簇属性 支持增加聚簇属性 ...
DDL语句
表操作 功能 当前是否支持 创建表 是 说明 对于创建的外部表，Dataphin支持使用msck repair补全外部表分区数据语法格式。具体操作，请参见 创建OSS外部表。修改表的注释 是 修改表的修改时间 是 修改表的聚簇属性 支持增加聚簇属性 不支持...
Db2 for LUW同步至云原生数据仓库 AnalyticDB ...
全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。在DTS同步期间，若有除DTS外的数据写入目标库，则会导致源库与目标库数据不一致。您可以在DTS同步结束后，使用...
API概览
本产品（数据湖构建/2020-...ListDatabases 获取元数据库列表 获取数据湖元数据库列表，分页查询，可以根据数据库名称匹配。表 表 CreateTable 新增元数据表 新增数据湖的元数据表。DeleteTable 删除元数据表 根据名称删除数据湖的元数据表。...
概述
PolarDB-X 2.0的AUTO模式数据库分区表支持使用一级分区与二级分区，并且一级分区的分区策略与二级分区的分区策略具备完全正交的能力，相互组合没有限制，详情请参考 手动创建分区表（AUTO模式）。为此，PolarDB-X 2.0的AUTO模式数据库分区...
TRUNCATE
如果您需要清空分区表中单个或多个分区的数据，请参见 清空分区数据。命令格式 truncate table;参数说明 table_name：必填。待清空数据的非分区表的名称。清空分区数据 清空分区表中指定分区的数据。MaxCompute支持通过条件筛选方式清空...
分区表系统视图
PolarDB PostgreSQL版（兼容Oracle）提供了以下几个系统视图和系统函数，供您查看数据库中分区表的相关信息。ALL_PART_TABLES 返回字段说明 列名 描述 owner 表的所有者。schema_name 表所在的schema。table_name 表名。partitioning_type ...
如何实现一键转冷存
参数 参数名称 描述 relname 分区表（父表）名称 reserved_subparts_cnt 存储位置不变的子分区表数量 说明 该函数只用于分区表，且只会将分区表子分区表数据转为OSS存储，子分区表上的索引数据存储位置不变。如果 reserved_subparts_cnt 为...
如何实现一键转冷存
参数 参数名称 描述 relname 分区表（父表）名称 reserved_subparts_cnt 存储位置不变的子分区表数量 说明 该函数只用于分区表，且只会将分区表子分区表数据转为OSS存储，子分区表上的索引数据存储位置不变。如果 reserved_subparts_cnt 为...
数据质量入门
通常，为保障周期调度产出的表数据符合预期，建议该分区表达式的取值与当天周期调度产出的表分区一致。说明 单表可多次执行添加操作，配置多个分区表达式，校验多个分区数据。在表规则配置页面，单击 图标。在 添加分区 对话框输入分区表达...
StarRocks物理表和字段详情
序号 描述 ① 快捷操作区 隐藏数据源表：勾选后将隐藏来自数据源的表对象及其下游。隐藏已删除表：血缘在提交和发布任务时进行解析。特殊情况下，如果数据表不是通过Dataphin调度任务删除的（如通过即席查询删除或直接在引擎侧删除），则...
分区和列操作
清空分区数据 清空指定分区的数据。列操作 添加列或注释 为已存在的非分区表或分区表添加列或注释。删除列 删除已存在的非分区表或分区表的列。更改列数据类型 更改已存在列的数据类型。修改列的顺序 调整表中指定列的顺序。修改列名 为已...
物化视图和字段资产详情
序号 描述 ① 快捷操作区 隐藏数据源表：勾选后将隐藏来自数据源的表对象及其下游。隐藏已删除表：血缘在提交和发布任务时进行解析。特殊情况下，如果数据表不是通过Dataphin调度任务删除的（如通过即席查询删除或直接在引擎侧删除），则...
分区表常见问题
在源端的数据库中某张表是不分区的，通过DTS迁移到目标数据库中，需要对该表进行分区，是否支持？支持。在数据同步任务中手动创建好分区表的结构，然后配置映射关系进行数据同步即可。大版本升级过程中，是否可以把普通单表转换为分区表？...
星环ArgoDB/TDH Inceptor物理表和字段详情
序号 描述 ① 快捷操作区 隐藏数据源表：勾选后将隐藏来自数据源的表对象及其下游。隐藏已删除表：血缘在提交和发布任务时进行解析。特殊情况下，如果数据表不是通过Dataphin调度任务删除的（如通过即席查询删除或直接在引擎侧删除），则...
使用存储过程将数据导入Hologres内部表（Beta）
命令开启GUC后，hg_insert_overwrite 命令支持往有普通视图依赖的表导入数据；暂不支持使用 hg_insert_overwrite 命令往有物化视图依赖的表中导入数据。如果选择部分字段导入，字段顺序需要与源表保持一致且一一对应。对于Hologres V2.0.11...
IMPORT PARTITION
语法 ALTER TABLE…IMPORT PARTITION 命令用于导入表分区的TABLESPACE（ibd文件）。ALTER TABLE table_name IMPORT PARTITION partition_name[,partition_name].TABLESPACE;说明 在包含有子分区的表上执行该命令时，指定分区名称后，该分区...
INTERVAL RANGE简介
INTERVAL RANGE是RANGE分区的扩展，当新插入的数据超过现有分区的范围时，该分区允许数据库自动创建新分区。前提条件 集群版本需为 PolarDB MySQL版 8.0.2版本且Revision version为8.0.2.2.0及以上。您可以通过 查询版本号 确认集群版本。...
分区表索引
因此数据库会自动将索引分区与其关联的表分区同步，从而使每个表索引相互独立。本地索引通过指定 LOCAL 属性创建。在与基础表相同的列上对索引进行分区，创建相同数量的分区或子分区，并为它们提供与基础表的相应分区相同的分区范围。当...
分区表索引
因此数据库会自动将索引分区与其关联的表分区同步，从而使每个表索引相互独立。本地索引通过指定 LOCAL 属性创建。在与基础表相同的列上对索引进行分区，创建相同数量的分区或子分区，并为它们提供与基础表的相应分区相同的分区范围。当...
分区表索引
因此数据库会自动将索引分区与其关联的表分区同步，从而使每个表索引相互独立。本地索引通过指定 LOCAL 属性创建。在与基础表相同的列上对索引进行分区，创建相同数量的分区或子分区，并为它们提供与基础表的相应分区相同的分区范围。当...
分区表简介
分区策略 PolarDB PostgreSQL版 分区表提供了多种分区策略（Partitioning Strategies）来控制数据库如何将数据放入分区：范围分区(Range Partitioning)表被分区为由分区键定义的“范围”，分配给不同分区的值范围之间没有重叠。例如，可以...
分区表简介
分区策略 PolarDB PostgreSQL版（兼容Oracle）分区表提供了多种分区策略（Partitioning Strategies）来控制数据库如何将数据放入分区：范围分区(Range Partitioning)表被分区为由分区键定义的“范围”，分配给不同分区的值范围之间没有重叠...
分区表简介
分区策略 PolarDB PostgreSQL版（兼容Oracle）分区表提供了多种分区策略（Partitioning Strategies）来控制数据库如何将数据放入分区：范围分区(Range Partitioning)表被分区为由分区键定义的“范围”，分配给不同分区的值范围之间没有重叠...
RestAPI Reader最佳实践
数据集成RestAPI Reader插件提供了读取RESTful接口数据的能力，通过配置HTTP请求地址，可获取RestAPI类型的数据源数据（例如获取时间范围内的数据、获取分页数据、循环请求参数获取数据等），并转换为数据集成支持的数据类型，传递给下游...
分区热力图
分区热力图功能支持查看各分区的访问情况和数据分布情况，可以帮助您快速发现数据过热的分区。注意事项 仅5.4.14及以上版本支持此功能。仅支持展示当前实例下所有AUTO模式数据库中的数据分布情况。当单个逻辑库下的总分区数超过8000时，则...
分区热力图
分区热力图功能支持查看各分区的访问情况和数据分布情况，可以帮助您快速发现数据过热的分区。注意事项 仅5.4.14及以上版本支持此功能。仅支持展示当前实例下所有AUTO模式数据库中的数据分布情况。当单个逻辑库下的总分区数超过8000时，则...
COALESCE PARTITION
本文档介绍了减少基于HASH和KEY分区的分区数和对应分区的所有子分区，并将数据合并到其他分区和子分区中的方法。语法 ALTER TABLE…COALESCE PARTITION 命令用于减少基于HASH和KEY分区的分区数和对应分区的所有子分区，并将数据合并到其他...
生命周期
表分区的回收操作记录也支持使用DataWorks的数据地图功能查看，详情请参见 数据地图概述。其显示操作人账号为MaxCompute系统账号 odps_user@aliyun.com ，即名称为 maxcompute.aliyuncs.com 的阿里云服务。相关文档 关于建表时如何指定、...
分区管理
本文档旨在介绍如何在 ODC 上使用分区计划，包括对新建和删除的表分区进行自动管理。注意事项 仅支持 OceanBase MySQL 数据源。仅支持Timestamp 字段类型的 Range 分区表及 Date 字段类型的 Range Columns 分区表。新建分区计划 重要 ODC V...
表设计规范
数据集成或DataX 规划写入表分区的频率。数据达到64 MB会执行1次Commit，以免Commit空目录。DTS 规划写入的表存量分区与增量分区的关系。设置Commit频率。客户端（Run SQL or Tunnel upload）需要避免高频小数据量文件的插入或者上传。SDK ...
创建表
步骤一：设计表 您需要根据待导入的数据内容和最终需要生成的结果数据，确定需要创建的表类型、结构及各列的数据类型。本文中提供的示例数据内容如下，展示的是银行贷款购房人员的数据。待创建非分区表的数据。44,blue-collar,married,...
- 产品推荐
- 这些文档可能帮助您