基础术语
中文 释义 数据抓取延迟 数据抓取延迟是指数据同步...逻辑表标识 一张逻辑表的全局唯一标识 ID。可以将多张物理表绑定为一张逻辑表，通过逻辑表标识可以获得一个逻辑表的物理拓扑，详见 录入逻辑表。物理表标识 一张物理表的全局唯一标识 ID。
主键与唯一键（AUTO模式）
示例10：手动分区表中由UNIQUE GLOBAL INDEX构成的全局唯一键 在手动分区表中，全局二级索引 也是一个Global唯一键，能保证全局唯一。表key_tbl包含一个索引列为 serial_id 的UNIQUE GLOBAL INDEX，它能保证 serial_id 的全局唯一性，因此...
Dataphin管道任务表分区如何配置当天时间
问题描述 Dataphin管道任务表分区配置当天时间的方法。解决方案 需要在调度配置页面配置“参数配置”，并且表分区中使用配置的变量，在运维环境中执行。适用于 Dataphin 版本v3.6.2 运维环境
分区表简介
分区表特性 分区表相比于普通表的内部实现更加复杂，但是这一切对于用户而言是不需要感知的，分区表的管理与使用时与普通表相比也有些区别，更加清楚地了解分区表的特性，有利于用户可以正确高效地使用分区表。案例1：CREATE TABLE ...
分区表简介
分区表特性 分区表相比于普通表的内部实现更加复杂，但是这一切对于用户而言是不需要感知的，分区表的管理与使用时与普通表相比也有些区别，更加清楚地了解分区表的特性，有利于用户可以正确高效地使用分区表。案例1：CREATE TABLE ...
分区表简介
分区表特性 分区表相比于普通表的内部实现更加复杂，但是这一切对于用户而言是不需要感知的，分区表的管理与使用时与普通表相比也有些区别，更加清楚地了解分区表的特性，有利于用户可以正确高效地使用分区表。案例1：CREATE TABLE ...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
Hologres结果表
如果分区表配置了主键（pk），则分区列必须是pk的一部分。创建分区子表时，子表分区列的值必须为固定值。写入分区子表的数据对应的分区列值，必须与子表创建时定义的值严格匹配，否则会报错。当前不支持 DEFAULT 分区功能。当导入数据的...
概览
V2.0.14.13.0 根据表大小或代价控制是否使用ePQ V2.0.14.15.0 HTAP 实时物化视图 V2.0.14.11.0 一站式HTAP服务 V2.0.14.11.0 分区表 全局索引 V2.0.14.4.0 分区表扫描算子 V2.0.14.15.0 分区表支持任意列作为主键 V2.0.14.17.0 优化器 关联...
Hologres数据源
否 1,000 Writer脚本Demo 配置非分区表 配置从内存产生的数据导入至Hologres普通表，示例为通过 JDBC 模式导入的配置。{"type":"job","version":"2.0","steps":[{"stepType":"mysql","parameter":{"envType":0,"datasource":...
概览
V1.1.27 V14.8.11.0 一站式HTAP服务 ❌ V14.8.11.0 分区表 全局索引 ❌ V14.6.4.0 分区表扫描算子 ❌ V14.9.15.0 分区表支持任意列作为主键 ❌ V14.10.17.0 优化器 关联子查询上拉 ❌ V14.8.11.0 其他 闪回表 V1.1.22 ❌ 闪回删除 V1.1.30 ...
全局二级索引（GSI）
所以，全局索引上的索引数据对全局的分区表有序，如果您想创建全局唯一索引，索引字段不需要包含全部的分区键。前提条件 集群版本需为 PolarDB MySQL版 8.0.2版本且修订版本为8.0.2.2.7及以上。您可以通过 查询版本号 来确认集群版本。使用...
CREATE TABLE.PARTITION BY
服务器所产生的子分区名称是分区表名称与一个唯一标识符的结合。您可以查询表ALL_TAB_SUBPARTITIONS来检查完整的子分区名称列表。参数 参数 参数说明 table name 要创建的表名称（可以采用模式限定的方式引用）。table definition 如在...
概述
PolarDB-X 2.0的AUTO模式数据库分区表支持使用一级分区与二级分区，并且一级分区的分区策略与二级分区的分区策略具备完全正交的能力，相互组合没有限制，详情请参考 手动创建分区表（AUTO模式）。为此，PolarDB-X 2.0的AUTO模式数据库分区...
分区表支持任意列作为主键
分区表的添加主键语法只能使用全局索引，因为局部索引不一定能满足约束，添加唯一约束语法也是如此。分区表被外键引用的行不允许发生跨分区更新，因为跨分区更新本质上是一次删除和一次插入，在执行删除时会检测此行是否被外键引用。示例 ...
分区表支持任意列作为主键
分区表的添加主键语法只能使用全局索引，因为局部索引不一定能满足约束，添加唯一约束语法也是如此。分区表被外键引用的行不允许发生跨分区更新，因为跨分区更新本质上是一次删除和一次插入，在执行删除时会检测此行是否被外键引用。示例 ...
主键与唯一键（DRDS模式）
单表和广播表 单表和广播表中的主键都是Global主键，能保证全局唯一。示例1：单表和广播表中的Global主键#单表 CREATE TABLE single_tbl(id bigint NOT NULL AUTO_INCREMENT,name varchar(30),PRIMARY KEY(id));广播表 CREATE TABLE brd_...
全局索引
不同于默认在每个子分区上创建的局部索引（Local Index，一个索引对应一个子分区），全局索引通过一个索引来索引整个分区表的数据（一个索引对应多个子分区），从而可以提供非分区键上的全局唯一约束，也可以大幅提升非分区键的查询性能。...
概述
分区表需要配置分区列。图中 wc_in1 为非分区表，wc_in2 为分区表。data 文件采用标准CSV格式存储表的数据：特殊字符为逗号（,）、单个双引号（"）和换行符（或 \r）。列分隔符为逗号（,），行分隔符为换行符（或 \r）。如果列内容包含特殊...
Check节点
DataWorks的Check节点可用于检查目标对象（MaxCompute分区表、FTP文件或OSS文件）是否可用，当Check节点满足检查策略后会返回运行成功状态。如果某任务的运行依赖目标对象，您可使用Check节点检查目标对象，并设置该任务为Check节点的下游...
MySQL分区表写入最佳实践
分区表写入 RANGE分区表写入 本示例通过日期 update_time 字段作为RANGE分区条件，演示如何把数据写入MySQL分区表。配置离线同步任务。配置要点：数据来源 的 表 配置为已创建的源表 user_tb1。数据去向 的 表 配置为已创建的目标RANGE分区...
如何实现一键转冷存
参数 参数名称 描述 relname 分区表（父表）名称 reserved_subparts_cnt 存储位置不变的子分区表数量 说明 该函数只用于分区表，且只会将分区表子分区表数据转为OSS存储，子分区表上的索引数据存储位置不变。如果 reserved_subparts_cnt 为...
如何实现一键转冷存
参数 参数名称 描述 relname 分区表（父表）名称 reserved_subparts_cnt 存储位置不变的子分区表数量 说明 该函数只用于分区表，且只会将分区表子分区表数据转为OSS存储，子分区表上的索引数据存储位置不变。如果 reserved_subparts_cnt 为...
多级分区表静态裁剪与并行扫描
为了方便管理和提高查询性能，用户一般会使用分区表，将大表拆分成多张子分区表，每张子分区表又进一步可以拆成二级子分区表，从而形成了多级分区表。支持多级分区表的静态分区裁剪，避免对无关分区进行扫描。同时，针对被裁剪后的分区表，...
全局索引
不同于默认在每个子分区上创建的局部索引（Local Index，一个索引对应一个子分区），全局索引通过一个索引来索引整个分区表的数据（一个索引对应多个子分区），从而可以提供非分区键上的全局唯一约束，也可以大幅提升非分区键的查询性能。...
全局索引
全局索引（Global Index）是分区表上的一种索引技术，可以创建在分区表的非分区键上，也支持提供唯一约束。背景信息 分区表的Local Index，指每个分区都以一个Local Index分区，Local Index的分区规则和表的分区规则保持一致，因此Local ...
全局二级索引
全局二级索引（Global Secondary Index，GSI）是 PolarDB-X 中的一项重要特性，相比于本地二级索引，全局二级索引中...如果要求用户手机号需要全局唯一，那么本地索引无法满足，必须构建一个以手机号作为索引键（同时也是分区键）的唯一索引。
配置全局参数
Quick BI提供全局参数来设定一些变量，在...如您想通过配置全局参数实现不同用户订阅不同数据，请参见 配置全局参数实现不同用户订阅不同数据。报表嵌入场景 报表嵌入的全局参数使用说明，请参见 报表嵌入数据权限控制和传参的安全增强方案。
MySQL整库周期性增全量同步至MaxCompute
当前整库离线同步仅支持MaxCompute目标表为分区表，不支持非分区表。配置全增量控制：配置任务的全增量类型。如果您的 同步步骤 勾选了 全量同步 和 增量同步，此处默认展示一次性全量，周期性增量，不可更改。如果您的 同步步骤 选择了 全...
配置MaxCompute输出
分区讯息 为您展示MaxCompute分区表的信息。字段映射 单击 字段映射，设置源端和目标端字段的映射。同步任务会根据字段的映射关系同步数据。如果您需要新建表，请单击 一键建表 后，在 新建数据表 对话框中，配置各项参数。参数 描述 表...
普通表转换为分区表
前提条件 普通表中的主键或唯一键需要包含分区表中的分区键字段。注意事项 普通表转换为分区表的过程中，所有的数据都需要重新进行读写，属于COPY DDL操作。因此，转换时间比较长，且整个转换过程会阻塞当前表上的所有DML操作。特殊场景下...
修改分区
含全局索引的分区表不支持Drop Values操作。名词解释 表组：分区列完全相同的一组逻辑表或全局索引表的集合。全局索引：使用另一个维度进行水平分区的数据与主表始终保持强一致的分区表。语法 ALTER alter_target_definition modify_...
2023年
本文介绍 PolarDB PostgreSQL版 的产品功能动态，分别为内核小...全局索引（GLOBAL INDEX）是分区表上的一种索引技术，可以创建在分区表的非分区键上，也支持提供唯一约束。全局索引 2023年1月 创建表时支持制定 Storage 参数。无 2023年1月
分区表索引
分区表通常有巨大的数据量。为了加快查询速度，通常会使用索引功能。本文介绍了分区表的索引功能。分区表索引类型 PolarDB PostgreSQL版 支持分区上的两种索引类型：本地索引 在分区表本地索引（Local Index）中，本地索引与分区表的分区...
清空分区
含全局索引的分区表不支持该操作。进行表组级别的操作时，同一个表组的表，不允许出现GSI表或使用了GSI的分区表。名词解释 表组：分区列完全相同的一组逻辑表或全局索引表的集合。全局索引：使用另一个维度进行水平分区的数据与主表始终...
分区表索引
分区表通常有巨大的数据量。为了加快查询速度，通常会使用索引功能。本文介绍了分区表的索引功能。分区表索引类型 PolarDB PostgreSQL版（兼容Oracle）支持分区上的两种索引类型：本地索引 在分区表本地索引（Local Index）中，本地索引与...
通过整库迁移配置集成任务
单次同步：选择分区表，目标表将创建为分区表，需要配置 单次同步写入分区 参数，支持常量或分区参数。例如，常量 20230330、分区参数 ds=${bizdate}；选择非分区表，目标表将创建为非分区表。每日同步+单次同步：默认为分区表，不支持选择...
代码模式建模
数据表创建完成后，您可以使用脚本模式通过FML语句配置表的字段及分区信息。本文为您介绍如何使用FML语句配置数据表的相关内容。前提条件 DataWorks目前不支持通过FML语言创建数据表，您需要提前使用可视化界面创建好维度表、明细表、汇总...
MaxCompute数据源
离线读MaxCompute分区表时，不支持直接对分区字段进行字段映射配置，需要在配置数据来源时指定待同步数据的分区信息。例如，分区表t0其字段包含id、name两个字段，一级分区为pt，二级分区为ds。读取t0的pt=1，ds=hangzhou分区数据时，您...
- 产品推荐
- 这些文档可能帮助您