通过SQL导出数据至MaxCompute
非分区表导出至MaxCompute非分区表 准备Hologres数据源表。在Hologres中准备一张数据表，用于将数据导出至MaxCompute。示例选择已有表其DDL如下：BEGIN;CREATE TABLE"public"."bank"("age"int8,"job"text,"marital"text,"education"text,...
2020年及以前
无 导出外表分区表 支持导出外表分区表。无 ZORDER BY子句 支持ZORDER BY子句。无 2020年10月12日 类别 功能 功能描述 相关文档 新增 PG 11 JIT新特性 云原生数据仓库AnalyticDB PostgreSQL版 Laser行式引擎接入PG 11 JIT新特性。无 ...
导出至OSS
分区表数据导出到OSS的保存路径为 adb_data/，则向pcol1=1且pcol2=a的外表分区写出数据时，数据文件相对路径目录为：adb_data/pcol1=1/pcol2=a/；且外表CSV/Parquet数据文件内不包含pcol1与pcol2这两列的值，只包含3列普通列的值。INSERT ...
Tunnel SDK常见问题
每一次上传只支持将数据上传到一张表或表的一个分区，有分区的表一定要指定上传的分区，多级分区一定要指定到末级分区。使用Tunnel SDK上传数据时，编写完UDF打成JAR包后上传，对JAR包大小有要求吗？JAR包不能超过10 MB，如果JAR包超过10 ...
ACL权限体系
DUMP DATA ✔️ ✔️ ✔️ ✖️ 导出表（分区）数据。DESCRIBE ✔️ ✔️ ✔️ ✖️ 查看数据库、表/表组信息（Global、Database）、查看表/表组信息（Table[Group]）。SHOW ✔️ ✔️ ✔️ ✖️ 列出数据库、表/表组内部对象（Global、...
使用DataX同步
如果写入能够分散在所有服务器上，则能够利用所有服务器的服务能力，更高速地写入数据，即表分区数量和吞吐能力正相关。新建的表默认分区数量都是1，分区数量会随着表不断写入数据而自动分裂不断增长，但是自动分裂的周期较长。对于新建表...
新建表
说明 在左侧导航栏的表列表中，单击表名右侧的更多图标，通过弹出的管理操作列表（包括 查看表结构、查看表数据、导入、导出、下载、模拟数据、打开 SQL 窗口、复制、删除 和 刷新），可快速管理和操作目标对象。表对象具体操作，请参见 表...
导出至MaxCompute
本文介绍如何通过INSERT外表方式将 AnalyticDB MySQL版 数仓版（3.0）数据导出到MaxCompute分区表。前提条件 根据MaxCompute 准备工作 和 快速入门 准备目标数据表。例如通过 表操作 语句，在MaxCompute中创建以下表。如果您已经有目标数据...
2021年
2021-11-29 华北2（北京）华东2（上海）华北3（张家口）华东1（杭州）华南1（深圳）网络开通流程 MaxCompute支持清空分区表中指定分区的数据 MaxCompute支持用户手动清空分区表中指定的一个或者多个分区的数据，但不会删除分区表或者分区表...
UNLOAD
参数说明 外部存储：OSS select_statement：select 查询子句，从源表（分区表或非分区表）中查询需要插入目标OSS路径的数据。更多 select 信息，请参见 SELECT语法。table_name、pt_spec：使用表名称或表名称加分区名称的方式指定需要导出...
UNLOAD
参数说明 外部存储：OSS select_statement：select 查询子句，从源表（分区表或非分区表）中查询需要插入目标OSS路径的数据。更多 select 信息，请参见 SELECT语法。table_name、pt_spec：使用表名称或表名称加分区名称的方式指定需要导出...
确认表血缘
若上游节点产出的表分区值与下游节点依赖的表分区不匹配，您可根据业务需要综合考量，是否需要修改节点的调度参数配置，以此方式实现节点产出的表分区与节点依赖的表分区数据相匹配。若需依赖上游节点上一周期产出的表分区数据，您可考虑...
Quick BI新交叉表导出数据时下载导不出来
问题描述 Quick BI的新交叉表中导出数据时，下载导不出来，一直显示是“正在导出中，请稍后”。解决方案 在业务需求不太影响的场景下，可以先切换成旧交叉表导出。可以减少一下报表中维度个数，或者在数据库中提高where的限制。适用于 ...
Quick BI新交叉表导出后部分数值为空
问题描述 Quick BI新交叉表导出excel，部分单元格显示为"-。解决方案 是后端查询数据超出限制了，非独立部署环境，超过10000个单元格会查不出来。建议使用明细表进行导出。适用于 Quick BI-新交叉表
大量数据导出方案
如果需要导出某个表或者分区，请使用 Tunnel 直接导出查询结果。如果SQL比较复杂，请使用Tunnel和SQL相互配合导出查询结果。DataWorks 可以方便地帮您运行SQL，同步数据，并支持定时调度，配置任务依赖的功能。开源工具DataX可以帮助您方便...
IMPORT PARTITION
本文档介绍了导入表分区TABLESPACE（ibd文件）的方法。语法 ALTER TABLE…IMPORT PARTITION 命令用于导入表分区的TABLESPACE（ibd文件）。ALTER TABLE table_name IMPORT PARTITION partition_name[,partition_name].TABLESPACE;说明 在...
管理分区
表分区是指根据一定规则，将数据库中的一张表分解成多个更小的、容易管理的部分。从逻辑上看，只有一张表，但是底层却是由多个物理分区组成。DDM目前支持对MySQL、Oracle、DB2和GaussDB等数据库进行表分区操作。在逆向数据库时，支持抽取...
如何使用表分区？
本文介绍 AnalyticDB PostgreSQL版 如何使用表分区。对于数据库中的事实表以及一些比较大的表，建议您使用表分区。使用表分区功能，方便您定期进行数据删除（通过alter table drop partition命令可删除整个分区的数据）和导入（使用交换...
分区表索引
不同于本地索引中索引分区和表分区一一对应的关系，全局索引分区可以指向所有表分区。全局索引也可以被分区，它的分区键必须是索引键的前缀。语法说明 创建本地索引 CREATE[UNIQUE]INDEX[CONCURRENTLY][[IF NOT EXISTS]name]ON table_name...
分区表索引
不同于本地索引中索引分区和表分区一一对应的关系，全局索引分区可以指向所有表分区。全局索引也可以被分区，它的分区键必须是索引键的前缀。说明 全局索引是分区表所特有的，具体请参见 全局索引。语法说明 创建本地索引 CREATE[UNIQUE]...
生命周期
MaxCompute表的生命周期（Lifecycle），指表（分区）数据从最后一次更新的时间算起，在经过指定的时间后没有变动，则此表（分区）将被MaxCompute自动回收。这个指定的时间就是生命周期。通过设置生命周期可以实现自动数据清理或数据保留，...
概述
PolarDB-X对于上述的每一种分区策略下的每一种分区变更的类型，均支持不同变更层级（表级与表组级）、不同变更对象（主表、索引表）的变更：表级：变更单个分区表的分区，又可细分为主表与索引表 变更主表分区：变更一个主表的分区 变更...
RDS MySQL表分区的限制
RDS MySQL对表分区有以下限制：只能对数据表的整型列进行分区，或者数据列可以通过分区函数转化成整型列。最大分区数目不能超过1024。如果含有唯一索引或者主键，则分区列必须包含在所有的唯一索引或者主键内。不支持外键。不支持全文索引...
RDS MySQL表分区的限制
RDS MySQL对表分区有以下限制：只能对数据表的整型列进行分区，或者数据列可以通过分区函数转化成整型列。最大分区数目不能超过1024。如果含有唯一索引或者主键，则分区列必须包含在所有的唯一索引或者主键内。不支持外键。不支持全文索引...
日志投递MaxCompute后，如何检查数据完整性
在日志服务数据投递MaxCompute场景下，需要在MaxCompute表分区维度上检查数据完整性，即MaxCompute表中某个分区中数据是否已经完整。使用保留字段_partition_time_作为表分区列，如何判断分区数据是否已完整_partition_time_由日志的time...
Lock Table和Unlock Table
锁定表分区 lock table some_partitioned_table partition(ds='20211130')exclusive;查询锁定的表 命令格式 show locks;参数说明 table_name：必填。锁定的表名称。使用示例 show locks some_table;解锁表 限制条件 仅支持解锁物理表。具有...
数据规范
物品详情表应符合 数据表分区 规范，仅支持“依赖数据源产出新分区”调度策略，因此必须为分区表。Vector向量表 物品向量表要求有两个数据字段，其中一个字段为 主键，同时也是 分片字段，另一个字段为 向量。表中的记录和物品一一对应，...
导入方式建模
本文将为您介绍导入与导出表的操作方法。通过导入方式建模 将本地表以Excel的方式导入至数据建模中，导入方法如下。在 维度建模 页面，单击 图标，选择 Excel导入。在 创建导入任务 页面，确定 导入类型，根据所选类型下载相应模版。参考...
COALESCE PARTITION
num 减少的分区数，需要小于表分区总数。示例 减少 sales_hash_hash 表中的2个分区数：ALTER TABLE sales_hash_hash COALESCE PARTITION 2;减少 sales_key_key 表中的2个分区数：ALTER TABLE sales_key_key COALESCE PARTITION 2;
DDL语句
表操作 功能 当前是否支持 创建表 是 说明 对于创建的外部表，Dataphin支持使用msck repair补全外部表分区数据语法格式。具体操作，请参见 内置Extractor访问OSS。修改表的注释 是 修改表的修改时间 是 修改表的聚簇属性 支持增加聚簇属性 ...
DDL语句
表操作 功能 当前是否支持 创建表 是 说明 对于创建的外部表，Dataphin支持使用msck repair补全外部表分区数据语法格式。具体操作，请参见 创建OSS外部表。修改表的注释 是 修改表的修改时间 是 修改表的聚簇属性 支持增加聚簇属性 不支持...
配置MaxCompute输出
例如：配置MaxCompute表分区字段值来源为源端字段A，当A字段值为aa时，实时同步会将数据写入到MaxCompute表对应的aa分区中，当A字段值为bb时，实时同步会将数据写入到MaxCompute表对应的bb分区中。单击工具栏中的 图标。
TRUNCATE TABLE
TRUNCATE TABLE 用于清空表数据或者表分区数据。语法 清空表数据。TRUNCATE TABLE db_name.table_name;清空表中的指定分区。TRUNCATE TABLE db_name.table_name PARTITION partition_name[,.];分区名的数据类型为bigint，您可以通过以下SQL...
导出实时日志（公测中）
移动分析服务（MAS）支持导出客户端上传到服务器的实时日志数据，即将实时日志从 mPaaS 的 ODPS 表导出到用户的 ODPS 表中。不同于实时日志拉取功能，实时日志导出功能支持导出全量日志，而实时日志拉取则是根据用户 ID 拉取客户端诊断日志...
REMOVE PARTITIONING
语法 ALTER TABLE.REMOVE PARTITIONING 命令用于删除分区和子分区表的分区结构，并转化成单表，且不丢失数据：ALTER TABLE table_name REMOVE PARTITIONING 示例 删除 sales_range_list 表中所有的分区结构：ALTER TABLE sales_range_list ...
数据建模
数据完整率 表分区所选字段值全部非空的count数与表分区总记录数的比率与一个固定值进行比较，符合规则则通过。比较方式包括：>、、>=、、=和!数据唯一性 表分区所选字段值去重后的count数与表分区总记录数的比率与一个固定值进行比较，...
分区表常见问题
PolarDB MySQL版 是否支持表分区?支持。目前 PolarDB MySQL版 100%兼容MySQL，同时做了功能和性能的增强，详情请参考 分区表概述。PolarDB MySQL版 一张表最多支持多少个分区？最多支持8192个分区。如果定义了二级分区，则是所有二级分区的...
附加/分离分区
概述 附加（Attach）分区：将一个普通表附加到分区表中，成为分区表的一个分区。分离（Detach）分区：将一个分区表的分区分离出来，成为一个普通表。它避免了将分区表中的数据直接删除，而是将其分离出来作为一个普通表移至别处。语法说明 ...
分区
使用限制 单表分区层级最多为6级。单表分区数最大值为60000个。单次查询允许查询最多的分区个数为10000个。STRING分区类型的分区值不支持使用中文。使用说明 分区数据不宜过小，如果创建很多过小分区，会导致计算查询性能下降。建议单分区...
附加/分离分区
概述 附加（Attach）分区：将一个普通表附加到分区表中，成为分区表的一个分区。分离（Detach）分区：将一个分区表的分区分离出来，成为一个普通表。它避免了将分区表中的数据直接删除，而是将其分离出来作为一个普通表移至别处。语法说明 ...
- 产品推荐
- 这些文档可能帮助您