创建MaxCompute Sink Connector
注意事项 如需使用MaxCompute分区功能，创建表时需额外创建一个分区列，列名为time，类型为STRING。步骤一：创建目标资源 通过MaxCompute客户端创建表。更多信息，请参见 创建表。本文以名称为kafka_to_maxcompute的表为例。表中有3列数据...
SQL使用限制
ptinsubq 1000行 数量限制 子查询中存在分区列时，子查询的返回结果不能超过1000行。SQL语句长度 2 MB 长度限制 SQL语句的最大长度为2 MB。包括您使用SDK调用SQL的场景。WHERE 子句条件个数 256个 数量限制 WHERE 子句中的条件个数最大为...
动态过滤器（Dynamic Filter）
当JOIN Key为分区列时，动态范围过滤器或布隆过滤器（Dynamic Range|Bloom Filter）仍然可用，但MaxCompute会读取完整个分区的数据后再过滤数据，读取分区数据的过程可以进一步优化。即在读取数据前，将无用的分区裁剪掉，即动态分区裁剪...
动态过滤器（Dynamic Filter）
当JOIN Key为分区列时，动态范围过滤器或布隆过滤器（Dynamic Range|Bloom Filter）仍然可用，但MaxCompute会读取完整个分区的数据后再过滤数据，读取分区数据的过程可以进一步优化。即在读取数据前，将无用的分区裁剪掉，即动态分区裁剪...
使用阿里云Flink（流式数据传输）
动态分区 如果不明文显示分区的值，则会根据写入数据中的分区列具体的值，写入到不同的分区中。例如 `partition`='ds' 表示根据 ds 字段的值写入分区。如果要创建多级动态分区，With参数中Partition的字段顺序和结果表的DDL中的分区字段...
CREATE TABLE
CREATE TABLE语句用于在Lindorm宽表引擎或时序引擎中创建表，支持多种数据类型...显式指定分区列 由于大部分查询场景会查询单个设备的瞬时数据，因此可以显式指定device_id作为数据分区的分区列。CREATE TABLE sensor(device_id VARCHAR NOT ...
热点分区分裂
场景 2：目标分区是包含有二级分区的一级分区 说明 包含二级分区的分区表，如果对其一级分区的热点值进行散列，分裂出的新分区，它的二级分区定义与原热点值所在的分区仍保持一致。表级用法 对于以下分区表：create table t1(a bigint ...
新建表
对于分布规则不明显的数据，并没有明显的范围查找等特征，可以使用HASH分区，将数据分区列的值按照HASH算法打散到不同的分区上，将数据随机分布到各个分区。Key 分区：类似于按 HASH 分区，区别在于 KEY 分区只支持计算一列或多列，且 ...
SQL使用限制
ptinsubq 1000行 数量限制 子查询中存在分区列时，子查询的返回结果不能超过1000行。SQL语句长度 2 MB 长度限制 SQL语句的最大长度为2 MB。包括您使用SDK调用SQL的场景。WHERE 子句条件个数 256个 数量限制 WHERE 子句中的条件个数最大为...
CREATE MATERIALIZED VIEW
命令格式 set odps.sql.materialized.view.initial.partition={"分区列":"分区值"};可选项，指定初始分区，避免生成过多无用分区。create materialized view[if not exists][<project_name>.][lifecycle][([comment],.)][{disable rewrite]...
SQL使用限制项
ptinsubq 1000行 数量限制 子查询中存在分区列时，子查询的返回结果不能超过1000行。SQL语句长度 2 MB 长度限制 SQL语句的最大长度为2 MB。包括您使用SDK调用SQL的场景。列记录长度 8 MB 数量限制 表中单个单元的最大长度为8 MB。IN的参数...
CREATE INDEX（AUTO模式语法）
value_list/*适用于使用多个分区列时range边界值*/一级分区的List/List Columns分区定义 list_partition_list:(list_partition[,list_partition.])list_partition:PARTITION partition_name VALUES IN(list_bound_value)[partition_spec_...
INSERT INTO|OVERWRITE
向表或分区写入数据时，支持根据指定的一列或多列（select_statement 对应表中的列），把排序列数据相近的行排列在一起，提升查询时的过滤性能，在一定程度上降低存储成本。需要注意的是，order by x,y 会严格地按照先x后y的顺序对数据进行...
分区表管理（auto_partition）
分区表管理规则 分区表规则被记录到系统表 pg_auto_partition_config 中，表各列信息如下：列名 类型 默认值 说明 schema_name text 无 分区父表的Schema名称。master_table text 无 分区父表名称。part_col text 无 分区父表的分区列名称...
实时同步任务延迟解决方案
确认是否有写入动态分区频繁切换问题（uploader map size has reached uploaderMapMaximumSize）对于写入MaxCompute的实时同步任务，当分区方式选择根据字段内容动态分区时，要特别注意选择对应于MaxCompute表分区列的源端列，在实时同步...
SQL其他常见问题
原因二的解决措施：如果分区列不合适，导致分区数量太多，请考虑更改分区列。如何非交互式运行MaxCompute SQL？在操作系统中，您可以通过Shell非交互式运行MaxCompute SQL：使用 odps-f filename 方式，读取并处理SQL文件。如果运行SQL，...
GetTable
Type String int 分区列类型。StorageDescriptor Object 表的SD信息。Cols Array of Cols 表的列信息。Comment String this is column comment 列注释。Name String col1 列名称。Type String string 列类型。InputFormat String org....
OSS Foreign Table功能概览
使用OSS Foreign Table分区表 OSS Foreign Table提供了分区表功能，当查询语句的WHERE条件中包含分区列时，可以有效减少从OSS上拉取的数据，从而提升查询的执行效率。与OSS External Table的对比 OSS Foreign Table在性能、功能以及稳定性...
重命名分区
名词解释 表组：分区列完全相同的一组逻辑表或全局索引表的集合。全局索引：使用另一个维度进行水平分区的数据与主表始终保持强一致的分区表。语法 ALTER { TABLE tbl_name|TABLEGROUP tg_name|TABLEGROUP BY TABLE tbl_name } rename_...
历史版本常见问题
因此，PolarDB-X 1.0 使用上述分区函数分库分表（分库分表列一样），请保证分区列的取值空间要足够大（即分区列的区分度要足够好，且不同取值的数目最好能超过50W）。处理建议 如果分库分表列是相同的，建议使用HASH（该哈希算法与上述几类...
Kafka增量数据同步至MaxCompute
如果选择写入的是分区表，则会根据分区表实际分区列个数和分区列名出现对应的表单项。其他参数保持默认即可。配置字段映射 编辑字段映射中Kafka侧字段定义。Kafka侧字段中默认的6个字段。字段名 含义_key_Kafka记录的Key。value_Kafka记录...
Kafka增量数据同步至MaxCompute
如果选择写入的是分区表，则会根据分区表实际分区列个数和分区列名出现对应的表单项。其他参数保持默认即可。配置字段映射 编辑字段映射中Kafka侧字段定义。Kafka侧字段中默认的6个字段。字段名 含义_key_Kafka记录的Key。value_Kafka记录...
应用场景
通常可以采用在非分区列建立影子表的方式来解决。但这样的解决方式并非利用了数据库本身的能力，只能算是应用层的折中方案。OceanBase 数据库可以利用分区表特性将数据打散后分布到集群的多个节点上，从而满足一部分的查询需求，之后利用强...
上下游存储
执行 ls/brokers/ids 命令列出所有的Kafka Broker ID。使用 get/brokers/ids/{your_broker_id} 命令查看Broker metadata信息。Endpoint信息显示在listener_security_protocol_map中。确认Flink是否可以连通该Endpoint。如果该Endpoint中...
分区迁移
名词解释 表组：分区列完全相同的一组逻辑表或全局索引表的集合。全局索引：使用另一个维度进行水平分区的数据与主表始终保持强一致的分区表。分区迁移：将分区表的分区从一个存储节点（DN）挪到另一个存储节点。语法 ALTER { TABLE tbl_...
创建GLOBAL INDEX
GLOBAL INDEX拥有以下优势：能提供分区表中非分区列上的唯一约束。带分区表的查询但没有指定分区键场景，用于加速查询的性能，即分区键外的第二查找键。跨机并行查询支持加速创建B-Tree索引的GLOBAL索引，详情请参见 使用跨机并行查询加速...
使用pg_pathman插件
HASH分区 有一个管理函数用来创建范围分区，可以指定起始值、间隔、分区个数，具体如下：create_hash_partitions(relation REGCLASS,-主表OID attribute TEXT,-分区列名 partitions_count INTEGER,-打算创建多少个分区 partition_data ...
使用pg_pathman插件
HASH分区 有一个管理函数用来创建范围分区，可以指定起始值、间隔、分区个数，具体如下：create_hash_partitions(relation REGCLASS,-主表OID attribute TEXT,-分区列名 partitions_count INTEGER,-打算创建多少个分区 partition_data ...
计算成本控制
分区剪裁是指对分区列指定过滤条件，使得只读取表的部分分区数据，避免全表扫描引起的错误及资源浪费。SELECT a,b FROM T WHERE partitiondate='2017-10-01';SQL关键字的优化。计费的SQL关键字包括：JOIN、GROUP BY、ORDER BY、DISTINCT、...
Tunnel SDK常见问题
产生原因 使用Tunnel SDK下载分区表数据时，需要指定分区列的列值，否则会报错。解决措施 如果您使用MaxCompute客户端工具里的Tunnel命令行进行导出，客户端支持分区表整个导出，其结果会导出到一个文件夹里。如果您使用Tunnel SDK进行导出...
Hive元数据基本操作
单击 新建分区列，设置相关的参数。单击 确定。您可以单击 任务列表，查看执行结果。当 状态 为 成功 时，表示操作成功。当 状态 为 失败 时，您可以单击 操作 列的 查看详情，排查失败的原因。删除表 进入元数据管理页面。登录 阿里云E-...
表批读写
要在创建Delta表时对数据进行分区，请按列指定分区。常见的模式是按日期划分，例如：SQL%sql-Create table in the metastore CREATE TABLE events(date DATE,eventId STRING,eventType STRING,data STRING)USING DELTA PARTITIONED BY(date...
元数据库数据字典
PARTITION_COUNT int(11)YES 无 NULL 分区数量 IS_SUB_PARTITION tinyint(1)YES 无 NULL 标记：是否是二级分区 SUB_PARTITION_TYPE varchar(128)YES 无 NULL 二级分区类型 SUB_PARTITION_COLUMN varchar(128)YES 无 NULL 二级分区列名称 ...
数据存储冷热分离
假设热分区数为N，数据存储冷热分离策略会按照分区的大小（指定分区列数据的数据值大小）降序排序，最大的N个分区为热分区，存储在SSD盘，其余分区为冷分区，存储在OSS中，形成冷热分区布局。例如热分区数为4，分区包含20201110、20201109...
表操作
例如某张表以日期为分区列，分区层级为 年/月/周/日/时/分。一张表允许的分区个数支持按照具体的项目配置，默认为6万个。更多表的限制条件，请参见 SQL使用限制项。命令格式-创建新表。create[external]table[if not exists][primary key(,...
Tunnel常见错误码
检查分区字段信息，确保满足如下要求：参数中的分区列顺序要与建表语句中分区列顺序保持一致。当分区列值中有引号(pt='a'或pt="a")时，旧版本SDK没有做过引号处理，需要使用新版本的Tunnel SDK。多级分区中间有空格时，例如 pt1=a,pt2=a，...
AnalyticDB PostgreSQL 7.0版使用分区外表
当查询语句的WHERE条件命中分区列时，分区表可以有效减少数据拉取量，从而提升查询的执行效率。与6.0版分区外表的区别 6.0版仅支持LIST分区，7.0版除了LIST分区外，还支持RANGE和HASH两种分区。相比较6.0版的分区外表语法，7.0版语法更加...
表操作
例如某张表以日期为分区列，分区层级为 年/月/周/日/时/分。一张表允许的分区个数支持按照具体的项目配置，默认为6万个。更多表的限制条件，请参见 SQL使用限制项。命令格式-创建新表。create[external]table[if not exists][primary key(,...
ANALYZE和AUTO ANALYZE
说明 分区列统计信息总是全的，不受裁剪影响，但是这可能会影响与分区列同分布的列（例如极端情况是，与分区列数据一样的列）的统计信息，即一部分值采样不到，行数估计可能不准确。如果有需求可以搜索（钉钉群号：32314975）加入实时数仓...
分区合并
名词解释 表组：分区列完全相同的一组逻辑表或全局索引表的集合。全局索引：使用另一个维度进行水平分区的数据与主表始终保持强一致的分区表。语法 ALTER { TABLE tbl_name|TABLEGROUP tg_name|TABLEGROUP BY TABLE tbl_name } merge_...
- 产品推荐
- 这些文档可能帮助您