为什么同一个分区被多个消费线程消费了？
问题现象 消费客户端使用“StickyAssignor”分配模式消费消息时，发现同一个分区被多个消费线程消费，出现数据错乱的情况。可能原因 您的客户端低于2.3版本。2.3版本以前的客户端有可能将同一个分区分配给多个消费线程进行消费。更多信息，...
HASH-KEY
语法 创建一个或多个HASH-KEY分区表，其中每个分区可能有一个或一个以上的子分区：CREATE TABLE[schema.]table_name table_definition PARTITION BY[LINEAR]HASH(expr)[PARTITIONS num]SUBPARTITION BY[LINEAR]KEY(expr)[SUBPARTITIONS sub...
创建AnalyticDB Sink Connector
Topic分区数<并发消费数：一个线程消费一个Topic分区，多出的消费数无效。2 消费位点 最新位点：从最新位点开始消费。最早位点：从最初位点开始消费。最新位点 网络配置 有跨境传输数据需求时选择 自建公网，其他情况可选择 默认网络。默认...
pg_database
目录 pg_database 存储有关可用数据库的信息。数据库通过CREATE DATABASE命令创建。和大部分系统目录不同，pg_database 是在集簇的所有数据库之间共享的：在一个集簇中只有一份 pg_database 拷贝，而不是每个数据库一份。列名称 列类型 ...
TRUNCATE
如果您需要清空分区表中单个或多个分区的数据，请参见 清空分区数据。命令格式 truncate table;参数说明 table_name：必填。待清空数据的非分区表的名称。清空分区数据 清空分区表中指定分区的数据。MaxCompute支持通过条件筛选方式清空...
HASH-LIST
语法 创建一个或多个HASH-LIST分区表，其中每个分区可能有一个或一个以上的子分区：CREATE TABLE[schema.]table_name table_definition PARTITION BY[LINEAR]HASH(expr)SUBPARTITION BY LIST(expr)(partition_definition[,partition_...
创建数据库
使用限制 每个 云数据库ClickHouse 集群最多可以创建256个数据库。前提条件 已完成快速入门的如下步骤。新建集群 创建账号 设置白名单 说明 新建 云数据库ClickHouse 集群时，系统会自动为 云数据库ClickHouse 集群添加一个名为 ali_dms_...
HASH-RANGE
语法 创建一个或多个HASH-RANGE分区表，其中每个分区可能有一个或一个以上的子分区：CREATE TABLE[schema.]table_name table_definition PARTITION BY[LINEAR]HASH(expr)SUBPARTITION BY RANGE(expr)(partition_definition[,partition_...
API概览
本产品（数据湖构建/2020-...ListDatabases 获取元数据库列表 获取数据湖元数据库列表，分页查询，可以根据数据库名称匹配。表 表 CreateTable 新增元数据表 新增数据湖的元数据表。DeleteTable 删除元数据表 根据名称删除数据湖的元数据表。...
一级分区的规划和设计（2.0版）
如何评估表数据是否倾斜 登录 分析型数据库MySQL版控制台，单击 监控信息>DB表概览，查看 表明细 部分，对于存在数据倾斜的表已经标红处理，需要用户及时更换分区列。名字没有标红的表，用户也可以单击表名来查看数据分布。
分区管理
Range 分区表中的最后一个分区上限值为 MAXVALUE 时，数据库不允许新增分区，因此不支持通过 ODC 分区计划任务创建分区策略。分区计划默认每小时的 00 分 00 秒执行。数据库已存在一个分区计划时，新创建的分区计划审批通过后覆盖原有分区...
DEADLOCK（死锁）
这个 error 结果不会令分区退出事务状态，后续的操作与普通事务相同，分布式数据库将向用户返回锁超时错误。若事务中的更新语句一次仅涉及一个分区，死锁的行存在于一个分区，那么死锁过程会立即被检测出来。多个事务的死锁更新，仅有一个...
离线同步数据质量排查
如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），数据库则使用来源数据替换目标表已有数据，在目标表存在多个数据约束的情况下，数据替换可能会替换掉多条目标记录 如果写出数据和目标存储已有数据没有...
MySQL整库实时同步至OSS数据湖
如果您的数据库表数量不多，您可以直接在右侧预览模块手动勾选待同步的数据库表，然后添加到已选库表中，此时页面会根据您的勾选情况自动在左侧添加限定条件。如果您有多个数据源、数据库、数据表，您可以在左侧手动添加限定条件来进行过滤...
OceanBase 数据库 Oracle 租户之间的同步 DDL
迁移 OceanBase 数据库 MySQL 租户的数据至 OceanBase 数据库 MySQL 租户时，支持同步 DDL。同步 DDL 支持的范围 创建表 CREATE TABLE 包括分区表，不包括 CREATE TABLE AS SELECT。支持的分区表类型有一级分区（Hash、Range 和 List）、二...
导出至MaxCompute
说明 导出数据到MaxCompute分区表时，需要明确指定待写入的分区，不支持同时导出到多个分区，您可以通过执行多个SQL的方式实现将数据导出到多个MaxCompute分区。MaxCompute最高支持6级分区，其他多级分区的操作步骤类似。一级分区表 CREATE...
如何选择应用端连接池
应用线程数与连接池 应用程序访问数据库的一种常见模式，是在应用程序中创建多个线程，每个线程获取一个到数据库的连接并执行查询。为了减少创建、释放线程的开销，通常会使用 线程池 来管理线程，线程池的一个重要参数是 最大线程数，需要...
CREATE DATABASE
创建数据库 说明 每个集群最多可以创建2048个数据库。语法 CREATE DATABASE[IF NOT EXISTS]db_name 参数 db_name：数据库名。密码规则如下：长度不超过64个字符。以小写字符开头。可包含字母、数字以及下划线（_）。不能包含连续两个及以上...
修改表 ALTER TABLE 的不兼容点
本文为您介绍迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户时，Oracle 数据库执行的 ALTER TABLE DDL 支持被数据传输的 DDL 同步组件转换，但 OceanBase 数据库 Oracle 租户不支持执行的场景。修改列的类型 Oracle 数据库和 ...
分区格式化数据盘
如果您的轻量应用服务器挂载了数据盘，则必须创建分区和文件系统才能使数据盘变为可用。本文主要介绍如何分区格式化数据盘。背景信息 服务器上挂载的数据盘必须分区格式化才能正常使用。不同操作系统的数据盘分区格式化的操作不同，请您...
查询DAS企业版（V2或V3）热存储数据明细
说明 支持多个数据库名组合查询，数据库名间以空格分隔，例如：DB1 DB2 DB3。testDB HostAddress string 否 客户端 IP 地址。说明 支持多个客户端 IP 地址组合查询，客户端 IP 地址间以空格分隔，例如：IP1 IP2 IP3。47.100.XX.XX ...
数据导入性能优化
导入时需要避免一次性导入过多二级分区，多个二级分区同时导入可能引入外排序过程，影响导入性能。如何选择分区键，请参见 选择分区键。判断分区键合理性：导入前，根据业务数据需求及数据分布判断分区键是否合理。如Lineitem表按l_...
设置连接池
如果您的应用连接创建频繁（例如短连接场景）或者连接数量很大（大于MySQL数据库的连接数限制），您可以参考本文使用合适的RDS MySQL数据库代理连接池，降低应用与数据库建立连接的频率来减少MySQL数据库主线程的开销，减少数据库上的总...
数据导入性能优化
导入时需要避免一次性导入过多二级分区，多个二级分区同时导入可能引入外排序过程，影响导入性能。如何选择分区键，请参见 选择分区键。判断分区键合理性：导入前，根据业务数据需求及数据分布判断分区键是否合理。如Lineitem表按l_...
转换MBR分区为GPT分区
转换Linux数据盘的分区类型 您可以参考如下操作将Linux数据盘的MBR分区转换为GPT分区。本操作以公共镜像Alibaba Cloud Linux 3.2104 LTS 64位、数据盘/dev/vdb 为例，请您根据实际环境进行操作。（可选）为云盘创建快照，做好数据备份。...
CREATE TABLE
多级HASH分区（二级HASH分区或者三级HASH分区）除了可以散列数据，在查询数据场景中也大大提高了查询效率。例如在上述二级HASH分区中，查询数据时同时输入storeId列和goodsId列的过滤信息会确定在一个分区中进行数据检索，减少数据的扫描...
存储空间分析
指标 说明 数据库 数据库名称。表名 表名称。空间占比 表数据量占集群总数据量的比例。计算方法：空间占比=(表的总数据量/集群总数据量)*100%。总数据量 表的总数据量。计算方法如下：方法一：总数据量=热数据量+冷数据量。方法二：总数据...
表设计规范
分区设计与存储逻辑 一张表里有很多个一级分区，每个一级分区都会按时间存储二级分区，每个二级分区都会存储所有的列，如下图所示。分区设计需要注意：设置分区的数量上限。避免每个分区中只存少量数据。以方便数据查询和计算为前提设置...
初始化大于2 TiB数据盘
一块全新的数据盘挂载到ECS实例后，还不能直接存储数据，通常您需要完成分区、挂载文件系统、磁盘联机等初始化操作后，才能供系统读写数据。本文介绍如何在Linux系统和Windows系统中初始化一块大于2 TiB的数据盘。前提条件 数据盘已挂载到...
MaxCompute数据源
类型分类 数据集成配置类型 数据库数据类型 整数类 LONG BIGINT、INT、TINYINT和SMALLINT 布尔类 BOOLEAN BOOLEAN 日期时间类 DATE DATETIME、TIMESTAMP和DATE 浮点类 DOUBLE FLOAT、DOUBLE和DECIMAL 二进制类 BYTES BINARY 复杂类 STRING ...
COALESCE PARTITION
本文档介绍了减少基于HASH和KEY分区的分区数和对应分区的所有子分区，并将数据合并到其他分区和子分区中的方法。语法 ALTER TABLE…COALESCE PARTITION 命令用于减少基于HASH和KEY分区的分区数和对应分区的所有子分区，并将数据合并到其他...
不一致情况
事务状态不一致 事务中，遭遇单分区死锁，该分区将退出事务状态，其它分区可能仍然在事务状态，此时分区事务状态不一致，分布式数据库要求 client 仅能发送 rollback，而不会为 client 自动进行其它分区的 rollback 调用。事务开启时，...
创建表
该列必须为BIGINT类型，分布式数据库会自动为该列生成一个64位的唯一值，且该字段将自动成为主键，对于表的字段，若用户插入该字段，那么数据库将存储用户提供的值，用户需要自行保证该值的唯一性，否则可能在多个分区上出现相同的值，引发...
扩容分区和文件系统（Windows）
在ECS控制台上扩容云盘（系统盘或数据盘）容量后，对应分区的文件系统并未扩容，您需要进入ECS实例内部继续扩容云盘的分区和文件系统。本文为您介绍如何将Windows实例的云盘扩容部分的容量用于扩容原有分区或者新增分区。前提条件 已在ECS...
CREATE TABLE
建表时，您可以通过 PARTITION BY HASH(column1,column2,.,columnN)语句，显示指定一个或多个列为表进行Hash分区。例如：PARTITION BY HASH(c1,p1)。表属性（table_options）仅 宽表引擎 支持表属性（table_options）。您可以通过 WITH ...
常见问题
为什么同一个分区被多个消费线程消费了？为什么Group管理页面的Group变多了？为什么Group的状态一直处于“删除中”？为什么Group的堆积量为“0”或者未显示 API问题 调用GetConsumerProgess接口，返回LastTimestamp的值为-1 监控报警问题 ...
概述
但原生的MySQL等数据库只支持在所有的分区上创建相同的索引，虽然满足了热点分区的查询需求，但浪费了在分区上创建二级索引的空间。针对以上场景，您可以在分区表上创建部分索引，即只在热点分区上创建所需要的二级索引，既满足热点分区的...
宽表模型介绍
表格存储按照分区键对数据表的数据进行分区，拥有相同分区键的行会被划分到同一个分区，实现数据访问负载均衡。属性列（Attribute Column）一行中除主键列外，其余都是属性列。属性列会对应多个值，不同值对应不同的版本，每行的属性列个数...
无锁结构变更
删除主键 ✔️ 表存在非空唯一键 分区 删除分区 ✔️ truncate 分区 ✔️ 重分区 ✔️ 非分区表改为分区表 ✔️ 注意事项 确保数据库磁盘空间充足。表中须 存在主键或非空唯一键 且表中 不存在外键。当前表在执行无锁结构变更同时，执行...
PolarDB auto_inc场景性能优化之路
在数据库的使用场景中，最常见的是并发插入数据或并发导入数据场景。在该场景中并不指定自增ID，而是由数据库自动生成自增ID并插入到数据库中。因此，此类场景也称之为auto_inc场景下的数据插入。典型的业务场景如：游戏行业开服过程中大批...
- 产品推荐
- 这些文档可能帮助您