附录：DataHub消息格式
不同数据类型对应操作的支持情况 Topic是DataHub订阅和发布的最小单位，用户可以用Topic来表示一类或者一种流数据。目前支持Tuple与Blob两种类型：DataHub类型 写入DML消息 写入上游心跳消息 写入DDL消息 源表和目标topic映射方式 数据类型...
ExecuteScript-执行SQL脚本
包括 DQL、DDL 和 DML，其中 DDL 和 DML 是否允许依赖于实例的安全管控配置。select dt from report_daily Logic boolean 是 是否逻辑库。false Tid long 否 租户 ID。说明 取自系统右上角头像处悬停展示的租户 ID 信息，详情请参见 查看...
锁以及排查锁
Frontend Locks（前端锁）Frontend为接入层，兼容PostgreSQL协议，因此锁也会兼容PostgreSQL的部分锁，主要用来管理Frontend（FE）元数据信息。Backend Locks（后端锁）Backend是指Query Engine和Fixed Plan，将会享有Hologres自带的锁，...
Multi-Master关键技术介绍
本文对Multi-Master架构的关键技术点进行介绍，包括分布式事务处理、全局死锁处理、DDL支持、分布式表锁支持、集群容错和高可用能力。分布式事务管理 AnalyticDB PostgreSQL版 分布式事务 AnalyticDB PostgreSQL版 通过二阶段提交协议（2PC...
ModifyDatabaseUserRoles-修改数据库用户角色
调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问级别：是指每个操作的访问级别，取值为写入（Write）、读取...
如何基于LSM-tree架构实现一写多读
一写多读的基础是物理复制，物理复制日志只在引擎层流动，不涉及到Server层，因此需要新增日志来解决DDL操作导致的不一致问题。PolarDB新增了meta信息变更的日志，并作为redo日志的一部分同步给从节点，这个meta信息变更日志主要包括两部分...
配置同步任务（新控制台）
复制源表Online DDL工具执行过程的临时表到目标库 若源库使用 数据管理DMS（Data Management）或gh-ost执行Online DDL变更，您可以选择是否同步Online DDL变更产生的临时表数据。重要 DTS任务暂不支持使用pt-online-schema-change等类似...
滚动窗口
语法 TUMBLE函数用在GROUP BY子句中，用来定义滚动窗口。TUMBLE(,)<size-interval>:INTERVAL 'string' timeUnit 说明参数必须是时间流中的一个合法的时间属性字段，指定为Processing Time或Event Time，请参见 概述，了解如何定义 时间属性...
DescribeTenantUsers-查询租户账号列表
调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问级别：是指每个操作的访问级别，取值为写入（Write）、读取...
配置数据迁移任务
复制源表Online DDL工具执行过程的临时表到目标库 若源库使用 数据管理DMS（Data Management）或gh-ost执行Online DDL变更，您可以选择是否迁移Online DDL变更产生的临时表数据。重要 DTS任务暂不支持使用pt-online-schema-change等类似...
DescribeDatabases-查询数据库列表
调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：操作：是指具体的权限点。访问级别：是指每个操作的访问级别，取值为写入（Write）、读取...
事件触发器函数
在命令结束处捕捉更改 pg_event_trigger_ddl_commands()→setof record 当在一个 ddl_command_end 事件触发器的函数中调用时，pg_event_trigger_ddl_commands 返回被每一个用户动作执行的DDL命令的列表。如果在其他任何环境中调用这个函数...
注意事项
一些 DDL 命令（当前只有TRUNCATE和表重写形式的ALTER TABLE）对于 MVCC 不是安全的。这意味着在截断或者重写提交之后，该表将对并发事务（如果它们使用的快照是在 DDL 命令提交前取得的）呈现出空表的形态。这只对没有在该 DDL 命令开始前...
开发ODPS Script任务
适用场景 脚本模式的适用场景如下：脚本模式适合用来改写需要层层嵌套子查询的单个语句，或者因为脚本复杂性而不得不拆成多个语句的脚本。如果多个输入的数据源数据准备完成的时间间隔很长（例如一个01:00可以准备好，一个07:00可以准备好...
开发ODPS Script任务
适用场景 脚本模式的适用场景如下：脚本模式适合用来改写需要层层嵌套子查询的单个语句，或者因为脚本复杂性而不得不拆成多个语句的脚本。如果多个输入的数据源数据准备完成的时间间隔很长（例如一个01:00可以准备好，一个07:00可以准备好...
PolarDB MySQL版间迁移
复制源表Online DDL工具执行过程的临时表到目标库 若源库使用 数据管理DMS（Data Management）或gh-ost执行Online DDL变更，您可以选择是否迁移Online DDL变更产生的临时表数据。重要 DTS任务暂不支持使用pt-online-schema-change等类似...
RDS MySQL迁移至AnalyticDB MySQL 3.0
复制源表Online DDL工具执行过程的临时表到目标库 若源库使用 数据管理DMS（Data Management）或gh-ost执行Online DDL变更，您可以选择是否迁移Online DDL变更产生的临时表数据。重要 DTS任务暂不支持使用pt-online-schema-change等类似...
RDS MySQL实例间的迁移
如需按库或表级别选择增量迁移的DML或DDL操作，请在 已选择对象 中右击待迁移对象，并在弹出的对话框中选择所需增量迁移的DML和DDL操作。支持的操作请参见 支持增量迁移的SQL操作。单击 下一步高级配置，进行高级配置。数据校验配置 若您...
AliSQL内核小版本发布记录
MySQL 8.0基础系列或高可用系列 或集群系列 说明 集群系列从20220730小版本开始支持。组复制（MGR）从20221231小版本开始支持。小版本 说明 20240229 新特性 OpenSSL版本更新为3.0.12。新增故障诊断日志记录DDL功能。新增 全密态数据库 ...
迁移时源库为MySQL的注意事项及限制
若目标库的DDL写入失败，DTS任务会继续运行，您需要在任务日志中查看执行失败的DDL。查看任务日志的方法，请参见 查询任务日志。若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，...
迁移时源库为PolarDB MySQL版的注意事项及限制
若目标库的DDL写入失败，DTS任务会继续运行，您需要在任务日志中查看执行失败的DDL。查看任务日志的方法，请参见 查询任务日志。其他注意事项 DTS会在源库定时执 CREATE DATABASE IF NOT EXISTS `test` 命令以推进Binlog位点。PolarDB ...
自建MySQL迁移至RDS MySQL
复制源表Online DDL工具执行过程的临时表到目标库 若源库使用 数据管理DMS（Data Management）或gh-ost执行Online DDL变更，您可以选择是否迁移Online DDL变更产生的临时表数据。重要 DTS任务暂不支持使用pt-online-schema-change等类似...
迁移时源库为SQL Server的注意事项及限制
混合式增量同步模式，DTS会在源库中创建触发器dts_cdc_sync_ddl、心跳表dts_sync_progress、DDL存储表dts_cdc_ddl_history以及会开启库级别CDC和部分表CDC，建议源端开启CDC的表数据变更量不超过1000 RPS。执行数据迁移前需评估源库和目标...
从自建MySQL迁移至RDS MySQL实例
数据传输服务DTS（Data Transmission Service）支持在不影响业务正常运行的情况下，将部署在本地、ECS或其他...否，适配DMS Online DDL：不迁移Online DDL变更产生的临时表数据，只迁移源库使用 数据管理DMS（Data Management）执行的原始DDL...
列存索引常见问题
对于构建中的列存索引可以查询 INFORMATION_SCHEMA.IMCI_ASYNC_DDL_STATS 来获取索引构建进度信息。更多信息请参见 查看索引状态。说明 使用DMS登录数据库时，默认连接的是集群主地址。如果您需要连接集群地址或直连列存节点，请参考以下...
PolarDB MySQL版间的同步
对于表级别的数据同步，如果除DTS以外的数据没有写入目标库，您可以使用数据管理DMS（Data Management）来执行在线DDL变更，请参见 不锁表结构变更。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。...
PolarDB MySQL版迁移至RDS MySQL
复制源表Online DDL工具执行过程的临时表到目标库 若源库使用 数据管理DMS（Data Management）或gh-ost执行Online DDL变更，您可以选择是否迁移Online DDL变更产生的临时表数据。重要 DTS任务暂不支持使用pt-online-schema-change等类似...
PolarDB MySQL版迁移至AnalyticDB MySQL 3.0
复制源表Online DDL工具执行过程的临时表到目标库 若源库使用 数据管理DMS（Data Management）或gh-ost执行Online DDL变更，您可以选择是否迁移Online DDL变更产生的临时表数据。重要 DTS任务暂不支持使用pt-online-schema-change等类似...
RDS MySQL迁移至PolarDB MySQL版
复制源表Online DDL工具执行过程的临时表到目标库 若源库使用 数据管理DMS（Data Management）或gh-ost执行Online DDL变更，您可以选择是否迁移Online DDL变更产生的临时表数据。重要 DTS任务暂不支持使用pt-online-schema-change等类似...
8.0.1和8.0.2版功能对比
支持 支持 DDL DDL性能优化 包括秒级加字段、并行DDL、DDL IO性能优化、Faster TRUNCATE/DROP TABLE和针对在DDL IO路径上的优化，包括DDL预读、DDL异步IO和DDL多路归并排序。支持 支持 DDL稳定性优化 包括非阻塞DDL、DDL物理复制优化、并行...
自建MySQL迁移至PolarDB MySQL版
复制源表Online DDL工具执行过程的临时表到目标库 若源库使用 数据管理DMS（Data Management）或gh-ost执行Online DDL变更，您可以选择是否迁移Online DDL变更产生的临时表数据。重要 DTS任务暂不支持使用pt-online-schema-change等类似...
PolarDB MySQL版迁移至RDS MySQL
复制源表Online DDL工具执行过程的临时表到目标库 若源库使用 数据管理DMS（Data Management）或gh-ost执行Online DDL变更，您可以选择是否迁移Online DDL变更产生的临时表数据。重要 DTS任务暂不支持使用pt-online-schema-change等类似...
使用DTS迁移实例
重要 2022年09月09日前创建的数据迁移任务，需在配置迁移任务前，在源库中创建触发器和函数来捕获DDL信息，详情请参见 通过触发器和函数实现PostgreSQL的DDL增量迁移。增量数据迁移阶段不支持迁移bit类型的数据。迁移任务支持如下DDL，且源...
RDS MySQL同步至PolarDB MySQL版
您可以使用数据管理DMS（Data Management）来执行在线DDL变更，请参见 不锁表结构变更。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行在线DDL变更...
RDS MySQL同步至PolarDB MySQL版
您可以使用数据管理DMS（Data Management）来执行在线DDL变更，请参见 不锁表结构变更。在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行在线DDL变更...
GRANT
可以用,将多个权限连接在一起，例如：SELECT,DELETE,UPDATE,INSERT。有 ALL 或 ALL PRIVILEGES 表示授予所有权限，如果此时还有其他 Privilege，则其他 Privilege 无效。但 GRANT OPTION 不包含在 ALL 中，必须显式授权。GRANT OPTION 为 ...
ALTER TABLE
对多可用区实例来说，有2个IDC，不指定idcName时Major Compaction操作的执行规则如下：宽表引擎版本低于2.6.4.2：只会对idc1进行Major Compaction。宽表引擎为2.6.4.2及以上版本：默认对所有的IDC进行Major Compaction。指定idcName，表示...
MyBase MySQL迁移至RDS MySQL
复制源表Online DDL工具执行过程的临时表到目标库 若源库使用 数据管理DMS（Data Management）或gh-ost执行Online DDL变更，您可以选择是否迁移Online DDL变更产生的临时表数据。重要 DTS任务暂不支持使用pt-online-schema-change等类似...
三节点企业系列的RDS MySQL迁移到集群系列的RDS MySQL
复制源表Online DDL工具执行过程的临时表到目标库 若源库使用 数据管理DMS（Data Management）或gh-ost执行Online DDL变更，您可以选择是否迁移Online DDL变更产生的临时表数据。重要 DTS任务暂不支持使用pt-online-schema-change等类似...
全局二级索引（GSI）
增强特性 支持使用 并行DDL 来并行创建全局二级索引。支持在已创建全局二级索引的分区表上使用 秒级加字段 功能。已创建全局二级索引的RANGE或LIST分区表，在新增分区时支持使用分区级别的MDL锁。支持将已创建全局二级索引的表转换为 ...
- 产品推荐
- 这些文档可能帮助您