离线同步数据质量排查
事务一致性以关系数据库为例，数据读取本质上是对源头数据源发起的数据查询SQL。任务配置并发读取时会切分出多个分片查询SQL，由于数据库事务一致性策略，每个查询SQL查询的都是当前提交时的数据快照，并且多个SQL并不在一个事务上下文内。...
企业版产品系列
数据可靠性和一致性 数据库存储节点的数据采用多副本形式，确保数据的可靠性，并通过Parallel-Raft协议保证数据的一致性。产品架构 集群版 的架构图如下：支持的内核版本 集群版 目前支持 PolarDB MySQL版 5.6、5.7和8.0三个内核版本。适用...
增量备份数据上云（SQL Server 2008 R2云盘、2012及...
物理迁移可做到数据库迁移后和本地环境100%一致。逻辑迁移无法做到100%一致，例如索引碎片率、统计信息等。对业务停止时间敏感，需要将业务中断时间控制在分钟级别。说明 如果您对业务停止时间不是非常敏感（例如可以接受2小时的中断），当...
强一致分布式事务
备份恢复的一致性 传统关系型数据库一般会采用数据库的全量备份来保证数据安全。在遇到数据异常、数据库被删的风险时，需要通过数据库的备份集进行快速恢复，其中数据恢复也要保证事务的一致性。另外，分布式数据库通常数据存储规模更大，...
查看消费者状态
如果消息消费出现异常，您可以在 云消息队列 RocketMQ 版 控制台查看指定Group ID的消费状态，包括消费者在线状态、订阅关系一致性结果、消费堆积相关指标、消费者客户端信息等，帮助您快速定位异常原因。应用场景 消费者状态信息包括在线...
订阅关系一致
因此，订阅关系一致性的范围是同一Group ID下所有消费者对于指定Topic的订阅都相同。其中包括：订阅的Topic必须一致。例如：Consumer1订阅TopicA和TopicB，Consumer2也必须订阅TopicA和TopicB，不能只订阅TopicA、只订阅TopicB或订阅TopicA...
全局一致性（高性能模式）测试工具和方法
测试工具 开源的mysqlsct工具可用于检验数据库集群的全局一致性（高性能模式）能力，该工具通过跨Session的写入、读取和结果对比的方式来测试数据库全局一致性（高性能模式）功能和性能。测试环境 测试的ECS和 PolarDB MySQL版 均在同一...
创建快照一致性组
应用场景 快照一致性组典型的应用场景如下：业务系统部署在跨ECS实例的集群文件系统中，且要求时序一致性以及崩溃一致性的数据库或企业级应用的场景。例如，基于ECS自建的MySQL集群，基于多个卷搭建LVM、Oracle、SAP HANA上云场景等。大型...
创建数据库
参数 说明 限制并发量 指对应数据库并发请求执行的上限量，默认不限制，您也可以使用高权限账号登录数据库后，使用 ALTER DATABASE<数据库名>CONNECTION LIMIT<并发量>;命令修改。表空间 指数据库所属的表空间，默认为 pg_default，表空间...
配置数据校验
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
数据迁移与同步FAQ
通常会持续运行该任务，用于保持源库和目标库的数据一致性。说明 数据迁移与数据同步均是从源库复制数据至目标库，不会对源库的数据产生影响。DTS的数据迁移与数据同步工作原理是什么？详情请参见 产品架构及功能原理。DTS的数据迁移与数据...
概述
本节为不熟悉关系数据库管理系统的人介绍 SQL 语言。将讨论创建、填充、查询和更新表等基本操作以及示例。还将讨论视图、外键和事务等更高级的概念。PolarDB PostgreSQL版（兼容Oracle）是关系数据库管理系统（RDBMS）。这意味着它是用于...
关系数据库全量入湖
本文为您介绍如何在数据湖构建（Data Lake Formation，简称DLF）中使用关系数据库全量入湖任务将RDS或PolarDB数据批量同步到数据湖中。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请参考：数据入湖停止更新公告。前提条件 已开通...
DataCheckConfigure参数说明
dest：以目标库为基准，校验源库与目标库数据的一致性（不校验源库比目标库多的数据）。fullCheckMaxReadRps Integer 每秒读取数据的最大行数，取值为0~9007199254740991的整数。说明 取值为0时表示不做限制。fullCheckMaxReadBps Integer ...
DMS支持的数据库
关系型数据库 MySQL SQL Server PostgreSQL MariaDB OceanBase MySQL模式 OceanBase Oracle模式 OceanBase ODP Oracle DB2 达梦数据库 OpenGauss 数据仓库 ClickHouse SelectDB NoSQL数据库 Redis MongoDB 大数据 Hive 录入他云/自建数据库...
创建账号和数据库
参数 说明 限制并发量 指对应数据库并发请求执行的上限量，默认不限制，您也可以使用高权限账号登录数据库后，使用 ALTER DATABASE<数据库名>CONNECTION LIMIT<并发量>;命令修改。表空间 指数据库所属的表空间，默认为 pg_default，表空间...
创建账号
CREATE DATABASE 命令默认通过复制template1来创建数据库。通过该方式创建的数据库，Public Schema的Owner均为第一个高权限账号。第一个高权限账号的Comment开头会包含说明：template1 public schema owner。普通账号 可以通过控制台、API...
连接方式概述
Java 数据库连接器（Java Database Connectivity，JDBC）提供了 Java 连接关系数据库的接口，是一种 Java 标准。JDBC 标准由 Sun Microsystems 定义，通过标准 java.sql 接口实现，支持各个提供程序使用自己的 JDBC 驱动程序来实现和扩展...
PolarDB技术内幕
2000年以后，随着互联网应用的出现，很多场景下，并不需要传统关系型数据库提供的一致性以及关系型数据模型。由于快速膨胀和变化的业务场景，对 可扩展性（Scalability）以及 可靠性（Reliability）更加需要，而这又正是传统关系型数据库的...
CreateMigrateTask-创建上云迁移任务
True CheckDBMode string 否 打开数据库后一致性检查方法，取值：SyncExecuteDBCheck：同步执行 DB 检查。AsyncExecuteDBCheck：异步执行 DB 检查。默认值为 AsyncExecuteDBCheck（兼容 SQL Server 2008 R2）。说明 当 IsOnlineDB=True 时...
ALIYUN:DTS:MigrationJob2
ALIYUN:DTS:MigrationJob2类型用于购买一个数据库迁移实例，同时可以配置数据迁移任务（新版）。语法 {"Type":"ALIYUN:DTS:MigrationJob2","Properties":{"Status":String,"Reserve":Map,"DataSynchronization":Boolean,...
ALIYUN:DTS:SynchronizationJob2
ALIYUN:DTS:SynchronizationJob2类型用于配置同步作业。...无 DatabaseName String 否 否 待迁移的数据库名称或鉴权数据库名称。当 SourceEndpoint.EngineName 取值为 PostgreSQL 或 MongoDB 时，本参数才可用且必须传入。当...
功能简介
一致性：数据一致性是指确保两个数据集之间或一个数据集内部不同字段间数值或信息的一致。唯一性：数据唯一性是指在一个数据集中，没有重复的记录或信息。时效性：数据时效性是指数据集按时、按量的更新程度。规范性：数据规范性是指数据集...
功能简介
一致性：数据一致性是指确保两个数据集之间或一个数据集内部不同字段间数值或信息的一致。唯一性：数据唯一性是指在一个数据集中，没有重复的记录或信息。时效性：数据时效性是指数据集按时、按量的更新程度。规范性：数据规范性是指数据集...
质量评估
质量评估通过完整性、准确性、一致性、唯一性、时效性、规范性等六个维度构建数据质量指标体系，来实现对数据质量的量化评估。完整性：数据完整性是指一个数据集的特定字段或属性都被赋予了数值。准确性：数据准确性是指数据准确的反映其所...
组复制简介
特性 组复制 半同步复制 异步复制 数据可靠性★数据一致性 保证主备数据一致性 不保证 不保证 全局事务一致性 支持 不支持 不支持 数据 强 可靠性 组复制的数据强可靠性来源于Paxos协议的多数派原则，即当多数派收到事务的Binlog后，事务...
实例间的数据库复制
RDS SQL Server部分实例支持实例间复制数据库功能，您可以通过RDS控制台或者OpenAPI将一个实例中的数据库复制到另外一个实例中。前提条件 RDS实例必须满足以下条件：源实例和目标实例必须在一个阿里云账号下。源实例和目标实例的版本必须...
业务切换流程
Redis CLIENT LIST MongoDB use admin db.runCommand({currentOp:1,$all:[{"active":true}]})说明 上述语句查询到的进程或会话信息中，包含DTS连接源数据库的进程或会话。等待迁移任务的 增量迁移 再次进入 无延迟 状态，保持1分钟或以上，...
业务切换流程
Redis CLIENT LIST MongoDB use admin db.runCommand({currentOp:1,$all:[{"active":true}]})说明 上述语句查询到的进程或会话信息中，包含DTS连接源数据库的进程或会话。等待迁移任务的 增量迁移 再次进入 无延迟 状态，保持1分钟或以上，...
DB2数据源
jdbcUrl":"jdbc:db2:/ip:port/database",/DB2数据库的JDBC连接信息。column":["id"],"batchSize":1024,/一次性批量提交的记录数大小。table":"",/表名。username":"",/用户名。preSql":[]/执行数据同步任务之前执行的SQL语句。},"name...
迁移
SELECT default_character_set_name FROM information_schema.SCHEMATA WHERE schema_name='.' 如果目标数据库为AUTO模式，需在目标实例中创建DRDS模式数据库作为目标中继数据库，且目标中继数据库的字符集与源数据库的字符集保持一致，并...
概览
云备份 是一种简单易用、敏捷高效、安全可靠的公共云数据管理服务，可以为阿里云ECS提供全面的保护，包括为ECS整机、ECS数据库、ECS文件系统、ECS云盘提供备份和容灾保护功能。ECS整机备份 与阿里云快照服务集成，面向ECS实例提供无代理的...
数据库迁移
背景信息 随着业务的发展，数据库会出现升降配、数据库整体迁移的需求，为支持此类业务场景，DMS推出数据库迁移功能，支持对多种数据库的结构、数据进行同构迁移，同时支持库名称修改、迁移前预校验、迁移后数据一致性校验及来源数据库的...
开启应用一致性备份功能
当您使用应用一致性备份进行恢复时，可避免数据库等应用启动时进行日志恢复，确保应用处于一致性的启动状态。前提条件 ECS实例的操作系统在以下范围中：Windows：Windows Server 2019、Windows Server 2016和Windows Server 2012。Linux：...
如何实现恢复数据一致性
全量备份为了尽可能降低对数据库性能影响，采用无锁备份方式，并行拉取数据并备份到OSS上，全量备份会产生不同时间点数据，在数据恢复时，先恢复全量备份数据，然后恢复增量备份数据，利用增量备份恢复的幂等性来实现恢复数据一致性。...
多可用区数据强一致
功能优势 开启多可用区数据强一致功能之后，当主可用区集群发生故障时，会 自动切换 到备可用区，并进行跨可用区的多副本强同步复制，RTO，确保数据的强一致性，提供金融级的高可靠性。前提条件 当前仅 PolarDB MySQL版 的 集群版 8.0.1...
什么是云原生数据库PolarDB分布式版
Binlog和全局一致性备份，分别解决分布式数据库各节点数据库向下游流转的难题及各节点备份时间差造成的恢复一致性问题。多种部署形态 为满足不同行业客户对部署形态的需求，PolarDB-X 提供公共云、专有云、专有云DBStack、软件版四种部署...
列存节点的事务一致性说明
适用版本 该一致性说明适用的集群版本和数据库代理版本如下：集群版本需满足以下条件之一：PolarDB MySQL版 8.0.1版本且修订版本为8.0.1.1.31及以上。PolarDB MySQL版 8.0.2版本且修订版本为8.0.2.2.12及以上。数据库代理版本需为2.8.11及...
同步Redis后出现数据不一致
已过期的数据也会被统计到 expires 中，因此，不能单靠 expires 去判断数据的一致性。对比A（源库keys数量减去expires后得到的数量）与B（目标库keys数量减去expires后得到的数量），若A和B的差值很小，则可判断数据一致。用redis-full-...
创建应用一致性快照
类型 说明 实现方式 应用一致性快照 应用一致性快照在快照创建时刻备份内存数据及正在进行中的数据库事务，保证应用系统数据和数据库事务的一致性。通过应用一致性快照，没有数据的损坏及丢失，避免数据库启动时日志回滚，确保应用处于一致...
- 产品推荐
- 这些文档可能帮助您