应用场景
业务复杂度高是该类业务的典型特征 典型的应用场景如下：分库分表后的跨数据库分布式事务 例如支付宝的交易服务，随着业务规模的增大，单个交易流水表已经不能满足业务需求，需要通过分库分表实现数据水平拆分。但是水平拆分后，单表的数据...
应用场景
多源联合分析 该场景需要解决云上企业构建数据仓库时配置数据同步链路繁杂的问题，以及分库分表所带来的数据分析复杂性问题，让用户可以更专注于业务逻辑。该场景可实现：支持多数据源接入 支持数据库（RDS、PolarDB-X（原DRDS）、PolarDB...
Quick BI数据集未设置缓存，但是报表查询结果却缓存了...
问题描述 Quick BI数据集未设置缓存，但是报表查询结果却缓存了一分钟，刷新报表获取的数据并不是数据库中最新的数据。问题原因 Quick BI报表默认会有1分钟的缓存，用于快速响应重复的请求。解决方案 如果希望报表每次刷新都获取到数据库...
产品优势
无 无 冷热分离 基于时间属性，数据自动分表，其中冷数据使用高压缩和高性价比存储，减少成本，热数据提升访问性能。不支持 不支持 弹性 存储空间弹性 强，存计分离，一键扩容，存储秒级生效，计算分钟级生效。弱，扩容需要搬迁数据，小时...
数据库库表重命名
说明 多表聚合功能主要用于将 DRDS、MyCat 等分库分表的数据同步至目标端的同一张表。使用限制 数据传输仅支持配置数据迁移或数据同步项目时，在设置选择迁移/同步对象步骤执行重命名操作。一旦启动数据迁移或数据同步项目，请勿再执行重...
聚合支付方案
解决方案 阿里云通过多款云数据库产品为利楚扫呗制定以下解决方案：方案解读：使用DRDS分库分表将数据库进行水平拆分，有效解决订单的存储上限及业务高峰时的高并发压力，借助了DRDS对MySQL语法的高度兼容能力，轻松从原来单体数据库升级到...
基于 DataX 完成数据访问代理数据迁移
配置分表规则，详细配置方法可参见 创建数据访问代理数据表 和 自定义分表规则。勾选 现在创建物理表，单击 下一步。在 DDL 语句 中，输入建表语句，示例如下：CREATE TABLE `test_migration_user`(`user_id` varchar(16)NOT NULL,`...
算子介绍
Gather通常出现在LogicalView上方，表示收集合并各个分表的数据。Exchange Exchange是一个逻辑算子，本身不对计算过程中的数据做计算，只是将输入的数据做重分布后，输出给下游算子。一般重分布策略包括：SINGLETON：将上游多份数据进行...
执行计划和基本算子
在不使用并行查询时，Gather 通常出现在 LogicalView 上方，表示收集合并各个分表的数据。如果并行查询开启，Gather 可能被上拉到执行计划中更高的地方，这时候 Gather 表示将各个Worker的计算结果收集合并。Gather 中的 concurrent 表示...
V5.1.x系列实例版本说明
V5.1.28-1508068 日期 2017.12.15 类别 说明 新增特性 支持查询一张逻辑表下的各个物理分表的数据分布情况。新增拆分函数UNI_HASH能让分库数一样的两张表的JOIN保持为非跨库JOIN，不再受到分表数目的影响。增加支持ISNULL()函数。支持只...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
为什么在PolarDB-X 1.0的数据库中创建一张单表，它会...
PolarDB-X 1.0 设计为，创建单表时会给所有的分库里面都创建同样的表，但数据只存储第一个分库的表里面，目的是为了在单表转到广播表的时候，可以不用初始化表结构，仅需要同步数据。
分库分表
数据库访问代理在后端将数据量较大的数据表水平拆分到各个 RDS 数据库中，后端的这些 RDS 数据库被称为分库，分库中的表被称为分表。拆分后，每个分库负责一份数据的读写操作，从而有效的分散了整体访问压力。在系统扩容时，只需要水平增加...
主键与唯一键（DRDS模式）
tbl表插入一条order_id相同但city不同的数据，因为city的值为“Shenzhen”，由于这次city的值不同于第一次插入的数据，这次的数据将被插入到不同的分表。执行SQL，发现执行成功。此时order_tbl表内存在两行主键重复的数据，这说明Local主键...
逻辑库
使用场景 如下为典型的逻辑库场景：单库-分表 分库-分表 分库-不分表 注意事项 SQL Console数据查询、结构设计、数据导出、数据变更等功能支持选择物理库或者逻辑库操作。选择逻辑库，则可便捷的进行分表/逻辑表操作，即将分表/逻辑表当做...
如何选择分片数
物理分库上的物理分表数=向上取整（估算的总数据量/（私有定制RDS实例数 x 8）/5,000,000）因此，若计算出的物理分表数等于1时，当前分库即可满足需求，您无需再进一步分表，保持当前每个物理分库上一个物理分表即可。若计算结果大于1，则...
分布式序列
数据访问代理提供了生成分布式环境下的分布式唯一序列（Sequence）的能力，该序列有全局唯一、全局递增的特性，常用于分库分表下的主键、业务主键生成的场景。重要 数据访问代理分布式序列功能是基于数据库实现，如果需要使用该功能，需要...
CREATE DATABASE
数据库中分表的存储位置与该库的存储位置保持一致，以实现分表上的数据隔离。数据库创建成功后，您可以通过以下语句查看数据库的存储位置信息。SHOW CREATE DATABASE db1 MODE=drds;返回结果如下所示：+-+-+|DATABASE|CREATE DATABASE|+-+-...
数据清理
清理范围 选择清理数据库中部分表（部分归档）或者清理数据库中所有表（整库归档）。自定义变量 可选项。通过定义变量和设置时间偏移量筛选表中符合条件的行进行清理。执行方式 选择 立即执行/定时执行/周期执行 设置任务执行方式。任务...
数据归档
归档范围 选择归档源端数据库中部分表（部分归档）或者归档源端数据库中所有表（整库归档）。自定义变量 可选项。通过定义变量和设置时间偏移量筛选表中符合条件的行进行归档。执行方式 选择 立即执行/定时执行/周期执行 设置任务执行方式...
聚合支付：Ping+
解决方案 Ping+业务早期均构建于RDS MySQL之上，数据体量从2016年1个亿至2017年5个亿发展到2018年10个亿，业务规模发展迅速，急需对数据库进行拆库分表。目前Ping+目前采用两个 PolarDB-X 实例，每个 PolarDB-X 实例挂载4个RDS MySQL。其中...
基本概念
以这个作为访问的入口，通过分库分表、读写分离等规则可以请求到后端真实的物理数据库。数据表 data table 表示数据访问代理的逻辑表，应用访问数据访问代理时 SQL 中的表即数据表。一个逻辑表会对应多个物理表，数据访问代理在路由时，会...
数据集成：全领域数据汇聚
适用场景 DataWorks数据集成适用于数据入湖入仓、分库分表、实时数据归档、云间数据流转等数据传输场景。计费 运行数据集成任务可能产生的费用由以下几部分组成：运行数据集成任务所需的 数据集成资源组 费用。计费详情请参见 独享数据集成...
实时同步能力说明
数据同步场景 实时同步支持单表实时增量数据同步至目标端单表、分库分表实时增量数据同步至目标端单表、整库（多表）实时增量数据同步至目标多表。单表增量数据实时同步：支持单表ETL实时同步。整库增量数据实时同步：支持将整个数据库的...
通过LOCALITY指定存储位置（DRDS模式）
数据库中分布式表的存储位置与该库的存储位置保持一致，以实现分表上的数据隔离。数据库中单表的存储位置不受所在数据库存储位置的影响。创建单表时若未指定存储位置，则会被随机放置在一个存储节点上，且后续该 PolarDB-X 实例上创建的...
创建数据访问代理数据表
对于设置为“分库分表”模式的数据访问代理数据库来说，在创建数据表时需要制定其相应的分表规则，之后应用通过连接数据访问代理可以透明访问后端的数据表，由数据访问代理根据设定的分表规则进行路由操作。操作步骤 在数据访问代理控制台...
如何高效扫描数据
PolarDB-X 1.0 支持高效的数据扫描方式，并支持在全表扫描时使用聚合函数进行统计汇总。本文介绍如何高效扫描 PolarDB-X 1.0 数据。常见的扫描场景 没有分库分表：PolarDB-X 1.0 ...此时可开启最多12个会话（分别对应12张分表）并行处理数据。
使用DataWorks（离线与实时）
数据库整库离线同步至MaxCompute 整库离线同步至MaxCompute OSS数据离线同步至MaxCompute EMR Hive数据整库离线同步至MaxCompute 数据库增量数据离线同步至MaxCompute RDS增量数据同步至MaxCompute Kafka增量数据同步至MaxCompute 数据库分...
TCC 防悬挂与幂等接入
} 重要 如果业务数据库分库分表，则需要在一阶段方法的分库分表参数前添加@ShardingKey 注解，单库单表无需添加。修改实现接口 在 TCC 参与者一阶段 try 方法中，业务的数据库事务内，调用 TccTransactionController.doAntiSuspendControl...
LTS（原BDS）服务介绍
RDS历史库 对于交易订单等存储场景，随着数据量增大会对RDS造成性能压力，周期性的归档数据或者分库分表存在成本高、操作复杂等痛点。可以通过LTS将RDS数据实时同步到云HBase实现冷热数据分离，云HBase提供自动水平扩展、高并发查询、多维...
LTS（原BDS）服务介绍
RDS历史库建设 对于交易订单等存储场景，随着数据量增大会对RDS造成性能压力，周期性的归档数据或者分库分表存在成本高、操作复杂等痛点。可以通过LTS将RDS数据实时同步到Lindorm宽表实现冷热数据分离，Lindorm宽表提供自动水平扩展、高...
应用场景
大数据存储与分析 传统的数据分析场景下，用户需要把数据从在线数据库（Operational Database）复制到离线数据仓库（Data Warehouse）上之后再进行数据分析，这需要海量数据的多次复制、传输、加载和存储等多方面工作。HybridDB for MySQL...
CreateDB
drds：该模式的数据库不支持自动分区，创建表时需使用专用的分库分表语法，指定分库分表键。返回数据 名称 类型 示例值 描述 Message String*成功为空，失败返回错误信息。RequestId String 9B2F3840-5C98-475C-B269-2D5C3A31797C 请求ID。...
实时同步常见问题
分库分表类实时任务，创建符合规则的子表时，会把子表的数据同步到目标表中。并不会新建目标表。其他类型暂不支持正常处理，只能选择忽略、报警、出错。删除表 分库分表类实时任务，支持正常处理。当删除符合规则的子表时，被删除子表的...
数据库实时入仓快速入门
此时，如果您希望开发一个数据同步的作业，将这些表和数据都同步到Hologres中，其中user分库分表能合并到Hologres的一张表中，则可以按照以下步骤进行：步骤一：创建Catalog 步骤二：开发数据同步作业 步骤三：启动作业 步骤四：观察全量...
多元索引介绍
维度 按时间分表 原理 按照固定时间，例如“日”、“周”、“月”或者“年”分表，并为每个表建立一个多元索引，根据需要保留所需时间的数据表。例如当数据需要保留6个月时，可以将每个月的数据保存在一张数据表中，例如table_1、table_2、...
分库分表问题
常见分库分表问题列表：分库分表是否支持多个拆分字段 分库分表是否支持跨库 JOIN 分库分表对拆分库表的数量是否有限制 分库分表是否支持多个拆分字段 数据访问代理分库分表功能支持多个拆分字段，但是如果配置了拆分字段，后续执行 SQL 均...
- 产品推荐
- 这些文档可能帮助您