创建数据访问代理数据库
创建类型：分库分表：则需要设置对应的分库数，分表规则会在创建数据表时指定；单库单表：将已有的数据库交由数据访问代理进行代理访问，实现统一管理及读写分离的功能，修改数据库连接串和用户名密码即可，无需进行数据导入或修改代码。...
云原生分布式数据库PolarDB-X 1.0和2.0区别
详细信息 PolarDB-X提供1.0中间件形态，以及2.0一体化形态，具体区别如下：PolarDB-X 1.0中间件形态由计算层PolarDB-X实例与存储层私有定制RDS实例组成，通过挂载多个MySQL进行分库分表水平拆分，详情请参见 产品架构。PolarDB-X 2.0一体化...
事务模式简介
通过这种方式，用户在使用 DRDS 实现分库分表后，就可以使用 GTS 实现和传统单机数据库一致的分布式事务。说明：除了 DRDS 独立使用 GTS 的场景，还有一种情况，即在 EDAS 上使用 DRDS，这种情况下，可以把 DRDS 看做一个普通的数据库，...
ALIYUN:PolarDBX:Database
drds：该模式的数据库不支持自动分区，创建表时需使用专用的分库分表语法指定分库分表键。DatabaseName String 是 否 数据库的名称。无 DatabaseDescription String 否 是 数据库描述信息。无 Accounts List 是 是 账户列表。更多信息，请...
管理数据表
分库分表规则说明 分表规则详细说明如下：Hash 取模：要求字段类型为数字，将数值对分库/分表数量进行取模，得到的值作为分库位/分表位。如分表规则为 Hash 取模，分表总数为 100，值为 230，则分表位计算结果为 230%100=30。字符串截断...
分库分表（Alias功能）
本文介绍分库分表功能的使用场景和使用方法。背景信息 表变更业务逻辑中设置了访问某个表A，突然有一天需要修改为表B，此时只能修改配置进行线上变更。分库分表 业务大部分场景只访问最近一周的数据，可以每隔一周新建一张表来存储，这样...
创建数据库
DRDS模式：不支持自动分区，创建表时需使用DRDS专用的分库分表语法，指定分库分表键，否则创建的是一张单表。两种模式的详细介绍请参见 AUTO模式数据库与DRDS模式数据库。备注说明 备注该数据库的相关信息，便于后续数据库管理。该参数为非...
概述
数据访问代理兼容 MySQL 协议和语法，支持分库分表、平滑扩容、服务升降配、透明读写分离和分布式事务等特性，具备分布式数据库全生命周期的运维管控能力。数据访问代理主要应用场景在大规模在线数据操作上，通过贴合业务的拆分方式，将...
概述
PolarDB-X 1.0 由计算层DRDS实例与存储层 私有定制RDS 实例组成，通过挂载多个MySQL进行分库分表水平拆分。PolarDB-X 1.0 存储层 私有定制RDS 实例与计算层DRDS实例配合更加深度紧密，性能表现更优秀，服务链路更稳定，售卖价格更优惠。...
节点/数据库/表/分区/二级分区
这就是通常说的分库分表（Sharding）技术。通过Sharding技术，可以将用户数据打散到多个节点上，这样可以利用分布式的特性来进行并行计算，极大地提升性能。表 在HybridDB for MySQL中，表是一个逻辑概念。用户创建的表会根据分区key拆分到...
创建数据访问代理数据表
对于设置为“分库分表”模式的数据访问代理数据库来说，在创建数据表时需要制定其相应的分表规则，之后应用通过连接数据访问代理可以透明访问后端的数据表，由数据访问代理根据设定的分表规则进行路由操作。操作步骤 在数据访问代理控制台...
备份恢复
面向分库分表场景，保证单个RDS层面的数据一致性，但不保证数据的全局一致性。适用于日常业务常规备份恢复场景。一致性备份 面向分库分表场景，提供全局数据一致保证。备份恢复速度相对较慢。仅支持备份集恢复，不支持任意时间点恢复。仅...
技术架构
整体架构 PolarDB-X 1.0 由计算层实例与存储层私有定制RDS实例组成，通过挂载多个MySQL进行分库分表水平拆分。如同大多数传统单机关系型数据库，PolarDB-X 1.0 分为网络层、协议层、SQL解析层、优化层和执行层，其中优化层包含逻辑优化和...
查询改写与下推
shardCount=2,sql="SELECT `id` FROM `t1` AS `t1`")JOIN下推 JOIN下推需要满足以下条件：t1与t2表的拆分方式一致（包括分库键、分表键、拆分函数、分库分表数目）。JOIN条件中包含t1，t2表拆分键的等值关系。此外，任意表JOIN广播表总是...
SQL优化技术
对于复杂的部署（如大规模的分库分表场景），如何选择灰度策略、变更窗口、安全稳妥地推进线上变更？如何持续的跟踪效果，做到万无一失？问题风险 考虑两个重要的时间点，如下图所示，一个简单的慢SQL趋势，T1代表我们发现数据库实例性能...
CREATE TABLE AS（CTAS）语句
分库分表合并同步 支持使用正则表达式定义库名和表名，匹配数据源的多张分库分表，合并后同步到下游的一张表中。说明 正则匹配时，不支持使用^进行表开头的匹配。自定义计算列同步 支持在源表上新增计算列，以支持您对源表的某些列进行转换...
查询改写与下推
拆分键为 c_nationkey 情况：拆分键不为 c_nationkey 情况：JOIN下推 JOIN下推需要满足以下条件：t1与t2表的拆分方式一致（包括分库键、分表键、拆分函数、分库分表数目）。JOIN条件中包含t1，t2表拆分键的等值关系。此外，任意表JOIN广播...
应用场景
如果交易服务使用数据访问代理来分库分表，虽然数据访问代理本身不支持分布式事务，但是分布式事务可以轻松和数据访问代理集成，使得数据访问代理具备分布式事务的处理能力，解决分库分表后的跨库分布式事务问题。跨服务的分布式事务 例如...
集群容量规划
Lindorm搜索引擎是由多个节点组成的分布式集群，在购买服务之前，需要仔细评估集群的资源容量。...日志、订单等有时间属性的场景，建议使用系统自带的 分库分表（Alias功能），持续滚动产生新的索引，并且周期性删除旧的索引。
扫描全部/部分分库分表
CONDITION="condition_string"#使用TABLE和CONDITION中的内容计算物理库表名称[,NODE="node_list"])#过滤通过CONDITION计算出的结果，仅保留指定物理库#将SQL语句下发到指定分库分表上执行，显式指定物理表名 SCAN([TABLE=]"table_name_...
2022-05-16版本
管理Kafka JSON Catalog CDAS新增分库分表同步能力 支持使用正则表达式定义库名，匹配数据源的多个分库下的源表，合并后同步到下游每张对应表名的目标表中，在分库下数据同步更加优雅高效。CREATE DATABASE AS（CDAS）语句 Hologres ...
扫描全部/部分分库分表
CONDITION="condition_string"#使用TABLE和CONDITION中的内容计算物理表名称[,NODE="node_list"])#过滤通过CONDITION计算出的结果，仅保留指定物理库#将SQL语句下发到指定分库分表上执行，显式指定物理表名 SCAN([TABLE=]"table_name_list...
MySQL分库分表同步至MaxCompute
本文以MySQL分库分表实时写入MaxCompute场景为例，为您介绍如何通过数据集成同步分库分表数据至MaxCompute。前提条件 已完成MaxCompute和MySQL数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来...
MySQL分库分表同步至MaxCompute
本文以MySQL分库分表实时写入MaxCompute场景为例，为您介绍如何通过数据集成同步分库分表数据至MaxCompute。前提条件 已完成MaxCompute和MySQL数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来...
MM
只能作为分表函数而不是分库函数使用。按MM进行分表，由于一年的月份只有12个月，所以各分库的分表数不能超过12。PolarDB-X 1.0 实例的版本需为5.1.28-1320920或以上版本，关于实例版本请参见 版本说明。路由方式 根据分库键时间值的月份数...
DD
只能作为分表函数而不是分库函数使用。按DD进行分表，由于一个月中日期（DATE_OF_MONTH）的取值范围是1~31，所以各分库的分表数不能超过31。PolarDB-X 1.0 实例的版本需为5.1.28-1320920或以上版本，关于实例版本请参见 版本说明。路由方式...
X-Engine最佳实践
迁移到X-Engine之后，很多业务可以免除分库分表的需求，使用单库即可承载近10 TB的数据存储服务。作为中国领先的电子商务服务提供商，用户体量庞大，阿里内部有非常多的在线业务承受非常大的存储成本压力。接下来为您介绍阿里巴巴集团内部...
WEEK
只能作为分表函数而不是分库函数使用。按WEEK进行分表，由于一周共有7天，所以各分库的分表数不能超过7。PolarDB-X 1.0 实例的版本需为5.1.28-1320920或以上版本，关于实例版本请参见 版本说明。路由方式 根据分库键时间值所对应的一周之中...
MMDD
只能作为分表函数而不是分库函数使用。按MMDD进行分表，由于一年最多只有366天，所以各个分库的分表数目不能超过366。PolarDB-X 1.0 实例的版本需为5.1.28-1320920或以上版本，关于实例版本请参见 版本说明。路由方式 根据分库键时间值在一...
如何高效扫描数据
常见的扫描场景 没有分库分表：PolarDB-X 1.0 会把原SQL传递到后端MySQL执行。这种情况下 PolarDB-X 1.0 支持任何聚合函数。非全表扫描：SQL经过 PolarDB-X 1.0 路由后，发送到单个MySQL库上执行。比如说拆分键在WHERE中是等于关系时，就会...
逻辑表
分库-分表，最常见的使用场景。说明 按序逐个物理库内的物理表数字递增均分。每个分库相同表名，如每个库都是1到12的12张分表。分库-不分表，即每个分库下有相同的一个物理表名。定义 当业务达到一定规模后，需要通过分库分表来进行负载...
MM
使用示例 假设需要先按ID对用户进行分库，再将create_time列按月份进行分表，使得每个月份能够对应一张物理表，则您可以使用如下的建表DDL：create table test_mm_tb(id int,name varchar(30)DEFAULT NULL,create_time datetime DEFAULT ...
逻辑表查询
背景信息 分库分表后，需要快速地查询单个分表或查询多个分表并返回结果，可以对使用者屏蔽人为寻找分库、分表场景。用户最终使用查询操作都是被当做单个表查询，这样的操作相对较透明，也符合用户当下的诉求。数据管理DMS 基于产品内的 ...
DD
使用示例 假设需要先按ID对用户进行分库，再将create_time列按日期进行分表，使得每个日期能够对应一张物理表，则您可以使用如下的建表DDL：create table test_dd_tb(id int,name varchar(30)DEFAULT NULL,create_time datetime DEFAULT ...
管理MySQL Catalog
MySQL Catalog支持结合正则表达式读取分库分表数据，具体示例和使用限制请参见 CREATE TABLE AS（CTAS）语句。使用CTAS和CDAS实时同步MySQL数据变更和结构变更。USE CATALOG `${target_catalog}`;单表同步，实时同步表级别的表结构变更和...
注意事项
分库分表规则 数据访问代理可以根据任意字段、多个字段进行分库分表，且同一个分表可以配置多个规则。如果配置了分表规则后，所有 SQL 请求都需要带上分库分表字段。如果数据库分片集群是分库分表模式，则所有数据库分表都需要配置分库分表...
如何选择分片数
物理分库上的物理分表数=向上取整（估算的总数据量/（私有定制RDS实例数 x 8）/5,000,000）因此，若计算出的物理分表数等于1时，当前分库即可满足需求，您无需再进一步分表，保持当前每个物理分库上一个物理分表即可。若计算结果大于1，则...
全局二级索引
说明 创建GSI时需要注意选择与主表不同的分库分表键，详情请参见 使用全局二级索引。Q：全局二级索引和局部索引有什么关系？A：全局二级索引和局部索引间的关系如下所示：全局二级索引：不同于局部索引，如果数据行和对应的索引行保存在...
WEEK
使用示例 假设先按ID对用户进行分库，再需要对create_time列按周进行分表，并且每周7天（星期一到星期天）各对应一张物理表，则应该使用如下的建表DDL：create table test_week_tb(id int,name varchar(30)DEFAULT NULL,create_time ...
MMDD
只能作为分表函数使用，但不能作为分库函数。按MMDD进行分表，由于一年最多只有366天，所以各个分库的分表数目不能超过366。使用场景 MMDD函数适用于按一年中的日期进行分表，分表的表名下标就是一年中的某个日期。使用示例 假设需要先按ID...
- 产品推荐
- 这些文档可能帮助您