场景：配置分库分表离线同步任务
DataWorks支持通过向导模式或脚本模式配置离线同步任务，您可以将分库分表数据同步至目标单表。本文以同步MySQL分库分表数据为例进行说明。前提条件 已准备好要同步的多个数据源，详情请参见 支持的数据源与读写插件。背景信息 分库分表...
T+1多库合并建仓
背景信息 在数据库应用中，当单个关系型数据库RDS（Relational Database Service）的数据量越来越多时，相应的数据查询时间也会延长，影响用户体验。为保证业务可以继续使用RDS数据库，业务端通常会采用分库分表技术，将一个RDS数据库中的...
MySQL分库分表同步至Hologres（方案1.0）
需求分析 场景描述：MySQL实例有三个分库分表数据库 order_db01、order_db02、order_db03。业务上有两种逻辑表：订单表 t_order 和用户表 t_user，其中每张逻辑表分别对应三个数据库下的两张物理表。如下图所示总共3个物理库，12张分表，...
MySQL分库分表同步至Hologres（方案2.0）
需求分析 场景描述：MySQL实例有三个分库分表数据库 order_db01、order_db02、order_db03。业务上有两种逻辑表：订单表 t_order 和用户表 t_user，其中每张逻辑表分别对应三个数据库下的两张物理表。如下图所示总共3个物理库，12张分表，...
配置MySQL输入
MySQL输入基于Binlog实时订阅的方式，实时读取您配置的MySQL数据库表数据。本文为您介绍，如何配置MySQL输入，以及配置输入之前需要准备的网络环境及账号权限。前提条件 配置MySQL输入之前，请确保已完成以下规划与准备工作。已配置同步...
MySQL分库分表同步至MaxCompute
本文以MySQL分库分表实时写入MaxCompute场景为例，为您介绍如何通过数据集成同步分库分表数据至MaxCompute。前提条件 已完成MaxCompute和MySQL数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来...
MySQL分库分表同步至MaxCompute
本文以MySQL分库分表实时写入MaxCompute场景为例，为您介绍如何通过数据集成同步分库分表数据至MaxCompute。前提条件 已完成MaxCompute和MySQL数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
通过脚本模式配置离线同步任务
说明 支持同步源端分库分表数据至目标单表，详情请参见：场景：配置分库分表离线同步任务。若数据源与资源组网络不通，请参考界面提示或文档进行网络连通配置。详情请参见：配置资源组与网络连通。步骤三：转脚本模式并导入模板 单击工具栏...
数据传输作业：数据集成
实时同步 DataWorks提供的实时数据同步功能，使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至MaxCompute中，实现MaxCompute实时保持和源库的数据对应。一个实时同步任务支持多个转换插件进行数据清洗，并支持多个...
通过向导模式配置离线同步任务
还支持同步源端分库分表数据至目标单表，详情请参见：场景：配置分库分表离线同步任务。若数据源与资源组网络不通，请参考界面提示或文档进行网络连通配置。详情请参见：配置资源组与网络连通。步骤三：配置数据来源与去向 在选择数据源...
注意事项
如果数据库分片集群是分库分表模式，则所有数据库分表都需要配置分库分表规则，如果数据库分片中只有单表，分库分表规则可以直接配置 0 即可。在如下配置中，single_table 会路由到 group_00 分片：使用限制 仅支持 DML 语句（INSERT、...
分库分表
数据库访问代理在后端将数据量较大的数据表水平拆分到各个 RDS 数据库中，后端的这些 RDS 数据库被称为分库，分库中的表被称为分表。拆分后，每个分库负责一份数据的读写操作，从而有效的分散了整体访问压力。在系统扩容时，只需要水平增加...
Map模型
} } 处理分库分表数据的Demo示例（适用于Map或MapReduce模型）@Component public class ScanShardingTableJobProcessor extends MapJobProcessor {@Service private XXXService xxxService;private final int PAGE_SIZE=500;static class ...
MapReduce模型
} } 处理分库分表数据的Demo示例（适用于Map或MapReduce模型）@Component public class ScanShardingTableJobProcessor extends MapJobProcessor {@Service private XXXService xxxService;private final int PAGE_SIZE=500;static class ...
CREATE DATABASE
CREATE DATABASE语句用于创建数据库，并可以指定数据库的默认属性（如数据库默认字符集，校验规则等）。语法 create_database_stmt:CREATE {DATABASE|SCHEMA}[IF NOT EXISTS]database_name[database_option_list]database_option_list:...
拆分函数概述
PolarDB-X 1.0 是一个支持既分库又分表的数据库服务。本文将介绍 PolarDB-X 1.0 拆分函数的相关信息。拆分方式 在 PolarDB-X 1.0 中，一张逻辑表的拆分方式由拆分函数（包括分片数目与路由算法）与拆分键（包括拆分键的 MySQL 数据类型）...
数据同步模版
分库分表合并 当同一份业务数据分散在不同的数据库或者业务表时，我们往往需要用到分库分表合并的能力，将表结构相似的分库分表的数据同步到一张目标表中。Flink CDC可以自动同步源中所有分库分表的全量和增量数据（包括新增的符合正则表达...
数据清理
背景信息 ODC 支持在源数据库中的数据归档到目标数据库后，删除源数据库中的数据，以提高数据库查询性能，降低在线存储成本。本文档旨在介绍如何通过提交数据清理工单实现归档数据。原理介绍 前提条件 清理的表中必须包含主键。注意事项 ...
数据归档
归档范围 选择归档源端数据库中部分表（部分归档）或者归档源端数据库中所有表（整库归档）。自定义变量 可选项。通过定义变量和设置时间偏移量筛选表中符合条件的行进行归档。执行方式 选择 立即执行/定时执行/周期执行 设置任务执行方式...
MySQL分库分表实践
本文为您介绍如何通过DataWorker数据集成和Flink两种方式将MySQL分库分表的数据写入至Hologres同一个表中，通过本实践您可以根据业务场景选择合适的方式将MySQL分库分表数据写入Hologres。背景信息 实际业务场景下数据同步通常不能通过一个...
RDS/PolarDB 数据源配置分库分表
一般用户的分库分表分两种情况：单库多表：database1 table1、table2、table3、table4.多库多表：database1 database2 database3.table1、table2、table3、table4.table1、table2、table3、table4.table1、table2、table3、table4.这两种...
RDS/PolarRDB 数据源配置分库分表
一般用户的分库分表分两种情况：单库多表：database1 table1、table2、table3、table4.多库多表：database1 database2 database3.table1、table2、table3、table4.table1、table2、table3、table4.table1、table2、table3、table4.这两种...
管理MySQL Catalog
例如，有一个分库分表的MySQL数据库，包括user01、user02和user99等多个表，分散在db01~db10等数据库中，且所有表的Schema都相互兼容，则可以通过如下正则表达式的库名表名来访问到所有user的分库分表。SELECT.FROM `db.*`.`user.*`/*+...
自定义 HINT
HINT 作为一种 SQL 补充语法，在关系型数据库中扮演着非常重要的角色。它允许用户通过相关的语法影响 SQL 的执行方式，从对 SQL 进行特殊的优化。同样，数据访问代理也提供了自定义的 HINT 语法。HINT 使用基本语法：/*+DBP:hint 语句*/SQL...
应用场景
业务复杂度高是该类业务的典型特征 典型的应用场景如下：分库分表后的跨数据库分布式事务 例如支付宝的交易服务，随着业务规模的增大，单个交易流水表已经不能满足业务需求，需要通过分库分表实现数据水平拆分。但是水平拆分后，单表的数据...
逻辑库
等于1 等于1时，仅存在分表的单个数据库会抽取成逻辑库。使用场景 如下为典型的逻辑库场景：单库-分表 分库-分表 分库-不分表 注意事项 SQL Console数据查询、结构设计、数据导出、数据变更等功能支持选择物理库或者逻辑库操作。选择逻辑库...
应用场景
该场景可实现：在离线一体化 支持数据实时增删改、具备在线分析和ETL计算一体化，实现大数据与数据库的融合。通过资源组隔离让在离线计算任务不相互影响，保证业务稳定运行。计算存储资源弹性 采用计算存储分离架构，计算资源和存储资源按...
聚合支付方案
解决方案 阿里云通过多款云数据库产品为利楚扫呗制定以下解决方案：方案解读：使用DRDS分库分表将数据库进行水平拆分，有效解决订单的存储上限及业务高峰时的高并发压力，借助了DRDS对MySQL语法的高度兼容能力，轻松从原来单体数据库升级到...
创建数据库
通过水平拆分，实现数据库的横向扩展，可线性提升数据库整体的存储容量以及并发吞吐。存储类型 此处的存储类型默认与创建 PolarDB-X 1.0 计算资源实例时选择的存储类型保持一致。本文在创建 PolarDB-X 1.0 计算资源实例时选择了 RDS MySQL...
如何使用HINT（5.2及以下版本适用）
如果同一时间长时间执行的SQL过多，可能消耗大量的数据库资源，从而导致无法正常使用数据库服务。所以，对于长时间执行的SQL语句，尽量对SQL语句进行优化。指定分库执行SQL 在使用 PolarDB-X 1.0 的过程中，如果遇到某个 PolarDB-X 1.0 不...
基于 DataX 完成数据访问代理数据迁移
建库建表 登录数据访问代理控制台页面，选择 数据库，单击 创建数据库。在弹出的 创建数据库 窗口中，选择实例，单击 创建。进入 选择数据节点 页面后，根据需要选择 MySQL 或 OceanBase 的节点，单击 下一步。根据提示，填写或选择数据库...
常见问题
支持的数据库部署位置（接入方式）阿里云实例 有公网IP的自建数据库 通过数据库网关DG接入的自建数据库 通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 阿里云实例 通过数据库网关DG接...
管理数据库
设置以下参数：参数 说明 数据库（DB）名称 长度为2~64个字符。以字母开头，以字母或数字结尾。由小写字母、数字、下划线或中划线组成。数据库名称在实例内必须是唯一的。说明 数据库名称中如果包含-，创建出的数据库的文件夹的名字中的-会...
CREATE DATABASE
语法 CREATE DATABASE[IF NOT EXISTS]db_name 参数 db_name：数据库名。密码规则如下：长度不超过64个字符。以小写字符开头。可包含字母、数字以及下划线（_）。不能包含连续两个及以上的下划线（_）。不能是analyticdb，analyticdb是内置...
数据库库表重命名
适用场景 默认情况下，被迁移或同步的对象（例如数据库、表等）在源端和目标端的名称相同，您可以通过数据传输提供的对象名称重命名功能，设置被迁移或同步的对象在目标端的名称，实现源端和目标端之间数据库的库名、表名的映射。...
创建数据库
参数 说明 限制并发量 指对应数据库并发请求执行的上限量，默认不限制，您也可以使用高权限账号登录数据库后，使用 ALTER DATABASE<数据库名>CONNECTION LIMIT<并发量>;命令修改。表空间 指数据库所属的表空间，默认为 pg_default，表空间...
CREATE DATABASE
语法 CREATE DATABASE db_name[[WITH][OWNER[=]user_name];参数说明如下表所示。参数 描述 db_name 创建的数据库名称，只支持字母、数字、下划线（_）。user_name 被授权为数据库管理员的账号名称。执行该语句的账号默认成为新数据库的...
数据表管理
在数据库列表中找到目标数据库，单击数据库名称。在左侧导航栏中，单击 数据表管理>数据表配置。调整拆分键 调整拆分键功能会按照您指定的表名和拆分键信息创建一张新的目标表，通过后台数据同步能力，将数据同步到目标表中，您可以根据...
SQL 路由
在分库分表模式下，数据访问代理会根据拆分键（即拆分字段）以及 SQL 语义把 SQL 语句分发到底层中各个存储数据的分表进行执行。执行结束后，数据访问代理会将从各个分表获取的数据合并，然后返回给用户。本文介绍在分库分表场景中数据访问...
- 产品推荐
- 这些文档可能帮助您