注意事项
如果数据库分片集群是分库分表模式，则所有数据库分表都需要配置分库分表规则，如果数据库分片中只有单表，分库分表规则可以直接配置 0 即可。在如下配置中，single_table 会路由到 group_00 分片：使用限制 仅支持 DML 语句（INSERT、...
场景：配置分库分表离线同步任务
说明 仅MySQL、PolarDB、AnalyticDB支持通过向导模式添加分库分表，其他数据库请切换至脚本模式配置分库分表同步。脚本模式配置分库分表：脚本示例如下，完整的任务配置步骤请参见 通过脚本模式配置离线同步任务。重要 实际运行时，请删除...
MySQL分库分表实践
尤其是在MySQL分库分表的场景下，上游的数据库和表非常多，都需要同时写入一张Hologres表，如果要同时配置多个任务则会导致配置非常复杂且运维困难。针对以上痛点，阿里云DataWorks数据集成一键同步解决方案提供了面向业务场景的同步任务...
全球数据库市场发展与机遇
数据库起源于上世纪70年代，在技术发展浪潮中历久弥新，已成为IT科技的核心技术之一，支撑着现代社会的经济活动和商业文明。长期以来，全球商业化数据库主要以Oracle、IBM、Microsoft、SAP传统四大厂商为主。随着新金融、新零售、新制造、...
管理MySQL Catalog
例如，有一个分库分表的MySQL数据库，包括user01、user02和user99等多个表，分散在db01~db10等数据库中，且所有表的Schema都相互兼容，则可以通过如下正则表达式的库名表名来访问到所有user的分库分表。SELECT.FROM `db.*`.`user.*`/*+...
数据分析整体趋势
技术发展趋势 商业数据库起步于二十世纪八十年代，主要代表为Oracle，SQL Server，DB2等结构化数据在线处理的关系型数据库，而以MySQL，PostgreSQL为代表的开源关系型数据库也在二十世纪九十年代得到了发展。近些年来，随着业务数据量的...
产品概述
相比于全自研分布式NewSQL数据库，PolarDB-X 1.0 产品始终以持续稳定性和可运维性作为第一要务，同时通过标准数据库技术弥补与单机数据库的体验差异，让用户便捷、快速地上手使用，充分发挥产品的业务价值。高度可扩展 相比传统单机关系型...
MySQL分库分表同步至Hologres（方案1.0）
需求分析 场景描述：MySQL实例有三个分库分表数据库 order_db01、order_db02、order_db03。业务上有两种逻辑表：订单表 t_order 和用户表 t_user，其中每张逻辑表分别对应三个数据库下的两张物理表。如下图所示总共3个物理库，12张分表，...
MySQL分库分表同步至MaxCompute
尤其是在MySQL分库分表的场景下，上游的数据库和表非常多，都需要同时写入一张MaxCompute表，如果同时配置多个任务会导致配置非常复杂且运维困难。针对以上痛点，DataWorks数据集成一键同步解决方案提供了面向业务场景的同步任务配置化方案...
MySQL分库分表同步至MaxCompute
尤其是在MySQL分库分表的场景下，上游的数据库和表非常多，都需要同时写入一张MaxCompute表，如果同时配置多个任务会导致配置非常复杂且运维困难。针对以上痛点，DataWorks数据集成一键同步解决方案提供了面向业务场景的同步任务配置化方案...
分库分表
数据库访问代理在后端将数据量较大的数据表水平拆分到各个 RDS 数据库中，后端的这些 RDS 数据库被称为分库，分库中的表被称为分表。拆分后，每个分库负责一份数据的读写操作，从而有效的分散了整体访问压力。在系统扩容时，只需要水平增加...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
通过脚本模式配置离线同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
数据传输作业：数据集成
实时同步 DataWorks提供的实时数据同步功能，使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至MaxCompute中，实现MaxCompute实时保持和源库的数据对应。一个实时同步任务支持多个转换插件进行数据清洗，并支持多个...
通过向导模式配置离线同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
行业趋势与背景
作为分库分表技术的开创者，我们推出了DRDS+RDS的分布式云数据库服务。这代产品的特征是采用Share-Nothing架构，以解决存储扩展性为出发点，提供面向用户的产品化交付能力。PolarDB-X 1.0 针对分库分表使用中的痛点，我们不断进行产品能力...
CREATE DATABASE
CREATE DATABASE语句用于创建数据库，并可以指定数据库的默认属性（如数据库默认字符集，校验规则等）。语法 create_database_stmt:CREATE {DATABASE|SCHEMA}[IF NOT EXISTS]database_name[database_option_list]database_option_list:...
PolarDB-X历史
分库分表技术开创者 去掉传统商业数据库后，是否有更适合的产品和解决方案来替代呢？对于数据库来说，答案是明确的：开源+分布式，开源解决成本问题，分布式解决性能和容量问题。同年11月11日，TDDL（Taobao Distributed Data Layer）首次...
数据同步模版
分库分表合并 当同一份业务数据分散在不同的数据库或者业务表时，我们往往需要用到分库分表合并的能力，将表结构相似的分库分表的数据同步到一张目标表中。Flink CDC可以自动同步源中所有分库分表的全量和增量数据（包括新增的符合正则表达...
技术架构
数据库自治服务（Database Autonomy Service，简称DAS），一种基于机器学习和专家经验实现数据库自感知、自修复、自优化、自运维及自安全的云服务，帮助用户消除数据库管理的复杂性及人工操作引发的服务故障，有效保障数据库服务的稳定、...
数据清理
背景信息 ODC 支持在源数据库中的数据归档到目标数据库后，删除源数据库中的数据，以提高数据库查询性能，降低在线存储成本。本文档旨在介绍如何通过提交数据清理工单实现归档数据。原理介绍 前提条件 清理的表中必须包含主键。注意事项 ...
数据归档
背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中，以解决因线上数据增多影响查询性能与业务运作的问题。本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置...
RDS/PolarDB 数据源配置分库分表
一般用户的分库分表分两种情况：单库多表：database1 table1、table2、table3、table4.多库多表：database1 database2 database3.table1、table2、table3、table4.table1、table2、table3、table4.table1、table2、table3、table4.这两种...
RDS/PolarRDB 数据源配置分库分表
一般用户的分库分表分两种情况：单库多表：database1 table1、table2、table3、table4.多库多表：database1 database2 database3.table1、table2、table3、table4.table1、table2、table3、table4.table1、table2、table3、table4.这两种...
逻辑库
等于1 等于1时，仅存在分表的单个数据库会抽取成逻辑库。使用场景 如下为典型的逻辑库场景：单库-分表 分库-分表 分库-不分表 注意事项 SQL Console数据查询、结构设计、数据导出、数据变更等功能支持选择物理库或者逻辑库操作。选择逻辑库...
功能特性
完整自主知识产权 OceanBase 数据库由蚂蚁集团完全自主研发，不基于 MySQL 或者 PostgreSQL 等开源数据库，技术可靠，不会存在基于开源数据库产品的技术限制问题。高性能 OceanBase 数据库作为准内存数据库，通常只需要操作内存中的数据，...
自定义 HINT
HINT 作为一种 SQL 补充语法，在关系型数据库中扮演着非常重要的角色。它允许用户通过相关的语法影响 SQL 的执行方式，从对 SQL 进行特殊的优化。同样，数据访问代理也提供了自定义的 HINT 语法。HINT 使用基本语法：/*+DBP:hint 语句*/SQL...
Quick BI中明细表的分页不生效
问题原因 分页是数据库执行的结果，具体要看数据库的表现，数据库这个limit不排序的情况下不起作用，所以要加上排序。解决方案 执行分页SQL试下，看改变limit后面的第一个值结果会不会有变化。在具体维度字段设置一个排序之后，再次查看...
应用场景
业务复杂度高是该类业务的典型特征 典型的应用场景如下：分库分表后的跨数据库分布式事务 例如支付宝的交易服务，随着业务规模的增大，单个交易流水表已经不能满足业务需求，需要通过分库分表实现数据水平拆分。但是水平拆分后，单表的数据...
应用场景
大数据存储与分析 传统的数据分析场景下，用户需要把数据从在线数据库（Operational Database）复制到离线数据仓库（Data Warehouse）上之后再进行数据分析，这需要海量数据的多次复制、传输、加载和存储等多方面工作。HybridDB for MySQL...
银泰商业
但是在进行数据库改造时，希望在尽量不修改以往应用代码的情况下，通过数据库的技术解决这样的问题。解决方案 PolarDB PostgreSQL版（兼容Oracle）高度兼容Oracle语法。例如存储过程，当Oracle转MySQL上云时，需要投入了大量的研发精力将...
应用场景
该场景可实现：在离线一体化 支持数据实时增删改、具备在线分析和ETL计算一体化，实现大数据与数据库的融合。通过资源组隔离让在离线计算任务不相互影响，保证业务稳定运行。计算存储资源弹性 采用计算存储分离架构，计算资源和存储资源按...
T+1多库合并建仓
为保证业务可以继续使用RDS数据库，业务端通常会采用分库分表技术，将一个RDS数据库中的单张表数据拆分到多个数据库的多张表中。上述方案可解决因数据量大而导致的用户体验问题，但在对分库分表数据进行大数据分析时，逻辑上的一个表被拆成...
如何使用HINT（5.2及以下版本适用）
如果同一时间长时间执行的SQL过多，可能消耗大量的数据库资源，从而导致无法正常使用数据库服务。所以，对于长时间执行的SQL语句，尽量对SQL语句进行优化。指定分库执行SQL 在使用 PolarDB-X 1.0 的过程中，如果遇到某个 PolarDB-X 1.0 不...
数据表管理
在数据库列表中找到目标数据库，单击数据库名称。在左侧导航栏中，单击 数据表管理>数据表配置。调整拆分键 调整拆分键功能会按照您指定的表名和拆分键信息创建一张新的目标表，通过后台数据同步能力，将数据同步到目标表中，您可以根据...
基于 DataX 完成数据访问代理数据迁移
建库建表 登录数据访问代理控制台页面，选择 数据库，单击 创建数据库。在弹出的 创建数据库 窗口中，选择实例，单击 创建。进入 选择数据节点 页面后，根据需要选择 MySQL 或 OceanBase 的节点，单击 下一步。根据提示，填写或选择数据库...
SQL 路由
在分库分表模式下，数据访问代理会根据拆分键（即拆分字段）以及 SQL 语义把 SQL 语句分发到底层中各个存储数据的分表进行执行。执行结束后，数据访问代理会将从各个分表获取的数据合并，然后返回给用户。本文介绍在分库分表场景中数据访问...
拆分函数概述
PolarDB-X 1.0 是一个支持既分库又分表的数据库服务。本文将介绍 PolarDB-X 1.0 拆分函数的相关信息。拆分方式 在 PolarDB-X 1.0 中，一张逻辑表的拆分方式由拆分函数（包括分片数目与路由算法）与拆分键（包括拆分键的 MySQL 数据类型）...
基本概念
数据库 database 表示数据访问代理的逻辑数据库。以这个作为访问的入口，通过分库分表、读写分离等规则可以请求到后端真实的物理数据库。数据表 data table 表示数据访问代理的逻辑表，应用访问数据访问代理时 SQL 中的表即数据表。一个...
数据库库表重命名
适用场景 默认情况下，被迁移或同步的对象（例如数据库、表等）在源端和目标端的名称相同，您可以通过数据传输提供的对象名称重命名功能，设置被迁移或同步的对象在目标端的名称，实现源端和目标端之间数据库的库名、表名的映射。...
- 产品推荐
- 这些文档可能帮助您