Kafka集群的数据存储格式
Shareplex Json：数据复制软件 Shareplex 读取源库中的数据，将数据写入至Kafka集群时，数据存储格式为Shareplex Json。Canal Json：Canal 解析数据库增量日志，并将增量数据传输至Kafka集群，数据存储格式为Canal Json。DTS Avro DTS Avro...
Kafka集群的数据存储格式
Shareplex Json：数据复制软件 Shareplex 读取源库中的数据，将数据写入至Kafka集群时，数据存储格式为Shareplex Json。Canal Json：Canal 解析数据库增量日志，并将增量数据传输至Kafka集群，数据存储格式为Canal Json。DTS Avro DTS Avro...
RDS MySQL实例间的单向同步
如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等），DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单中；如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添...
SHOW TABLES
SHOW TABLES语句用于展示数据库中满足查询条件的所有表。在使用CREATE TABLE语句建表前，您可以通过SHOW TABLES语句查看当前数据库已存在的表，避免重名报错。适用引擎 SHOW TABLES语法适用于宽表引擎和时序引擎。语法 show_tables_...
AnalyticDB MySQL 2.0数据导入
mode=replace 指定数据写入方式，取值：replace：推荐值，数据写入时会覆盖表中原有的数据。insert：默认值，当主键重复时会自动忽略当前写入数据，不做更新。说明 写入方式为insert时，会出现FLOAT类型数据错误的问题。column_name ...
INSERT OVERWRITE SELECT
INSERT OVERWRITE SELECT 常见的应用场景如下：分区级数据写入。数据初始化（全量写入）。大批量数据写入操作，不建议用于少量数据的写入。注意事项 请勿同时通过 INSERT OVERWRITE SELECT 和实时写入方式（INSERT INTO、REPLACE INTO、...
配置并管理实时同步任务
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
从ECS上的自建MySQL同步至RDS
如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等），DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单中；如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添...
RDS SQL Server中无法直接删除数据库的处理方法
问题描述 在RDS SQL Server实例中删除数据库时，会出现以下场景的报错：如果数据库没有会话，对于RDS SQL Server 2008、2012和2016版，是用镜像做的主备同步，直接使用 drop database SQL语句删除数据库会存在以下报错。The database 'XX' ...
整库离线同步至MaxCompute
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
整库离线同步至MaxCompute
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 数据...
导出至OSS
INSERT OVERWRITE PARTITION SELECT 功能：和 INSERT INTO PARTITION SELECT 使用方法相同，功能上的不同在于会清除掉本次执行中涉及到的目标分区中之前已有的数据文件，对于没有新数据写入的分区，则不会清除其中的数据文件。语法：INSERT...
通过DMS管理数据库账号
语法：db.getCollection("system.users").find({db:"database_name"})参数说明：database_name 为目标数据库的名称。示例：db.getCollection("system.users").find({db:"admin"})返回结果如下：{ '_id':"admin.root",'userId':BinData(3,"b...
从自建MySQL迁移至MyBase MySQL
警告 如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
一键实时同步至AnalyticDB for MySQL 3.0
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
方案概述
对源库有如下限制：类型 说明 源库限制 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待...
使用创建反向任务功能
本文为您介绍如何使用数据传输服务DTS（Data Transmission Service）的创建反向任务功能，实现数据库容灾场景下的数据回传。前提条件 已创建存储空间大于业务数据库已使用的灾备数据库，建议灾备数据比业务数据大10%。已在业务数据库和灾备...
SQL命令管理数据库
创建数据库 执行如下命令，创建数据库：CREATE DATABASE TestDb 说明 在RDS SQL Server实例中创建数据库时会产生默认路径，请您不要指定任何文件的路径。您可以执行以下命令，查询SQL Server实例的所有数据库的数据文件和日志文件的路径...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
C100售前支持相关问题
数据库审计和其他产品的区别 数据库审计产品相对于自己安装Packetbeat抓取流量审计和RDS数据库自带的SQL洞察功能，有以下区别：支持的数据库协议：数据库审计产品是专注于数据库协议解析的，支持的数据库协议更丰富，解析的粒度更细。...
DROP DATABASE
DROP DATABASE用于移除一个数据库。简介 DROP DATABASE 移除一个数据库。它会移除该数据库的系统目录项并且删除包含数据的文件目录。它只能由数据库拥有者执行。当你已经连接到目标数据库时，它不能被执行（连接到 postgres 或者任何其他...
Babelfish简介
当您希望在单一的数据库实例中同时使用SQL Server和PostgreSQL能力，或计划将现有应用从SQL Server迁移到更具成本效益的PostgreSQL时，Babelfish for RDS PostgreSQL实现了对T-SQL语句和TDS协议的支持。本文从产品特性、架构、适用场景以及...
名词解释
术语 宽表引擎 时序引擎 说明 DATABASE 〇 〇 Database（数据库）是一个结构化的、用于存储和管理相关数据的集合。TABLE 〇 〇 Table（表）是一种结构化的数据对象，用于存储和组织相关的数据记录。构建表时需要定义表的Schema结构，包括表...
Microsoft Azure Database for MySQL数据库迁移到阿里...
本文介绍Microsoft Azure Database for MySQL数据库迁移到阿里云的步骤及注意事项。前提条件 源端及目标端 要求 相关参考 源端 Microsoft Azure Database for MySQL实例 已开通公网访问，并获取外网连接地址及端口。已创建高权限账号。如果...
功能概述
当您的数据库中有数据需要被保护时，可以使用RDS MySQL全密态数据库功能，该功能提供的加密解决方案能够在遵守数据保护法规的前提下保障您的数据安全，使被保护数据免受未授权访问。本文介绍全密态数据库的概念、应用场景和安全分级。什么...
RDS PostgreSQL间的单向同步
如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等），DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单中；如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添...
如何支持超大事务
在分布式数据库中，超大事务一般满足以下条件中的一个或多个：事务修改的数据涉及多个分片；事务修改的数据量比较大；事务执行的SQL语句比较多。下面通过以下场景的测试，以这三个维度为切入点，介绍 PolarDB-X 对超大事务的支持情况。测试...
迁移MongoDB实例至其他地域
警告 如果源或目标数据库是阿里云数据库实例（例如RDS MySQL、云数据库MongoDB版等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
云产品集成
在实时计算 Flink 版中使用 OceanBase 连接器的详细操作，请参见：什么是阿里云实时计算Flink版 在实时计算 Flink 版中使用 OceanBase 连接器 数据库管理 DMS 数据管理 DMS（Data Management）是一款支撑数据全生命周期的一站式数据管理...
创建同步任务
步骤二：新建并配置同步任务 通过创建同步节点 write_result 来生成一个同步任务，用于将 result_table 表中的数据写入至自己的MySQL数据库中。操作如下：进入数据开发页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 ...
实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、...
全球数据库市场发展与机遇
数据库起源于上世纪70年代，在技术发展浪潮中历久弥新，已成为IT科技的核心技术之一，支撑着现代社会的经济活动和商业文明。长期以来，全球商业化数据库主要以Oracle、IBM、Microsoft、SAP传统四大厂商为主。随着新金融、新零售、新制造、...
MySQL分库分表同步至MaxCompute
实时同步数据写入Log表中，Base表每一个天分区存储全量数据。然后每天运行合并任务合并前一天的Base表分区、Log表实时数据，产出新的全量分区，在查询数据时，一般需要查询Base表最新分区。使用限制 同步资源组：分库分表同步至MaxCompute...
数据共享SQL
实例开通数据共享后，还需要通过SQL创建共享并授权，才能实现实例间的数据共享。...说明 查询数据库ID的语句仅支持查询当前数据库的ID，如需查询其他数据库的ID，请切换到对应数据库中执行查询语句。SELECT current_database_uuid();
配置Redis输出组件
配置Redis输出组件，可以将外部数据库中读取的数据写入到Redis，或从大数据平台对接的存储系统中将数据复制推送至Redis，进行数据整合和再加工。本文为您介绍如何配置Redis输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：...
MySQL分库分表同步至MaxCompute
实时同步数据写入Log表中，Base表每一个天分区存储全量数据。然后每天运行合并任务合并前一天的Base表分区、Log表实时数据，产出新的全量分区，在查询数据时，一般需要查询Base表最新分区。使用限制 同步资源组：分库分表同步至MaxCompute...
迁移时源库为MySQL的注意事项及限制
若您将列名仅大小写不同的字段写入到目标MySQL数据库的同一个表中，可能会因为MySQL数据库列名大小写不敏感，导致迁移结果不符合预期。在数据迁移完成后，建议使用 analyze table<表名>命令检查数据是否已写入目标表。例如，在MySQL触发HA...
创建数据库用户
您在使用数据传输的数据迁移和数据同步功能前，请先在源端和目标端数据库中，为数据迁移或同步任务创建专用的数据库用户。OceanBase 数据源 创建 OceanBase 数据库用户 此处创建的 OceanBase 数据库用户，用于创建 实例类型 为 VPC 内自建...
RDS实例间数据迁移
前提条件 迁移场景中RDS实例的数据库类型必须满足如下条件：源数据库 目标数据库 RDS MySQL（含RDS MySQL Serverless）RDS MariaDB RDS MySQL（含RDS MySQL Serverless）RDS MariaDB RDS SQL Server RDS SQL Server RDS PostgreSQL RDS ...
- 产品推荐
- 这些文档可能帮助您