云数据库MongoDB版（副本集架构）同步至云数据库...
源数据库 目标数据库 云数据库MongoDB版（副本集架构）云数据库MongoDB版（副本集架构、分片集群架构）ECS上的自建MongoDB数据库（副本集架构）ECS上的自建MongoDB数据库（副本集架构、分片集群架构）通过专线、VPN网关或智能网关接入的自...
PolarDB MySQL版同步至AnalyticDB MySQL 3.0
DTS会在目标库的同步目标表中增加_dts_data_source 列（类型为text）来存储数据来源，并且将以 DTS实例ID:数据库名称:schema名称:表名 的格式写入列值用于区分表的来源，例如 dts*:dtstestdata:testschema:customer1。多表归并功能基于任务...
云数据库MongoDB版（分片集群架构）间的双向同步
任务步骤说明 同步类型 说明 库表结构同步 将源 云数据库MongoDB版 中同步对象的结构同步到目标 云数据库MongoDB版 中。全量同步 将源 云数据库MongoDB版 同步对象的存量数据全部同步到目标 云数据库MongoDB版 中。说明 支持全量同步...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
警告 由于此场景属于异构数据库间的数据同步，数据类型无法一一对应，可能会导致任务失败或数据丢失，请谨慎评估数据类型的映射关系对业务的影响，详情请参见 结构初始化涉及的数据类型映射关系。不支持结构初始化的结构对象有：assemblies...
USE
目标数据库（database_identifier）database_identifier必须是当前实例中已存在的数据库。您可以通过 SHOW DATABASES 语法查看当前实例下所有的数据库。SHOW DATABASES 的使用方式，请参见 SHOW DATABASES。默认数据库（DEFAULT）USE语句中...
云数据库MongoDB版（副本集架构）间的双向同步
任务步骤说明 同步类型 说明 库表结构同步 将源 云数据库MongoDB版 中同步对象的结构同步到目标 云数据库MongoDB版 中。全量同步 将源 云数据库MongoDB版 同步对象的存量数据全部同步到目标 云数据库MongoDB版 中。说明 支持全量同步...
从MySQL导入数据
当您需要将云数据库RDS MySQL或云原生数据库PolarDB MySQL中的数据迁移至 云数据库ClickHouse 中进行实时分析时，本文档为您提供了以RDS MySQL为参考的示例，以帮助您轻松完成数据迁移任务。前提条件 已创建目标 云数据库ClickHouse 集群，...
开发运维建议
性能与稳定性 在RDS PostgreSQL中，单个数据库（DB）对应底层文件系统中的一个文件夹，数据库中的表、分区、索引对应文件夹中的文件，如果数据库对应文件夹中的文件数量超过2000万，将可能出现磁盘空间满的报错。建议适当拆分数据库或合并...
配置SQLServer数据源
此连接串中的Database为本数据源的默认数据库，但在配置同步任务时，您可以使用相应RDS实例下所有的数据库。用户名 登录数据库的用户名。密码 登录数据库的密码。选择 资源组连通性 类型为 数据集成。在资源组列表，单击相应资源组后的 ...
数据治理
EMR集群类型 元数据存储类型 数据存储类型：OSS 数据存储类型：OSS-HDFS 数据存储类型：HDFS 新版数据湖集群（DataLake）数据湖构建（DLF）RDS实例 MySQL 自定义集群（Custom）数据湖构建（DLF）RDS实例 MySQL 其他集群-数据保护伞为什么有...
创建数据流
数据库 输入并选择数据流读取数据的源数据库。（可选）若数据库为非安全协同模式，还需要在弹出的 登录实例 对话框中，输入 数据库账号 和 数据库密码。表 选择数据流读取数据的源表。以过滤源表数据为例，配置数据处理节点。说明 除 数据...
无感数据集成（Zero-ETL）
上述参数配置完成后，单击 配置库表字段，配置信息如下：库表字段配置 说明 数据库名称 选择已有的数据库。表名称 选择已有的数据表。主键列 已选数据表中的主键所在字段。分布键 已选数据表中的分布键所在字段。类型 数据表类型，包括分区...
新建 MySQL 数据源
数据库实例 从 数据库实例 下拉列表中，选择目标数据库实例。公网 IP 自建数据库 主机 IP 数据库宿主机的 IP。端口 数据库宿主机 IP 的端口号。共有参数 数据源标识 建议使用中文、数字和字母的组合。名称中不能包含空格，长度限制为 32 个...
PolarDB-X 1.0迁移至AnalyticDB MySQL 3.0
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
创建IBM DB2数据源
背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先完成IBM DB2数据源的创建。更多IBM DB2信息，请参见 IBM DB2官网。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块...
自建Oracle迁移至PolarDB PostgreSQL版（兼容Oracle）
注意事项 说明 在库表结构迁移过程中，DTS会将源数据库中的外键迁移到目标数据库。在全量迁移和增量迁移过程中，DTS会以Session级别暂时禁用约束检查以及外键级联操作。若任务运行时源库存在级联更新、删除操作，可能会导致数据不一致。...
新建 Oracle 数据源
实例类型 参数 描述 VPC 内自建数据库 VPC 从 VPC 下拉列表中，选择目标 VPC。主机 IP 数据库宿主机的 IP。端口 数据库宿主机 IP 的端口号。数据库网关 网关名称 从 网关名称 下拉列表中，选择目标数据库网关的名称。数据库实例 从 数据库...
同步方案概览
源为数据管理DMS逻辑库的同步方案 说明 下表中各类自建数据库（例如自建MySQL、Redis等）支持的接入方式如下：ECS自建数据库 专线/VPN网关/智能网关 数据库网关DG（无公网IP:Port的数据库）由于公网质量等因素，此接入方式可能会导致任务不...
数据库管理
参数 说明 数据库（DB）名称 长度最多64个字符。以字母开头，以字母或数字结尾。由小写字母、数字、下划线或中划线组成。数据库名称在实例内必须是唯一的。支持字符集 选择utf8、gbk、latin1或utf8mb4。授权账号 选中需要访问本数据库的...
总体流程
创建表：以创建与On Time数据集类型对应的表为例，介绍如何使用DMS在已创建的数据库中创建本地表和分布式表。导入数据：以导入On Time数据集至已创建的分布式表为例，介绍如何使用客户端clickhouse-client工具导入数据到 云数据库...
SQL命令管理数据库
创建数据库 执行如下命令，创建数据库：CREATE DATABASE TestDb 说明 在RDS SQL Server实例中创建数据库时会产生默认路径，请您不要指定任何文件的路径。您可以执行以下命令，查询SQL Server实例的所有数据库的数据文件和日志文件的路径...
Python
步骤一：获取数据库连接参数 参考 获取连接参数 文档，获取相应的租户连接参数，例如：$obclient-hxxx.xxx.xxx.xxx-P3306-u a*-p*-Dtest 数据库连接参数包含了访问数据库所需的参数信息，在验证示例代码前，可通过数据库连接参数验证登录...
连续查询
连续查询是一种简化的流计算能力，能够定期执行SQL查询，将查询结果存储在指定的数据表中，可用于预降采样和预计算，实现数据降精度长期存储以及查询性能提升。本文介绍Lindorm时序引擎连续查询的概念、使用方法和常见场景。背景信息 在...
概述
本地Federated表中未存储任何数据，查询本地Federated表会通过远程方式提取远程表数据。当您使用 PolarDB MySQL版 或社区MySQL标准存储引擎创建表时，该表由表定义和相关数据组成。创建Federated表时，表定义是相同的，但是数据的物理存储...
从ECS上的自建SQL Server同步至云原生数据仓库...
为保证数据同步延迟显示的准确性，DTS会在自建SQL Server数据库中新增一张心跳表，表名格式为 待同步表名_dts_mysql_heartbeat。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费...
2024年
PolarDB MySQL版同步至云数据库SelectDB版 PolarDB MySQL版迁移至云数据库SelectDB版 新增 新增支持SQL Server 2022版本和Redis 7.0版本。同步方案概览 迁移方案概览 优化 源自建MongoDB以 专线/VPN网关/智能网关、公网IP 或 云企业网CEN ...
新功能发布记录
PostgreSQL数据库管理 PostgreSQL数据库账号权限管理 04月 功能名称 变更类型 功能描述 相关文档 数据安全防护 新增 数据安全防护能为数据库实例生成的代理地址，为应用程序调用企业数据库带来更全面的安全管控、访问控制、数据脱敏以及...
RDS MySQL迁移至云原生数据仓库 AnalyticDB ...
RDS MySQL实例 MySQL自建数据库：有公网IP的自建数据库 ECS上的自建数据库 通过数据库网关接入的自建数据库 通过云企业网CEN接入的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 说明 本文以 RDS MySQL 实例为源数据库介绍配置...
一键实时同步至AnalyticDB for MySQL 3.0
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
使用限制
您可以在本文中查看 云数据库 Redis 版 各数据类型以及部分功能特性的使用限制。项目 说明 List数据类型 List及其包含的元素个数无限制，但单个元素的最大值为512 MB。推荐List的元素个数小于8192，整体Value不超过1 MB。Set数据类型 Set...
专有网络VPC的数据源连通独享数据集成资源组
在 新增数据源 对话框中，选择数据源类型为 MySQL。在 新增MySQL数据源 对话框中，配置各项参数。MySQL数据源包括 阿里云实例模式 和 连接串模式 两种类型，本文以选择 阿里云实例模式 为例。参数 描述 数据源类型 当前选择的数据源类型为 ...
从ECS上的自建SQL Server同步至云原生数据仓库...
为保证数据同步延迟显示的准确性，DTS会在自建SQL Server数据库中新增一张心跳表，表名格式为 待同步表名_dts_mysql_heartbeat。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费...
oracle_fdw
您可以使用oracle_fdw插件与外部的Oracle数据库进行交互。前提条件 oracle_fdw依赖于Oracle Instant Client的动态链接库与Oracle数据库服务器进行交互。可以与oracle_fdw插件协同工作的Oracle Instant Client版本如下所示：11.2 12.1、12.2...
GetDatabase
获取给定数据库信息 请求参数 名称 类型 是否必选 示例值 描述 Name String 是 db001 需要获取的数据库名称 返回数据 名称 类型 示例值 描述 Code String NO_SUCH_OBJECT 如果请求出错，则返回错误代码 DatabaseModel object 返回的数据库...
数据归档
背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中，以解决因线上数据增多影响查询性能与业务运作的问题。本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置...
版本发布说明
AUTO模式数据库分区表新增支持使用指定小数精度为0的Decimal类型作为分区列。缺陷修复 修复Error Code输出格式不规范的问题。修复information_schema.plan_cache视图返回重复值且不能显示缓存参数的问题。修复建表时包含encryption关键字...
如何对JSON类型进行高效分析
传统数据库解决方案 传统关系型数据库（MySQL、PostgreSQL与ClickHouse等）在处理JSON数据时经常将原始JSON数据编码成二进制数据并存储到表的JSON类型列中，查询时使用JSON函数对整个JSON列数据进行实时解析与计算等。JSON作为半结构化数据...
基本概念
数据库（Database）数据库属于目录，内部包含表、列、视图、函数和数据类型等。表（Table）表属于数据库。在 云数据库SelectDB版 中，表 是存储结构化数据的一种特殊形式。一张表由行（Row）和（Column）组成，其中行表示一行数据，列表示...
管理迭代
数据管理DMS的DevOps迭代提供了逐阶段推进研发流程的...删除可选数据库：从 迭代可选数据库 列表中勾选要删除的目标数据库，单击，目标数据库从 迭代可选数据库 列表中移除。迭代模板：单击 迭代模板 后的迭代模板名称，查看迭代模板详情。
表格存储（Tablestore）数据导入
以创建 adb_external_db 数据库为例，建库示例语句如下：create external database adb_external_db;创建外表。说明 AnalyticDB MySQL 外表和TableStore中表的字段名称、字段数量、字段顺序一致，字段类型兼容。数据类型映射关系，请参见 ...
- 产品推荐
- 这些文档可能帮助您