Kafka集群的数据存储格式
参数说明 参数 说明 database 数据库名称。es 操作在源库的执行时间，13位Unix时间戳，单位为毫秒。说明 Unix时间戳转换工具可用搜索引擎获取。id 操作的序列号。isDdl 是否是DDL操作。true：是。false：否。mysqlType 字段的数据类型。...
DRDS（PolarDB-X）数据源
在底层实现上，DRDS（PolarDB-X）Writer通过JDBC连接远程DRDS（PolarDB-X）数据库的Proxy，执行相应的 replace into 语句，写入数据至DRDS（PolarDB-X）。执行的SQL语句是 replace into，为避免数据重复写入，需要您的表具备主键（Primary ...
行协议参考
在实践中的行协议 关于如何将行协议数据写入数据库，请查看工具章节。重复数据点 measurement的名字、tag set和时间戳唯一标识一个数据点。如果您提交的数据具有相同measurement、tag set和时间戳但具有不同field set，那么数据的field set...
FineReport
在弹出的数据库查询对话框中，找到AnalyticDB对应的数据源和对应表，写入数据查询语句，新建数据集ds1。如下示例，查询 select*from demo_sales，查询并取出demo_sales表中的所有数据。通过聚合查询选出聚合的数据集。如新建数据集 ds2，...
创建IBM DB2数据源
通过创建IBM DB2数据源能够实现Dataphin读取IBM DB2的业务数据或向IBM DB2写入数据。本文为您介绍如何创建IBM DB2数据源。背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先...
SpringBatch 连接 OceanBase 数据库
配置文件#yml 文件：spring:datasource:url:jdbc:oceanbase:/xxx.xxx.xxx.xxx:1521/driver-class-name:com.oceanbase.jdbc.Driver username: a*password:*jpa:hibernate:ddl-auto:update 示例代码 通过调用数据库写入类方法写入数据，具体...
SpringBatch 连接 OceanBase 数据库
配置文件#yml 文件：spring:datasource:url:jdbc:oceanbase:/xxx.xxx.xxx.xxx:3306/test driver-class-name:com.mysql.cj.jdbc.Driver username: a*password:*jpa:hibernate:ddl-auto:update 示例代码 通过调用数据库写入类方法写入数据，...
创建IBM DB2数据源
通过创建IBM DB2数据源能够实现Dataphin读取IBM DB2的业务数据或向IBM DB2写入数据。本文为您介绍如何创建IBM DB2数据源。背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先...
入门概述
快速入门介绍购买并使用 云数据库 SelectDB 版 的完整过程，旨在帮助新用户快速使用 云数据库 SelectDB 版。使用流程 在本教程中，您将进行以下操作。...创建数据库并写入数据：介绍如何为 云数据库 SelectDB 版 实例创建数据库并写入数据。
创建数据库并写入数据
本文介绍如何为 云数据库 SelectDB 版 实例创建 数据库并写入数据。前提条件 已通过 MySQL协议连接 云数据库 SelectDB 版 实例。具体操作，请参见 连接实例。注意事项 每个 云数据库 SelectDB 版 实例最多可以创建256个数据库。云数据库 ...
DMS数据可视化
云数据库 SelectDB 版 采用MySQL网络连接协议，支持兼容MySQL生态的命令行工具、JDBC/ODBC驱动和可视化工具等连接 云数据库 SelectDB 版 实例。本文介绍如何通过DMS（Data Management Service）连接云数据库 SelectDB 版实例。背景信息 DMS...
使用ClickHouse-Local迁移上云
当您需要优化数据管理、提高数据访问性能和降低数据库维护成本时，您可以将自建数据库迁移至云数据库ClickHouse企业版。云数据库ClickHouse企业版通过ClickHouse-Local工具为您的迁移任务提供了简便且可靠的解决方案。什么是ClickHouse-...
恢复PostgreSQL数据库
恢复目标数据库 数据库所在位置 本例中将备份集恢复至提前新建的 RDS实例 实例中，请确保目标数据库服务正在运行中，同时还支持恢复至如下数据库实例所在位置：有公网IP:Port的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能网关接入...
从MySQL导入数据
当您需要将云数据库RDS MySQL或云原生数据库PolarDB MySQL中的数据迁移至 云数据库ClickHouse 中进行实时分析时，本文档为您提供了以RDS MySQL为参考的示例，以帮助您轻松完成数据迁移任务。前提条件 已创建目标 云数据库ClickHouse 集群，...
接入数据库
在使用 数据安全中心DSC（Data Security Center）检测云产品（包括OSS、RDS、PolarDB等）中存在的敏感数据或审计数据库活动前，您需要先将数据库接入DSC。本文介绍如何将数据库接入DSC。背景信息 DSC 支持的数据库类型详情，请参见 支持的...
使用限制
在使用云数据库MongoDB前，您需要了解不同类型云数据库MongoDB实例本身存在的约束信息，使您初步了解不同类型云数据库MongoDB实例的使用限制，以帮助您选择更适合业务场景的实例。单节点实例 功能 约束 实例部署 目前不是所有地域和可用区...
同步时源库为PolarDB MySQL版的注意事项及限制
源实例为PolarDB MySQL版的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：MySQL（RDS MySQL、自建MySQL）...
同步时源库为Db2 for LUW的注意事项及限制
Db2 for LUW同步至PolarDB-X 2.0 说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到目标数据库。类型 说明 源库限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据同步速率。待...
从自建Db2迁移至RDS MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建的Db2数据库迁移至RDS MySQL。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成Db2数据库的...
将ECS上单节点或副本集架构的自建MongoDB迁移上云
本文为旧版DTS控制台操作步骤，新版DTS迁移上云方法如下：单节点架构上云：云数据库MongoDB版（单节点架构）全量迁移至云数据库MongoDB版（所有架构）副本集架构上云：云数据库MongoDB版（副本集架构）迁移至云数据库MongoDB版（副本集架构...
将ECS上分片集群架构的自建MongoDB迁移上云
说明 如果源或目标数据库是阿里云数据库实例（例如RDS MySQL、云数据库MongoDB等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP地址...
使用DTS迁移分片集群架构的自建MongoDB数据库上云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），依次将本地MongoDB分片集群数据库中的各个Shard节点，迁移至阿里云MongoDB分片集群实例来实现迁移上云。通过DTS的增量迁移功能，可以实现在本地应用不停服的情况下，平滑...
通过Logstash写入数据到AnalyticDB MySQL 2.0
本文介绍了如何通过Logstash写入数据。背景信息 Logstash是一个开源的服务器端数据处理管道，起初用于将日志类数据写入ES中。随着开源社区的不断发展，现在Logstash可以同时从多个数据源获取数据，并对其进行转换，然后将其发送到用户想要...
按写入数据量计费
按写入数据量计费，写入数据后享受30天免费存储权益，除写入数据费用外，仅在数据存储超过30天及外网读取时产生额外费用。特性 说明 计费说明 按量付费，即后付费，是指您购买的资源按照实际用量结算，在每个结算周期生成账单并从账户中...
从自建Db2迁移至RDS MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建的Db2数据库迁移至RDS MySQL。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成Db2数据库的...
从MongoDB副本集实例迁移至分片集群实例
如果数据库业务量较大或服务器规格较低，可能会加重数据库压力，甚至导致数据库服务不可用。建议您在执行数据迁移前谨慎评估，在业务低峰期执行数据迁移。MongoDB实例支持的版本与存储引擎请参见 版本及存储引擎，如需跨版本或跨引擎迁移，...
从MongoDB副本集实例迁移至分片集群实例
如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等），DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单；如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到...
华为云云数据库RDS MySQL迁移到阿里云
本文介绍华为云云数据库RDS MySQL迁移到阿里云的步骤及注意事项。前提条件 源端及目标端 要求 相关参考 源端 华为云云数据库RDS MySQL实例 已开通公网访问，并获取外网连接地址及端口。已创建高权限账号。华为云云数据库RDS官方文档 目标端...
MySQL分库分表同步至Hologres（方案2.0）
需求分析 场景描述：MySQL实例有三个分库分表数据库 order_db01、order_db02、order_db03。业务上有两种逻辑表：订单表 t_order 和用户表 t_user，其中每张逻辑表分别对应三个数据库下的两张物理表。如下图所示总共3个物理库，12张分表，...
从Amazon RDS for PostgreSQL全量迁移至阿里云
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
云数据库MongoDB版（单节点架构）全量迁移至云数据库...
源数据库（单节点架构）目标数据库（所有架构）云数据库MongoDB版 云数据库MongoDB版 ECS上的自建数据库 ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 有公网IP的自建数据...
数据集成概述
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
写入数据
TSDB 只支持通过 HTTP API 方式进行数据写入，因此控制台不提供数据写入的功能页面。关于数据写入的指导说明，请参考《开发指南》中的以下章节：《SDK 参考》中的 写入数据；《HTTP API 参考》中的 写入数据。
冷数据归档
功能概要 在时序数据库持续写入的场景下，早先写入的时序数据会随着时间推移，查询频度逐渐降低。这样的数据通常被称为“冷数据”，与之相对的概念被称为“热数据”。随着冷数据体量的不断变大，存储成本也会水涨船高。所以降低冷数据存储...
迁移时源库为HBase的注意事项及限制
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前，请务必结束或释放该任务，或者...
背景信息以及准备工作
Data Lake Analytics（简称DLA）作为云上数据处理的枢纽，支持通过标准JDBC连接 阿里云关系型数据库（Relational Database Service，简称RDS）（MySQL、SQLServer、PostgreSQL）数据库、云服务器（Elastic Compute Service，简称ECS）上的...
测试数据构建
库名 指定数据库实例上某个具体数据库（需要在产品内有数据库的操作权限，输入库名前缀后可出现联想提示）。表名 在指定的目标表中进行检索，支持添加多张表（需要输入表名前缀后可出现联想提示）。配置算法 您在选择 表名 后，才会出现此...
SQL Server迁移上云指南
上云方案简介 上云方案 实现流程 操作步骤 物理备份上云 使用OSS（手动上云）将数据库日志恢复模式（backup_type）修改为FULL。将全量数据进行备份，并上传到OSS Bucket（存储空间）。定时备份和上传增量日志。停止源库的数据写入，最后...
云数据库MongoDB版（副本集架构）同步至云数据库...
源数据库 目标数据库 云数据库MongoDB版（副本集架构）云数据库MongoDB版（副本集架构、分片集群架构）ECS上的自建MongoDB数据库（副本集架构）ECS上的自建MongoDB数据库（副本集架构、分片集群架构）通过专线、VPN网关或智能网关接入的自...
RDS MySQL实例间的单向同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
- 产品推荐
- 这些文档可能帮助您