整库离线同步至MaxCompute
您可以根据实际情况选择是否 写入前清空对应的原有表，选择是后，后续进行数据同步时，每次向MaxCompute写入数据前，均会删除MaxCompute表内原有的数据，建议您谨慎选择。配置增量同步的数据规则。您可通过where语句对待同步的数据表进行...
整库离线同步至MaxCompute
您可以根据实际情况选择是否 写入前清空对应的原有表，选择是后，后续进行数据同步时，每次向MaxCompute写入数据前，均会删除MaxCompute表内原有的数据，建议您谨慎选择。配置增量同步的数据规则。您可通过where语句对待同步的数据表进行...
DataStudio侧实时同步任务配置
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
实时同步常见问题
可在数据库执行以下命令，查看当前这个数据库实例正在写入的binlog文件。show master status 对比日志中读到的binlog文件，在日志中搜 journalName=MySQL-bin.000001,position=50，确认是否有数据写入数据库。如果有数据在写入，但是binlog...
配置并管理实时同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
一键实时同步至Elasticsearch
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
基于Client SDK数据写入
setDatabase(String database)需要连接的 AnalyticDB PostgreSQL版 数据库名称。setUser(String username)需要连接的 AnalyticDB PostgreSQL版 使用的用户名。setPassword(String pwd)设置连接的 AnalyticDB PostgreSQL版 使用的密码。...
通过向导模式配置离线同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
整库离线同步至Elasticsearch
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
Kafka集群的数据存储格式
参数说明 参数 说明 database 数据库名称。es 操作在源库的执行时间，13位Unix时间戳，单位为毫秒。说明 Unix时间戳转换工具可用搜索引擎获取。id 操作的序列号。isDdl 是否是DDL操作。true：是。false：否。mysqlType 字段的数据类型。...
Kafka集群的数据存储格式
参数说明 参数 说明 database 数据库名称。es 操作在源库的执行时间，13位Unix时间戳，单位为毫秒。说明 Unix时间戳转换工具可用搜索引擎获取。id 操作的序列号。isDdl 是否是DDL操作。true：是。false：否。mysqlType 字段的数据类型。...
通过脚本模式配置离线同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
DRDS（PolarDB-X）数据源
在底层实现上，DRDS（PolarDB-X）Writer通过JDBC连接远程DRDS（PolarDB-X）数据库的Proxy，执行相应的 replace into 语句，写入数据至DRDS（PolarDB-X）。执行的SQL语句是 replace into，为避免数据重复写入，需要您的表具备主键（Primary ...
行协议参考
在实践中的行协议 关于如何将行协议数据写入数据库，请查看工具章节。重复数据点 measurement的名字、tag set和时间戳唯一标识一个数据点。如果您提交的数据具有相同measurement、tag set和时间戳但具有不同field set，那么数据的field set...
PostgreSQL数据源
例如一次同步任务启动运行过程中，当该库存在其他数据写入方写入数据时，由于数据库本身的快照特性，PostgreSQL Reader完全不会获取到写入的更新数据。上述是在PostgreSQL Reader单线程模型下数据同步一致性的特性，PostgreSQL Reader可以...
计费方式
数据同步和数据订阅实例暂停期间仍然收取费用，这是由于即使实例处于暂停期间，DTS只是暂停向目标库写入数据，仍然会继续拉取源库的日志以便重启任务后快速恢复运行，因此还是会占用源数据库的带宽等资源。Serverless 数据同步实例 ...
FineReport
在弹出的数据库查询对话框中，找到AnalyticDB对应的数据源和对应表，写入数据查询语句，新建数据集ds1。如下示例，查询 select*from demo_sales，查询并取出demo_sales表中的所有数据。通过聚合查询选出聚合的数据集。如新建数据集 ds2，...
修改同步或迁移实例的当前位点
数据传输服务DTS（Data Transmission Service）支持修改同步或迁移实例增量写入模块的当前位点，帮助您在目标库写入数据时，跳过或再执行一次源库某段时间内的数据变更操作。背景信息 当前位点是实例写入到目标端的最新数据的时间戳，DTS...
SQL Server数据源
例如一次同步任务启动运行过程中，当该库存在其他数据写入方写入数据时，由于数据库本身的快照特性，SQL Server Reader完全不会获取到写入的更新数据。上述是在SQL Server Reader单线程模型下数据同步一致性的特性，SQL Server Reader可以...
通过Telegraf写入时序引擎
Telegraf 是一款开源的数据采集代理。其设计目标是通过插件来构建各种服务和第三方组件的 metrics 收集。Telegraf的内置插件支持将采集的数据上报给OpenTSDB，Lindorm时序引擎100%兼容OpenTSDB，用户可以使用Telegraf来对接时序引擎。本文...
通过开源Kafka客户端写入Lindorm流引擎数据
Lindorm流引擎完全兼容开源Kafka API，您可以通过Kafka API编写程序写入Lindorm流引擎数据，也可以通过开源的三方工具采集并写入Lindorm流引擎数据，例如FluentD、Debezium等。本文介绍通过开源Kafka客户端连接Lindorm流引擎并写入Lindorm...
入门概述
快速入门介绍购买并使用 云数据库 SelectDB 版 的完整过程，旨在帮助新用户快速使用 云数据库 SelectDB 版。使用流程 在本教程中，您将进行以下操作。...创建数据库并写入数据：介绍如何为 云数据库 SelectDB 版 实例创建数据库并写入数据。
数据建模
创建时序数据库 Lindorm实例创建成功后，系统会默认创建default数据库，将数据默认写入该数据库，您无法删除default数据库。时序引擎也支持创建多个数据库，不同的数据库在存储层面进行物理隔离，支持设置不同的数据有效期（TTL）、时间...
INTO子句
示例 重命名数据库 SELECT*INTO"copy_NOAA_water_database"."autogen".:MEASUREMENT FROM"NOAA_water_database"."autogen"./.*/GROUP BY*name:result time written-0 76290 在TSDB For InfluxDB®中不能直接重命名数据库，所以 INTO 子句的...
使用ClickHouse-Local迁移上云
当您需要优化数据管理、提高数据访问性能和降低数据库维护成本时，您可以将自建数据库迁移至云数据库ClickHouse企业版。云数据库ClickHouse企业版通过ClickHouse-Local工具为您的迁移任务提供了简便且可靠的解决方案。什么是ClickHouse-...
从MySQL导入数据
当您需要将云数据库RDS MySQL或云原生数据库PolarDB MySQL中的数据迁移至 云数据库ClickHouse 中进行实时分析时，本文档为您提供了以RDS MySQL为参考的示例，以帮助您轻松完成数据迁移任务。前提条件 已创建目标 云数据库ClickHouse 集群，...
DMS数据可视化
云数据库 SelectDB 版 采用MySQL网络连接协议，支持兼容MySQL生态的命令行工具、JDBC/ODBC驱动和可视化工具等连接 云数据库 SelectDB 版 实例。本文介绍如何通过DMS（Data Management Service）...具体操作，请参见 创建数据库并写入数据。
恢复PostgreSQL数据库
恢复目标数据库 数据库所在位置 本例中将备份集恢复至提前新建的 RDS实例 实例中，请确保目标数据库服务正在运行中，同时还支持恢复至如下数据库实例所在位置：有公网IP:Port的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能网关接入...
实时消费Kafka数据
DATABASE:<db_name>USER:<user_name>PASSWORD:<password>HOST:<host>PORT:<adbpg_port>VERSION:2 KAFKA:INPUT:SOURCE:BROKERS:[,.]TOPIC:[PARTITIONS:()][FALLBACK_OFFSET:{ earliest|latest }][VALUE:COLUMNS:NAME:{<column_name>} TYPE:...
同步时源库为PolarDB MySQL版的注意事项及限制
源实例为PolarDB MySQL版的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：MySQL（RDS MySQL、自建MySQL）...
同步时源库为Db2 for LUW的注意事项及限制
Db2 for LUW同步至PolarDB-X 2.0 说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到目标数据库。类型 说明 源库限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据同步速率。待...
接入数据库
在使用 数据安全中心DSC（Data Security Center）检测云产品（包括OSS、RDS、PolarDB等）中存在的敏感数据或审计数据库活动前，您需要先将数据库接入DSC。本文介绍如何将数据库接入DSC。背景信息 DSC 支持的数据库类型详情，请参见 支持的...
使用DTS迁移副本集架构的自建MongoDB数据库上云
使用数据传输服务DTS（Data Transmission Service），将副本集架构的自建MongoDB数据库迁移至云数据库MongoDB中。DTS支持全量数据迁移和增量数据迁移，同时使用这两种迁移类型可以实现在不停服的情况下，平滑地完成数据库的迁移上云。除本...
使用限制
在使用云数据库MongoDB前，您需要了解不同类型云数据库MongoDB实例本身存在的约束信息，使您初步了解不同类型云数据库MongoDB实例的使用限制，以帮助您选择更适合业务场景的实例。单节点实例 功能 约束 实例部署 目前不是所有地域和可用区...
从自建Db2迁移至RDS MySQL
说明 如果未勾选 增量数据迁移，为保障数据一致性，数据迁移期间请勿在Db2数据库中写入新的数据。迁移对象 在 迁移对象 框中单击待迁移的对象，然后单击 图标将其移动到 已选择对象 框。说明 迁移对象选择的粒度可以为库、表、列三个粒度。...
将ECS上单节点或副本集架构的自建MongoDB迁移上云
说明 为保障数据一致性，全量数据迁移期间请勿在自建MongoDB数据库中写入新的数据。如果需要进行不停机迁移，则同时选择 全量数据迁移 和 增量数据迁移。说明 单节点架构的自建MongoDB数据库，须提前开启oplog才可以使用增量数据迁移功能，...
MySQL分库分表同步至Hologres（方案1.0）
说明 数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源...
将ECS上分片集群架构的自建MongoDB迁移上云
说明 如果源或目标数据库是阿里云数据库实例（例如RDS MySQL、云数据库MongoDB等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP地址...
使用DTS迁移分片集群架构的自建MongoDB数据库上云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），依次将本地MongoDB分片集群数据库中的各个Shard节点，迁移至阿里云MongoDB分片集群实例来实现迁移上云。通过DTS的增量迁移功能，可以实现在本地应用不停服的情况下，平滑...
配置跨库Spark SQL节点
date,COUNT(*)cnt,SUM(amt)amt FROM mysql_db.sales t1 JOIN oracle_db.users t2 ON t1.emp_id=t2.id WHERE t1.trade_date=${bizdate} GROUP BY t2.dept_name 功能特性 跨库数据处理：支持使用SQL语句操作不同数据库中的数据，数据生态较...
- 产品推荐
- 这些文档可能帮助您