从采集到分析-TSDB For InfluxDB®让你的数据产生价值
urls选择实例详情中的公网或者VPC访问地址，修改上图标记中的写入的数据库和存储策略，存储策略在不填的情况下将会写入该数据库默认存储策略中。TSDB For InfluxDB®采用认证的方式写入，在填写username和password之前需要确保该账号对数据...
数据集成概述
数据集成是稳定高效、弹性伸缩...在数据集成同步任务配置前，您可以在DataWorks 数据源管理 页面，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，并在同步过程中，通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。
UPSERT
与关系型数据库写入的区别 Lindorm的UPSERT语句写入数据的效果与传统关系型数据库的写入效果存在以下不同：传统关系型数据库 如果表定义了PRIMARY KEY，那么当连续两次写入相同PRIMARY KEY的数据时（使用INSERT语句且不带ON DUPLICATE KEY...
配置跨库Spark SQL节点
例如，从qntext数据库的ex_customer表读取数据，并写入到qn_rds数据库的test_table表中。qntext数据库的别名设置为qn，qn_rds数据库的别名设置为rds。输入的SQL语句如下：INSERT INTO rds.test_table SELECT*FROM qn.ex_customer;说明 SQL...
数据源概述
在配置数据集成同步任务之前，您需要首先定义好同步任务的源端和目的端数据源信息，以便在配置同步任务时，能够通过选择数据源名称来确定数据的读取和写入数据库。本文将介绍配置数据源时您需要了解的相关信息。数据源功能概述 配置数据源...
MySQL分库分表同步至Hologres（方案2.0）
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。本实践中创建的数据源名为 doc_mysql1，详情请参见 配置MySQL数据源、配置Hologres数据源。说明 数据源相关能力介绍详情请...
MySQL整库实时同步至OSS数据湖
已完成MySQL和OSS数据源配置，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。配置数据源的操作详情请参见 配置MySQL数据源、配置OSS数据源。重要 配置数据源时，需要同步完成独享数据集成资源组与MySQL数据源...
数据库管理
入库时间：即时序数据写入数据库的时间。上述冷热分界线和TTL的能力都是基于 事件时间 进行工作。目前不支持基于入库时间设置冷热分界线或TTL。无论是冷数据归档还是数据到期清理工作，都是通过时序引擎的异步compaction任务执行的，因此，...
行协议写入
db 否 数据写入的数据库名。schema_policy 否 Schema约束策略。默认值为WEAK，WEAK模式下会自动创建时序表。支持的取值为：WEAK：弱约束策略。STRONG：强约束策略。NONE：无约束策略。详情请参见 支持的Schema约束策略。用户认证信息指定 ...
MySQL分库分表同步至Hologres（方案1.0）
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。本实践中创建的数据源名为 doc_mysql1，详情请参见 配置MySQL数据源、配置Hologres数据源。说明 数据源相关能力介绍详情请...
SpringBatch 连接 OceanBase 数据库
将 peopledesc 写入数据库的类 public class AddDescPeopleWriter implements ItemWriter<PeopleDESC>{ private JdbcTemplate jdbcTemplate;public void setDataSource(DataSource dataSource){ this.jdbcTemplate=new JdbcTemplate...
SpringBatch 连接 OceanBase 数据库
将 peopledesc 写入数据库的类 public class AddDescPeopleWriter implements ItemWriter<PeopleDESC>{ private JdbcTemplate jdbcTemplate;public void setDataSource(DataSource dataSource){ this.jdbcTemplate=new JdbcTemplate...
使用SSMS迁移上云
本文以Azure SQL Database为例，介绍如何使用SQL Server Management Studio（SSMS）将您本地自建或其他云的SQL Server数据库迁移到 RDS SQL Server。前提条件 已创建存储空间大于源库的目标 RDS SQL Server 实例，且 RDS SQL Server 实例需...
如何解决增量迁移延迟或同步延迟
原因5：当DTS无法连接数据库或由于其他报错导致DTS写入数据至目标库发生异常时，DTS会进行多次重试，从而表现出同步延迟。此时您可以在控制台上查看任务是否处于 重试中 状态，并单击 查看原因并修复，查看重试原因并进行相应修复。比如，...
MySQL分库分表同步至MaxCompute
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。详情请参见 配置MySQL数据源、配置MaxCompute数据源。说明 数据源相关能力介绍详情请参见：数据源概述。已购买合适规格的独享...
MySQL分库分表同步至MaxCompute
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。详情请参见 配置MySQL数据源、配置MaxCompute数据源。说明 数据源相关能力介绍详情请参见：数据源概述。已购买合适规格的独享...
DataStudio侧实时同步任务配置
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
常见问题
数据同步过程中如果源实例中的数据库名、表名或者列名中含有划线（-）会报错吗？由于ADB中不允许数据库名、表名或者列名中含有划线（-），为保证数据同步成功，系统会将中划线（-）映射为下划线（_）。如果在数据同步过程中遇到其他因数据...
MySQL一键实时同步至MaxCompute
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。本实践中创建的数据源名为 doc_mysql1，详情请参见 配置MySQL数据源、配置MaxCompute数据源。说明 数据源相关能力介绍详情请...
MySQL一键实时同步至MaxCompute
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。本实践中创建的数据源名为 doc_mysql1，详情请参见 配置MySQL数据源、配置MaxCompute数据源。说明 数据源相关能力介绍详情请...
导入与导出
若客户端存在瓶颈，将无法最大化压测数据库，您可以通过以下两种方法查看客户端或其所在服务器负载是否存在瓶颈：通过登录 云原生数据仓库AnalyticDB MySQL控制台，单击左侧导航的 监控信息 和 诊断与优化 来查验客户端自身以及所在服务器...
INTO子句
示例 重命名数据库 SELECT*INTO"copy_NOAA_water_database"."autogen".:MEASUREMENT FROM"NOAA_water_database"."autogen"./.*/GROUP BY*name:result time written-0 76290 在TSDB For InfluxDB®中不能直接重命名数据库，所以 INTO 子句的...
业务切换流程
保持业务中断状态，取消源数据库禁止写入的限制。创建反向数据迁移任务并启动，用于将目标库后续产生增量数据迁移回源数据库。此步骤创建的反向迁移任务的作用是为业务提供回退方案，业务恢复运行后，一旦出现异常可将业务切换至原有的数据...
业务切换流程
保持业务中断状态，取消源数据库禁止写入的限制。创建反向数据迁移任务并启动，用于将目标库后续产生增量数据迁移回源数据库。此步骤创建的反向迁移任务的作用是为业务提供回退方案，业务恢复运行后，一旦出现异常可将业务切换至原有的数据...
接口说明
在指定的数据库database下进行DDL等操作，比如在指定的database下创建表 Result execute(String database,String sql);其中，Result对象表示SQL的执行结果，比如提交数据库的列表语句（"SHOW DATABASES"）后，可以通过Result获取到已经存在...
配置Hologres输出组件
Hologres输出组件用于向Hologres数据源写入数据。同步其他数据源的数据至Hologres数据源的场景中，完成源数据的信息配置后，需要配置Hologres输出组件的目标数据源。本文为您介绍如何配置Hologres输出组件。前提条件 已创建Hologres数据源...
Flink数据导入
已在目标 AnalyticDB MySQL版 集群中创建数据库和数据表，用于保存需要写入的数据。数据库和数据表的创建方法，请参见 CREATE DATABASE 和 CREATE TABLE。说明 本文示例中创建的数据库名称为 tpch，建库语句如下：CREATE DATABASE IF NOT ...
配置Hologres输出组件
Hologres输出组件用于向Hologres数据源写入数据。同步其他数据源的数据至Hologres数据源的场景中，完成源数据的信息配置后，需要配置Hologres输出组件的目标数据源。本文为您介绍如何配置Hologres输出组件。前提条件 已创建Hologres数据源...
通过HTTP API写入数据
下面的例子展示了将3个数据点写入数据库 mydb。第一个点属于measurement为 cpu_load_short、tag为 host=server0 的时间序列，timestamp是服务器本地的时间戳。第二个点属于measurement为 cpu_load_short、tag为 host=server02,region=us-...
同步时源库为Db2 for LUW的注意事项及限制
Db2 for LUW同步至PolarDB-X 2.0 说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到目标数据库。类型 说明 源库限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据同步速率。待...
数据转发到时序数据库（TSDB）
metric 的数据类型支持数值型、字符串，其他类型会导致写入数据库失败。使用说明 目前，新版和旧版云产品流转功能均支持将数据流转到时序数据库（TSDB）。旧版云产品流转使用示例，请参见 旧版：数据转发到时序数据库（TSDB）。创建数据...
同步时源库为PolarDB MySQL版的注意事项及限制
源实例为PolarDB MySQL版的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：MySQL（RDS MySQL、自建MySQL）...
通过DataX导入数据
connection.selectedDatabase 是 无 需要写入的 云数据库 SelectDB 版 数据库名称。connection.table 是 无 需要写入的 云数据库 SelectDB 版 表名称。column 是 无 目的表需要写入数据的字段，这些字段将作为生成的JSON数据的字段名。字段...
命令行界面
关于-import，需要注意的事项：通过使用-pps 设置每秒允许导入的数据点的个数，将数据点写入数据库。默认情况下，pps设置为0并且 influx 不限制数据导入的速度。允许导入.gz文件，只需在命令中加入-compressed。对于文件中的数据点，请提供...
同步时源库为MongoDB的注意事项及限制
如果同步的源数据库类型为MongoDB，如自建MongoDB、云数据库MongoDB，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为MongoDB的同步方案概览 根据如下同步方案，查看同步任务的注意事项及...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
使用Flink写入时序引擎
batchSize 否 批处理大小，即每次写入数据库的数据量，默认值为500个数据点。connectTimeoutMs 否 HTTP连接超时时间，默认值为90000。单位为毫秒（ms）。debug 否 是否开启debug模式，用来打印详细数据点日志。false：不开启，默认值。true...
Db2 for LUW迁移至RDS MySQL
前提条件 已创建存储空间大于源 Db2 for LUW 数据库占用存储空间的目标 RDS MySQL 实例。创建方法，请参见 快速创建RDS MySQL实例。说明 支持的版本，请参见 迁移方案概览。如需执行增量迁移，您需要开启 Db2 for LUW 数据库的归档日志。更...
云数据库MongoDB版（副本集架构）同步至云数据库...
源数据库 目标数据库 云数据库MongoDB版（副本集架构）云数据库MongoDB版（副本集架构、分片集群架构）ECS上的自建MongoDB数据库（副本集架构）ECS上的自建MongoDB数据库（副本集架构、分片集群架构）通过专线、VPN网关或智能网关接入的自...
同步时源库为MySQL的注意事项及限制
源库为MySQL的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：MySQL（RDS MySQL、自建MySQL）PolarDB MySQL版...
- 产品推荐
- 这些文档可能帮助您