Dataphin输出数据源为MySQL，为什么管道任务日志中...
概述 本文主要介绍输出数据源为MySQL，管道任务日志中写入条数远大于数据库中对表 count(1)数目的原因。详细信息 在执行管道任务时，检查运行日志发现写入条数和数据库中表的 count(1)条数对不上，管道任务日志写入条数远大于数据库中表的 ...
离线同步能力说明
作业速率上限控制 提供任务并发数控制功能来限制数据集成读取和写入数据库的最大并发数。提供限流功能控制同步流量，避免同步速度过快对数据来源端或者数据去向端造成太大的压力。说明 不限流的情况下则会提供现有硬件环境下最大的传输性能...
业务切换流程
Redis CLIENT LIST MongoDB use admin db.runCommand({currentOp:1,$all:[{"active":true}]})说明 上述语句查询到的进程或会话信息中，包含DTS连接源数据库的进程或会话。等待迁移任务的 增量迁移 再次进入 无延迟 状态，保持1分钟或以上，...
业务切换流程
Redis CLIENT LIST MongoDB use admin db.runCommand({currentOp:1,$all:[{"active":true}]})说明 上述语句查询到的进程或会话信息中，包含DTS连接源数据库的进程或会话。等待迁移任务的 增量迁移 再次进入 无延迟 状态，保持1分钟或以上，...
DataStudio侧实时同步任务配置
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
创建账号和数据库
参数 说明 限制并发量 指对应数据库并发请求执行的上限量，默认不限制，您也可以使用高权限账号登录数据库后，使用 ALTER DATABASE<数据库名>CONNECTION LIMIT<并发量>;命令修改。表空间 指数据库所属的表空间，默认为 pg_default，表空间...
复制数据库SQL Server 2012及以上版本
您可以使用SQL命令复制数据库，您只需要使用存储过程sp_rds_copy_database指定源数据库和目的数据库即可。复制时间与数据库大小有关。说明 关于如何复制SQL Server 2008 R2版本实例的数据库，请参见 复制数据库SQL Server 2008 R2版。前提...
全球多活使用限制
不一致情况 图示 说明 value互换 子实例A在1.1时刻收到SET命令（key->value_A），并于1.2时刻将数据写入数据库。子实例B在2.1时刻收到SET命令（key->value_B），并于2.2时刻将数据写入数据库。在3.1时刻子实例A向子实例B同步数据（key->...
全球多活使用限制
不一致情况 图示 说明 value互换 子实例A在1.1时刻收到SET命令（key->value_A），并于1.2时刻将数据写入数据库。子实例B在2.1时刻收到SET命令（key->value_B），并于2.2时刻将数据写入数据库。在3.1时刻子实例A向子实例B同步数据（key->...
创建数据库账号
如果不需要数据库写入操作，请分配只读权限。为保障数据库的安全，请将数据库账号的密码设置为强密码，并定期更换。登录 云数据库专属集群控制台。在页面左上角，选择目标地域。在页面左侧单击 实例列表>MySQL。找到目标实例，单击 操作 列...
Azure Cosmos DB API for MongoDB迁移至阿里云
使用MongoDB数据库自带的备份还原工具，您可以将Azure Cosmos DB API for MongoDB迁移至阿里云。注意事项 该操作为全量迁移，为避免迁移前后数据不一致，迁移开始前请停止数据库写入。如果您之前使用 mongodump 命令对数据库进行过备份操作...
创建账号
CREATE DATABASE 命令默认通过复制template1来创建数据库。通过该方式创建的数据库，Public Schema的Owner均为第一个高权限账号。第一个高权限账号的Comment开头会包含说明：template1 public schema owner。普通账号 可以通过控制台、API...
JDBC数据源
事务隔离级别 脏读 不可重复读 幻读 READ_UNCOMMITTED 是 是 是 READ_COMMITTED 否 是 是 REPEATABLE_READ 否 否 是 SERIALIZABLE 否 否 否 NONE 无 无 无 写入数据 当您需要向数据库中写入数据时，可以通过以下命令设置一个关联的SQL ...
创建反向实例
背景信息 DTS支持为正常运行的同步实例一键创建反向增量同步实例，在业务写入数据库由原同步实例的源库切换为目标库时，帮助您将数据库切换后的增量业务数据同步至原业务写入数据库，常应用于数据库容灾场景下的数据回传。前提条件 原实例...
管理Databases
database=db.create_database("<yourDbname>")为待创建的数据库名称。本文以 milvus_demo 为例，您可以根据实际情况更改。使用Database 通常情况下，Milvus实例默认会自动创建一个名为“default”的预设数据库。除非在创建Collection时另有...
Grafana接入阿里云时序数据库TSDB For InfluxDB®️...
将阿里云时序数据库TSDB For InfluxDB®接入Grafana后，您可以利用Grafana的丰富易用的可视化工具更好地监控和分析来自阿里云时序数据库TSDB For InfluxDB®的数据。本文介绍如何将阿里云时序数据库TSDB For InfluxDB®接入Grafana。前置...
通过DataWorks导入
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
如何清理孤立文档
如何升级小版本和大版本，请参见 升级数据库大版本 和 升级数据库小版本。检查孤立文档 云数据库 MongoDB 版 与自建MongoDB检查孤立文档的方法一致，具体方法如下。MongoDB 5.0及以前版本 使用root或高权限账号连接到Mongos节点，执行以下...
存储过程
实例内复制数据库 设置数据库在线 数据库全局授权 删除数据库 设置更改跟踪 开启数据库变更捕获 关闭数据库变更捕获 配置实例参数 增加链接服务器Linked Server 设置跟踪标志 更改数据库的名称 Server级别角色授予 关于SQL Server存储过程...
使用SSMS和BCP迁移SQL Server数据库
您也可以使用其他工具迁移数据库，本文以本地SQL Server数据库到阿里云云数据库SQL Server 2012的数据全量迁移为例，介绍了如何通过使用SQL Server Management Studio（SSMS）和大容量复制程序实用工具（BCP）来迁移SQL Server数据库。...
查询报错问题
errorCode=65541,errorName=NO_NODES_AVAILABLE,errorType=INTERNAL_ERROR,errorLocation=null,failureInfo=mpp.client.FailureInfo@13887b2e} 一般是数据库内部某个计算节点压力较大导致该节点暂时离线，系统能够自动修复。请用户过5~10...
CREATE CONTINUOUS QUERY
示例 以下示例创建了一个持续查询：每小时计算过去两个小时内原始时序表 sensor 中的每小时平均温度和每小时平均湿度，并将数据写入数据库 default 中的表 sensor 中。CREATE CONTINUOUS QUERY `default`.`my_cq` WITH(`INTERVAL`='1h',`...
数据源概述
在配置数据集成同步任务之前，您需要首先定义好同步任务的源端和目的端数据源信息，以便在配置同步任务时，能够通过选择数据源名称来确定数据的读取和写入数据库。本文将介绍配置数据源时您需要了解的相关信息。数据源功能概述 配置数据源...
UPSERT
与关系型数据库写入的区别 Lindorm的UPSERT语句写入数据的效果与传统关系型数据库的写入效果存在以下不同：传统关系型数据库 如果表定义了PRIMARY KEY，那么当连续两次写入相同PRIMARY KEY的数据时（使用INSERT语句且不带ON DUPLICATE KEY...
SpringBatch 连接 OceanBase 数据库
将 peopledesc 写入数据库的类 public class AddDescPeopleWriter implements ItemWriter<PeopleDESC>{ private JdbcTemplate jdbcTemplate;public void setDataSource(DataSource dataSource){ this.jdbcTemplate=new JdbcTemplate...
SpringBatch 连接 OceanBase 数据库
将 peopledesc 写入数据库的类 public class AddDescPeopleWriter implements ItemWriter<PeopleDESC>{ private JdbcTemplate jdbcTemplate;public void setDataSource(DataSource dataSource){ this.jdbcTemplate=new JdbcTemplate...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 StarRocks 支持 不支持 Hudi 支持 支持 Doris 支持 不支持 GreenPlum 支持 支持 TDengine ...
HTTP API
db=database_name 对依赖数据库的查询是必需的（大多数 SELECT 查询和 SHOW 查询需要此参数）。设置查询的目标数据库 epoch=[ns,u,µ,ms,s,m,h]可选。返回具有特定精度的epoch时间戳。TSDB For InfluxDB®默认返回RFC3339格式的时间戳，...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 Kudu 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 ...
使用Influx CLI（命令行界面）连接TSDB For InfluxDB...
USE mydb Using database mydb 将单个数据点写入数据库mydb。INSERT cpu,host=serverA,region=us_west value=0.64 这条语句将一个数据点写入数据库mydb的默认保留策略中。其中，cpu 是measurement，host 和 region 是tag，value 是field，...
调优集群性能
INSERT INTO SELECT 短时间内大量数据写入，当后台Build任务堆积时会导致实时数据增多，此时查询如果涉及实时数据的话，数据库需要扫描大量实时数据（因为实时数据没有索引），最终导致CPU使用率增高。Build Build任务会对数据进行构建索引...
Kafka集群的数据存储格式
参数说明 参数 说明 database 数据库名称。es 操作在源库的执行时间，13位Unix时间戳，单位为毫秒。说明 Unix时间戳转换工具可用搜索引擎获取。id 操作的序列号。isDdl 是否是DDL操作。true：是。false：否。mysqlType 字段的数据类型。...
Kafka集群的数据存储格式
参数说明 参数 说明 database 数据库名称。es 操作在源库的执行时间，13位Unix时间戳，单位为毫秒。说明 Unix时间戳转换工具可用搜索引擎获取。id 操作的序列号。isDdl 是否是DDL操作。true：是。false：否。mysqlType 字段的数据类型。...
RDS外部表
本文为您介绍如何在外网或VPC网络环境下基于RDS数据源创建外部表并写入数据。前提条件 已开通MaxCompute和云数据库RDS间的网络连接，详情请参见 网络开通流程。使用限制 支持华北2（北京）、华东2（上海）、华北3（张家口）、华东1（杭州）...
基于Client SDK数据写入
commit时，写入数据库出现异常时重试的3次。databaseConfig.setRetryTimes(3);重试间隔的时间为1s，单位是ms。databaseConfig.setRetryIntervalTime(1000);Initialize AdbClient，初始化实例之后，databaseConfig的配置信息不能再修改。Adb...
如何将一棵LSM-Tree塞进NVM
简介 持久化内存简介 PM在提供相比DRAM更大容量、更低功耗的同时，还具备字节寻址等诸多特点，旨在大幅度提升设备内存容量以及降低设备静态功耗的同时，提供可持久化字节寻址等特性以简化系统的设计，为数据库存储引擎的设计带来了新的契机...
CREATE TABLE
在数据写入量较大的场景中可以很好的实现数据均衡，搜索引擎默认按照主键进行HASH分区，同时也支持自定义的业务分区键。使用一级HASH分区时，如果自定义的HASH键存在热点问题，则可能导致大量数据写入同一个分区中，影响查询和写入性能，...
限制描述
50 Topic限制 每个Project内能创建的Topic数量限制，如有特殊请求请联系管理员 500 Topic Lifecycle限制 每个Topic中数据保存的最大时长，单位是天[1,7]单次batch写入条数 每次batch写入数据最大条数限制 10000条 命名规范 名词 描述 长度...
修改同步或迁移实例的当前位点
数据传输服务DTS（Data Transmission Service）支持修改同步或迁移实例增量写入模块的当前位点，帮助您在目标库写入数据时，跳过或再执行一次源库某段时间内的数据变更操作。背景信息 当前位点是实例写入到目标端的最新数据的时间戳，DTS...
入门概述
快速入门介绍购买并使用 云数据库 SelectDB 版 的完整过程，旨在帮助新用户快速使用 云数据库 SelectDB 版。使用流程 在本教程中，您将进行以下操作。...创建数据库并写入数据：介绍如何为 云数据库 SelectDB 版 实例创建数据库并写入数据。
- 产品推荐
- 这些文档可能帮助您