快速入门
PWRITER：多线程写入。连接Lindorm Ganos，定义Schema，创建时空索引表。指定线程数，每个线程随机生成指定范围内的n个AIS点，写入已创建的表中。需通过JSON文件指定参数。JSON文件可参照示例write_template.json。Reader：查询接口，对...
将Oracle数据同步到表格存储
挖掘线程数 日志挖掘时，以占用数据库CPU资源为代价来提高日志挖掘速度。只有当关闭 日志连续挖掘 开关时才能设置此参数。建议当源端更新频率超过1万时设置，最大不建议超过8。大事务事件界限 将事务事件定义为大事务的临界值，默认值为...
使用Tapdata Cloud导入MySQL数据
全量多线程写入 全量数据写入的并发线程数，默认值为8，可基于目标端写性能适当调整。增量写入线程数 增量数据写入的并发线程数，默认未启用。打开 增量写入线程数 开关后可基于目标端写性能适当调整。可选：单击上方的 图标，请根据下表...
FTP数据源
支持多线程写入，每个线程写入不同子文件。单个文件不能支持并发写入。FTP本身不提供数据类型，FTP Writer均将数据以STRING类型写入FTP文件。支持的字段类型 远程FTP文件本身不提供数据类型，该类型是DataX FtpReader定义。DataX内部类型 ...
RDS MySQL只读实例同步延迟原因与处理
主实例的TPS（Transaction Per Second）过高 由于只读实例与主实例之前的同步采用的是单线程同步，若主实例并发多线程写入数据，在主实例TPS过高的情况下容易出现只读实例的数据延迟，可以通过观察只读实例的TPS与主实例的TPS性能数据来...
RDS MySQL只读实例同步延迟原因与处理
主实例的TPS（Transaction Per Second）过高 由于只读实例与主实例之前的同步采用的是单线程同步，若主实例并发多线程写入数据，在主实例TPS过高的情况下容易出现只读实例的数据延迟，可以通过观察只读实例的TPS与主实例的TPS性能数据来...
OSS数据源
支持多线程写入，每个线程写入不同的子文件。文件支持滚动，当文件大于某个size值时，支持文件切换。单个文件不能支持并发写入。OSS本身不提供数据类型，OSS Writer均以STRING类型写入OSS对象。如果OSS的Bucket存储类型为 冷归档存储，则不...
通过DTS实现数据库的垂直拆分
当RDS实例负载过大时，可以将该实例的一个数据库或表垂直拆分至另外一个单独的实例中。本文介绍如何通过双写方案和简易拆分方案实现垂直拆分。背景信息 假设一个RDS实例上有数据库A和B，随着业务增长实例瓶颈也日趋可见，如想要减轻该实例...
业务切换流程
注意事项 由于执行业务切换操作需要停止数据库写入并暂停业务，请选择业务低峰期操作以降低影响。为便于区分会话信息以及提升数据安全性，建议单独创建并授权一个数据库账号以供数据迁移使用。操作步骤 等待数据迁移任务的进度变更为 增量...
业务切换流程
注意事项 由于执行业务切换操作需要停止数据库写入并暂停业务，请选择业务低峰期操作以降低影响。为便于区分会话信息以及提升数据安全性，建议单独创建并授权一个数据库账号以供数据迁移使用。操作步骤 等待数据迁移任务的进度变更为 增量...
SpringBatch 连接 OceanBase 数据库
本文介绍 SpringBatch 连接示例。环境配置 JDK 1.8。OceanBase 3.x（Oracle 模式）。基于 spring-boot 集成 spring-...}/调用数据库写入类方法写入数据 addDescPeopleWriter.setDataSource(dataSource);addDescPeopleWriter.write(list);}
Azure Cosmos DB API for MongoDB迁移至阿里云
使用MongoDB数据库自带的备份还原工具，您可以将Azure Cosmos DB API for MongoDB迁移至阿里云。注意事项 该操作为全量迁移，为避免迁移前后数据不一致，迁移开始前请停止数据库写入。如果您之前使用 mongodump 命令对数据库进行过备份操作...
MySQL性能排查解析
查看是否活跃链接过高导致，MySQL为单进程多线程类型数据库，活跃链接越多，越消耗CPU。可以使用 show processlist 进行查看。查看MySQL是否存在大量慢日志，慢日志导致cpu消耗较高。前提为开启了慢日志。set global slow_query_log='ON';...
SpringBatch 连接 OceanBase 数据库
本文介绍 SpringBatch 连接示例。环境配置 JDK 1.8。OceanBase 3.x（MySQL 模式）。基于 spring-boot 集成 spring-batch...}/调用数据库写入类方法写入数据 addDescPeopleWriter.setDataSource(dataSource);addDescPeopleWriter.write(list);}
概述
本文简要说明非阿里云数据迁移至阿里云文件存储NAS的费用说明、操作流程及迁移工具选择。费用说明 非阿里云数据迁移至阿里云NAS时，会涉及如下费用：文件...使用fpsync命令行工具迁移数据 多线程迁移数据。适用多线程迁移数据至NFS文件系统。
UPSERT
与关系型数据库写入的区别 Lindorm的UPSERT语句写入数据的效果与传统关系型数据库的写入效果存在以下不同：传统关系型数据库 如果表定义了PRIMARY KEY，那么当连续两次写入相同PRIMARY KEY的数据时（使用INSERT语句且不带ON DUPLICATE KEY...
CREATE CONTINUOUS QUERY
attr_identifier '=' attr_val 使用说明 数据库名（database_identifier）持续查询对象所属数据库的名称，不指定时默认是当前数据库。使用时必须在数据库名前后添加反引号（`），例如 `db_sensor`。持续查询名称（cq_identifier）使用时...
Babelfish简介
您可以选择 Single-DB 模式（单数据库模式）或 Multi-DB 模式（多数据库模式）。不同模式下，babelfish_db 内的SQL Server数据库模式及名称不同。Single-DB模式 架构图：说明：该模式下，babelfish_db数据库中用户数据库的Schema名称与SQL ...
部分参数默认值调整说明
自数据库内核小版本V1.1.28（PostgreSQL 11）和V14.5.1.1（PostgreSQL 14）起，PolarDB PostgreSQL版 调整了部分参数的默认值。简介 PolarDB PostgreSQL版 调整了部分参数的默认值，仅针对新建集群生效，参数默认值的调整可以明显提升数据...
从自建Oracle迁移至阿里云RDS MySQL
数据库 结构迁移 全量迁移 增量数据迁移 自建Oracle数据库 Schema的Owner权限 Schema的Owner权限 DBA RDS MySQL 或RDS MySQL Serverless 实例 待迁入数据库的写权限 待迁入数据库的写权限 待迁入数据库的写权限 数据库账号创建及授权方法：...
Redis客户端切换库提示“cannot switch to database:3...
cannot switch to database:3 解决方案 由于架构原因，原生的Redis集群版是不支持多数据库DB，可使用阿里云带有Proxy的集群，通过Proxy可使Redis集群版支持多DB，详情请参见 Redis Proxy特性说明。适用于 云数据库Redis
自建Oracle同步至云原生数据仓库AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将自建Oracle同步至 云原生数据仓库AnalyticDB PostgreSQL版...说明 关于Oracle（租户式）的更多信息，请参见 Oracle数据库多租户。操作步骤 登录 新版DTS同步任务的列表页面。说明 您也可以...
从自建Oracle迁移至云原生数据仓库AnalyticDB ...
说明 关于Oracle（租户式）的更多信息，请参见 Oracle数据库多租户。操作步骤 登录 数据传输控制台。说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在右下角的 中单击，返回至旧版数据传输控制台。在左侧导航栏，单击 数据迁移...
自建Oracle迁移至PolarDB PostgreSQL版（兼容Oracle）
数据库 结构迁移 全量迁移 增量数据迁移 自建Oracle数据库 Schema的Owner权限 Schema的Owner权限 DBA PolarDB PostgreSQL版（兼容Oracle）集群 Schema的Owner权限 数据库账号创建及授权方法：自建Oracle数据库请参见 CREATE USER 和 GRANT...
集群参数默认值说明
本文介绍了数据库集群参数默认值的详细信息。参数说明 PolarDB PostgreSQL版 参数默认值的设置，综合了性能、可用性以及可靠性方面的考虑，与社区版本默认值不一定相同。特别是以下参数，PolarDB根据最优性能原则进行了默认设定，您可以...
基于Client SDK数据写入
setDatabase(String database)需要连接的 AnalyticDB PostgreSQL版 数据库名称。setUser(String username)需要连接的 AnalyticDB PostgreSQL版 使用的用户名。setPassword(String pwd)设置连接的 AnalyticDB PostgreSQL版 使用的密码。...
Spark的数据写入至Hologres
option("database","test_database")/Hologres的数据库名称,示例为test_database。option("table","tb008")/Hologres用于接收数据的表名称，示例为tb008。option("write_batch_size",512)/写入攒批大小，详见下方参数介绍.option("input_...
CREATE TABLE
创建支持多空间对象（GEOMETRYCOLLECTION）类型的表，仅支持写入多空间对象数据。CREATE TABLE collections(gid INT,g GEOMETRY(GEOMETRYCOLLECTION),PRIMARY KEY(gid));写入多空间对象数据。UPSERT INTO collections(gid,g)VALUES(0,ST_...
备份对数据库的影响
备份原理与影响 类目 逻辑备份 物理备份 全量备份原理 对每张表数据进行切分，然后在数据库上执行SQL语句，多线程并行读取数据。在数据库所在服务器上安装DBS备份网关，然后通过备份网关将数据库文件进行备份（拷贝）。增量备份原理 支持...
配置跨库Spark SQL节点
如需添加多个目标数据库，单击数据库右侧的。在SQL区域，编写Spark SQL语句，并进行试运行。编写Spark SQL语句，并单击 保存。例如，从qntext数据库的ex_customer表读取数据，并写入到qn_rds数据库的test_table表中。qntext数据库的别名...
内存型
Tair 内存型采用多线程模型，由IO线程、Worker线程和辅助线程共同完成数据处理，单节点性能为云数据库Redis版实例的3倍左右。下表展示了不同架构下，云数据库Redis版和 Tair 内存型实例的适用场景对比。架构 云数据库Redis版 Tair 内存型 ...
内存型
云原生内存数据库Tair 内存型（简称内存型）适合并发量大、读写热点多、高性能场景，内存型重点增强了多线程性能并集成多个自研扩展数据结构。购买方式 创建实例 主要优势 类别 说明 兼容性 100%兼容原生Redis，无需修改业务代码，提供 ...
如何选择备份方式
全量备份原理 对每张表数据进行切分，然后在数据库上运行SQL语句，多线程并行读取数据。在数据库所在服务器上安装DBS备份网关，然后通过备份网关将数据库文件进行备份（拷贝）。更多详情，请参见 添加备份网关。增量备份原理 支持实时捕获...
数据建模
创建时序数据库 Lindorm实例创建成功后，系统会默认创建default数据库，将数据默认写入该数据库，您无法删除default数据库。时序引擎也支持创建多个数据库，不同的数据库在存储层面进行物理隔离，支持设置不同的数据有效期（TTL）、时间...
逻辑备份、物理备份与快照
数据库备份DBS 支持逻辑备份与物理备份，详细说明如下：区别项 逻辑备份 物理备份 全量备份 对每张表数据进行切分，然后在数据库上运行SQL语句，多线程并行读取数据。在数据库所在服务器上安装DBS备份网关，然后通过备份网关将数据库文件...
表引擎
说明 CollapsingMergeTree表引擎虽然解决了主键相同数据即时删除的问题，但是状态持续变化且多线程并行写入情况下，状态行与取消行位置可能乱序，导致无法正常折叠（删除）。后台Compaction时会将主键相同、Sign 相反的行进行折叠（删除）...
查看任务日志
通过任务日志，您可以查看任务时间轴和运行日志信息。任务时间轴以时间线的维度展示购买、...replicates：同步线程写入目标库时失败的次数。infos 当前正在同步的DDL或者正在同步的表。切换 任务时间轴 页面，可以查看任务运行的具体时间点。
测试工具
HammerDB目前支持的数据库种类很多，主流的数据库都已经覆盖，例如Oracle、SQL Server、DB2、TimesTen、MySQL、MariaDB、PostgreSQL、Greenplum、Postgres Plus Advanced Server、Redis和Trafodion SQL on Hadoop。HammerDB包含一个内嵌的...
PolarDB MySQL版5.7版本发布日志
优化线程池在开启Binlog多线程并发写入情况下的性能。2024-03-27 问题修复 修复TDE在fork创建子进程时，与RDMA内存不兼容的问题。修复在Buffer Pool进行缩容操作时，由于用户的大SQL长时间占用大量页面，导致后续的扩容请求无法进行的问题...
测试工具
SysBench工具介绍 SysBench是一个跨平台且支持多线程的模块化基准测试工具，用于评估系统在运行高负载的数据库时相关核心参数的性能表现，快速了解数据库系统的性能。安装方法 下载并安装SysBench。wget-c ...
- 产品推荐
- 这些文档可能帮助您