数据集成概述
基本概念 并发数 并发数是数据同步任务中，可以从源并行读取或并行写入数据存储端的最大线程数。限速 限速是数据集成同步任务可以达到的传输速度限制。脏数据 脏数据是对于业务没有意义，格式非法或者同步过程中出现异常的数据。单条数据...
使用Tapdata Cloud导入MySQL数据
通过Tapdata Cloud的可视化界面，您可以将自建MySQL、阿里云RDS MySQL、第三方云数据库的数据实时同步到表格存储。前提条件 使用Tapdata Cloud同步MySQL数据到表格存储前，需要完成如下准备工作。已注册 Tapdata Cloud账号。已创建表格存储...
自适应扫描
自适应扫描线程通过poll的方式在需要时同步轮询PX Worker进程的请求和响应。扫描任务协调。PX Worker进程在执行顺序扫描算子时，会首先向QC进程发起询问请求，并将以下信息发送给QC端的自适应扫描线程。扫描任务的编号。扫描动作（正向/...
自适应扫描
自适应扫描线程通过poll的方式在需要时同步轮询PX Worker进程的请求和响应。扫描任务协调。PX Worker进程在执行顺序扫描算子时，会首先向QC进程发起询问请求，并将以下信息发送给QC端的自适应扫描线程。扫描任务的编号。扫描动作（正向/...
概述
适用Windows操作系统海量数据多线程、断点续传。使用IIS FTP迁移数据 支持众多操作系统平台。提供图形化操作界面。适用IIS服务访问NAS SMB文件系统。使用fpsync命令行工具迁移数据 多线程迁移数据。适用多线程迁移数据至NFS文件系统。
RDS全增量同步
{"reader":{"querySql":["select*from dts.cluster where id,/全量同步查询语句,一个语句对应一个读取线程"select*from dts.cluster where id>=1000"/建议进行拆分提高速度和减小重试代价]},"writer":{"columns":[{"name":"id",/目标表中...
RDS全量同步和增量同步
HBase API访问同步配置说明 {"reader":{"querySql":["select*from dts.cluster where id,/全量同步查询语句,一个语句对应一个读取线程"select*from dts.cluster where id>=1000"/建议进行拆分提高速度和减小重试代价]},"writer":{"columns...
灾备方案
同时，Tair 优化了同步机制，在同步位点上借鉴MySQL的GTID，实现了全局Opid，查找Opid的操作通过后台线程无锁进行，发送AOF binlog是异步同步的过程（可限流），保障了 Tair 服务的性能。图 6.同城容灾实例的数据同步过程 跨地域容灾方案 ...
灾备方案介绍
同时，云数据库Redis优化了Redis的同步机制，在同步位点上借鉴MySQL的GTID，实现了全局Opid，查找Opid的操作通过后台线程无锁进行，发送AOF binlog是异步同步的过程（可限流），保障了Redis服务的性能。图 6.同城容灾实例的数据同步过程 跨...
Python SDK
返回值：无 2.start 同步开始一句话识别，该方法会阻塞当前线程直到一句话识别就绪（on_start 回调返回）。参数说明 参数 类型 参数说明 aformat String 要识别音频格式，支持PCM，OPUS，OPU，默认值：PCM。SDK不会自动将PCM编码成OPUS或...
同步时源库为MongoDB的注意事项及限制
源库为MongoDB的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：MongoDB（副本集架构）同步至MongoDB（副本集架构、分片集群架构）MongoDB（分片集群架构）间双向同步 MongoDB（分片集群架构）间单向同步 MongoDB（副本集...
云数据库MongoDB版（副本集架构）间的双向同步
若目标集合存在唯一索引或目标集合的 capped 属性为 true 时，则在增量同步阶段该集合不支持并发回放（只支持单线程写入），从而可能会导致任务延迟增高。双向同步实例包含正向和反向同步任务，在配置或重置双向同步实例时，若其中一个任务...
云数据库MongoDB版（副本集架构）间的双向同步
若目标集合存在唯一索引或目标集合的 capped 属性为 true 时，则在增量同步阶段该集合不支持并发回放（只支持单线程写入），从而可能会导致任务延迟增高。双向同步实例包含正向和反向同步任务，在配置或重置双向同步实例时，若其中一个任务...
云数据库MongoDB版（分片集群架构）间的双向同步
若目标集合存在唯一索引或目标集合的 capped 属性为 true 时，则在增量同步阶段该集合不支持并发回放（只支持单线程写入），从而可能会导致任务延迟增高。不支持同步admin和local库中的数据。不保留事务信息，即源库中的事务同步到目标库时...
云数据库MongoDB版（分片集群架构）间的双向同步
若目标集合存在唯一索引或目标集合的 capped 属性为 true 时，则在增量同步阶段该集合不支持并发回放（只支持单线程写入），从而可能会导致任务延迟增高。不支持同步admin和local库中的数据。不保留事务信息，即源库中的事务同步到目标库时...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
若目标集合存在唯一索引或目标集合的 capped 属性为 true 时，则在增量同步阶段该集合不支持并发回放（只支持单线程写入），从而可能会导致任务延迟增高。不保留事务信息，即源库中的事务同步到目标库时会转变为单条的记录。执行数据同步前...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
若目标集合存在唯一索引或目标集合的 capped 属性为 true 时，则在增量同步阶段该集合不支持并发回放（只支持单线程写入），从而可能会导致任务延迟增高。不保留事务信息，即源库中的事务同步到目标库时会转变为单条的记录。执行数据同步前...
云数据库MongoDB版（副本集架构）同步至云数据库...
若目标集合存在唯一索引或目标集合的 capped 属性为 true 时，则在增量同步阶段该集合不支持并发回放（只支持单线程写入），从而可能会导致任务延迟增高。不保留事务信息，即源库中的事务同步到目标库时会转变为单条的记录。执行数据同步前...
云数据库MongoDB版（副本集架构）同步至云数据库...
若目标集合存在唯一索引或目标集合的 capped 属性为 true 时，则在增量同步阶段该集合不支持并发回放（只支持单线程写入），从而可能会导致任务延迟增高。不保留事务信息，即源库中的事务同步到目标库时会转变为单条的记录。执行数据同步前...
常见问题
如果业务对数据要求比较精确，您可以删除目标库的数据，然后重新配置同步任务，并在 任务步骤 同时选中 库表结构同步 和 全量同步（默认已选中 增量同步）。DTS全量同步任务长时间没进度，如何处理？若待同步的表为无主键的表，全量同步会...
云数据库MongoDB版（分片集群架构）同步至云数据库...
若目标集合存在唯一索引或目标集合的 capped 属性为 true 时，则在增量同步阶段该集合不支持并发回放（只支持单线程写入），从而可能会导致任务延迟增高。由于DTS写入数据的逻辑为并发写入，所以会导致目标端占用的存储空间比源端大5%~10%...
云数据库MongoDB版（分片集群架构）同步至云数据库...
若目标集合存在唯一索引或目标集合的 capped 属性为 true 时，则在增量同步阶段该集合不支持并发回放（只支持单线程写入），从而可能会导致任务延迟增高。由于DTS写入数据的逻辑为并发写入，所以会导致目标端占用的存储空间比源端大5%~10%...
消费者分类
如下图所示，SDK内置了一个长轮询线程，先将消息异步拉取到SDK内置的缓存队列中，再分别提交到消费线程中，触发监听器执行本地消费逻辑。可靠性重试 PushConsumer消费者类型中，客户端SDK和消费逻辑的唯一边界是消费监听器接口。客户端SDK...
使用DataX同步
说明 为了保证同步数据的一致性，要么不配置splitPk字段使用单线程迁移数据，要么确保数据迁移期间停止该MySQL数据库的服务。content：主要是数据源信息，包含reader和writer两部分。说明 配置中的MySQL应该确保执行DataX任务的机器能够...
使用DataWorks
concurrent：设置离线同步任务内，可以从源并行读取或并行写入数据存储端的最大线程数。更多配置参数详情请参见 编辑脚本，配置同步任务。配置调度属性。详情请参见 调度参数支持的格式。在顶部菜单栏，单击 图标后，单击 图标，运行离线...
AliSQL内核小版本发布记录
AliSQL是RDS MySQL的内核，除了为用户提供MySQL社区版的所有功能外，还提供了企业级备份恢复、线程池、并行查询等类似于MySQL企业版的诸多功能，赋予了RDS MySQL安全、备份、恢复、监控、性能优化、只读实例等各项能力。本文介绍AliSQL的...
通过Logstash同步Azure Event Hubs数据至Elastic...
当您需要将Azure Event Hubs事件中心中的数据同步到阿里云Elasticsearch中时，可使用阿里云Logstash的管道配置功能实现。本文介绍具体的实现方法。操作流程 步骤一：准备环境与实例 步骤二：创建并配置Logstash管道 步骤三：验证结果 步骤...
OSS数据离线同步至MaxCompute
本文以OSS离线同步写入MaxCompute场景为例，为您介绍OSS离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99....
OSS数据离线同步至MaxCompute
本文以OSS离线同步写入MaxCompute场景为例，为您介绍OSS离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99....
消费端挂载NFS是否会影响消费速度？
如果您需要把最终的处理结果集中到同一个NFS上保存，仍然可以通过一个异步的工具或者线程，把云盘上的结果再转发到NFS上，而不要让同步存储NFS阻塞消息处理。总之，对于资源访问造成的处理低效，总是可以用异步处理的方式解决。
准备数据
参数 描述 任务期望最大并发数 数据同步任务内，可以从源并行读取或并行写入数据存储端的最大线程数。向导模式通过界面化配置并发数，指定任务所使用的并行度。同步速率 设置同步速率可以保护读取端数据库，以避免抽取速度过大，给源库造成...
配置并管理实时同步任务
目标端写入并发数 数据同步任务内，可以从来源表并行读取或写入数据至目标端的最大线程数。最大并发数为32。请根据您的资源组大小和目标端实际规模合理设置。单击 完成配置。提交并发布实时同步任务 单击工具栏中的 图标，保存节点。单击...
配置并管理实时同步任务
目标端写入并发数 数据同步任务内，可以从来源表并行读取或写入数据至目标端的最大线程数。最大并发数为32。请根据您的资源组大小和目标端实际规模合理设置。单击 完成配置。提交并发布实时同步任务 提交并发布节点任务。单击工具栏中的 ...
配置并管理实时同步任务
目标端写入并发数 数据同步任务内，可以从来源表并行读取或写入数据至目标端的最大线程数。最大并发数为32。请根据您的资源组大小和目标端实际规模合理设置。单击 完成配置。提交并发布实时同步任务 单击工具栏中的 图标，保存节点。单击...
配置并管理实时同步任务
目标端写入并发数 数据同步任务内，可以从来源表并行读取或写入数据至目标端的最大线程数。最大并发数为32。请根据您的资源组大小和目标端实际规模合理设置。单击 完成配置。提交并发布实时同步任务 提交并发布节点任务。单击工具栏中的 ...
配置并管理实时同步任务
目标端写入并发数 数据同步任务内，可以从来源表并行读取或写入数据至目标端的最大线程数。最大并发数为32。请根据您的资源组大小和目标端实际规模合理设置。单击 完成配置。提交并发布实时同步任务 提交并发布节点任务。单击工具栏中的 ...
离线同步任务调优
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...
常数吞吐量分布式使用示例
All active threads in current thread group（shared）将设置的吞吐量，分配到活跃的线程上（当前线程组的活跃线程），所有线程都会在所有活跃线程运行结束之后即所有活跃线程结束之后，等待合理时间（为了控制吞吐量）再次运行。当前线程...
常数吞吐量分布式使用示例
All active threads in current thread group（shared）将设置的吞吐量，分配到活跃的线程上（当前线程组的活跃线程），所有线程都会在所有活跃线程运行结束之后即所有活跃线程结束之后，等待合理时间（为了控制吞吐量）再次运行。当前线程...
线程分析
线程分析功能提供线程粒度的CPU耗时和每类线程数量的统计，并且每5分钟记录一次线程的方法栈并聚合，可真实还原代码执行过程，帮助您快速定位线程问题。当发现集群的CPU使用率过高，或者出现大量慢方法时，可以通过线程分析功能找到消耗CPU...
- 产品推荐
- 这些文档可能帮助您