产品架构
数据同步的工作原理 DTS可以在两个数据源之间同步正在进行的数据变更。数据同步通常用于OLTP到OLAP的数据传输。数据同步包括以下两个阶段：同步初始化：DTS先开始收集增量数据，然后将源数据库的结构和存量数据加载到目标数据库。数据实时...
功能概览
本文介绍 云备份 的数据同步功能概览，包括数据同步的简介、工作原理、操作流程和费用等。简介 数据同步功能是阿里云 云备份 提供的一项在线数据同步服务，便于将源端数据（包括NAS、HDFS、S3兼容存储、对象存储OSS、CPFS、OSS协议兼容存储...
AutoML工作原理
AutoML实现自动化调试参数的工作原理，是通过实验、Trial、训练任务进行循环迭代，来找到最优的超参组合。AutoML的工作机制如下图。您设定好超参数的值域、搜索算法、停止条件配置后，AutoML将其作为一次实验（experiment）传入到后端进行...
通过DTS采集数据
通过阿里数据传输中的数据同步（DTS），将RDS的数据实时传输至DataHub中。创建DataHub项目。登录 DataHub控制台。在 项目管理 中，选择区域，...参考 创建 MySQL 到 MaxCompute 数据实时同步作业 的同步原理章节，了解DataHub中各字段的含义。
应用场景
云上云下数据库同步 通过数据库传输服务DTS的数据同步功能，可以使本地IDC或其他云厂商的数据库与阿里云数据库内容进行同步，详情请参见 数据同步的工作原理，架构图如下所示。本地IDC/跨云数据库备份上云 数据库备份 DBS 是阿里云提供的低...
应用场景
云上云下数据库同步 通过数据库传输服务DTS的数据同步功能，可以使本地IDC或其他云厂商的数据库与阿里云数据库内容进行同步，详情请参见 数据同步的工作原理，架构图如下所示。本地IDC/跨云数据库备份上云 数据库备份 DBS 是阿里云提供的低...
数据迁移与同步FAQ
DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：将Redis数据库中的数据（即键值对）迁移至另一个Redis数据库中。通常迁移完成后即可...
项目数据同步和API接口
项目数据同步原理 数据同步可通过HTTP/2或AMQP（推荐使用）推送方式，原理图如下。说明 平台不再提供开启HTTP方式同步数据，统一通过HTTP/2方式或AMQP方式（推荐使用）同步设备数据和用户数据。当前已使用HTTP方式推送的客户不受影响，可...
网络时间同步助手
本文介绍如何通过函数计算部署网络时间同步助手，实现设备本地时间与网络时间同步。如果您的设备上已经安装了NTP服务，有和云端服务器周期性同步系统时间的能力，则无需操作本文内容。前提条件 本示例仅适用于Link IoT Edge专业版，在开始...
离线同步数据质量排查
背景信息 讲述数据集成数据同步的原理机制，理解数据同步的过程，进而对数据同步的执行效果有判断能力，判断数据同步效果具体包括：数据同步的数据量、目标端数据实际数量等。同步原理 DataWorks数据集成的同步任务在执行时称之为一个Job，...
整库离线同步至MaxCompute
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至MaxCompute为例，为您讲解如何将整库数据离线同步至MaxCompute。前提条件 已完成数据...
整库离线同步至MaxCompute
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至MaxCompute为例，为您讲解如何将整库数据离线同步至MaxCompute。前提条件 已完成数据...
一键实时同步至AnalyticDB for MySQL 3.0
一键实时同步至 AnalyticDB for MySQL 3.0方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至 AnalyticDB for MySQL 3.0任务。前提条件 已完成数据源配置。您需要在数据...
一键实时同步至DataHub
一键实时同步至DataHub方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至DataHub任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步...
MySQL分库分表实践
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
整库离线同步至OSS
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至OSS为例，为您讲解如何将整库数据离线同步至OSS。前提条件 已完成数据源配置。您需要...
一键实时同步至Elasticsearch
一键实时同步至Elasticsearch方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至Elasticsearch任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置...
一键实时同步至Hologres
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：设置表粒度同步规则 步骤六：DDL消息处理规则 步骤七：设置任务运行资源 步骤八：执行同步任务 步骤一：选择同步方案 创建...
整库离线同步至Elasticsearch
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至Elasticsearch为例，为您讲解如何将整库数据离线同步至Elasticsearch。前提条件 已...
一键实时同步至Kafka
一键实时同步至Kafka方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至Kafka任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源...
从ECS上的Codis集群同步至Redis实例
同步原理介绍 DTS通过同步Codis集群中的每个Codis-Group来实现集群的整体同步，您需要为每个Codis-Group创建一个对应的数据同步作业。Codis集群环境介绍 在本案例中，Codis集群具备两个Codis-Group，每个Codis-Group采用一主一备的架构，...
从ECS上的Twemproxy Redis集群同步至Redis实例
同步原理介绍 DTS通过同步Twemproxy Redis集群中的每个Redis-Server来实现集群的整体同步，您需要为每个Redis-Server创建一个对应的数据同步作业。Twemproxy Redis集群环境介绍 在本案例中，Twemproxy Redis集群具备两个Redis-Server，每个...
从ECS上的Codis集群同步至Redis实例
同步原理介绍 DTS通过同步Codis集群中的每个Codis-Group来实现集群的整体同步，您需要为每个Codis-Group创建一个对应的数据同步作业。Codis集群环境介绍 在本案例中，Codis集群具备两个Codis-Group，每个Codis-Group采用一主一备的架构，...
从ECS上的Twemproxy Redis集群同步至Redis实例
同步原理介绍 DTS通过同步Twemproxy Redis集群中的每个Redis-Server来实现集群的整体同步，您需要为每个Redis-Server创建一个对应的数据同步作业。Twemproxy Redis集群环境介绍 在本案例中，Twemproxy Redis集群具备两个Redis-Server，每个...
常见问题
云存储网关文件网关的缓存工作原理是什么？反向同步和极速同步：如何通过极速同步即时处理OSS上传对象？如何通过极速同步在多个网关直接实现数据共享？如何在日志监控中查看网关文件同步列表？文件网关反向同步的使用场景及配置是什么？...
操作指南FAQ
云存储网关文件网关的缓存工作原理是什么？反向同步和极速同步：如何通过极速同步即时处理OSS上传对象？如何通过极速同步在多个网关直接实现数据共享？如何在日志监控中查看网关文件同步列表？文件网关反向同步的使用场景及配置是什么？...
转发路由器工作原理
基础版转发路由器工作原理 重要 自2022年03月31日起，仅云连接网CCN（Cloud Connect Network）地域支持基础版转发路由器，其他地域已停止售卖基础版转发路由器，且这些地域默认仅支持新建企业版转发路由器。推荐您将这些地域的基础版转发...
实时同步数据库的数据至Hologres
PolarDB MySQL PolarDB MySQL 配置数据源（来源为PolarDB）配置数据源（来源为Oracle）配置数据源（来源为MySQL）配置并管理实时同步任务 同步解决方案 提供多种数据源之间进行不同数据同步场景的同步解决方案，包括实时数据同步、离线全量...
常见问题
数据同步的工作原理，请参见 产品架构及功能原理。如何计算同步延迟？同步延迟是指同步到目标数据库中的最新数据的时间戳，与源数据库的当前时间戳之间的差值。单位为毫秒。说明 正常情况的延迟在1000毫秒以内。数据同步任务是否可以修改...
为什么云存储网关与OSS上的文件不一致
工作原理 详情请参见 基于按需扫描机制的常规反向同步。详情请参见 基于消息通知的极速同步。详情请参见 基于API触发的单次反向同步。基于按需扫描机制的常规反向同步 云存储网关默认采用基于按需扫描机制的 反向同步 功能，将OSS上的变化...
数据库实时入仓快速入门
操作原理与Demo演示 Flink CDC如何增强和简化实时数据入仓 MySQL实时同步至Hologres 背景信息 假设MySQL实例中有一个tpc_ds库，里面有24张表结构不相同的业务表。另外还有user_db1~user_db3三个库，由于进行了分库分表的设计，每个库中分别...
数据导出到OSS概述
实现原理 DataWorks数据集成的离线同步功能将不同数据源的同步抽象为从来源数据源读取数据的Reader插件以及向目标数据源写入数据的Writer插件，方便您通过定义来源与去向数据源并结合DataWorks调度参数使用，将来源数据源中的全量或增量...
数据库中的数据离线同步至Hologres
Hologres支持通过DataWorks平台将数据库中的数据离线同步至Hologres，进行高并发低延时的查询分析处理操作。本文将为您介绍使用DataWorks将各类数据库数据离线同步至Hologres的操作方法。前提条件 开通DataWorks，详情请参见 入门概述。...
数据集成
同步任务调度配置 节点依赖关系 离线同步任务 离线同步任务的上游任务：由于同步任务可依赖平台侧血缘，因此，您可根据工作空间业务复杂性，选择挂载依赖至 工作空间根节点或 虚拟节点，即由工作空间根节点调度当前节点执行，还是由虚拟...
从自建TiDB同步至云原生数据仓库AnalyticDB MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），结合Kafka集群与TiDB数据库的Pump、Drainer组件，将自建TiDB数据库同步至 云原生数据仓库AnalyticDB MySQL。前提条件 已创建 云原生数据仓库AnalyticDB MySQL 3.0版本，...
创建主备双活实例
背景信息 有关主备方案的介绍请参见 主备容灾原理介绍。功能优势 支持多种类型的主备实例，包括云数据库HBase、EMR HBase和自建HBase的混合场景。支持多版本HBase，包括1.x、2.x等版本。自动管理数据同步，延迟在百毫秒级。故障自动容错。...
DataWorks On Hologres使用说明
类别 描述 相关文档 数据同步环境准备 基于DataWorks进行Hologres同步任务前，您需先将Hologres实例创建为工作空间的数据源。创建后，才可使用该数据源执行相关同步任务。创建Hologres数据源 数据开发、数据分析环境准备 基于DataWorks进行...
DataWorks On CDP/CDH使用说明
DataWorks支持基于CDH（Cloudera's Distribution Including Apache Hadoop，以下简称CDH）和CDP（Cloudera Data Platform，以下简称CDP）集群创建Hive、MR、Presto和Impala等节点，实现CDP/CDH任务工作流的配置、定时调度和元数据管理等...
Doris数据源
准备工作1：确认Doris的版本 数据集成对Doris版本有要求，您可以参考上文 支持的Doris版本 章节，查看当前待同步的Doris是否符合版本要求。您可以在 Doris的官方网站 下载对应的版本，并且安装。准备工作2：创建账号，并配置账号权限 您...
DataWorks On MaxCompute使用说明
类别 描述 相关文档 数据同步环境准备 基于DataWorks进行MaxCompute同步任务前，您需先将MaxCompute项目创建为工作空间的数据源。创建后，才可使用该数据源执行相关同步任务。创建MaxCompute数据源 数据开发、数据分析环境准备 基于...
- 产品推荐
- 这些文档可能帮助您