同步增量数据到MaxCompute
如果需要将 表格存储 中新增和变化的数据定期同步到MaxCompute中备份或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现周期性增量数据同步。前提条件 已新增 表格存储 数据源。具体操作，请参见 注意事项。已...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
将MaxCompute数据同步到表格存储
如果需要将MaxCompute计算分析后的数据同步到表格存储中存储或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现全量数据导出。全量数据导出到表格存储后，您可以使用表格存储查询与分析数据。背景信息 表格存储...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
背景信息 数据集成 是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力，提供离线同步、增量同步、全增量数据实时同步等多种同步方案。本教程采用离线同步方案，DataWorks...
导出全量数据到OSS
配置同步网络链接。选择离线同步任务的数据来源、数据去向以及用于执行同步任务的资源组，并测试连通性。重要 数据同步任务的执行必须经过资源组来实现，请选择资源组并保证资源组与读写两端的数据源能联通访问。在 网络与资源配置 步骤，...
同步增量数据到OSS
如果需要将表格存储中新增和变化的数据定期同步到OSS中备份或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现周期性增量数据同步。注意事项 此功能适用于 表格存储 宽表模型和时序模型。宽表模型：导出 表格存储...
离线同步读取MongoDB数据
DataWorks的数据集成为您提供MongoDB Reader插件，可从MongoDB中读取数据，并将数据同步至其他数据源。本文以一个具体的示例，为您演示如何通过数据集成将MongoDB的数据离线同步至MaxCompute。背景信息 本实践的来源数据源为MongoDB，去向...
ECS实例使用的Windows系统激活失败如何解决？
如果确认系统时间明显有很大偏差，您可以在系统桌面右下角手工修改系统时间配置，也可以通过以下命令同步时钟，同步完成以后再重新激活。net start W32Time w32tm /resync 系统返回类似如下。磁盘空间满了导致激活失败 问题现象 尝试激活的...
Windows系统ECS实例激活失败
如果确认系统时间明显有很大偏差，用户可以在系统桌面右下角手工修改系统时间配置，也可以通过以下命令同步时钟，同步完成以后再执行激活。net start W32Time w32tm /resync 系统返回类似如下。磁盘空间满了导致激活失败 问题现象 尝试激活...
Linux时间和时区说明
背景信息 Linux操作系统中时间和时区相关的基本概念如下表所述：基本概念 说明 时钟 Linux时钟分为以下两种：硬件时钟（Real Time Clock，简称RTC）：由物理层面的主板上电池供电的时钟，该硬件时钟可以在Linux的BIOS（Basic Input Output ...
路由同步
您可以通过路由同步功能控制企业版转发路由器向网络实例传播网络实例连接关联的企业版转发路由器路由表中的路由。本文为您介绍路由同步的使用限制、路由同步机制以及如何开启和关闭路由同步功能。使用限制 仅企业版转发路由器支持路由同步...
线下路由同步方式
线下路由同步方式为智能接入网关学习本地网络私网网段的方式。通过配置线下路由同步方式，智能接入网关可以学习到用户本地网络的私网网段并将私网网段自动同步至阿里云。操作步骤 登录 智能接入网关管理控制台。在顶部菜单栏，选择目标区域...
实施步骤
通过DTS实时同步PolarDB for MySQL数据到分析型数据库MySQL版需要以下几个步骤：步骤一：创建DTS同步作业 步骤二：配置同步链路 步骤三：查看同步数据 步骤一：创建DTS同步作业 创建DTS同步作业需要用户支付一定的费用，DTS支持两种付费...
实时同步常见问题
公网同步无法保障实时同步时效性，建议您打通网络后通过内网同步数据。说明 公网同步存在以下风险：网络可能不稳定，丢包等时常发生，影响同步性能，安全性不高。若源端和目标端数据库性能差异较大或数据库负载较高，同样会导致延迟较大。...
设备总览
时钟异常 时钟不同步：判断存在部分数据入库延迟时间过长或入库时间小于设备数据产生时间等时钟异常情况。传输延误时大：进行定周期数据时空分析，对数据产生时间及入库时间进行分析，判断存在数据入库延迟时间超出平均值的情况。重复传输 ...
NTP服务的DDoS攻击
概述 NTP协议（Network Time Protocol）是互联网中标准的网络时间同步协议，应用于分布式时间服务器和客户端之间，实现客户端和服务端的时间同步，从而使互联网内所有设备的时间保持同步。详细信息 NTP服务的DDoS攻击原理 NTP协议是基于UDP...
概述
DataHub数据同步功能 DataHub提供数据Sink/Source功能，即数据同步功能，DataHub支持将对应Topic中的数据 实时/准实时 的同步到第三方阿里云产品中，打通阿里云产品间的数据流通。目前支持MaxCompute（原ODPS）、分析型数据库MySQL(ADS)、...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
离线同步任务调优
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...
MySQL整库周期性增全量同步至Hive
本文以MySQL为源端，Hive为目标端场景为例，为您介绍如何把MySQL整个数据库的数据离线同步到Hive。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以MySQL作为来源数据源，以Hive作为...
MySQL整库周期性增全量同步至MaxCompute
本文以MySQL离线同步写入MaxCompute场景为例，为您介绍如何把MySQL整个数据库的数据离线同步到MaxCompute。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以MySQL作为来源数据源，以...
全球数据库常见问题
说明 GDN网络中所有集群的数据保持同步，网络中每个集群均提供读写服务，并且提供异地灾备能力。跨地域写数据会受一定的网络延迟影响，GDN网络做了特殊优化，通过多通道物理复制，高压力下全球同步延迟小于2秒。如何清理GDN主从空间以及表...
Hologres整库周期性增全量同步至MaxCompute
本文以Hologres离线同步写入MaxCompute场景为例，为您介绍如何把Hologres整个数据库的数据离线同步到MaxCompute。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以Hologres作为来源...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
AnalyticDB for MySQL3.0整库周期性增全量同步至...
本文以AnalyticDB for MySQL3.0离线同步写入Hologres场景为例，为您介绍如何把AnalyticDB for MySQL3.0整个数据库的数据离线同步到Hologres。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。...
MySQL整库离线同步到OSS
本文示例以MySQL为源端，OSS为目标端，为您介绍如何将MySQL整个数据库的数据离线同步到OSS。使用限制 仅支持使用独享数据集成资源组。操作步骤 步骤一：创建同步任务。步骤二：配置同步任务。步骤三：运行并查看任务状态。前提条件 已购买...
支持的数据库
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 从RDS MySQL同步至PolarDB-X PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-...
同步 OceanBase 数据库的数据至 DataHub
本文为您介绍如何同步 OceanBase 数据库（MySQL 和 Oracle 租户）的数据至 DataHub。前提条件 数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为源端 OceanBase 数据库创建专用于数据同步项目的数据库用户，并为其赋予...
管理时间同步服务
时间同步服务简介 时间同步服务用于与NTP服务器同步时间以确保ECS实例时间准确，它是基于网络时间协议（Network Time Protocol，简称NTP）实现的。阿里云ECS实例会默认运行Chrony或者NTP服务进行时间同步。关于时间同步服务的更多信息请...
Linux实例重启后修改的系统时间未生效
问题原因 修改系统时间后没有将时间同步至硬件时钟。解决方案 说明 如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。如果您对实例（包括但不限于ECS、RDS）等进行配置与数据修改，建议提前创建...
低成本跨境文件传输
对文件同步延时不敏感，能接受一定程度上网络抖动带来同步文件时的延迟。希望传输数据的系统有足够的弹性和扩展性应对大规模文件的写入。方案简介 云服务器模拟应用访问华东2（上海）和美国（硅谷）的对象存储，负责内容的制作和上传。内容...
云数据库MongoDB版（副本集架构）间的双向同步
若待同步的数据库中包含TTL索引，则可能会由于源库和目标库时区、时钟等的不一致，导致数据不一致。源和目标库需为相同架构的 云数据库MongoDB版，即自建MongoDB或不同架构的MongoDB不支持双向同步。其他限制 建议源和目标库的MongoDB的...
云数据库MongoDB版（副本集架构）间的双向同步
若待同步的数据库中包含TTL索引，则可能会由于源库和目标库时区、时钟等的不一致，导致数据不一致。源和目标库需为相同架构的 云数据库MongoDB版，即自建MongoDB或不同架构的MongoDB不支持双向同步。其他限制 建议源和目标库的MongoDB的...
云数据库MongoDB版（分片集群架构）间的双向同步
若待同步的数据库中包含TTL索引，则可能会由于源库和目标库时区、时钟等的不一致，导致数据不一致。请确保源和目标实例中没有孤立文档，否则可能会导致数据不一致甚至任务失败。更多信息，请参见 孤立文档 和 如何清理MongoDB（分片集群...
云数据库MongoDB版（分片集群架构）间的双向同步
若待同步的数据库中包含TTL索引，则可能会由于源库和目标库时区、时钟等的不一致，导致数据不一致。请确保源和目标实例中没有孤立文档，否则可能会导致数据不一致甚至任务失败。更多信息，请参见 孤立文档 和 如何清理MongoDB（分片集群...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
若待同步的数据库中包含TTL索引，则可能会由于源库和目标库时区、时钟等的不一致，导致数据不一致。请确保分片集群架构的MongoDB实例中没有孤立文档，否则可能会导致数据不一致甚至任务失败。更多信息，请参见 孤立文档 和 如何清理MongoDB...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
若待同步的数据库中包含TTL索引，则可能会由于源库和目标库时区、时钟等的不一致，导致数据不一致。请确保分片集群架构的MongoDB实例中没有孤立文档，否则可能会导致数据不一致甚至任务失败。更多信息，请参见 孤立文档 和 如何清理MongoDB...
云数据库MongoDB版同步至云原生多模数据库Lindorm
若待同步的数据库中包含TTL索引，则可能会由于源库和目标库时区、时钟等的不一致，导致数据不一致。请确保分片集群架构的MongoDB实例中没有孤立文档，否则可能会导致数据不一致甚至任务失败。更多信息，请参见 孤立文档 和 如何清理MongoDB...
云数据库MongoDB版（副本集架构）同步至云数据库...
支持的同步架构 一对一单向同步 一对多单向同步 多对一单向同步 级联单向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。任务步骤说明 同步类型 说明 库表结构同步 将源 云数据库MongoDB版 中同步对象的结构同步到目标 ...
- 产品推荐
- 这些文档可能帮助您