从ECS上的自建SQL Server同步至云原生数据仓库...
数据传输服务DTS（Data Transmission Service）支持将自建SQL Server同步至 云原生数据仓库AnalyticDB PostgreSQL，实现增量数据的实时同步。前提条件 自建SQL Server数据库版本为2008、2008 R2、2012、2014、2016、2017或2019版本。说明 ...
应用场景
场景四：异地容灾 由于地区断电、断网等客观原因，产品可用性并不能达到 100%。当出现这些故障时，如果用户业务部署在单个地区，那么就会因为地区故障导致服务不可用，且不可用时间完全依赖故障恢复时间。通过构建灾备库，使用数据同步服务...
同步时源库为MySQL的注意事项及限制
云原生数据仓库AnalyticDB MySQL 2.0 云原生数据仓库AnalyticDB MySQL 3.0 云原生数据仓库AnalyticDB PostgreSQL Elasticsearch Tablestore PolarDB-X 2.0 Oracle PostgreSQL MySQL间的同步 MySQL同步至PolarDB MySQL版 MySQL同步至云原生...
使用前须知
阿里云全球加速服务联合日志服务提供访问日志功能，用于记录所有访问终端节点的流量信息，帮助您检查访问控制规则、排查网络故障等。本文介绍全球加速访问日志功能相关的资产、费用以及使用限制等信息。简介 您可以为全球加速实例的一个...
基本概念
概念 描述 故障转移（Fail Over）即容灾恢复，指您的 IDC 应用出现故障时，在阿里云上恢复应用的过程。故障恢复（Fail Back)当您的 IDC 内的环境恢复以后，将应用数据迁回自有 IDC 恢复应用运行的过程。RPO Recovery Point Objective（数据...
使用组复制
异步、半同步、组复制三种复制模式可以相互切换，您可以在实例 基本信息 页面的 实例拓扑管理 区域，单击 修改数据复制方式，在弹出的对话框中修改复制方式。Q：使用组复制后，备节点还支持可读吗？A：支持。由于组复制的各节点之间使用...
实时同步常见问题
原因之一就是同步的binlog变多，因为binlog是实例级别，即便配置的同步任务只同步了表A，那么没有在任务中的表B、表C等如果发生变更，也会生成binlog，这些额外增加的binlog就会使同步处理的速度变慢。实时同步中选择单库与选择多库的内存...
Logstash FAQ
通过logstash同步数据时报错"[routing]is missing for join field[joinField]"，是什么原因？管道创建后，进程卡住了，实例变更进度不变，如何处理？Logstash私网地址是否能ping通？Logstash在两个Elasticsearch之间同步数据，如何保证...
通过数据同步功能同步SLS数据至数仓版
通过 AnalyticDB for MySQL 的数据同步功能，您可以将SLS中指定时间点之后产生的数据实时同步至 数仓版（3.0）集群，以满足日志数据实时分析的需求。前提条件 数仓版（3.0）集群与日志服务SLS的 Project和 Logstore位于同一地域。具体操作...
主备方案介绍
主备容灾：当云数据库HBase实例因不可预料的原因（例如设备故障、机房断电断网等）发生故障，容灾机制可用于保障数据的一致性和业务可用性。功能优势 主备双活：请求低毛刺。故障自动容错。资源利用率高。主备容灾：支持云数据库HBase、EMR...
通过数据同步功能同步SLS数据至湖仓版
通过 AnalyticDB for MySQL 的数据同步功能，您可以将SLS中指定时间点之后产生的数据实时同步至 湖仓版（3.0）集群，以满足日志数据实时分析的需求。前提条件 湖仓版（3.0）集群与日志服务SLS的 Project和 Logstore位于同一地域。具体操作...
整库离线同步至MaxCompute
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至MaxCompute为例，为您讲解如何将整库数据离线同步至MaxCompute。前提条件 已完成数据...
整库离线同步至MaxCompute
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至MaxCompute为例，为您讲解如何将整库数据离线同步至MaxCompute。前提条件 已完成数据...
操作指南FAQ
云存储网关中的数据没有同步上传到OSS Bucket的原因是什么？如何配置文件网关的NFS v4共享路径？文件网关忽略删除的使用场景及配置是什么？文件网关如何加入AD域？为什么云存储网关与OSS上的文件不一致？块网关FAQ 如何使用块网关创建文件...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
整库离线同步至OSS
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至OSS为例，为您讲解如何将整库数据离线同步至OSS。前提条件 已完成数据源配置。您需要...
一键实时同步至Elasticsearch
一键实时同步至Elasticsearch方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至Elasticsearch任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置...
一键实时同步至Hologres
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：设置表粒度同步规则 步骤六：DDL消息处理规则 步骤七：设置任务运行资源 步骤八：执行同步任务 步骤一：选择同步方案 创建...
常见问题
云存储网关中的数据没有同步上传到OSS Bucket的原因是什么？如何配置文件网关的NFS v4共享路径？文件网关忽略删除的使用场景及配置是什么？文件网关如何加入AD域？块网关FAQ 如何使用块网关创建文件系统并刷新缓存到iSCSI盘？块网关的数据...
整库离线同步至Elasticsearch
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至Elasticsearch为例，为您讲解如何将整库数据离线同步至Elasticsearch。前提条件 已...
一键实时同步至Kafka
一键实时同步至Kafka方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至Kafka任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源...
文档修订记录
关系图 2023.8.25 新增功能 数据集成 Amazon Redshift数据源为您提供读取和写入Amazon Redshift的双向通道，方便您后续可以通过向导模式和脚本模式配置数据同步任务。Amazon Redshift数据源 2023.8.24 新增功能 运维中心 在原有调度配置...
MySQL分库分表实践
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
常见问题-FAQ
全网故障恢复时间=故障发现时间+全网生效时间。说明 受限于拨测平台探点发生变化和全国各地运营商TTL缓存原因，如使用不同的拨测平台、以及在不同的测试时间，全网生效测试结果会发生变化。重要 标准版最快可在4分钟左右准确发现故障并切换...
主从实例读写分离部署（共享存储）
Hologres 从V1.1版本开始，针对线上生产环境高可用的场景，提供了共享存储的主从多实例部署方式，在该模式下支持故障隔离，负载隔离，有效支撑了高可用场景。本文介绍高可用方案的一些基本原理以及如何配置共享存储的主从多实例。单实例...
通过向导模式配置离线同步任务
背景信息 数据集成离线同步，为您提供数据读取（Reader）和写入插件（Writer）实现数据的读取与写入，您可通过向导模式和脚本模式配置离线同步任务，实现源端单表同步至目标端单表、源端分库分表同步至目标端单表两类数据同步场景。...
MySQL数据源
MySQL数据源为您提供读取和写入MySQL的双向通道，本文为您介绍DataWorks的MySQL数据同步的能力支持情况。支持的MySQL版本 离线读写：支持MySQL 5.5.x、MySQL 5.6.x、MySQL 5.7.x、MySQL 8.0.x，兼容 Amazon RDS for MySQL、Azure MySQL。离...
PolarDB MySQL版同步至MaxCompute
支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 多对一单向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL ADD COLUMN 操作步骤 ...
攻击防护常见问题
配置了攻击防护的威胁引擎运行模式为拦截模式，为什么攻击流量没有被拦截？为什么资产存在漏洞但云防火墙漏洞防护无数据？云防火墙如何获取攻击样本？云防火墙如何放行云安全中心及其他扫描器的漏洞扫描IP地址？原因分析 由于云安全中心...
开通LTS
在同一专有网络内可用区与可用区之间私网互通，可用区之间能做到故障隔离。网络类型 固定选择 专有网络。vpcId 选择用户所需的专有网络，创建专有网络请参见 创建专有网络。vswitchID 虚拟交换机ID。Core规格 Core规格。core节点数量 默认...
PolarDB-X 2.0同步至MaxCompute
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 2.0 同步至MaxCompute。前提条件 已创建源 PolarDB-X 2.0 实例，且兼容MySQL 5.7版本。更多信息，请参见 创建实例 和 创建数据库。已开通MaxCompute。更多...
使用DataWorks
通过向导模式配置并运行数据同步任务 或 通过脚本模式配置并运行数据同步任务 以可视化或脚本模式配置并运行离线同步任务。确认同步结果 在目标数据源侧确认数据同步结果。添加MaxCompute数据源 具体操作请参见 创建MaxCompute数据源。添加...
自建Oracle同步至MaxCompute
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Oracle的数据同步至MaxCompute。前提条件 已开通MaxCompute并创建MaxCompute项目。更多信息，请参见 开通MaxCompute和DataWorks 和 创建MaxCompute项目。已设置...
创建同步任务
本文为您介绍如何通过创建同步任务，导出MaxCompute中的数据至MySQL数据源中。前提条件 已通过RDS创建MySQL实例，获取RDS实例ID，并在RDS控制台添加白名单。详情请参见 快速创建RDS MySQL实例 和 添加白名单。说明 如果是通过自定义资源组...
离线同步任务调优
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...
产品架构
传统型负载均衡基础架构采用集群部署，提供四层（TCP和UDP协议）和七层（HTTP和HTTPS协议）的负载均衡，可实现会话同步，消除服务器单点故障，提升冗余性和服务稳定性。基础架构说明 负载均衡作为流量转发服务，将来自客户端的请求通过负载...
如何排查Java场景下故障注入不生效的问题
为解决此类问题，在创建或编辑演练时，您可以在故障执行阶段选择开启Debug模式，并通过相关的日志信息来了解故障注入失败的原因。开启Debug模式 在查看目标演练的故障注入日志前，您需要先确认该演练的故障执行步骤是否已开启Debug模式。若...
Kafka单表实时入湖OSS（HUDI）
说明 报警原因 为 DLL通知 时，适用的DDL 只允许选择 新增列，在同步任务解析出新的动态列时将触发报警（触发条件不是在OSS表加列）。管理报警规则。对于已创建的报警规则，您可以通过报警开关控制报警规则是否开启，同时，您可以根据报警...
多可用区部署
如果可用区A的网络存在故障，由于同步延迟问题，在可用区A网络恢复之前的时间段内可用区B的数据会一直处于缺失的状态。备实例资源利用率不高。在主备容灾下，大部分时间备实例的资源不会被使用，只有在主备切换操作的时候才会被访问。主备...
功能特性
单实例Shard级多副本 主从实例读写分离（共享存储）针对线上生产环境高可用的场景，提供了共享存储的主从多实例部署方式，在该模式下支持故障隔离，负载隔离，有效支撑了高可用场景。主从实例读写分离部署（共享存储）计算组实例 计算组...
- 产品推荐
- 这些文档可能帮助您