离线同步常见问题
MySQL分库分表如何将分表同步到一张MaxCompute中 数据同步任务where条件没有索引，导致全表扫描同步变慢 目的端MySQL表字符集为utf8mb4时，同步到MySQL中的中文字符出现乱码时，如何处理？同步的数据表，是否只能使用Alter方式来修改TTL?...
常见问题
问题分类 常见问题分为如下几种类型：计费问题 性能和规格问题 预检查问题 更多预检查问题，请参见 预检查及修复方法。数据库连接问题 数据同步问题 数据迁移问题 数据订阅问题 其他问题 说明 若您有其他疑问或需求，可以 通过钉钉（钉钉...
极速同步
共享状态 指该共享目前的同步状态，共有以下几种可能的状态：全量同步等待中：表示该共享首次加入该同步组，正在等待进行首次全量同步。全量同步进行中：表示该共享的全量同步正在进行中。同步正常：表示该共享目前的同步状态正常。极速...
DataWorks数据集成
无论是哪种应用场景，都可以通过DataWorks的数据集成功能完成数据的同步过程，详细的操作步骤（包括创建数据集成任务、数据源配置、作业配置、白名单配置等），请参考 DataWorks文档 中的使用指南->数据集成一栏。文章中余下部分会介绍 ...
数据同步模版
分库分表合并同步模版会将您的参数翻译成CTAS语句，有关CTAS语句的更多能力，详情请参见 CREATE TABLE AS（CTAS）语句。使用限制 目前仅支持从MySQL到Hologres的数据同步。注意事项 在同步MySQL到Hologres的数据时，会同步表结构变更，详情...
什么是Topic
在发布/订阅消息的MQTT协议中，Topic用于定义消息传输的通道和路径，设备通过Topic将消息发布到物联网平台，物联网平台将消息发送给订阅Topic的设备。为方便海量设备基于Topic进行通信，简化授权操作，物联网平台定义了产品Topic类和设备...
MySQL分库分表同步至MaxCompute
本文以MySQL分库分表实时写入MaxCompute场景为例，为您介绍如何通过数据集成同步分库分表数据至MaxCompute。前提条件 已完成MaxCompute和MySQL数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来...
MySQL分库分表同步至MaxCompute
本文以MySQL分库分表实时写入MaxCompute场景为例，为您介绍如何通过数据集成同步分库分表数据至MaxCompute。前提条件 已完成MaxCompute和MySQL数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据同步至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据同步至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
云数据库MongoDB版（分片集群架构）间的双向同步
若您无需使用DTS提供的库表结构同步功能（例如目标端已配置好数据分片），在 配置任务对象及高级配置 阶段中，同步类型 请勿勾选 库表结构同步，否则可能会因为分片冲突而导致数据不一致或任务失败。费用说明 同步类型 链路配置费用 库表...
云数据库MongoDB版（分片集群架构）间的双向同步
若您无需使用DTS提供的库表结构同步功能（例如目标端已配置好数据分片），在 配置任务对象及高级配置 阶段中，同步类型 请勿勾选 库表结构同步，否则可能会因为分片冲突而导致数据不一致或任务失败。费用说明 同步类型 链路配置费用 库表...
云数据库MongoDB版（副本集架构）间的双向同步
任务步骤说明 同步类型 说明 库表结构同步 将源 云数据库MongoDB版 中同步对象的结构同步到目标 云数据库MongoDB版 中。全量同步 将源 云数据库MongoDB版 同步对象的存量数据全部同步到目标 云数据库MongoDB版 中。说明 支持全量同步...
云数据库MongoDB版（副本集架构）间的双向同步
任务步骤说明 同步类型 说明 库表结构同步 将源 云数据库MongoDB版 中同步对象的结构同步到目标 云数据库MongoDB版 中。全量同步 将源 云数据库MongoDB版 同步对象的存量数据全部同步到目标 云数据库MongoDB版 中。说明 支持全量同步...
一键MaxCompute任务出错恢复
有如下几种方式可以恢复全增量同步任务运行：通过强制重跑功能恢复 适用场景 实时任务失败太久导致Binlog被清理，无法补回增量数据。由于各种原因导致目标表缺失了新增列。由于各种原因导致目标表数据出现了缺失或者正确性问题。功能入口 ...
配置数据层
杭州中心单元 创建同步任务方式 包括直接录入和手动创建的方式：直接录入：如果您在 数据传输控制台 已经创建一个状态为同步中（双向同步的反向同步链路状态也为同步中）的同步任务，则可以直接选择该同步任务进行录入。手动创建：如果您在...
等保三级预检合规包
本文为您解读等保2.0的具体内容，以及等保三级预检合规包中的默认规则。什么是等保2.0 等保2.0是指网络安全等级保护制度2.0国家标准，该标准已于2019年05月13日正式发布，并于2019年12月01日正式实施。等保2.0的发展和演进史如下图所示。...
从RDS原生实时同步
在 创建数据同步通道 页中，填入参数后，单击 下一步，等待几分钟即可完成同步通道创建。必填参数说明：同步通道名称：根据源实例的用途填写，支持英文字母或数字，长度控制在128个字符，可以与RDS实例名称一样。RDS实例名称：需要进行同步...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
基本概念
实例有几种类型：周期实例、测试实例、补数据实例、手动实例。不同类型的实例，是由于触发任务运行的方式不同。对于周期任务而言，每个周期一次运行产生一个实例。周期调度（Task Schedule）：任务按需设置其执行计划，并被周期性执行。...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
物联网平台通信方式概述
您的设备和服务器接入阿里云物联网平台后，可通过物联网平台实现设备与服务器、设备与设备间的通信。本文介绍设备、物联网平台、服务器间通信的方法。背景信息 设备通过消息Topic实现消息的发送和接收，消息通信Topic的定义、使用和分类...
使用云边通信Raven组件
关于两种通信模式的更多信息，请参见 通信模式。accessControlListEntry 访问控制白名单条目。放行的边缘网关节点可以与云上构建隧道，增强网络安全性。采用CIDR标准格式，固定IP地址以“/32”为掩码，多个地址之间使用英文半角逗号（,）...
现代IM系统中的消息系统—架构
IM系统在互联网初期即存在，其基础技术架构在这十几年的发展中更新迭代多次，从早期的CS、P2P架构，到现在后台已经演变为一个复杂的分布式系统，涉及移动端、网络通信、协议、安全、存储和搜索等技术的方方面面。IM系统中最核心的部分是...
云数据库MongoDB版（分片集群架构）
您可以在数据传输服务DTS（Data Transmission Service）控制台创建数据同步任务，实时或定时将 云数据库 MongoDB 版 的分片集群架构实例的增量数据同步至 函数计算 的指定函数。然后结合同步至函数中的数据，在 函数计算 编写相应的代码，...
云数据库MongoDB版（分片集群架构）同步至函数计算FC
数据传输服务DTS（Data Transmission Service）支持将 云数据库MongoDB版（分片集群架构）实例的增量数据同步至函数计算FC的指定函数。您可以编写函数代码，结合同步至函数中的数据，对数据进行二次加工。前提条件 已创建源 云数据库...
通信消息相关问题
本文介绍设备与物联网平台和物联网平台与服务器端的通信相关问题和解决方法。类目 问题 上下行消息 设备重复收到消息，如何去重？设备使用MQTT协议接入物联网平台后，接收不到通信数据，怎么办？物联网平台发送消息比较慢，存在超时情况，...
特殊场景下的复制行为
从已开启版本控制的源Bucket中删除对象（Object）时，会出现以下几种情况：请求方式 数据同步策略 结果 发出Delete请求但未指定Object版本ID 写同步（增/改）OSS将在源Bucket中创建删除标记（Delete Marker），且源Bucket创建的删除标记会...
OSS数据离线同步至MaxCompute
本文以OSS离线同步写入MaxCompute场景为例，为您介绍OSS离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99....
OSS数据离线同步至MaxCompute
本文以OSS离线同步写入MaxCompute场景为例，为您介绍OSS离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99....
资源组说明
资源组功能 每种类型的资源组，按功能可分为几类：通用任务执行器：用于连接用户的数据库，获取库表元数据，执行SQL，也包括连接用户计算引擎（Flink、Spark等），提交作业。数据同步Worker：用于执行数据同步任务，包括离线同时、实时同步...
创建主备双活实例
云数据库HBase主备节点分别部署在同一地域下两个不同的可用区，当任一可用区因电力、网络等不可抗因素失去通信时，高可用HA系统会执行故障切换，确保整个节点的持续可用。您可以使用LTS数据通道服务完成主备节点之间实时增量数据双向同步，...
资源组说明
资源组功能 每种类型的资源组，按功能可分为几类：通用任务执行器：用于连接用户的数据库，获取库表元数据，执行SQL，也包括连接用户计算引擎（Flink、Spark等），提交作业。数据同步Worker：用于执行数据同步任务，包括离线同时、实时同步...
离线同步并发和限流之间的关系
针对限流场景，举几个常见案例介绍如下：用户配置并发数为5，任务限速为5MB/s，则任务会尝试切分为5个分片并发执行，每个分片执行限制速率为1MB/s。如果任务实际并发为5，则作业的最终速度上限为5MB/s，小于等于任务速度上限。任务实际执行...
阿里云云通信短信服务安全白皮书V1.0
【声明】本安全白皮书著作权归阿里巴巴云计算（北京）有限公司所有（以下简称阿里云云通信），未经阿里云云通信事先书面许可，任何主体不得以任何形式复制、修改、传播全部或部分内容。本白皮书仅供参考，对于本文档中的信息，阿里云云通信...
控制面质量
最近几年，云原生概念越来越火，蚂蚁集团历来热衷于技术创新，积极在云原生领域实践 Service Mesh 理念，结合现有技术架构，将一些通用能力（通信/数据/安全等）抽离出来，沉淀出了 MOSN。同时，依托于 Istio 的能力，扩展出了 Service ...
AnalyticDB MySQL集群状态和DTS同步作业状态
本文汇总了 AnalyticDB MySQL版 集群的状态以及集群中关于DTS同步作业状态的详情供...同步中（同步对象变更中）同步作业正在进行对象表更操作。完成 完成是指手动单击 结束同步，同步作业状态变为完成。同步任务被删除 同步作业任务已被释放。
任务状态说明
任务状态 状态说明 可进行的操作 创建中 同步任务正在进行同步初始化 查看同步配置 运行中 同步任务正常同步中 查看同步配置 暂停同步 取消同步 已暂停 同步任务被暂停，处于暂停状态 查看同步配置 修改同步对象 重新启动任务 取消任务 已...
PolarDB-X 2.0同步至Elasticsearch
目标库对象名称大小写策略 您可以配置目标实例中同步对象的库名、表名和列名的英文大小写策略。默认情况下选择 DTS默认策略，您也可以选择与源库、目标库默认策略保持一致。更多信息，请参见 目标库对象名称大小写策略。源库对象 在 源库...
PolarDB-X 1.0同步至Elasticsearch
目标库对象名称大小写策略 您可以配置目标实例中同步对象的库名、表名和列名的英文大小写策略。默认情况下选择 DTS默认策略，您也可以选择与源库、目标库默认策略保持一致。更多信息，请参见 目标库对象名称大小写策略。源库对象 在 源库...
- 产品推荐
- 这些文档可能帮助您