离线同步常见问题
本文为您介绍离线同步的相关问题。文档概述 问题分类 相关文档 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步...
整库离线同步至Elasticsearch
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至Elasticsearch为例，为您讲解如何将整库数据离线同步至Elasticsearch。前提条件 已...
三个实例相互进行双向同步后出现数据缺失
问题描述 通过DTS配置三个实例之间的双向同步后，发现数据出现缺失。例如下图所示的配置场景：可能原因 双向同步场景的关键在于防止数据回环，不适用于三个实例间的互相同步。以上图为例：DB1的数据通过DTS同步至DB2时，为防止数据回环至DB...
离线同步数据质量排查
环境信息排查 问题 解决方案 查询了错误或不完整的数据源、表、或者分区等。DataWorks标准项目分为开发数据源、生产数据源，在开发环境运行任务使用开发数据源，在生产环境运行任务使用生产数据源，再对数据数量和内容比对时，需要确认下...
支持的数据源及同步方案
具体任务配置与实现您可进入 离线同步、实时同步、同步解决方案 模块进行操作。数据源 离线同步 实时同步 全增量同步任务 单表读 单表写 单表增量读 单表增量写 整库增量读 整库增量写 整库离线读 整库离线写 单表/整库全增量实时读 单表/...
全增量同步任务常见问题
本文为您介绍全增量同步任务的常见问题及解决方案。文档概述 MySQL一键同步至Hologres中decimal（7，4）数据类型转换成了numeric（38，18），正常吗？一键实时同步至MaxCompute时,分表是否可以同步到同一张表里?一键实时全增量同步任务中，...
OTSStreamReader常见问题
本文介绍了OTSStreamReader运行时可能出现的问题，请根据实际问题排查处理错误。OTSStreamReader运行时出现“Must set date or time range millis or time range string,please check your config”错误 问题现象 OTSStreamReader运行时...
RDS MySQL只读实例同步延迟原因与处理
延迟会导致只读实例与主实例的数据出现不一致，从而导致业务出现问题。另外，延迟也有可能引起日志堆积，导致只读实例空间被迅速消耗。说明 若主实例正产生大量的日志，有可能会使只读实例被锁定。日志复制延迟是通过 show slave status \G...
RDS MySQL只读实例同步延迟原因与处理
延迟会导致只读实例与主实例的数据出现不一致，从而导致业务出现问题。另外，延迟也有可能引起日志堆积，导致只读实例空间被迅速消耗。说明 若主实例正产生大量的日志，有可能会使只读实例被锁定。日志复制延迟是通过 show slave status \G...
DTS同步数据到AnalyticDB MySQL时出现“modify ...
问题描述 数据同步过程中，出现 'id' is LONG type,Can't change column type to DECIMAL 或者 modify precision is not supported,col=id,type decimal,old=11,new=21 报错信息。问题原因 数据同步过程中，存在不支持修改的字段类型。解决...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
操作 风险 解决方式 CREATE TABLE（且该表需要同步）如果该表存在目标端是分区表，源和目标端的索引不一致，需要进行 ETL 等情况，可能影响数据迁移性能，导致 ETL 不符合预期。必须开启 DataBase 级别的 PK、UK 补偿日志。手动添加涉及的...
MySQL分库分表实践
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
使用DTS增量同步数据时出现“Invalidate value”报错
问题描述 使用DTS增量同步数据时，出现以下报错。DTS-077100:Record Replicator error in XXX.cause by[java.sql.SQLException:[15018,2020022500033819216812025003453844378](Column=>TB_LOAN_PERSON.BIRTHDAY),Invalidate value=>0000-...
分析实例简介
RDS MySQL提供分析实例功能，可以将RDS MySQL主实例中的数据自动同步到分析实例中，解决RDS MySQL复杂分析与查询时卡顿的问题，实现毫秒级针对万亿级数据进行即时的多维分析透视和业务探索。使用场景 随着企业业务发展，精细化实时运营诉求...
通过MySQL分析实例同步至数仓版
说明 同步状态 为 同步中 表明该同步作业正常进行增量同步，更多关于同步任务状态的信息，请参见 DTS同步作业状态。DTS同步作业状态 同步作业状态 状态说明 配置中 同步作业正在配置中。预检查中 同步作业正在进行启动前的预检查。预检查...
数据集成侧同步任务配置
完成数据源、网络、资源的准备配置后，您可以根据同步场景选择同步解决方案，创建并执行同步任务，将源端数据同步至目标端。本文为您介绍同步任务的通用配置流程，不同的同步方案配置流程可能存在差异，对应方案配置详情请以界面为准。前提...
资源组操作及网络连通
数据同步网络连通问题 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
离线同步并发和限流之间的关系
实践内容 并发数 阅读此部分，您可以解决和理解如下问题：问题一：如何配置数据同步任务的并发数？问题二：为什么我的数据同步任务跑的比较慢，实际运行的并发数不够？问题三：为什么我的同步任务并发数配置的很高，但是任务运行速度仍然很...
MySQL整库实时同步至OSS数据湖
创建同步解决方案任务，选择需要同步的源端数据源MySQL，目标端数据源OSS，并选择 整库实时入湖 方案。配置网络连通。源端选择已创建的MySQL数据源，目标数据源为已创建的OSS数据源，同步资源组选择已创建的独享数据集成资源组，单击 测试...
ListDIProjectConfig
调用ListDIProjectConfig查看当前工作空间中数据集成同步解决方案任务默认的全局配置。当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务，则配置 DDL消息...
MySQL分库分表同步至Hologres（方案1.0）
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
离线同步任务调优
同步任务整体速度慢可能出现在同步过程的各个阶段，本文以现象入手，为您提供各个阶段运行慢的解决方案，详情请参见：数据同步慢的场景及解决方案。在数据库性能限制的情况下，同步速度并非越快越好，考虑到速度过高可能对数据库造成过大的...
使用DTS同步数据时出现“Cannot parse"2013-05-00 00:...
问题描述 使用DTS同步数据时，出现类似“Cannot parse"2013-05-00 00:00:00":Value 0 for dayOfMonth must be in the range[1,31]]”报错，即出现时间、日期类型的字段有异常。问题原因 源库数据中存在AnalyticDB MySQL不支持的非法值。...
多人协作
数据同步 在多人协作过程中，为了防止数据丢失及数据同步不准确的情况，有数据同步机制来解决这个问题。多人在同一页面时的同步机制。如用户A在 集成API 界面增加某个字段，并保存。用户B的 集成API 界面会同步对应数据。获取编辑权限时，...
一键实时同步至MaxCompute
一键实时同步至MaxCompute方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...
一键实时同步至MaxCompute
一键实时同步至MaxCompute方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...
阿里邮箱AD同步&认证
五、小技巧 如果同步出现较严重延迟，过了很久部门账号或邮件组都没同步至邮箱侧，建议刷新AD对象的任意非同步认证相关的关键属性值来触发同步。如果涉及到对象比较多，也可以通过如下指令进行批量操作。方案1：直接打开cmd命令框 csvde-f ...
使用MaxCompute访问
如果在创建数据源的时候出现网络超时的报错可以根据 配置资源组与网络连通 进行解决，如果还是有问题，可以 提交工单 联系DataWorks工作人员获取支持。验证MaxCompute数据同步至文件引擎 以下示例用来验证MaxCompute数据是否同步到文件引擎...
石墨文档
本文以石墨文档为例，介绍如何借助函数计算毫秒级别的资源伸缩能力，解决计算资源扩容问题，降低服务器成本，提高工作效率。客户介绍 石墨文档 是中国第一款支持云端协作的企业办公服务软件，2014年成立至今，石墨文档已累计为超过20万家...
使用MaxCompute独享Tunnel进行数据同步
为满足业务增长对传输资源的更高要求，数据集成的同步任务默认使用独享资源组，可为您提供更好的数据同步稳定性和同步的并发数。本文为您介绍如何使用MaxCompute独享数据传输资源进行数据同步。注意事项 若在配置MaxCompute数据源时配置了 ...
一键实时同步至DataHub
一键实时同步至DataHub方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至DataHub任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步...
ClickHouse整库数据离线同步至Hologres
本文以ClickHouse离线同步写入Hologres场景为例，为您介绍如何一次性把ClickHouse整个数据库的数据离线同步至Hologres。使用限制 ClickHouse离线同步仅支持阿里云ClickHouse 20.8、21.8版本。ClickHouse离线同步仅支持使用独享数据集成资源...
一键实时同步至Elasticsearch
一键实时同步至Elasticsearch方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至Elasticsearch任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置...
应用场景
数据传输服务DTS（Data Transmission Service）支持数据迁移、数据订阅和数据实时同步功能，帮助您实现多种典型应用场景。不停机迁移数据库 传输方式：数据迁移 为了保证数据的一致性，传统的迁移过程需要您在迁移数据时停止向源数据库写入...
OTSReader常见问题
本文介绍了OTSReader运行时可能出现的问题，请根据实际问题排查处理错误。OTSReader运行时出现“Input size of values not equal size of primary key.input size:xx,primary key size:xx”错误 问题现象 OTSReader运行时出现“Input size ...
常见问题
任务运行常见问题 如果在迁移运行过程中出现问题，您可以先查看任务运行日志。单机部署：运行日志的文件路径为 logs/ossimport2.log。分布式部署：运行日志的文件路径为 logs/import.log。执行任何命令均报错 UnsupportedClassVersionError...
应用场景
除此之外，还可通过远程控制功能，在得到车机端用户授权的情况下，维修人员可远程云端查看实时桌面屏幕，并在云端点击桌面进行操作，同步的、车机端也会响应操作指令，更加直观的查看解决问题。当通过远程诊断，发现问题需要修复解决，还可...
数据集成
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发（DataStudio）界面直接 创建离线同步节点，用于离线（批量）数据周期性同步；实时同步任务运维，用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
同步主实例中的资源
说明 KMS专注于实现主实例与副本实例间的资源同步，对于您的业务数据层面的同步需求，超出了KMS产品的服务范畴，请您对此类业务数据同步问题作另行规划与处理。限制条件 支持的实例类型：仅预付费模式中的软件密钥管理实例，支持跨地域同步...
一键实时同步至Hologres
一键实时同步至Hologres方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。同时，还支持单独进行实时增量数据同步，适用于已经通过其他方式将全量数据同步至Hologres的场景，本文为您介绍如何创建一键实时...
- 产品推荐
- 这些文档可能帮助您