DQL操作常见问题
问题类别 常见问题 GROUP BY 在执行MaxCompute SQL过程中，报错Repeated key in GROUP BY，如何解决？在执行MaxCompute SQL过程中，报错Expression not in GROUP BY key，如何解决？对表A执行GROUP BY生成表B，表B比表A的行数少，但表B的...
申请跨境数据同步权限
数据传输服务DTS（Data Transmission Service）默认仅支持非跨境的数据同步任务，若您需要创建跨境（跨国家或地区）的数据同步任务，需要申请开通跨境同步的权限。例如，创建从中国内地到非中国内地地域的同步任务时，需要申请跨境同步的...
Tunnel命令常见问题
本文为您介绍使用Tunnel命令过程中的常见问题。问题类别 常见问题 Tunnel Upload Tunnel Upload是否支持通配符或正则表达式？Tunnel Upload对文件大小是否有限制？记录大小是否有限制？是否要使用压缩？同一个表或分区是否可以并行上传数据...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以...如果数据未同步成功或数据存在遗漏，请参见 离线同步常见问题。
数据同步概述
Hologres数据同步说明 Hologres有着非常庞大的生态家族，支持多种异构数据源的离线、实时写入。对于开源大数据：Hologres支持当下最流行的大数据开源组件，其中包括Flink、Blink和Spark等，通过内置的Hologres Connector实现高并发实时写入...
创建同步MaxCompute
同步数据到MaxCompute 准备工作 1....常见问题 同步到MaxCompute timestamp字段时间变为1970-01-19 原因：DataHub同步MaxCompute默认时间戳单位为微秒，用户写入时间戳为毫秒解决方案：写入DataHub时间戳以微秒方式写入。
MySQL分库分表同步至MaxCompute
针对以上痛点，DataWorks数据集成一键同步解决方案提供了面向业务场景的同步任务配置化方案，支持不同数据源的一键同步功能，方便业务简单快速的进行数据同步。分库分表同步至MaxCompute解决方案是一种基于Binlog实时同步、T+1合并生成离线...
MySQL分库分表同步至MaxCompute
针对以上痛点，DataWorks数据集成一键同步解决方案提供了面向业务场景的同步任务配置化方案，支持不同数据源的一键同步功能，方便业务简单快速的进行数据同步。分库分表同步至MaxCompute解决方案是一种基于Binlog实时同步、T+1合并生成离线...
实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。...常见问题 实时同步任务常见问题请参见 实时同步常见问题。
重新配置数据同步作业
当您需要停止数据同步或重新配置数据同步时，您可以通过本文的方法来重置数据同步作业。前提条件 数据同步作业不处于 未配置 状态。费用影响 包年包月：无影响。按量付费：数据同步作业将转变为 未配置 状态并停止计费，再次完成数据同步...
Information Schema常见问题
问题类别 常见问题 Information Schema使用 通过数据源数据增量同步后，如何查看某一条数据具体被同步到MaxCompute中的时间？如何查看表的Information Schema？information_schema.tables中没有查到MaxCompute项目下所有的表，应该如何解决...
蓝图编辑器常见案例教学
针对蓝图编辑器常见的问题，本文通过理论介绍及实操演示提出问题的解决方法。视频链接 DataV小课堂直播视频：蓝图编辑器常见案例教学直播视频使用教程。案例概览 请求数据接口时动态传递参数 本案例是在请求数据接口时传递动态参数，实现...
异地多活常见问题
本文介绍异地多活的常见问题以及解决方案。微服务在多活场景下如何解决？消息在多活场景下如何解决？Redis等缓存在多活场景下怎么解决？分布式调度任务在多活场景下如何解决的？MSHA数据面的性能指标是怎样的？是否做好入口流量分发和数据...
使用MongoShake实现MongoDB实例间的单向同步
通过阿里云自研的MongoShake开源工具，您可以实现MongoDB数据库间的数据同步，该功能可用于数据分析、灾备和多活等业务场景。本文以云数据库MongoDB实例间的数据实时同步为例介绍配置流程。MongoShake介绍 MongoShake是阿里云以Golang语言...
查看索引同步状态
常见问题处理 如果BDS界面中显示同步的延迟过大，超出业务承受的范围，用户可以通过自查解决问题。同步点位不再推进 如果发现BDS界面中的同步点位不再推进，通常是在HBase中写入了不合法的数据导致同步失败。此时用户可以点击右侧的详情，...
通过一键建仓同步至数仓版
应用场景 一键建仓主要解决云上企业构建数据仓库时配置数据同步链路繁杂的问题，同时提供了高性价比的 AnalyticDB MySQL版 存储计算资源方案。一键建仓适用于以下场景：全库同步。通过一键建仓一键生成同步链路，将一个或多个PolarDB MySQL...
通过一键建仓同步至数仓版
应用场景 一键建仓主要解决云上企业构建数据仓库时配置数据同步链路繁杂的问题，同时提供了高性价比的 AnalyticDB MySQL版 存储计算资源方案。一键建仓适用于以下场景：全库同步。通过一键建仓一键生成同步链路，将一个或多个RDS实例中的...
常见问题概览
无法在云数据库MongoDB中进行MONGODB-CR认证 设置SSL加密 设置透明数据加密TDE 数据容灾解决方案 备份与恢复 热点问题 其他常见问题 云数据库MongoDB版如何备份和恢复？备份与恢复方案概览 下载备份文件 性能、空间与内存 热点问题 其他...
常见问题
如果在数据同步过程中遇到其他因数据库名、表名或者列名造成的同步失败（例如表名中含有空格、中文等），可以向ADB提工单解决该问题。说明 更多ADB使用限制请参见 使用限制。数据同步过程中，是否支持修改源表中的字段类型？数据同步过程中...
配置任务常见错误码及排查方法
解决方法：开通跨境同步权限后重新购买，详情请参见 申请跨境数据同步权限。DTS.Msg.InvalidParameter.KafkaHostInvalid 配置目标库实例的接入方式为 专线/VPN网关/智能网关 的Kafka同步或迁移任务。原因：IP地址一栏输入为域名形式。解决...
组件使用常见问题
使用地图瓦片组件时的常见问题 本节主要介绍DataV地图瓦片相关的常见问题及相应的解决方法。在局域网中，如何调用地图瓦片？在局域网中您可以将在线瓦片缓存在您的Web服务器上，按照标准文件夹命名的形式进行存放，例如：[缩放等级]/[行号]...
组件使用常见问题
使用地图瓦片组件时的常见问题 本节主要介绍DataV地图瓦片相关的常见问题及相应的解决方法。在局域网中，如何调用地图瓦片？在局域网中您可以将在线瓦片缓存在您的Web服务器上，按照标准文件夹命名的形式进行存放，例如：[缩放等级]/[行号]...
配置任务时测试连接失败的排查及解决方法
解决方法 请登录数据库所在服务器，通过执行 iptables-L 命令，确认是否设置了iptables。如果设置了iptables，那么请根据迁移任务的目标实例所在区域，选择对应区域的 DTS IP地址段，在iptables中放开DTS的访问限制。若您所在的网络环境有...
使用创建反向任务功能
常见问题 创建正向同步实例时，如何选择规格？建议您先选择最小的规格（micro）。待创建好反向实例后，您可以根据业务量升级实例规格。升级规格的方法，请参见 升级任务的链路规格。业务数据库恢复后，DTS实例处于失败状态，如何处理？您...
三个实例相互进行双向同步后出现数据缺失
通过数据传输服务（DTS）进行三个实例间的相互双向同步后，出现数据缺失。本文介绍如何避免这种情况的发生。问题描述 通过DTS配置三个实例之间的双向同步后，发现数据出现缺失。例如下图所示的配置场景：...解决方法 请勿配置成上述同步场景。
解决方案与客户案例
针对上层业务不同的服务类型提供UNIT和COPY两种数据同步策略：UNIT类型：每个单元部署独立的数据库系统，单元之间通过DTS进行数据【双向】实时同步，保持每个单元都有全量数据，每个单元均可进行读写操作，读写流量会根据业务定制的分流...
离线同步任务调优
常见问题 数据同步任务where条件没有索引，导致全表扫描同步变慢。BatchSize或maxfilesize参数控制一次性批量提交的记录数大小，该值可以减少数据同步与数据库网络交互次数，并提升吞吐量。但如果该值设置过大，会导致数据同步运行进程OOM...
常见问题
本文汇总了Hudi使用时的常见问题。Spark查询Hudi数据重复，如何处理？Hive查询Hudi数据重复，如何处理？Spark查询Hudi表分区裁剪不生效？使用Spark的alter table语句时，报错xxx is only supported with v2 tables，如何处理？Spark查询...
数据传输作业：数据集成
MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute，数据集成作业主要有三种类型：离线同步、实时同步、同步解决方案。本文为您介绍MaxCompute数据集成的实现方案。离线同步 离线（批量）的数据通道通过定义数据...
计费常见问题
常见问题 Q：按量付费的计费方式下，手动结束了数据迁移实例或数据同步实例，还会继续收费吗？A：不收费。数据迁移实例仅在增量数据迁移正常运行期间计费（包含增量数据迁移暂停期间）；数据同步实例仅在完成配置且成功启动后开始计费...
独享数据集成资源组
在数据集成任务高并发执行且无法错峰运行的情况下，需要专有的计算资源组来保障数据快速、稳定的传输时，建议您选择使用DataWorks的独享数据集成资源组。...常见问题 DataWorks独享资源组的常见问题，详情请参见 独享资源组。
查看结果
本文档为您介绍验证数据同步结果的方法。在源数据表（mytable）中插入三行数据，验证数据同步结果。可以看到，在源表中插入三条数据后，销售目标达成率由原来的2%变成了5%。使用同样的方式，配置其他组件的数据。配置完成后，参考 发布可视...
流式数据通道概述
支持自动创建分区：解决数据同步服务并发创建分区导致的并发抢锁问题。支持增量数据异步聚合（Merge）：提升数据存储效率。MaxCompute流式数据通道服务可以解决流式服务使用批量数据通道写入数据引发的各种问题，优势如下：更优化的数据...
解决方案与客户案例
针对上层业务不同的服务类型提供UNIT和COPY两种数据同步策略：UNIT类型：每个单元部署独立的数据库系统，单元之间通过DTS进行数据 双向 实时同步，保证每个单元都有全量数据。每个单元均可进行读写操作，读写流量会根据业务定制的分流策略...
分析实例简介
RDS MySQL提供分析实例功能，可以将RDS MySQL主实例中的数据自动同步到分析实例中，解决RDS MySQL复杂分析与查询时卡顿的问题，实现毫秒级针对万亿级数据进行即时的多维分析透视和业务探索...常见问题 MySQL分析实例使用限制 常见数据同步问题
DB2数据源
常见问题 主备同步数据恢复问题 主备同步问题指DB2使用主从灾备，备库从主库不间断通过binlog恢复数据。由于主备数据同步存在一定的时间差，特别在网络延迟等情况下，会导致备库同步恢复的数据不是一份当前时间的完整镜像，与主库有较大...
不同库名间的数据同步或迁移
数据传输服务DTS（Data Transmission Service）支持在配置数据同步或迁移任务时对数据（库、表、列）的名称进行映射，以设置任务对象在目标库实例中的名称。您可以通过该功能将数据同步或迁移到目标库中指定的数据库、数据表或字段（列），...
什么是数据传输服务DTS
数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建...
数据集成概述
数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。使用限制 数据同步：支持且仅支持结构化（例如RDS、DRDS等）、半结构化、无结构化（OSS、TXT等，要求具体同步...
如何解决关于表结构的报错？
解决方法2：确认报错信息中的数据库是否需要同步或迁移。需要：将报错信息中的数据库，添加为待同步或迁移对象。不需要：忽略报错信息中的数据库。报错：Access denied for user 'XXXX'@'%' to database 'XXXX' 可能原因：DTS任务使用的...
- 产品推荐
- 这些文档可能帮助您