同步主实例中的资源
说明 KMS专注于实现主实例与副本实例间的资源同步，对于您的业务数据层面的同步需求，超出了KMS产品的服务范畴，请您对此类业务数据同步问题作另行规划与处理。限制条件 支持的实例类型：仅预付费模式中的软件密钥管理实例，支持跨地域同步...
常见问题
实时同步MySQL数据常见问题 实时同步MySQL数据源的数据时，一开始读到数据，一段时间后无法读到数据，怎么处理？实时同步至Oracle、PolarDB、MySQL常见问题 实时同步Oracle、PolarDB、MySQL任务重复报错。报错信息与解决方案 报错信息与...
“同名对象存在性检查”产生警告
本文介绍在配置DTS同步或迁移任务过程中，预检查 阶段检测出目标库中存在与源库同名的结构对象时的处理方法。问题描述 在配置同步或迁移实例的 预检查 阶段，同名对象存在性检查 出现警告，检查项的详情页面如下图所示：可能原因 DTS任务的...
实时同步常见问题
实时同步Oracle、PolarDB、MySQL常见问题 实时同步Oracle、PolarDB、MySQL任务重复报错 报错信息与解决方案 报错信息与解决方案 实时同步Kafka数据报错：Startup mode for the consumer set to timestampOffset,but no begin timestamp was...
DTS任务中配置ETL典型应用
本文介绍在DTS任务中如何通过配置ETL，解决源实例与目标实例的数据不兼容问题和数据脱敏问题。前提条件 已创建源和目标数据库实例，本文以RDS MySQL间同步为例，创建方法，请参见 创建RDS MySQL实例。目标实例的存储空间须大于原实例占用的...
查看索引同步状态
常见问题处理 如果BDS界面中显示同步的延迟过大，超出业务承受的范围，用户可以通过自查解决问题。同步点位不再推进 如果发现BDS界面中的同步点位不再推进，通常是在HBase中写入了不合法的数据导致同步失败。此时用户可以点击右侧的详情，...
MySQL分库分表同步至Hologres（方案1.0）
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
DataHub数据源
DataHub数据源作为数据中枢，为您提供读取和写入DataHub数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DataHub数据同步的能力支持情况。支持的版本 DataHub Reader通过DataHub的Java SDK读取DataHub中的数据...
数据集成概述
但在进行上述网络环境下的数据同步前，您需要确保数据集成用于执行数据同步的资源组与您将同步的数据来源端与目标端网络环境的连通，数据集成支持您根据数据源所在网络环境，选择对应的网络同步任务，关于网络连通方案选择与配置资源组与...
MySQL分库分表同步至MaxCompute
操作流程 步骤一：选择同步方案 步骤二：网络与资源配置 步骤三：分库源表设置 步骤四：设置目标表 步骤五：设置表粒度同步规则 步骤六：DDL消息处理规则 步骤七：设置任务运行资源 步骤八：执行同步任务 步骤一：选择同步方案 创建同步...
MySQL分库分表同步至MaxCompute
操作流程 步骤一：选择同步方案 步骤二：网络与资源配置 步骤三：分库源表设置 步骤四：设置目标表 步骤五：设置表粒度同步规则 步骤六：DDL消息处理规则 步骤七：设置任务运行资源 步骤八：执行同步任务 步骤一：选择同步方案 创建同步...
通过Jira账号信息集成Jira工单系统
当Jira问题处于设置的状态时，Jira问题将会被认定为关闭，问题对应的告警操作将不再同步到该问题上。Jira问题状态选项：待办 处理中 正评审 完成 说明 建议选择Jira问题关闭时的状态为 完成。如果选择其他状态，当问题状态变更为完成时，告...
新增同步对象
注意事项 新增对象的同步起始时间点与同步作业是否配置了 同步初始化 有关，具体如下：如果未配置同步初始化，那么同步对象会从源实例中当前时间点产生的增量数据开始同步。如果配置了同步初始化，那么新增对象会先进行结构初始化和全量...
数据传输作业：数据集成
同步解决方案 实际业务场景下，数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。为了解决上述问题，DataWorks提出...
一键实时同步至Kafka
一键实时同步至Kafka方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至Kafka任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源...
文件处理概述
文件处理是由智能媒体管理IMM提供的对多种文件格式进行压缩、解压等操作的处理能力。您可以将原始文件上传到阿里云对象存储OSS，通过OSS的RESTful数据处理接口 x-oss-process 在任何时间、任何地点、任何互联网设备上对文件进行压缩、解压...
数据集成
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发（DataStudio）界面直接 创建离线同步节点，用于离线（批量）数据周期性同步；实时同步任务运维，用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
通过OAuth认证方式集成Jira工单系统
ARMS告警管理支持通过Jira账号信息或OAuth认证的方式集成Jira工单系统，本文介绍如何通过OAuth认证方式在ARMS告警管理中集成Jira工单系统，使告警在创建时能同时在Jira中创建问题工单，告警状态与工单状态可以实现双向同步。步骤一：配置...
管道
管道是一种可以实现多种处理任务顺序执行的机制。您可以通过管道在一次访问中按照顺序完成对文件的不同处理。访问规则 URL通过处理参数 action1、action2 实现数据处理。如果有多任务，执行顺序按管道指定顺序执行，管道的分隔符是竖线（|...
PolarDB数据源
常见问题 实时同步Oracle、PolarDB、MySQL任务重复报错 附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置，您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和writer...
ODS层设计规范
数据加载与处理 通过一键实时同步至MaxCompute方案实现，请参见 配置查看数据同步任务。命名规范 表命名规范 表命名规则：{层次}{源系统表名}{保留位/delta与否}。增量数据：{project_name}.s{源系统表名}delta。全量数据：{project_name}....
资源组操作及网络连通
数据同步网络连通问题 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
技术架构
PolarDB PostgreSQL版（兼容Oracle）的计算节点，主要实现了SQL解析和优化、以及查询并行执行与无锁高性能事务处理，计算节点之间通过高吞吐的物理复制协议同步内存状态。数据库节点最多可以扩容到16个，其中1个读写节点，其他均为只读节点...
实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、...
样式
您可以在一个样式（Style）中包含多个处理参数，快速实现复杂的媒体、文档或图片处理操作。本文介绍如何创建和使用样式。说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。创建样式 说明 一个存储空间（Bucket）最多...
Hologres整库周期性增全量同步至MaxCompute
本文以Hologres离线同步写入MaxCompute场景为例，为您介绍如何把Hologres整个数据库的数据离线同步到MaxCompute。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以Hologres作为来源...
AnalyticDB for MySQL3.0整库周期性增全量同步至...
本文以AnalyticDB for MySQL3.0离线同步写入Hologres场景为例，为您介绍如何把AnalyticDB for MySQL3.0整个数据库的数据离线同步到Hologres。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
什么是数据传输服务DTS
什么是ETL 数据校验 为数据迁移或同步任务配置数据校验功能，监控源库与目标库数据的差异，以便及时发现数据不一致的问题。配置数据校验 DTS支持的数据库 DTS支持多种数据源类型，详情请参见 支持的数据库。使用方法 您可以通过以下方式...
使用DataWorks
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以...如果数据未同步成功或数据存在遗漏，请参见 离线同步常见问题。
MySQL整库周期性增全量同步至Hive
本文以MySQL为源端，Hive为目标端场景为例，为您介绍如何把MySQL整个数据库的数据离线同步到Hive。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以MySQL作为来源数据源，以Hive作为...
透视分析：按研发链路
便于您了解当前花费较多的资源类别、识别运行失败的任务，合理调整消费结构，发现阻塞任务运行的问题并及时处理。使用限制 仅阿里云主账号和拥有 AliyunDataWorksFullAccess 权限的RAM用户可以选择任意工作空间，其它账号只能选择其加入的...
同步平台模型到本地代码
本文介绍三种不同的方式，将平台模型与本地代码不一致的部分以平台模型为准同步到本地。方式一：通过QuickFix对当前文件部分同步 BizWorks Toolkit插件会对编辑中文件做即时检查，在通过检查后的QuickFix列表中，选用适合的操作将平台模型...
数据集成侧同步任务能力说明
DataWorks为您提供多种数据源之间进行不同数据同步场景的全增量同步任务，包括实时数据同步、离线全量同步、离线增量同步等同步场景，助力企业数据更高效、更便捷的一键上云。背景信息 实际业务场景下，数据同步通常不能通过一个或多个简单...
实时同步任务运维
运行与管理实时同步任务 任务配置完成后，您可以在 运维中心>实时任务运维>实时同步任务 面板 启动、暂停、下线 对应同步任务，详情请参见 实时同步任务运行与管理。说明 启动任务运行时，支持您设置同步位点和FailOver次数。位点设置：...
应用场景
多端数据同步 多端数据同步，即使用SyncStore实现多端数据同步功能，例如：实现同一个用户手机与车机设备上，车辆信息的实时同步，以便用户可在手机上查看车辆信息，或进行一些远程操作。或者在多个用户手机上，都可实时查看到每一辆车当前...
操作指南FAQ
本文介绍使用云存储网关过程中的常见问题。云上部署FAQ 创建网关时找不到可用交换机如何处理？云存储网关升级失败了该如何处理？本地部署FAQ 如何检测网关网络的联通性？如何在本地数据中心部署云存储网关？云存储网关升级失败了该如何处理...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
离线同步任务调优
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...
离线同步任务运维
后续：离线同步数据质量问题与同步任务调优 离线同步任务调优 离线同步数据质量排查 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何排查离...
- 产品推荐
- 这些文档可能帮助您