透视分析:按研发链路

支持您按照研发链路(数据同步和数据开发)查看和分析工作空间内DataWorks离线同步任务和DataWorks调度任务运行情况及资源消耗详情。便于您了解当前花费较多的资源类别、识别运行失败的任务,合理调整消费结构,发现阻塞任务运行的问题并...

使用DTS同步RDS MySQL数据到AnalyticDB MySQL 2.0

数据同步功能可应用于异地多活、数据异地灾备、本地数据灾备、数据异地多活、跨境数据同步、查询报表分流、云BI及实时数据仓库等多种业务场景。通过数据同步功能,您可以将MySQL、PolarDB-X(原DRDS)以及PolarDB中的数据同步至 ...

数据集成概述

但在进行上述网络环境下的数据同步前,您需要确保数据集成用于执行数据同步的资源组您将同步的数据来源端目标端网络环境的连通,数据集成支持您根据数据源所在网络环境,选择对应的网络同步任务,关于网络连通方案选择配置资源组...

API概览

DescribeSynDbTables 查看同步数据表 查看同步数据表。DeleteSyndb 删除同步任务 删除同步db。DescribeTransferHistory 查看迁移记录 查看迁移记录。TransferVersion 迁移版本 迁移版本。CreateServiceLinkedRole 创建服务关联角色...

概览

AnalyticDB PostgreSQL版 提供多种数据迁移方案,可满足不同的数据同步或迁移的业务需求,您可以在不影响业务的情况下,平滑地各种类型的数据库实例进行迁移或数据同步。迁移数据到AnalyticDB PostgreSQL版 迁移类型 文档 简介 是否支持...

应用场景

云上云下数据库同步 通过数据库传输服务DTS的数据同步功能,可以使本地IDC或其他云厂商的数据库阿里云数据库内容进行同步,详情请参见 数据同步的工作原理,架构图如下所示。本地IDC/跨云数据库备份上云 数据库备份 DBS 是阿里云提供的低...

应用场景

云上云下数据库同步 通过数据库传输服务DTS的数据同步功能,可以使本地IDC或其他云厂商的数据库阿里云数据库内容进行同步,详情请参见 数据同步的工作原理,架构图如下所示。本地IDC/跨云数据库备份上云 数据库备份 DBS 是阿里云提供的低...

Github实时数据同步与分析

本文以使用DataWorks实时同步公共数据至Hologres,并通过Hologres进行实时数据分析为例,为您示例DataWorks的数据同步能力Hologres的实时分析能力。本教程以申请免费资源为例为您示例详细操作步骤,您也可以使用付费资源,操作类似。教程...

数据集成

DataWorks数据集成支持复杂网络环境下的数据同步,您可在数据开发(DataStudio)界面直接 创建离线同步节点,用于离线(批量)数据周期性同步;实时同步任务运维,用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...

数据迁移与同步FAQ

本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步?DTS的数据迁移与数据同步工作原理是什么?DTS的数据迁移与数据同步有什么区别?使用DTS遇到预检查报错,如何解决?什么是数据迁移、数据同步?数据迁移:...

数据同步方案概览

数据同步 使用场景 文档链接 PolarDB 间的数据同步 PolarDB MySQL集群间的单向同步 PolarDB MySQL集群间的双向同步 PolarDB 其它数据库的数据同步 RDS MySQL同步至PolarDB MySQL集群 PolarDB MySQL同步至RDS MySQL 从PolarDB MySQL同步至...

通过DTS导入数据

执行数据同步前需评估源库和目标库的性能,同时建议在业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升。在数据同步时,请勿对源库的同步对象使用pt-online-schema-change等...

导入导出

数据同步过程中,可以修改源表中的字段类型,目前仅支持整型数据类型之间、浮点数据类型之间的列类型更改,并且只能将取值范围小的数据类型更改为取值范围大的数据类型,或者将单精度数据类型更改为双精度数据类型。整型数据类型:支持...

需求分析

注意事项 本实验提供教程所需用户信息数据与网站访问测试数据,您可直接使用。本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用,所有数据均为人工Mock数据。业务背景 为了更好的制定企业经营策略,现需要从用户...

需求分析

注意事项 本实验提供教程所需用户信息数据与网站访问测试数据,您可直接使用。本实验提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用,所有数据均为人工Mock数据。业务背景 为了更好的制定企业经营策略,现需要从用户...

配置MySQL输入

已配置数据同步资源组数据库的网络连通,详情请参见 配置资源组网络连通。使用限制 数据集成不支持同步MySQL只读库实例的数据。DataWorks的数据集成实时同步MySQL数据是基于实时订阅MySQL实现的,实时同步MySQL数据目前仅支持配置MySQL...

常见问题

数据迁移和数据同步的区别如下表所示:对比项 数据迁移 数据同步 适用场景 主要用于上云迁移,例如将本地数据库、ECS上的自建数据库或第三方云数据库迁移至阿里云数据库。主要用于两个数据源之间的数据实时同步,适用于异地多活、数据灾备...

在工作空间创建数据源或注册集群

工作空间创建完成后,您需要先将您的数据库或数据仓库,通过创建数据源的方式添加至DataWorks工作空间,或将您的集群注册至DataWorks工作空间,以便进行数据同步、数据分析开发、数据调度等操作。本文主要以使用正式开发环境为例,为您...

DataWorks On Hologres使用说明

费用说明 DataWorks数据开发运维中心提供Hologres数据同步、数据加工任务的周期调度,不仅包含DataWorks相关费用,同时会产生产品侧其他费用,具体如下。一、DataWorks相关费用 以下费用会体现在DataWorks产品相关账单中。DataWorks计费...

DataWorks On CDP/CDH使用说明

开始使用:数据集成 DataWorks数据集成提供CDP/CDH Hive数据的读取写入的能力,并提供离线同步、全增量同步任务等多种数据同步场景。开始使用:数据建模开发 DataWorks提供数据建模服务,将无序、杂乱、繁琐、庞大且难以管理的数据,...

同步时源库为MongoDB的注意事项及限制

如果同步的源数据库类型为MongoDB,如自建MongoDB、云数据库MongoDB,您需要在配置具体的同步任务前,参考本文的注意事项及限制,以保障数据同步任务的正常运行。源库为MongoDB的同步方案概览 根据如下同步方案,查看同步任务的注意事项及...

DataWorks On MaxCompute使用说明

费用说明 DataWorks数据开发运维中心提供MaxCompute数据同步、数据加工任务的周期调度,不仅包含DataWorks相关费用,同时会产生产品侧其他费用,具体如下。一、DataWorks相关费用 以下费用会体现在DataWorks产品相关账单中。DataWorks...

2022年

支持的地域列表 迁移、同步或订阅本地数据库时需添加的IP白名单 2022年5月 类型 重点内容 相关文档 新增 支持Db2 for LUW到 云原生数据仓库 AnalyticDB MySQL 版 3.0的数据同步功能。Db2 for LUW同步至AnalyticDB MySQL版 3.0 新增 支持Db2...

MaxCompute数据

该场景下,您需先购买云企业网,连通DataWorks服务MaxCompute项目的网络,网络连通后才可跨地域执行数据同步操作。云企业网的介绍及相关操作,请参见 云企业网。离线读 MaxCompute Reader支持读取分区表、非分区表,不支持读取虚拟视图、...

MySQL分库分表同步至MaxCompute

背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成,而是由多个离线同步、实时同步和数据处理等任务组合完成,这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下,上游的...

MySQL分库分表同步至MaxCompute

背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成,而是由多个离线同步、实时同步和数据处理等任务组合完成,这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下,上游的...

FineBI

kettle使用文档请参见 使用Kettle将本地数据同步至AnalyticDB MySQL。导入完成后,执行 select count(*)from demo_sales,可以看到有40514条数据。在FineBI中创建自助数据集。在导航栏中选择 数据准备>实时数据,先添加一个业务包命名为 ...

离线同步常见问题

离线同步会根据切分键(splitPk)来对进行数据分片,数据同步根据此配置启动并发任务进行数据同步,提高数据同步的效能。(具体插件是否需要配置切分键,请参考具体插件文档)。解决方案1:若配置前置或后置语句,建议使用添加了索引的字段...

数据传输作业:数据集成

MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute,数据集成作业主要有三种类型:离线同步、实时同步、同步解决方案。本文为您介绍MaxCompute数据集成的实现方案。离线同步 离线(批量)的数据通道通过定义数据...

创建二级索引

二级索引相当于把数据表的主键查询能力扩展到了不同的列,当需要使用属性查询数据时,您可以通过创建二级索引加快数据查询的效率。设置预定义列后,在创建二级索引时将预定义列作为索引表的索引列或者属性列。您可以使用CreateIndex接口在...

实施步骤

配置项 说明 功能 数据同步。源实例 MySQL。源实例地域 本例选择华南1(深圳)。目标实例 分析型数据库MySQL版。目标实例地域 本例选择华南1(深圳)。同步拓扑 单向同步。网络类型 专线。同步链路规格 本例选择small。在 确认订单 页面,...

常见错误码及排查方法

请参见 迁移、同步或订阅本地数据库时需添加的IP白名单。检查账号是否具有远程登录权限。说明 修复完成后,需要重启任务。DTS-70004:execute statement failed:/*bg6l15vf29l1b0vMysqlEngine(16)*/insertinto `xxx`.`yyy`.error detail ...

数据归档概述

当线上数据库中的历史数据(访问率很低的数据)越来越多,占用的存储越来越大,以至于会影响数据库的查询性能业务运转,此时您可以使用 数据管理DMS 的数据归档功能,周期性地将指定表的数据归档至其他数据库或存储服务中。同时,该功能...

修复同步作业预检查失败的问题

DTS在执行数据同步作业之前,会对源库和目标执行预检查,本文介绍各类检查项失败可能的原因及修复方法。预检查项目 失败可能的原因 修复方法 源库连接性检查 目标库连接性检查 数据库账号或密码不正确。获取到正确的密码,然后修改同步作业...

大量数据导出方案

数据同步节点和ODPS SQL节点连线配置成依赖关系,ODPS SQL节点作为数据的产出节点,数据同步节点作为数据的导出节点。工作流调度配置完成后(可以直接使用默认配置),单击 运行。数据同步的运行日志,如下所示。2016-12-17 23:43:46.394...

自建Oracle同步至PolarDB MySQL版

数据传输服务DTS(Data Transmission Service)支持将自建Oracle同步至 PolarDB MySQL版 集群,可以实现在本地应用不停服的情况下,平滑地完成Oracle数据库的数据同步。前提条件 已创建存储空间大于源自建Oracle的目标 PolarDB MySQL版 ...

云数据库MongoDB版(分片集群架构)间的双向同步

在顶部菜单栏中,选择 集成开发(DTS),在左侧导航栏选择 数据传输(DTS)>数据同步。在页面左上角,选择同步实例所属地域。单击 创建任务,配置源库及目标库信息。警告 选择源和目标实例后,建议您仔细阅读页面上方显示的 使用限制,...

云数据库MongoDB版(分片集群架构)间的双向同步

在顶部菜单栏中,选择 集成开发(DTS),在左侧导航栏选择 数据传输(DTS)>数据同步。在页面左上角,选择同步实例所属地域。单击 创建任务,配置源库及目标库信息。警告 选择源和目标实例后,建议您仔细阅读页面上方显示的 使用限制,...

AnalyticDB MySQL 2.0数据导入

如果业务存在实时写入流量,则需要在同步数据之前启动业务双写(即同时写入 AnalyticDB for MySQL 2.0和 数仓版(3.0)),以保证不会丢失数据同步期间产生的增量数据。通过MySQL客户端连接 AnalyticDB for MySQL 2.0集群。mysql-h host-P ...

云数据库MongoDB版(副本集架构)同步至云数据库...

执行数据同步前需评估源库和目标库的性能,同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升。全量初始化会并发执行INSERT操作,导致目标数据库的集合产生碎片,因此全...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 DBS 云数据库 RDS 数据传输服务 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用