获取物理表

数据同步支持获取、更新当前云计算资源下最新物理表及元数据Meta信息,以便进行数据源之间的数据同步。本文介绍如何在数据同步获取物理表。前提条件 已准备好相应的数据源,具体操作,请参见 新建数据源。操作步骤 登录 数据资源平台控制...

获取物理表

数据同步支持获取、更新当前云计算资源下最新物理表及元数据Meta信息,以便进行数据源之间的数据同步。本文介绍如何在数据同步获取物理表。前提条件 已准备好相应的数据源,具体操作,请参见 新建数据源。操作步骤 登录企业数据智能平台...

文档修订记录

使用MaxCompute独享Tunnel进行数据同步 2023.4.19 新增功能 数据集成 以阿里云EMR Hive离线同步写入MaxCompute场景为例,为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。EMR Hive数据整库离线同步至MaxCompute 2023.4...

应用场景

该应用场景在阿里巴巴内部得到了广泛的应用,例如淘宝订单系统每天有上万个下游业务,通过数据订阅获取订单系统的实时数据更新,触发自身的变更逻辑。横向扩展读能力 传输方式:数据同步 对于有大量读请求的应用场景,单个数据库实例可能...

通过任务编排实现跨库数据同步

本文通过在任务编排中创建跨库Spark任务,实现了定期将在线库中的订单表和商品表同步数据仓库中进行数据分析,并将分析结果回流在线库中供管理者查询。前提条件 准备一个MySQL数据库作为在线库,用于存放订单表和商品表,且您拥有该数据...

DB2数据

DB2 Writer通过数据同步框架获取Reader生成的协议数据,通过 insert into(当主键/唯一性索引冲突时,冲突的行会写不进去)语句,写入数据至DB2。另外出于性能考虑采用了 PreparedStatement+Batch,并且设置了 rewriteBatchedStatements=...

DRDS(PolarDB-X)数据

DRDS(PolarDB-X)数据源为您提供读取和写入DRDS(PolarDB-X)双向通道的功能,本文为您介绍DataWorks的DRDS(PolarDB-X)数据同步的能力支持情况。支持的版本 实时读取 支持DRDS(PolarDB-X 1.0)和PolarDB-X 2.0的非只读实例。创建DRDS...

Hologres数据

Hologres数据源为您提供读取和写入Hologres双向通道的功能,本文为您介绍DataWorks的Hologres数据同步的能力支持情况。支持的版本 Hologres支持的版本:0.7、0.8、0.9、0.10、1.1、1.2、1.3。使用限制 离线读写 Hologres数据源仅支持使用 ...

GetDISyncInstanceInfo

获取实时同步任务和同步解决方案任务的运行状态。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...

接入指南

说明 若有其他疑问,请群内@机器人:分销商商城API对接文档 2.2.1.3 拆单逻辑 分销采购订单(分销交易单)的拆单逻辑,遵循淘宝订单的主子单拆单关系:分销采购订单(分销交易单):分销商向 LinkedMall 发起的一笔采购交易订单,可以包括...

数据总线的审计事件

数据总线已与操作审计服务集成,您可以在操作审计中查询用户操作数据总线产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中,满足实时审计、问题回溯分析等需求。操作审计记录了用户通过Open...

Tair全球多活简介

说明 Tair 全球多活 在原生Redis AOF日志的基础上增加了server-id、opid等信息,同步通道通过获取Binlog实现数据同步。通道管理器 管理同步通道生命周期,负责子实例上的主备切换、备份重搭等异常事件的处理。产品优势 优势 说明 高可靠 ...

Redis全球多活简介

说明 Redis 全球多活 在原生Redis AOF日志的基础上增加了server-id、opid等信息,同步通道通过获取Binlog实现数据同步。通道管理器 管理同步通道生命周期,负责子实例上的主备切换、备份重搭等异常事件的处理。产品优势 优势 说明 高可靠 ...

方案选择

历史订单数据(例如3个月以前的订单):通过数据同步服务,将历史订单数据存入HBase,借助于HBase这一分布式NoSQL数据库,有效应对了订单数据膨胀困扰。也保证了历史订单数据的持久化。但是,该方案牺牲了历史订单数据对用户、商家、平台的...

同步任务的注意事项及限制

源库为MySQL的注意事项及限制 MySQL间的同步 MySQL同步至PolarDB MySQL版 MySQL同步至 云原生数据仓库 AnalyticDB MySQL 版 2.0 MySQL同步至 云原生数据仓库 AnalyticDB MySQL 版 3.0 MySQL同步至云原生数据仓库AnalyticDB PostgreSQL ...

数据同步方案概览

数据同步功能帮助您实现数据源之间的数据实时同步,适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。收费策略 DTS数据同步...

API概览

本产品(数据管理/2018-11-01)的OpenAPI采用 RPC 签名风格,签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK,开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求,可通过...

DataWorks OpenAPI概述

DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI接口,不同API的QPS限制、每日调用次数上限和支持使用的DataWorks服务版本存在差异。您可参考本文了解各OpenAPI支持的DataWorks版本及地域、...

同步方案概览

全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 从RDS MySQL同步至PolarDB-X PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-...

数据同步方案概览

数据同步 使用场景 文档链接 PolarDB 间的数据同步 PolarDB MySQL集群间的单向同步 PolarDB MySQL集群间的双向同步 PolarDB 与其它数据库的数据同步 RDS MySQL同步至PolarDB MySQL集群 PolarDB MySQL同步至RDS MySQL 从PolarDB MySQL同步至...

启动和暂停数据同步项目

启动数据同步项目 创建数据同步项目时,如果在预检查完成后仅保存该数据同步项目,未进行启动,则需要在同步项目列表中手动启动数据同步项目。登录 OceanBase 管理控制台。在左侧导航栏,单击 数据传输>数据同步。在 同步项目列表 页面,...

数据同步操作指导

数据同步功能可以帮助您实现数据源之间的数据实时同步,适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。本文介绍数据同步功能的具体使用流程,帮助您快速掌握创建、...

数据集成服务

数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...

数据同步流程

数据传输提供数据同步功能,帮助您实现数据源之间的数据实时同步。适用于数据异地多活、数据异地灾备、数据聚合和实时数据仓库等多种业务场景。您可以参考以下流程进行同步前的准备工作、以及购买、配置和管理数据同步项目。完成准备工作。...

Oracle数据

Oracle数据源为您提供读取和写入Oracle双向通道的功能,方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读(Oracle Reader)离线写(Oracle ...

数据同步方案概览

适用场景 文档链接 MySQL间数据同步 MySQL实例间的双向同步 RDS MySQL实例间的单向同步 从ECS上的自建MySQL同步至RDS 从通过专线、VPN网关或智能接入网关接入的自建MySQL同步至RDS 不同阿里云账号下RDS实例间的数据同步 从RDS MySQL同步至...

数据

计算资源类型 选择需要同步到的目标数据源的类型,目前支持的目标数据源类型参见 适用场景 目标数据源 选择同步到的目标数据源。目标数据表 选择同步到的目标数据源中的表名。生命周期(可选)设置目标表的留存天数,如未设置,默认将保留1...

数据引入概述

Dataphin支持通过数据集成和数据同步的方式,将业务数据源的数据引入Dataphin平台。背景信息 如果您是在 2020年4月之后 购买的Dataphin,则数据同步能力通过数据集成功能实现(即系统 不再提供数据同步的功能入口)。数据集成为您提供简单...

数据引入概述

Dataphin支持通过数据集成和数据同步的方式,将业务数据源的数据引入Dataphin平台。背景信息 如果您是在 2020年4月之后 购买的Dataphin,则数据同步能力通过数据集成功能实现(即系统 不再提供数据同步的功能入口)。数据集成为您提供简单...

数据传输的审计事件

数据传输已与操作审计服务集成,您可以在操作审计中查询用户操作数据传输产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中,满足实时审计、问题回溯分析等需求。操作审计记录了用户通过Open...

如何查看HBase数据同步的BDS监控数据

概述 本文主要介绍如何查看阿里云云数据库HBase数据同步的BDS监控数据。详细信息 请执行以下操作,查看HBase数据同步的BDS监控数据:登录 HBase控制台,在页面左上角,选择实例所属的地域。单击目标实例ID,在左侧导航栏单击 监控与报警。...

RDS增量数据同步至MaxCompute

对持续更新的数据进行增量同步 根据数据仓库反映历史变化的特点,建议每天对人员表、订单表等会发生变化的数据进行全量同步,即每天保存的都是全量数据,方便您获取历史数据和当前数据。真实场景中因为某些特殊情况,需要每天只进行增量...

RDS增量数据同步至MaxCompute

对持续更新的数据进行增量同步 根据数据仓库反映历史变化的特点,建议每天对人员表、订单表等会发生变化的数据进行全量同步,即每天保存的都是全量数据,方便您获取历史数据和当前数据。真实场景中因为某些特殊情况,需要每天只进行增量...

Oracle数据导入

您需要在数据集成同步任务配置前,配置好您需要同步的源端和目标端数据库,以便在同步任务配置过程中,可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...

通过DataWorks导入

您需要在数据集成同步任务配置前,配置好您需要同步的源端和目标端数据库,以便在同步任务配置过程中,可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...

通过DataWorks导入数据

您需要在数据集成同步任务配置前,配置好您需要同步的源端和目标端数据库,以便在同步任务配置过程中,可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...

重新配置数据同步作业

当您需要停止数据同步或重新配置数据同步时,您可以通过本文的方法来重置数据同步作业。前提条件 数据同步作业不处于 未配置 状态。费用影响 包年包月:无影响。按量付费:数据同步作业将转变为 未配置 状态并停止计费,再次完成数据同步...

淘宝万亿级交易订单背后的存储引擎

基于X-Engine引擎的PolarDB-X集群支撑了淘宝历史订单数据库业务,解决了使用HBase数据库遗留的问题,降低存储成本的同时,满足了用户随时查询订单的需求。背景信息 阿里巴巴旗下的淘宝是中国著名的在线购物平台,活跃用户数量超过数亿人。...

配置PolarDB-X(原DRDS)输入组件

同步PolarDB-X数据源的数据至其他数据源的场景中,您需要先配置PolarDB-X输入组件读取的源数据源信息,再配置数据同步的目标数据源。本文为您介绍如何配置PolarDB-X输入组件。前提条件 在开始执行操作前,请确认您已完成以下操作:已创建...

功能简介

数据同步为用户提供批量、实时多源异构数据的便捷同步或接入能力,系统提供完善的数据接入配置、任务运行监控等功能,有效保障数据接入的稳定性和可控性,满足各类平台、数据源及应用系统间的数据汇聚需求。通过数据同步的自定义同步任务...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 RDS 数据库备份 云数据库 Redis 版 数据传输服务 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用