通过DataWorks实现MaxCompute跨项目迁移
新建数据表 跨项目克隆功能无法克隆您的表结构，因此您需要手动新建表。对于非分区表，建议使用如下语句迁移表结构。create table table_name as select*from 源库MaxCompute项目.表名;对于分区表，建议使用如下语句迁移表结构。create ...
通过DataWorks实现MaxCompute跨项目迁移
新建数据表 跨项目克隆功能无法克隆您的表结构，因此您需要手动新建表。对于非分区表，建议使用如下语句迁移表结构。create table table_name as select*from 源库MaxCompute项目.表名;对于分区表，建议使用如下语句迁移表结构。create ...
数据集成
离线同步任务 场景介绍 离线数据同步支持 源端单表同步至目标端单表、源端分库分表同步至目标端单表 两类同步场景。同时，结合DataWorks调度参数，可实现增量数据和全量数据周期性写入目标表的对应分区；再配合运维中心的补数据功能，可...
Amazon Redshift数据源
where 条件不配置或为空时，则视作全表同步数据。否 无 splitPk 如果指定 splitPk，表示您希望使用 splitPk 代表的字段进行数据分片。数据同步系统会启动并发任务进行数据同步，以提高数据同步的效能。否 无 Amazon Redshift Writer脚本...
DRDS（PolarDB-X）数据源
where 条件不配置或者为空时，视作全表同步数据。例如，在测试时使用where条件指定实际业务场景。通常会选择当天的数据进行同步，您可以指定 where 条件为 STRTODATE('${bdp.system.bizdate}','%Y%m%d')(STRTODATE('${bdp.system.bizdate}'...
数据集成侧同步任务能力说明
您还可以单击 hudi_b.tb_order_3 查看执行批量操作后的最终表结构，如下图所示：自定义目标schema名或表名 全增量同步任务默认将源端数据库、数据表写入目标端同名schema或同名表中，如果目标端不存在该schema或表，将会自动创建。...
同步时源库为PostgreSQL的注意事项及限制
如果同步的源数据库类型为PostgreSQL，如RDS PostgreSQL、自建PostgreSQL，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为PostgreSQL的同步方案概览 根据同步方案，查看同步任务的注意...
数据同步简介
基本原理 类似于 MySQL 的 binlog 机制，数据同步服务器和客户端 SDK 之间传递的基本数据单元为 oplog，当业务需要同步一个变更数据到指定的用户或设备时，业务调用数据同步接口，数据同步服务端会将业务需要同步的数据变更包装为一个 ...
申请跨境数据同步权限
阅读DTS跨境数据同步数据合规承诺，并勾选相应条款。单击 提交。说明 系统将自动进行审批，请刷新页面后继续操作。后续步骤 跨境数据同步权限开通后，您可以配置跨境数据同步任务。若您是在任务页面申请的跨境数据同步权限，可以继续配置跨...
功能特性
迁移数据库账号 数据同步 数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景 功能集 功能 功能描述 参考文档 同步链路管理 一键反向容灾...
数据迁移、同步和恢复区别
对于数据复制需求，很容易混淆数据迁移、同步和恢复这三个概念，本文介绍这三个概念的区别，方便您清楚认知自己的需求。数据迁移、同步和恢复的区别如下：...它属于持续性任务，任务创建后会一直同步数据，保持数据源和数据目标的数据一致性。
数据迁移、同步和恢复区别
对于数据复制需求，很容易混淆数据迁移、同步和恢复这三个概念，本文介绍这三个概念的区别，方便您清楚认知自己的需求。数据迁移、同步和恢复的区别如下：...它属于持续性任务，任务创建后会一直同步数据，保持数据源和数据目标的数据一致性。
数据迁移、同步和恢复区别
对于数据复制需求，很容易混淆数据迁移、同步和恢复这三个概念，本文介绍这三个概念的区别，方便您清楚认知自己的需求。数据迁移、同步和恢复的区别如下：...它属于持续性任务，任务创建后会一直同步数据，保持数据源和数据目标的数据一致性。
数据迁移、同步和恢复区别
对于数据复制需求，很容易混淆数据迁移、同步和恢复这三个概念，本文介绍这三个概念的区别，方便您清楚认知自己的需求。数据迁移、同步和恢复的区别如下：...它属于持续性任务，任务创建后会一直同步数据，保持数据源和数据目标的数据一致性。
数据同步操作指导
数据同步功能可以帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。本文介绍数据同步功能的具体使用流程，帮助您快速掌握创建、...
部署高可用架构应用集群
步骤四：修改数据库服务器中数据库的权限 当前已成功创建两台应用服务器（服务器A 与 服务器B），为确保应用服务器与数据库服务器进行数据传输时的安全性，建议您将数据库服务器C中的MySQL访问权限，由 所有人 修改 指定IP，并指向两台应用...
空库初始化
数据管理DMS 的空库初始化功能支持将源数据库的表结构同步至空数据库中（数据库中不存在任何表），实现快速同步数据库表结构，适用部署多区域、多单元的数据库环境。前提条件 支持的数据库类型如下：MySQL：RDS MySQL、PolarDB MySQL版、...
数据方案概览
影子表同步 支持根据源表的表结构自动在当前库中创建影子表，支持周期性同步。空库初始化 支持将源数据库的表结构同步至空数据库中，实现快速同步数据库表结构。表一致性修复 用于对比不同表之间的表结构，找出差异并在目标表执行差异脚本...
写数据表
本文介绍写数据表算子的使用方法。用途 写数据表 算子用于将模型上游节点处理之后的出具写入指定的数据表中。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 离线链路 输入节点 ...
概述
HoloStudio的数据开发模块与DataWorks无缝连接，提供一站式稳定高效的ETL（Extract-Transform-Load）服务，帮助您使用可视化方式周期性调度作业、创建外部表、同步外部表数据以及上传本地文件。数据开发 的核心功能如下：文件夹 用于存放并...
配置同步任务中的数据来源和去向
切分键 选择SQLServer数据表中的主键作为切分键。数据去向（Writer）配置信息：配置项 说明 数据源 选择ADS，系统将自动关联 配置AnalyticDB MySQL 2.0数据源 时设置的数据源名称。表 选择分析型数据库MySQL版中的一张表，将SQLServer中的...
配置AnalyticDB for MySQL输出
您可以通过 AnalyticDB for MySQL 的实时写入能力，构建实时数仓。前提条件 配置 AnalyticDB for MySQL 输出节点前，您需要先配置好相应的输入或转换数据源，详情请...同步任务会根据字段的映射关系同步数据。单击工具栏中的 图标，保存配置。
2022年
订阅方案概览 2022年7月 类型 重点内容 相关文档 新增 支持创建跨境数据同步任务。申请跨境数据同步权限 新增 支持新增附加列功能。新增附加列 2022年6月 类型 重点内容 相关文档 新增 新增对泰国和韩国地域的支持。支持的地域列表 迁移、...
迁移工具
表格存储数据跨实例或者跨账号迁移同步 通过在DataWorks/DataX中配置表格存储相关的Reader和Writer插件，即可以完成表格存储数据表或者时序表的数据复制，如下图所示。表格存储相关的插件说明请参见下表。插件 说明 OTSReader 用于读取表格...
实时同步常见问题
升级资源组规格：当源端数据量增大，或者同步解决方案任务重新编辑过同步任务（将任务由读取单库单表变更为读取多库多表），导致当前资源组消耗不了当前同步数据量级，此时您可选择扩大资源组规格，资源组规格调整详情请参考：变更规格操作...
全量数据同步
通过选择已注册的数据源端数据和目标端，实现全量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线全量数据同步一次性调度的任务。前提条件 已新建工作组，具体操作，请参见 新建工作组。已在工作组中...
创建同步MaxCompute
同步数据到MaxCompute 准备工作 1.创建MaxCompute表 DataHub支持将数据同步到MaxCompute对应的数据表中，同时支持分区表和非分区表，一般情况下推荐用户使用分区表进行数据同步以方便MaxCompute数据处理。目前DataHub支持将TUPLE和BLOB的...
常见问题
同步的数据表，是否只能使用Alter方式来修改TTL?Elasticsearch Reader如何同步对象Object或Nested字段的属性？（例如同步object.field1）存储在ODPS的string类型同步至ES后，两侧缺少引号，如何处理？源端JSON类型的string是否可以同步为ES...
配置Hologres输出
您可以通过交互式分析Hologres的实时写入能力，构建实时数仓。前提条件 配置Hologres输出节点前，您需要先配置好相应的输入或转换数据源，详情请参见 实时同步支持的数据源。...同步任务会根据字段的映射关系同步数据。单击工具栏中的 图标。
新增多表实时任务
已完成源端数据和目标端的物理表同步，具体操作，请参见 获取物理表。已添加同步任务目录，具体操作，请参见 添加任务目录。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标...
新增多表实时任务
已完成源端数据和目标端的物理表同步，具体操作，请参见 获取物理表。已添加同步任务目录，具体操作，请参见 添加任务目录。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组...
什么是数据传输服务DTS
数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建...
离线同步日志分析
切分（拆分）任务 此阶段将源端待同步数据切分为多个task，以便并发、分批进行读取数据，切分规则如下：关系型数据库：按照您在界面配置时指定的切分键 splitPk，作为切分依据，将待同步数据切分为多个task，通过并发分批读取切分的task。...
创建服务器迁移任务
重要 创建迁移任务后，目标ECS实例中的原数据将会清除（源服务器的数据不会被清除，例如您的源数据服务器为轻量应用服务器，轻量应用服务器的数据不会被清除）。如果ECS实例中存在重要数据，不推荐您使用该方式迁移。推荐您在迁移时，目标...
整库离线同步至MaxCompute
功能 描述 为非主键表选择主键 由于当前方案不支持无主键表同步，所以您需要单击 同步主键 列的 按钮，为无主键表设置 自选主键，即选择表中一个或部分字段作为主键，写入目标端时将会使用该主键进行去重。选择表建立方式 支持 自动建表 和...
从Kafka同步数据
当您需要将消息队列Kafka的数据实时同步至云数据库ClickHouse中时，本文档为您提供了详细的解决方案，以满足您的数据实时处理需求。...常见问题 从Kafka同步数据到 云数据库ClickHouse 的常见问题及处理方法，请参见 常见问题。
整库离线同步至MaxCompute
功能 描述 为非主键表选择主键 由于当前方案不支持无主键表同步，所以您需要单击 同步主键 列的 按钮，为无主键表设置 自选主键，即选择表中一个或部分字段作为主键，写入目标端时将会使用该主键进行去重。选择表建立方式 支持 自动建表 和...
Tair全球多活简介
若业务因跨地域、远距离访问导致访问延迟大，您可以使用 云原生内存数据库Tair 自研的全球多活数据库系统，轻松实现异地多个站点同时对外提供服务。一组全球多活实例最多由三个子实例组成，子实例之间自动进行数据实时同步。全球多活功能可...
Redis全球多活简介
若业务因跨地域、远距离访问导致访问延迟大，您可以使用 云数据库 Redis 版 自研的全球多活数据库系统，轻松实现异地多个站点同时对外提供服务。一组全球多活实例最多由三个子实例组成，子实例之间自动进行数据实时同步。全球多活功能可...
跨地域的数据同步时，是否需要额外购买专线？
不需要额外购买专线，数据同步实例包含专线。若您需要购买跨国家或跨地区的数据同步实例，请先 申请跨境数据同步权限。说明 这里的地区特指中国（香港）。
- 产品推荐
- 这些文档可能帮助您