新功能发布记录
接入点地址 2023年05月 功能名称 变更类型 功能描述 相关文档 高速通道支持添加指定同步路由条目 新增 创建边界路由器VBR（Virtual Border Router）后，系统会自动为VBR创建一张路由表，您可以在该路由表中添加和管理指定CIDR同步路由条目...
数据同步简介
增量有序 数据同步保证同一个通道内到达客户端的消息顺序一定是与业务服务器调用数据同步服务器的顺序一致，并且所有消息以增量方式同步至客户端。高实时性 当客户端连接的网络状况良好时，数据同步可以保证非常高的推送实时性，消息推送...
通过DataWorks将Hadoop数据同步到阿里云ES
在 通道控制 区域，配置通道参数。详细配置信息，请参见 通过向导模式配置离线同步任务。运行任务。（可选）配置任务调度属性。在页面右侧，单击 调度配置，按照需求配置相应的调度参数。各配置的详细说明请参见 调度配置。在节点区域的右...
通过DataWorks将RDS SQL Server数据同步到阿里云ES
在 通道控制 区域，配置通道参数。详细配置信息，请参见 通过向导模式配置离线同步任务。运行任务。（可选）配置任务调度属性。在页面右侧，单击 调度配置，按照需求配置相应的调度参数。各配置的详细说明请参见 调度配置。在节点区域的右...
通过DataWorks将HBase数据同步到阿里云ES
在 通道控制 区域，配置通道参数。详细配置信息，请参见 通过向导模式配置离线同步任务。运行任务。（可选）配置任务调度属性。在页面右侧，单击 调度配置，按照需求配置相应的调度参数。各配置的详细说明请参见 调度配置。在节点区域的右...
通过DataWorks将MySQL数据同步到阿里云ES
在 通道控制 区域，配置通道参数。详细配置信息，请参见 通过向导模式配置离线同步任务。运行任务。（可选）配置任务调度属性。在页面右侧，单击 调度配置，按照需求配置相应的调度参数。各配置的详细说明请参见 调度配置。在节点区域的右...
OSS数据离线同步至MaxCompute
配置通道控制 设置任务同步并发数，可容忍的脏数据条数等。调度配置 单击右侧的 调度配置，本实践示例涉及的调度配置要点如下。通用的调度配置指导及全量调度相关参数的介绍请参见 调度配置。重跑属性。可根据业务需求设置不同的重跑策略，...
OSS数据离线同步至MaxCompute
配置通道控制 设置任务同步并发数，可容忍的脏数据条数等。调度配置 单击右侧的 调度配置，本实践示例涉及的调度配置要点如下。通用的调度配置指导及全量调度相关参数的介绍请参见 调度配置。重跑属性。可根据业务需求设置不同的重跑策略，...
日志服务通过数据集成投递数据
在 通道控制 中配置 同步速率 和 脏数据策略 等参数。单击右侧 调度配置，配置 重跑属性、调度资源组 以及 依赖的上游节点 等参数。说明 依赖的上游节点 配置为 使用工作空间根节点。确认当前节点的配置无误后，单击左上角的。运行离线同步...
MaxCompute数据离线同步至ClickHouse
配置通道控制 设置任务同步并发数，可容忍的脏数据条数等。调整内存参数 如果您在并发调大后同步速率增长不明显，可以尝试手工调整同步任务内存参数。调整方式如下。转换任务为脚本模式。在脚本JSON段中增加 setting.jvmOption 参数，参数...
EMR Hive数据整库离线同步至MaxCompute
配置通道控制 设置任务同步并发数，可容忍的脏数据条数等。配置调度属性 单击 下一步 进入 配置调度 页面，设置同步任务运行所需的调度相关属性。调度参数使用说明请参见 数据集成使用调度参数的相关说明。重跑属性。可根据业务需求设置...
EMR Hive数据整库离线同步至MaxCompute
配置通道控制 设置任务同步并发数，可容忍的脏数据条数等。配置调度属性 单击 下一步 进入 配置调度 页面，设置同步任务运行所需的调度相关属性。调度参数使用说明请参见 数据集成使用调度参数的相关说明。重跑属性。可根据业务需求设置...
升级实例配置
数据订阅通道无需升级实例配置。注意事项 实例只能升级配置，不能降级配置。升级生效期间增量数据迁移与数据同步会出现5秒左右的延迟，请在业务低峰期操作。费用说明 包年包月实例 升级费用=（升级后实例每天的价格-升级前实例每天的价格）...
基本概念
名词 说明 预检查 为保障数据迁移任务/数据同步作业/数据订阅通道的顺利执行，在正式启动前，系统将执行预检查操作。例如，检查源库和目标库的连通性、数据库账号权限、Binlog设置、数据库版本号等是否满足要求，详情请参见 预检查相关介绍...
使用DataWorks
您可通过通道配置，控制数据同步过程相关属性。详情请参见 配置通道。配置调度属性。在同步任务中配置调度参数进行数据过滤。在顶部菜单栏，单击 图标后，单击 图标，运行离线同步任务。通过脚本模式配置并运行数据同步任务 配置网络与资源...
流式数据通道概述
实时数据同步：默认使用批量数据通道，支持流式数据通道模式，需要联系DataWorks值班同学后台打开。什么是云消息队列 Kafka 版？默认使用批量数据通道，支持流式数据通道模式，需要联系Kafka值班同学后台打开。LogStash日志采集端：使用...
数据传输的审计事件
ModifySynchronizationObject 修改数据同步作业实例中的同步对象。PauseJobStep 暂停JobStep。Ping 探活。PreviewSql 预览并校验SQL。Release 实例等的释放操作。RemainRefund 来自费用中心中退订管理下的退订资源。RemoveTags 解绑标签。...
修改数据库密码
前提条件 您已创建数据迁移任务、数据同步作业或新版数据订阅通道。说明 旧版数据订阅通道不支持该操作。您可以在 数据订阅列表 页中查看目标订阅通道是否属于新版。操作步骤 登录 数据传输控制台。说明 若数据传输控制台自动跳转至数据...
数据上云工具
DataWorks数据集成（Tunnel通道系列）DataWorks数据集成（即数据同步），是一个稳定高效、弹性伸缩的数据同步平台，致力于为阿里云上各类异构数据存储系统提供离线全量和实时增量的数据同步、集成、交换服务。其中数据同步任务支持的数据源...
数据传输作业：数据集成
离线同步 离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间...
低成本跨境文件传输
网络成本低：相比云企业网高速通道的方式，网络成本降低。同步服务部署成本低：文件上传OSS后即可触发函数计算调用 Serverless 工作流，按量触发，无需准备ECS资源。弹性高效：一个文件同步触发一个 Serverless 工作流 任务，充分利用资源...
低成本跨境文件传输
网络成本低：相比云企业网高速通道的方式，网络成本降低。同步服务部署成本低：文件上传OSS后即可触发函数计算调用 Serverless 工作流，按量触发，无需准备ECS资源。弹性高效：一个文件同步触发一个 Serverless 工作流 任务，充分利用资源...
全球数据库常见问题
跨地域写数据会受一定的网络延迟影响，GDN网络做了特殊优化，通过多通道物理复制，高压力下全球同步延迟小于2秒。如何清理GDN主从空间以及表空间碎片?清理GDN主从空间以及表空间碎片的具体操作请参见 回收表碎片空间。说明 执行 optimize ...
什么是表格存储
同步表格存储数据表中数据 使用 通道服务、DataWorks或者DataX将 表格存储 数据表中数据同步到另一个数据表中。同步表格存储时序表中数据 使用DataWorks工具将 表格存储 时序表中的全量数据或者增量数据同步到另一个时序表。数据导出 同步...
大量数据导出方案
将数据同步节点和ODPS SQL节点连线配置成依赖关系，ODPS SQL节点作为数据的产出节点，数据同步节点作为数据的导出节点。工作流调度配置完成后（可以直接使用默认配置），单击 运行。数据同步的运行日志，如下所示。2016-12-17 23:43:46.394...
数据集成概述
全增量同步任务简介 实际业务场景下，数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个 离线同步、实时同步 和 数据处理 等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。为了解决上述问题，...
使用MaxCompute独享Tunnel进行数据同步
整库离线同步解决方案使用独享传输资源 进入同步任务，打开或新建一键整库离线同步任务，在 运行资源设置 步骤的 通道设置>Tunnel资源组 属性中，选择独享传输资源组。脚本模式同步任务使用独享传输资源 进入数据开发界面，打开或新建离线...
低成本跨境文件传输
网络成本低：相比云企业高速通道的方式，降低了网络成本。同步服务部署成本低：文件需要进行传输触发函数计算任务时，无需准备云服务器。弹性高效：一个文件同步触发一个 Serverless 工作流 任务，充分利用资源且高效同步。方案详情 具体...
数据传输与迁移概述
数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据通道）场景特征。周期调度任务（天、小时级别调用）。对数据延迟不敏感（只要在调度周期执行完成即可满足需求）。典型场景。类型 ...
数据传输自定义权限策略参考
如果RAM提供的系统策略无法...DescribeSynchronizationJobs 查看同步作业详情 DescribeSynchronizationJobs DescribeSynchronizationJobStatus 修改同步作业名称 DescribeSynchronizationJobs ModifySynchronizationObject 查看同步作业配置 ...
同步增量数据到MaxCompute
在 通道控制 区域，配置任务运行参数，例如同步速率、脏数据同步策略等。关于参数配置的更多信息，请参见 配置通道。单击 图标，保存配置。说明 执行后续操作时，如果未保存脚本，则系统会出现保存确认的提示，单击 确认 即可。脚本模式 ...
StarRocks数据源
StarRocks数据源为您提供读取和写入StarRocks的双向通道，本文为您介绍DataWorks的StarRocks数据同步的能力支持情况。支持的版本 支持EMR Serverless StarRocks 2.5和3.1版本。支持EMR on ECS：StarRocks 2.1版本。详情请参见：StarRocks...
通道管理
在左侧导航栏，选择 通道管理消息通道。选择需要绑定的WABA账号，单击 同步号码，界面显示所选WABA账号下已绑定的手机号码。单击 使用该号码。单击 开通服务。重要 待验证的号码必须是在14天内通过号码验证的手机号，如果没有通过号码验证...
导出全量数据到MaxCompute
在 通道控制 区域，配置任务运行参数，例如同步速率、脏数据同步策略等。关于参数配置的更多信息，请参见 配置通道。单击 图标，保存配置。说明 执行后续操作时，如果未保存配置，则系统会出现保存确认的提示，单击 确认 即可。脚本模式 全...
文档修订记录
关系图 2023.8.25 新增功能 数据集成 Amazon Redshift数据源为您提供读取和写入Amazon Redshift的双向通道，方便您后续可以通过向导模式和脚本模式配置数据同步任务。Amazon Redshift数据源 2023.8.24 新增功能 运维中心 在原有调度配置...
导出全量数据到OSS
在 通道控制 区域，配置任务运行参数，例如同步速率、脏数据同步策略等。关于参数配置的更多信息，请参见 配置通道。单击 图标，保存配置。说明 执行后续操作时，如果未保存配置，则系统会出现保存确认的提示，单击 确认 即可。脚本模式 全...
镜像同步加速
自定义同步链路：使用自定义的云企业网，为不同地域搭建私网通信通道，实现跨地域网络互通。如果跨境同步加速功能不能满足您对同步实例时延的要求，您可以使用自定义同步链路来进一步加快镜像同步速度。说明 公有云Region不支持同步至非...
准备数据
在数据准备阶段，您需要同步原始数据至MaxCompute。前提条件 已完成 准备环境。已新增MaxCompute数据源。详情请参见 创建MaxCompute数据源。准备数据源 通过RDS创建MySQL实例，获取RDS实例ID。详情请参见 快速创建RDS MySQL实例。在RDS控制...
创建主备双活实例
您可以使用LTS数据通道服务完成主备节点之间实时增量数据双向同步，本文介绍如何创建主备双活实例（即高可用实例）。前提条件 已创建云数据库HBase或者自建HBase主备实例，云数据库HBase的创建操作请参见 购买HBase实例。已创建LTS实例，...
主备容灾
架构说明 用户主备HBase实例分别部署在不同可用区，使用BDS数据通道服务完成主备实例之间实时增量数据双向同步，同时在BDS上进行主备切换操作，用户通过alihbase-connector访问HBase实例，alihbase-connector监听主备实例zk集群的切换事件...
- 产品推荐
- 这些文档可能帮助您