日志服务通过数据集成投递数据
在 通道控制 中配置 同步速率 和 脏数据策略 等参数。单击右侧 调度配置，配置 重跑属性、调度资源组 以及 依赖的上游节点 等参数。说明 依赖的上游节点 配置为 使用工作空间根节点。确认当前节点的配置无误后，单击左上角的。运行离线同步...
使用DataWorks
更多配置参数详情请参见 编辑脚本，配置同步任务。配置调度属性。详情请参见 调度参数支持的格式。在顶部菜单栏，单击 图标后，单击 图标，运行离线同步任务。确认同步结果 请前往目标数据源中确认MaxCompute表中的数据是否已成功导入目标...
通过向导模式配置离线同步任务
开发流程 步骤一：新建离线同步节点 步骤二：配置同步网络链接 步骤三：配置数据来源与去向 步骤四：配置字段映射关系 步骤五：配置通道 步骤六：配置调度属性 步骤七：提交并发布任务 步骤一：新建离线同步节点 创建业务流程。详情请参见...
通过脚本模式配置离线同步任务
开发流程 步骤一：新建离线同步节点 步骤二：配置同步网络链接 步骤三：转脚本模式并导入模板 步骤四：编辑脚本，配置同步任务 步骤五：配置调度属性 步骤六：提交并发布任务 步骤一：新建离线同步节点 创建业务流程。详情请参见：创建业务...
离线同步能力说明
在配置同步任务前，您需要确保数据集成资源组与您将同步的数据来源端与目标端网络环境已经连通，对应数据库环境与网络连通配置详情请参见：配置资源组与网络连通。数据同步场景 离线同步支持单表同步至目标端单表、分库分表同步至目标端单...
创建同步任务
步骤二：新建并配置同步任务 通过创建同步节点 write_result 来生成一个同步任务，用于将 result_table 表中的数据写入至自己的MySQL数据库中。操作如下：进入数据开发页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 ...
Java SDK 接入
BIZ_NOT_ONLINE 业务场景同步标识未提交上线 前往 mPaaS 控制台>移动同步 检查 bizType 对应同步标识已配置并提交上线。THIRD_MSG_ID_IS_NULL 三方业务 ID 为空 检查三方业务 ID 是否为空。SYSTEM_ERROR 系统异常 联系技术支持确认系统异常...
同步配置
您可以创建多个微服务空间，在其中一个空间中创建配置，再将此配置同步到其他空间中。为同地域内的多个微服务空间同步配置 登录 EDAS控制台。在左侧导航栏，选择 应用管理>微服务配置。默认进入配置管理的 配置列表 页面。可选：在 配置...
为什么云存储网关与OSS上的文件不一致
配置方式 网关控制台高级设置中打开 文件网关反向同步的使用场景及配置 选项，并设置反向同步时间间隔。开通 消息服务MNS，通过网关控制台配置 极速同步。详情请参见 如何主动触发特定文件夹的反向同步。成本费用 OSS API请求费用，详情请...
在SAE控制台使用镜像部署Python应用
前提条件 创建VPC 创建命名空间 制作应用镜像 可选：在容器镜像服务控制台配置镜像同步 如果要使用的阿里云镜像仓库与您的应用不在同一个地域，您需要先使用容器镜像服务ACR的镜像同步功能将该镜像仓库同步至应用所在的地域，再部署应用。...
2020年
配置迁移任务（旧控制台）配置同步任务（旧控制台）DTS可以在自定义时间内重试连接源库、目标库。配置迁移任务（旧控制台）配置同步任务（旧控制台）支持对DTS任务编辑标签。新建或绑定标签 根据标签筛选实例 查看实例绑定的标签 解绑或...
数据集成概述
数据集成是稳定高效、弹性伸缩...在数据集成同步任务配置前，您可以在DataWorks 数据源管理 页面，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，并在同步过程中，通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。
在SAE控制台使用镜像部署多语言应用
前提条件 创建VPC 创建命名空间 制作应用镜像 可选：在容器镜像服务控制台配置镜像同步 如果要使用的阿里云镜像仓库与您的应用不在同一个地域，您需要先使用容器镜像服务ACR的镜像同步功能将该镜像仓库同步至应用所在的地域，再部署应用。...
在SAE控制台使用镜像部署PHP应用
前提条件 创建VPC 创建命名空间 制作应用镜像 可选：在容器镜像服务控制台配置镜像同步 如果要使用的阿里云镜像仓库与您的应用不在同一个地域，您需要先使用容器镜像服务ACR的镜像同步功能将该镜像仓库同步至应用所在的地域，再部署应用。...
在SAE控制台使用镜像方式部署Java应用
前提条件 创建VPC 创建命名空间 制作应用镜像 可选：在容器镜像服务控制台配置镜像同步 如果要使用的阿里云镜像仓库与您的应用不在同一个地域，您需要先使用容器镜像服务ACR的镜像同步功能将该镜像仓库同步至应用所在的地域，再部署应用。...
离线数据集成（DataWorks+MaxCompute）
步骤二：配置同步网络链接：选择离线同步任务的 数据来源、用于执行同步任务的 我的资源组，以及 数据去向，并测试连通性。重要 数据来源 选择 IoT，我的资源组 只支持独享数据集成资源组，数据去向 由您自定义。步骤三：配置数据来源与...
任务状态说明
任务状态 状态说明 可进行的操作 创建中 同步任务正在进行同步初始化 查看同步配置 运行中 同步任务正常同步中 查看同步配置 暂停同步 取消同步 已暂停 同步任务被暂停，处于暂停状态 查看同步配置 修改同步对象 重新启动任务 取消任务 已...
2021年
本章节介绍了2021年数据传输服务DTS（Data Transmission Service）产品功能和对应的文档动态。更多新功能介绍 详情请参见 数据传输服务产品动态。2021年12月 类型 重点内容 相关文档 新增...配置同步任务（旧控制台）配置迁移任务（旧控制台）
OSS数据离线同步至MaxCompute
本文以OSS离线同步写入MaxCompute场景为例，为您介绍OSS离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99....
OSS数据离线同步至MaxCompute
本文以OSS离线同步写入MaxCompute场景为例，为您介绍OSS离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99....
EMR Hive数据整库离线同步至MaxCompute
配置同步网络链接 选择离线同步任务的数据来源和数据去向，以及用于执行同步任务的资源组，并测试连通性。说明 若数据源与资源组网络不通，请参考界面提示或文档进行网络连通配置。详情请参见：配置资源组与网络连通。配置数据来源与去向 ...
EMR Hive数据整库离线同步至MaxCompute
配置同步网络链接 选择离线同步任务的数据来源和数据去向，以及用于执行同步任务的资源组，并测试连通性。说明 若数据源与资源组网络不通，请参考界面提示或文档进行网络连通配置。详情请参见：配置资源组与网络连通。配置数据来源与去向 ...
使用 SDK
在监听同步业务之前，需要先定义好具体的同步业务的业务标识名称（对应数据同步控制台上的同步配置标识），该参数就是作为使用者的您和服务提供者联系的纽带。在以下示例中，业务标识名称为 SYNC-TRADE-DATA。import...
项目模板同步配置
模板的同步开启/关闭 在创建模板后，服务同步配置如下：服务 同步配置 项目字段 默认开启同步，不可关闭。项目状态 默认开启同步，可关闭。自动化规则 默认开启同步，可关闭。通知 默认不开启同步，不可开启。角色权限 默认不开启同步，不...
MaxCompute数据离线同步至ClickHouse
本文以MaxCompute离线同步写入ClickHouse场景为例，为您介绍ClickHouse离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 云数据库ClickHouse是面向联机分析处理的列式数据库。数据集成支持从ClickHouse同步数据到...
控制台简介
数据同步控制台提供管理推送配置及执行业务数据推送的功能。一条推送配置相当于一个具体的数据推送的业务场景，而业务数据推送就是实现该配置所对应的业务场景。通过数据同步控制台，您可以进行以下操作：新增推送配置 发送业务数据 查看...
使用DTS同步RDS MySQL数据到AnalyticDB MySQL 2.0
步骤二：配置同步链路 登录 DTS控制台。在 数据传输 页面，单击左侧导航栏中的 数据同步。选择 地域。在 同步作业 列表中，单击目标实例右侧的 配置同步链路，在 选择同步通道的源及目标实例 页面进行参数配置，详细的参数配置如下表所示。...
配置数据层
具体操作，请参见 配置同步任务（旧控制台）。配置DRDS数据层的前提条件：在两个单元环境中分别已创建一个或多个同名DRDS。具体操作，请参见 创建DRDS实例。已在对应源DRDS实例和目标DRDS实例之间建立好同步链路，且同步链路状态已达到同步...
Kafka Partition同步策略说明
在配置同步到Kafka的数据同步作业时，为提升同步的性能，您可以调整Kafka Partition（分区）同步策略，例如根据Hash结果将数据同步至不同的Partition。Hash算法 DTS采用Java默认的hashcode算法来计算Hash值。配置方法 您需要在配置数据同步...
配置数据层
具体操作，请参见 配置同步任务（旧控制台）。配置DRDS数据层的前提条件：在两个单元环境中分别已创建一个或多个同名DRDS。具体操作，请参见 创建DRDS实例。已在对应源DRDS实例和目标DRDS实例之间建立好同步链路，且同步链路状态已达到同步...
实施步骤
通过DTS实时同步PolarDB for MySQL数据到分析型数据库MySQL版需要以下几个步骤：步骤一：创建DTS同步作业 步骤二：配置同步链路 步骤三：查看同步数据 步骤一：创建DTS同步作业 创建DTS同步作业需要用户支付一定的费用，DTS支持两种付费...
修改数据同步的附加列规则
操作步骤 开始配置数据同步作业，详情请参见 配置同步任务（旧控制台）中的第1步到第7步。在 选择同步对象 环节的页面底部，根据业务需求选择 是否启用新的附加列规则。选项 说明 是 选择为 是，则启用新的附加列规则。说明 如果旧版附加列...
2022年
SDK适配Jedis、Lettuce、Spring框架，控制台支持配置缓存同步链路和切流期间禁写保护功能。同时提供数据不同步双活方案，支持开启SDK同步或异步写对端及读失败后读对端策略。新增 配置数据层 切流流程新增应用节点规则生效检查功能 切流...
功能简介
配置化同步 支持通过自定义脚本配置离线、实时同步任务，支持引用数据源端Reader读取规范和目标端Writer写入规范快速配置同步任务脚本。支持配置脚本同步任务调度、上游节点依赖及运行资源配置。通过测试上线运行的脚本任务，支持在运维...
配置同步任务
配置同步任务是将数据源的数据同步到目标表的过程。本文为您介绍如何配置同步任务。配置流程说明 同步任务的配置流程如下图。来源表和目标表均支持多种数据源。数据库类型 数据源 关系型数据库 MySQL、Oracle、Microsoft SQL Server、...
数据同步
配置化同步 支持通过自定义脚本配置离线、实时同步任务，支持引用数据源端Reader读取规范和目标端Writer写入规范快速配置同步任务脚本。支持配置脚本同步任务调度、上游节点依赖及运行资源配置。通过测试上线运行的脚本任务，支持在运维...
功能简介
配置化同步 支持通过自定义脚本配置离线、实时同步任务，支持引用数据源端Reader读取规范和目标端Writer写入规范快速配置同步任务脚本。支持配置脚本同步任务调度、上游节点依赖及运行资源配置。通过测试上线运行的脚本任务，支持在运维...
创建同步OSS
2.服务关联角色授权 用户配置同步任务时，账号可以选择使用 AccessId/AccessKey 静态云账号或者 STS 临时账号的方式进行数据同步。当选择STS临时账号方式时，将会自动创建 DataHub服务关联角色，DataHub服务会使用此角色访问OSS以完成数据...
DTS同步任务源库和目标库使用SSL安全链接
DTS实例下同步任务源库和目标库均使用SSL安全链接，视为“合规”。应用场景 使用SSL安全链接同步DTS实例下任务源库和目标库可以提高数据的安全性、完整性和访问控制性，同时满足合规性要求和...具体操作，请参见 配置同步任务（新控制台）。
RestAPI Reader最佳实践
配置同步任务 添加RestAPI数据源。在DataWorks的工作空间中添加一个RestAPI类型的数据源，操作详情请参见 配置RestAPI数据源。核心配置要点如下。url：配置为RESTful接口的地址。验证方法：您可以根据数据源API实际支持的验证方式选择对应...
- 产品推荐
- 这些文档可能帮助您