数据源支持情况 数据集成目前支持40种以上的数据源类型(包括关系型数据库、非结构化存储、大数据存储、消息队列等),通过定义来源与去向数据源,并使用数据集成提供的数据抽取插件(Reader)、数据写入插件(Writer),实现任意结构化、...
setting":{"executeMode":null,"errorLimit":{"record":""},"speed":{"concurrent":2,"throttle":false } },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } 单击 数据集成资源出配置,选择 步骤三:新增数据源 中第一步创建的独...
任务并发数配置最佳实践:任务并发数越大,任务运行需要抢占的资源越多,DataWorks数据集成任务的资源队列是FIFO(先进先出),即前面提交任务先抢占资源运行,后提交的任务后抢占资源运行。建议您合理配置任务并发数,避免大并发任务长...
问题类别 常见问题 小文件优化 MaxCompute什么情况下会产生小文件?如何解决小文件问题?作业诊断 执行并发插入操作报错,如何处理?运行作业时,报错ODPS-0130121,如何解决?创建的Shell任务执行失败,在ECS服务器执行显示成功,运维中心...
增强分析(卡片和报告)2023.08.04 新增功能 数据集成 以Kafka实时入湖写入至OSS场景为例,为您介绍如何通过数据集成实时入湖 Kafka单表实时入湖OSS(HUDI)2023年7月更新记录 时间 特性 类别 描述 产品文档 2023.7.31 优化体验 数据服务 ...
选择数据集成后能否取消集成?目前不支持取消操作,您可以自行批量删除大盘。如何将Grafana工作区通过iframe内嵌到自己的平台,并支持匿名访问?具体操作,请参见 为Grafana大盘生成免登录查看的共享链接。通过iframe内嵌还需要在 可观测...
本文为您介绍离线同步的相关问题。文档概述 问题分类 相关文档 离线同步任务运维常见问题 为什么数据源测试连通...目前基于数据库内网的数据源不能使用公共数据集成资源组运行任务,请更换使用独享数据集成资源组运行任务,独享数据集成资源组...
更多其他数据集成常见问题请参见 数据集成常见问题。附录:MySQL脚本Demo与参数说明 附录:离线任务脚本配置方式 如果您配置离线任务时使用脚本模式的方式进行配置,您需要在任务脚本中按照脚本的统一格式要求编写脚本中的reader参数和...
数据库割接 周期性任务 定时全量迁移 通过数据集成功能的调度策略配置,定期地将源库中的结构和存量数据迁移至目标库中。配置RDS MySQL间的数据集成任务 账号迁移 全量账号迁移 在配置同步或迁移任务过程中启用账号迁移功能,帮助您方便...
支持的字段类型与使用限制 离线读 OSS Reader实现了从OSS读取数据并转为数据集成协议的功能,OSS本身是无结构化数据存储。对于数据集成而言,OSS Reader支持的功能如下。支持 不支持 支持且仅支持读取TXT格式的文件,且要求TXT中schema为...
典型应用场景:数据集成时对敏感数据加密、数仓分层建设时对应用层数据脱敏等。动态脱敏白名单 应用于特定的场景下,需要 暂时对一些用户开放真实数据的查询权限,完成特定的业务目标。典型应用场景:数据研发进行问题排查、特定时期(如双...
典型应用场景:数据集成时对敏感数据加密、数仓分层建设时对应用层数据脱敏等。动态脱敏白名单 应用于特定的场景下,需要 暂时对一些用户开放真实数据的查询权限,完成特定的业务目标。典型应用场景:数据研发进行问题排查、特定时期(如双...
数据库连接问题 数据同步问题 数据迁移问题 数据订阅问题 其他问题 说明 若您有其他疑问或需求,可以 通过钉钉(钉钉通讯客户端下载地址)进入到DTS客户交流钉钉群(群号:68325004196或68640008972),进行咨询。计费问题 DTS如何计费?...
如果您需要使用独享数据集成资源组通过内网同步ECS自建的数据库,您需要为独享数据集成资源组做相关的网络配置,详情可参见 新增和使用独享数据集成资源组,连通方案核心点为:独享数据集成资源组绑定ECS所在VPC,会自动添加一个路由指向...
本文为您介绍数据集成收费相关问题及解决方案。数据集成是怎么收费的?数据集成收费包含三种途径,详情请参见 独享数据集成资源组计费说明:包年包月、公共数据集成(调试)资源组:按量计费、公网流量计费说明。
通过数据集成服务,可将RDS数据导入MaxCompute,实现大规模的数据计算。更多信息,请参见 什么是MaxCompute。Microsoft AD Active Directory,活动目录。微软提供的面向Windows Standard Server、Windows Enterprise Server以及Microsoft ...
通过数据集成服务,可将RDS数据导入MaxCompute,实现大规模的数据计算。更多信息,请参见 什么是MaxCompute。Microsoft AD Active Directory,活动目录。微软提供的面向Windows Standard Server、Windows Enterprise Server以及Microsoft ...
数据传输服务DTS(Data Transmission Service)支持将 RDS SQL Server 迁移至 阿里云流式数据服务DataHub。前提条件 确认DTS是否支持该版本的 RDS SQL Server 实例。支持的版本,请参见 迁移方案概览。已开通 DataHub 服务,并且已创建用作...
数据类型映射关系 详情请参见 结构初始化涉及的数据类型映射关系。操作步骤 进入迁移任务的列表页面。登录 DMS数据管理服务。在顶部菜单栏中,单击 集成与开发(DTS)。在左侧导航栏,选择 数据传输(DTS)>数据迁移。说明 实际操作可能会...
本文介绍如何使用数据传输服务DTS(Data Transmission Service),将PolarDB-X 1.0迁移至RDS MySQL。前提条件 已创建源PolarDB-X 1.0实例。具体操作,请参见 创建实例。说明 PolarDB-X 1.0 的存储类型支持为RDS MySQL(包括私有定制RDS和...
数据传输服务DTS(Data Transmission Service)支持将MySQL数据库(例如自建MySQL或RDS MySQL)迁移至 云原生内存数据库Tair 或 云数据库Redis,降低后端关系型数据库的负载,从而提升用户体验。本文以 RDS MySQL 实例为源,云数据库Redis ...
通过数据传输服务DTS(Data Transmission Service),您可以实现 PolarDB-X 2.0 间的数据迁移。前提条件 已创建源和目标 PolarDB-X 2.0 实例,且兼容MySQL 5.7版本。目标 PolarDB-X 2.0 实例的存储空间须大于源 PolarDB-X 2.0 实例占用的...
数据传输服务DTS(Data Transmission Service)支持将MySQL数据库(例如自建MySQL或RDS MySQL)同步至 云原生内存数据库Tair 或 云数据库Redis,降低后端关系型数据库的负载,从而提升用户体验。本文以 RDS MySQL 实例为源,云数据库Redis ...
本文介绍如何使用数据传输服务DTS(Data Transmission Service),实现自建Oracle间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移,同时使用这三种迁移类型可以平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库...
本文介绍如何使用数据传输服务DTS(Data Transmission Service,简称DTS),实现 云数据库Redis 间的迁移。前提条件 已创建源和目标 云数据库Redis。说明 源和目标 云数据库Redis 的创建方式,请参见 创建Redis实例。支持的版本,请参见 ...
本文介绍如何使用数据传输服务DTS(Data Transmission Service),将PolarDB-X 1.0迁移至 云原生数据仓库 AnalyticDB MySQL 版 3.0。前提条件 已创建源PolarDB-X 1.0实例。具体操作,请参见 创建实例。说明 PolarDB-X 1.0 的存储类型支持为...
DTS支持结构迁移、全量数据迁移以及增量数据迁移,同时使用这三种迁移类型可以实现在本地应用不停服的情况下,平滑地完成Oracle数据库的数据迁移。前提条件 已创建源数据库自建Oracle和目标实例 RDS MySQL。说明 目标实例 RDS MySQL 的创建...
DTS支持全量数据迁移和增量数据迁移,可以实现在不停服的情况下,平滑地完成数据库的迁移。前提条件 目标云数据库Redis可用的存储空间需大于源云数据库Redis已使用的存储空间。源云数据库Redis的引擎版本为4.0(社区版)或5.0(社区版、...
DTS支持结构迁移、全量数据迁移以及增量数据迁移,同时使用这三种迁移类型可以实现在本地应用不停服的情况下,平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c版本。自建Oracle数据库已...
常见问题 实例暂停后是什么状态?实例暂停后,运行状态 将会变为 已暂停。暂停的实例启动后是否可以恢复?一般情况下,暂停时间不超过24小时的DTS任务可以正常恢复;若数据量较小,则暂停时间不超过7天的DTS任务可以正常恢复。建议暂停时间...
数据传输服务DTS(Data Transmission Service)支持将自建Oracle迁移至 云原生数据仓库AnalyticDB PostgreSQL版,帮助您构建实时数仓。前提条件 已创建源数据库自建Oracle和目标实例 云原生数据仓库AnalyticDB PostgreSQL版。说明 目标实例...
通过数据传输服务DTS(Data Transmission Service),您可以将 PolarDB-X 2.0 迁移至 云原生数据仓库AnalyticDB MySQL版 3.0,帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 已创建源 PolarDB-X 2.0 实例,且需兼容MySQL ...
DTS支持全量数据迁移以及增量数据迁移,同时使用这两种迁移类型可以实现在自建应用平滑地完成Oracle数据库的数据迁移工作。本文以PolarDB-X 2.0为例,介绍如何使用数据传输服务DTS(Data Transmission Service)将自建Oracle数据库迁移至...
DTS支持结构迁移、全量数据迁移以及增量数据迁移,同时使用这三种迁移类型可以实现在本地应用不停服的情况下,平滑地完成Oracle数据库的数据迁移。前提条件 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c。自建Oracle数据库已开启...
DTS支持全量数据迁移以及增量数据迁移,同时使用这两种迁移类型可以实现在自建应用不停服的情况下,平滑地完成自建Redis数据库的迁移上云。前提条件 已创建源自建Redis实例和目标 云原生内存数据库Tair。目标 云原生内存数据库Tair 实例的...
本文介绍如何使用数据传输服务DTS(Data Transmission Service),将 PolarDB-X 2.0 迁移至 PolarDB MySQL版。前提条件 已创建源 PolarDB-X 2.0 实例,且需兼容MySQL 5.7版本。已创建目标 PolarDB MySQL版 集群,详情请参见 购买按量付费...
本文介绍如何使用数据传输服务DTS(Data Transmission Service),将 PolarDB-X 2.0 迁移至 RDS MySQL。前提条件 已创建源 PolarDB-X 2.0 实例,且需兼容MySQL 5.7版本。已创建目标 RDS MySQL 实例,创建方式,请参见 快速创建RDS MySQL...
数据传输服务DTS(Data Transmission Service)支持在源端MongoDB的数据中分片键字段缺失的情况下,将数据迁移至分片集群架构的MongoDB中,并指定分片键的默认值。本文以 云数据库MongoDB版(副本集架构)为源且 云数据库MongoDB版(分片...
数据传输服务DTS(Data Transmission Service)支持将 PolarDB-X 2.0 迁移至Oracle。前提条件 已创建用于接收数据的自建Oracle,且Oracle可用的存储空间需要大于源 PolarDB-X 2.0 已使用的存储空间。自建Oracle中已创建用于接收数据的...
数据传输服务DTS(Data Transmission Service)支持在源端MongoDB的数据中分片键字段缺失的情况下,将数据迁移至分片集群架构的MongoDB中,并指定分片键的默认值。本文以 云数据库MongoDB版(副本集架构)为源且 云数据库MongoDB版(分片...