采集MySQL Binlog（计划弃用）
功能特点 通过Binlog增量采集数据库的更新操作数据，性能优越。支持RDS等MySQL协议的数据库。支持多种数据库过滤方式。支持设置Binlog位点。支持通过Checkpoint机制同步保存状态。使用限制 Logtail 1.0.31及以上版本支持采集MySQL 8.0的...
设置增量同步位点
设置增量同步位点时，仅支持选择当前时间或当前时间之前的时间点，并且不能晚于您设置的源端数据库增量日志的过期时间或归档时间。适用场景 您可以通过设置增量同步位点的方式实现以下场景：您在创建数据迁移或数据同步项目前，已确保源端...
数据库评估概览
数据库采集完成后，单击 下一步查看源库画像，单击 新建画像 上传采集的数据包进行数据库分析。具体操作，请参见 数据库画像。在 源库画像 页签，选中目标画像，单击 下一步查看目标库选型建议，查看目标库兼容情况和推荐类型。具体操作，...
数据库采集
.bat]–h<host>-u<username>-p<password>-P<port>-d<service_name>-s<sid>Teradate 13 14 15 collect_td[.sh]-h ip-p password-u username Db2_LUW collect_db2_luw[.sh]-h ip-u username-p password-d databasename-P port-h:采集数据库的...
数据库评估常见问题
本文档介绍了您在使用数据库评估过程中遇到的常见问题。画像报错，非法的项目？请使用 ADAM 数据库采集器采集的 ZIP 包进行上传并创建画像。画像报错，采集数据中缺乏某信息？ADAM 画像必须分析完整的采集数据，如果缺乏某些必要信息，请...
新建 OceanBase 数据源
oblogproxy IP（可选）OceanBase 数据库增量日志代理服务，以服务的形式，提供实时增量项目介入和管理能力，方便应用介入 Oceanbase 数据库增量日志。同时，能够解决网络隔离的情况下，订阅增量日志的需求。oblogproxy Port（可选）_...
元数据
通过控制台首页左侧数据库实例列表的 刷新/同步字典 按钮触发增量采集。DBA或管理员还可以在 系统管理>实例管理 触发增量采集，详情请参见 同步元数据。通过DMS完成的DDL变更，会触发对应表元数据的增量采集。通过SQLConsole控制台的刷新...
创建自建数据库用户及授权
背景信息 自建 MySQL 数据库实例的类型包括 VPC 内自建数据库 和 公网 IP 自建数据库。本文创建的自建数据库用户，用于创建自建数据库实例类型的 MySQL 数据源时填写 用户名。创建自建数据库用户 在创建 MySQL 数据源时，您可以直接选择...
功能特性
DBS全量备份 RDS全量备份 PolarDB全量备份 MongoDB全量备份 Redis全量备份 日志备份 支持数据库增量日志备份。DBS日志备份 RDS日志备份 PolarDB日志备份 MongoDB日志备份 Redis日志备份 备份策略 通过设置备份策略定义备份类型、备份时间、...
使用DTS将MongoDB Atlas数据库迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将MongoDB Atlas数据库增量迁移至阿里云。DTS支持全量数据迁移和增量数据迁移，同时选择这两种迁移类型可以实现在不停服的情况下，平滑地完成MongoDB Atlas数据库的迁移。...
数据库采集器问题
本文解释一些数据库采集问题。采集对数据库压力大吗？采集过程全部都是读取操作，唯一消耗CPU资源的操作来自于getddl操作，一般压力都很小。但为了采集顺利进行，建议在业务低峰期执行，否则容易出现Socket Timeout的超时错误（采集sql无法...
使用DTS将MongoDB Atlas数据库迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将MongoDB Atlas数据库增量迁移至阿里云。DTS支持全量数据迁移和增量数据迁移，同时选择这两种迁移类型可以实现在不停服的情况下，平滑地完成MongoDB Atlas数据库的迁移。...
用户权限说明
目标端为 MySQL 数据库、OceanBase 数据库 MySQL 租户等数据库类型时，需要对源端待迁移数据库及 oceanbase 数据库具备 SELECT 权限。重要 仅 OceanBase 数据库 V4.0.0 及之后版本需要添加 oceanbase 数据库的 SELECT 权限。对于 VPC 内 ...
使用DataWorks（离线与实时）
最佳实践 数据库整库离线同步至MaxCompute 整库离线同步至MaxCompute OSS数据离线同步至MaxCompute EMR Hive数据整库离线同步至MaxCompute 数据库增量数据离线同步至MaxCompute RDS增量数据同步至MaxCompute Kafka增量数据同步至MaxCompute...
实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、...
数据库画像
数据库画像是数据库评估的基础数据，可以帮助您更好地了解自己的源数据库，在数据库迁移、改造等阶段，可以快速查找源数据库信息，指导迁移与改造。新建画像 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>异构数据库迁移...
执行离线评估
本文为您介绍迁移评估如何通过离线评估的方式，进行数据...详情请参见 通过迁移评估采集器采集数据库对象。上传文件 单击 上传文件，选择需要评估的文件进行上传。支持上传多个文件，生成一个评估报告。单击 发起评估，即可启动离线评估任务。
迁移工具
将MySQL数据同步到表格存储 canal canal基于MySQL数据库增量日志解析，提供增量数据订阅和消费功能，是阿里开源CDC工具，它可以获取MySQL binlog数据并解析，然后将数据变动传输给下游。基于canal，您可以实现从MySQL到其他数据库的实时...
增量备份数据上云（SQL Server 2008 R2云盘、2012及...
然后通过RDS控制台将差异备份或日志备份文件导入该RDS SQL Server数据库中，以实现增量备份上云的效果。该方案能够将业务中断时间控制在分钟级别，从而有效缩短业务中断时间。适用场景 RDS SQL Server增量数据上云适用于以下场景：基于备份...
通过迁移评估采集器采集数据库对象
您可以自行采集数据库对象定义，也可以下载迁移评估采集器完成数据库对象的采集。本文为您介绍如何通过迁移评估采集器采集数据库对象。背景信息 迁移评估采集器是用于在公有云环境采集用户 Schema 数据的工具。您在公有云环境下不可以使用...
Reserve参数说明
源数据库类型为Tair/Redis（包含 云数据库Redis、云原生内存数据库Tair、自建Redis）参数 配置条件 说明 srcKvStoreMode 数据库实例的接入方式不为 云实例 时。源自建Redis的实例模式，取值为：single：单机版。cluster：集群版。any.sink....
元数据采集的数据源有白名单访问控制时需要配置的白...
如果目标数据库未开启白名单访问控制，则DataWorks可以正常使用数据地图采集数据库的元数据；如果数据库开启了白名单访问控制，则需要进行下一步的添加白名单操作。数据库添加白名单。如果您需要进行元数据采集的数据库已开启白名单访问...
数据集成服务
当您的现有业务对数据库的并发读写、扩展性和可用性的要求较高，且需要使用复杂的检索或大数据分析时，如果原有数据库的数据架构不能满足现在的业务需求或改造成本较大，则您可以通过DataWorks数据集成服务将现有数据库中的数据迁移到...
政务舆情分析系统的数据库解决方案
实时计算（Blink）和 大数据计算服务·MaxCompute：网页数据采集入库后，增量采集数据的计算机元数据抽取可以选用Blink和MaxCompute。当有新增页面需要提取时触发Blink进行网页元数据抽取。抽取后的结果进入TableStore存储后，同时推送至...
支持的数据库
增量数据同步 单向同步 RDS MySQL同步至函数计算FC 云数据库SelectDB版 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至云数据库SelectDB版 源为PolarDB MySQL版的同步方案 重要 PolarDB-X 1.0中的数据库须基于RDS MySQL...
迁移方案概览
源为TiDB的迁移方案 源为Db2 for LUW的迁移方案 源为Db2 for i（AS/400）的迁移方案 源为Teradata的迁移方案 源为自建HBase的迁移方案 源为第三方云的迁移方案 跨阿里云账号实例间迁移 说明 下表中各类自建数据库（例如自建MySQL、SQL ...
元数据采集
查看元数据采集器 整体统计 在 元数据采集 页面，您可以切换 数据源视角 和 工作空间视角，查看元数据采集总览，主要为您展示已创建采集器的数据库数量。明细列表 您还可以单击目标数据源类型或目标工作空间右上角的 管理 按钮，进入采集...
基本概念
对于异构数据库之间的结构迁移，DTS会将源库的结构定义转换为目标库支持的结构定义，例如将Oracle数据库中的NUMBER数据类型转换为MySQL数据库中的DECIMAL数据类型。全量数据迁移 在全量数据迁移阶段，DTS会将源数据库的存量数据全部迁移到...
数据传输预检查
启动数据迁移项目时，为确保项目的顺利运行，OceanBase 数据传输功能会自动启动预检查环节，针对源端和目标端的数据库连通性、相关配置的正确性、增量日志参数等问题或设置进行检查。本文为您介绍数据迁移项目预检查环节的常见报错和解决...
创建OceanBase数据迁移项目时预检查失败并提示“增量...
问题描述 阿里云云数据库OceanBase在创建数据迁移项目时，会自动启动预检查环节，针对源端和目标端的数据库连通性、相关配置的正确性、增量日志参数等问题或设置进行检查。在预检查环节，预检查失败，增量日志参数检查未通过。解决方案 ...
从自建Db2迁移至RDS MySQL
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成Db2数据库的迁移。前提条件 Db2数据库版本为9.7~11.5版本。说明 DTS也支持迁移7.3、7.4版本的Db2 for i数据库至RDS ...
将ECS上单节点或副本集架构的自建MongoDB迁移上云
本文为旧版DTS控制台操作步骤，新版DTS迁移上云方法如下：单节点架构上云：云数据库MongoDB版（单节点架构）全量迁移至云数据库MongoDB版（所有架构）副本集架构上云：云数据库MongoDB版（副本集架构）迁移至云数据库MongoDB版（副本集架构...
从自建Db2迁移至RDS MySQL
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成Db2数据库的迁移。前提条件 Db2数据库版本为9.7~11.5版本。说明 DTS也支持迁移7.3、7.4版本的Db2 for i数据库至RDS ...
Logtail限制说明
本文简介Logtail采集数据时在运行环境、文件采集、容器采集、CheckPoint管理、Logtail采集配置、机器组、性能、错误处理等方面的限制。运行环境 限制项 限制说明 体系结构 Linux Logtail版本支持x86_64和arm64。Windows Logtail版本支持x86...
Logtail
文件打开行为 Logtail会保持被采集的文件和轮转队列中待采集的文件处于打开状态，以保证采集数据完整性。出现以下情况，会关闭文件。文件超过5分钟未被修改。发生轮转且采集完毕。Logtail采集配置发生变更。如果无论文件是否采集完成或仍有...
使用DTS迁移副本集架构的自建MongoDB数据库上云
使用数据传输服务DTS（Data Transmission Service），将副本集架构的自建MongoDB数据库迁移至云数据库MongoDB中。DTS支持全量数据迁移和增量数据迁移，同时使用这两种迁移类型可以实现在不停服的情况下，平滑地完成数据库的迁移上云。除本...
跨阿里云账号迁移MongoDB实例
DTS支持全量数据迁移和增量数据迁移，同时使用这两种迁移类型可以实现在不停服的情况下，平滑地完成数据库的迁移。前提条件 源实例类型为单节点实例或副本集实例。如果源实例为分片集群实例，请使用MongoDB自带的工具进行迁移，详细信息，...
执行在线评估
背景信息 在线评估是直接连接目标数据库，采集源端数据库的对象、SQL 语句和数据库负载等信息，与 OceanBase 数据库的现有能力进行兼容性对标，查找其不兼容点并提供修复方法。操作步骤 新建在线评估任务。登录 OceanBase 管理控制台。在...
ADAM概览
数据库评估 提供目标库选型建议，对迁移工作量和成本进行预估。更多信息，请参见 数据库评估概览。源库画像分析:对数据库采集器采集到的源库数据进行多维度评估分析，包括源库的性能、容量、特性、外部依赖、对象详情和全景搜索。其中全景...
迁移MongoDB实例至其他地域
警告 如果源或目标数据库是阿里云数据库实例（例如RDS MySQL、云数据库MongoDB版等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
- 产品推荐
- 这些文档可能帮助您