离线同步并发和限流之间的关系
问题三：为什么数据同步任务运行速率有时候相较限速阈值有较大差距？同步速率：数据同步速率和任务期望最大并发数是比较强相关的参数，两者结合在一起可以保护数据来源和数据去向端的读写压力，以避免数据同步任务对数据源带来较大压力，...
创建MongoDB数据源
更多阿里云MongoDB信息，请参见 云数据库MongoDB-什么是云数据库MongoDB版。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加与配置请参见 添加、配置及管理...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
添加 MySQL 数据库的白名单
添加白名单到 ECS 如果您创建评估模式为 MySQL>>OceanBase MySQL Mode 的在线评估任务时，选择实例类型为 VPC 内自建数据库，请添加 OceanBase 数据评估服务器的 IP 地址段至对应数据库的白名单中。因为 VPC 实例对应的 VPC 可能在 ECS ...
添加 Oracle 数据库的白名单
操作步骤 如果您创建评估模式为 Oracle>>OceanBase Oracle Mode 的在线评估任务时，选择实例类型为 VPC 内自建数据库，请添加 OceanBase 数据评估服务器的 IP 地址段至对应数据库的白名单中。因为 VPC 实例对应的 VPC 可能在 ECS 平台进行...
创建MongoDB数据源
更多阿里云MongoDB信息，请参见 云数据库MongoDB-什么是云数据库MongoDB版。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加与配置请参见 添加Dataphin成员。...
创建ClickHouse数据源
阿里云数据库ClickHouse的更多信息，请参见 云数据库 ClickHouse-什么是云数据库ClickHouse。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。操作步骤 在Dataphin首页，单击顶部菜单栏 管理中心...
PolarDB PostgreSQL版间的迁移
通过数据传输服务DTS（Data Transmission Service），可以实现 PolarDB PostgreSQL版 集群间的迁移。前提条件 已创建源和目标 PolarDB PostgreSQL版 数据库集群，详情请参见 创建PolarDB PostgreSQL版数据库集群。已将源和目标 PolarDB ...
冷数据归档
本文介绍时序引擎的冷数据归档功能的使用方法。功能概要 在时序数据库持续写入的场景下，早先写入的时序数据会随着时间推移，查询频度逐渐降低。这样的数据通常被称为“冷数据”，与之相对的概念被称为“热数据”。随着冷数据体量的不断变...
需求阶段
数据可行性：评估当前已有数据能否支撑需求开发，如果缺少数据，则需要另行规划缺失数据的抽取方案。同时建议进行深入的数据探查，包括但不限于数据完整性、字段离散值分布情况、空值、零值、重复值占比等情况。技术可行性：评估当前已有...
数据建模
时间分区 时间分区会按照时间维度进行数据分区存储，存储底层会将不同时间分区内的数据进行分段存储，一个时间分区内的数据包含时间线索引和时序数据。时序引擎支持在数据库设置时间分区，一般情况下，如果创建周期性时间线导致了时间线...
查看数据同步项目的详情
增量同步性能 区域为您实时展示增量同步的信息，您可以在 增量同步监控 区域的右上角，过滤 近 1 小时、最近一天、最近一周 和自定义时间段的增量同步数据，分段和实时地查看同步性能的变化。参数 描述 延迟 源端增量变更被同步至目标端的...
概述
若集群中某些库表的数据几乎没有更新、插入和修改操作，且读取频率非常低，如果您有降本需求，可以使用 PolarDB MySQL版 提供的冷数据归档功能，将这部分数据转存至低成本的OSS上存储，以降低数据存储成本。本章节介绍了冷数据归档方法、...
慢日志分析
慢日志问题极大地影响数据库的稳定性，当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过...
使用DTS将华为云文档数据库迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将华为云文档数据库迁移至阿里云MongoDB实例。DTS支持全量数据迁移及增量数据迁移，同时使用这两种迁移类型可以实现在本地应用不停服的情况下，平滑地完成数据库迁移。前提...
数据投递
数据传输服务DTS（Data Transmission Service）提供的数据投递功能，用户可以通过SDK将各种类型的数据源投递到DTS，再由DTS同步至目标数据库，从而支持更多类型的数据源。应用场景 数据投递功能适用于以下任一场景：源端为DTS同步方案暂不...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
本文为您介绍如何使用数据传输迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库 MySQL 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输...
产品架构
云数据库SelectDB版 存储用于存放全量数据，支持通过Stage分段批量导入数据、通过S3协议导入对象文件或者通过JDBC连接集群后执行SQL dump方式导入数据。除此之外，云数据库SelectDB版 存储 还支持响应集群的低频读写请求。
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据迁移至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
MongoDB（无分片键）迁移至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据迁移至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
数据传输服务DTS（Data Transmission Service）支持在源端MongoDB的数据中分片键字段缺失的情况下，将数据同步至分片集群架构的MongoDB中，并指定分片键的默认值。本文以 云数据库MongoDB版（副本集架构）为源且 云数据库MongoDB版（分片...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将SQL Server同步至云原生数据仓库AnalyticDB PostgreSQL，帮助您轻松实现数据的流转，集中分析企业数据。前提条件 快速创建RDS SQL Server实例，支持的版本，请参见 同步方案概览。重要 ...
什么是数据传输服务DTS
数据传输服务DTS（Data Transmission Service）是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助您构建...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将SQL Server同步至云原生数据仓库AnalyticDB PostgreSQL，帮助您轻松实现数据的流转，集中分析企业数据。前提条件 快速创建RDS SQL Server实例，支持的版本，请参见 同步方案概览。重要 ...
使用DTS将华为云文档数据库迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将华为云文档数据库迁移至阿里云MongoDB实例。DTS支持全量数据迁移及增量数据迁移，同时使用这两种迁移类型可以实现在本地应用不停服的情况下，平滑地完成数据库迁移。前提...
功能特性
多可用区部署 备份恢复 Lindorm宽表引擎支持数据备份恢复功能，基于数据生态服务中的数据迁移将数据存储至OSS中，定期全量备份数据，实时增量同步数据，来满足对数据备份和数据恢复的需求。备份恢复 产品生态 功能集 功能 功能描述 参考...
从Amazon RDS for PostgreSQL全量迁移至阿里云
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
从Amazon RDS SQL Server全量迁移至阿里云
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
使用DTS将腾讯云MongoDB增量迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将腾讯云MongoDB副本集实例增量迁移至阿里云。DTS支持全量数据迁移和增量数据迁移，同时使用这两种迁移类型可以实现在不停服的情况下，平滑地完成腾讯云MongoDB数据库的...
使用DTS将腾讯云MongoDB副本集实例全量迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将3.2版本的腾讯云MongoDB副本集实例全量迁移至阿里云。背景信息 当您因业务调整或需要使用阿里云MongoDB特性功能时，您可以使用DTS工具，通过 全量数据迁移 方法，将3.2...
使用DTS将MongoDB Atlas数据库迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将MongoDB Atlas数据库增量迁移至阿里云。DTS支持全量数据迁移和增量数据迁移，同时选择这两种迁移类型可以实现在不停服的情况下，平滑地完成MongoDB Atlas数据库的迁移。...
使用DTS将MongoDB Atlas数据库迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将MongoDB Atlas数据库增量迁移至阿里云。DTS支持全量数据迁移和增量数据迁移，同时选择这两种迁移类型可以实现在不停服的情况下，平滑地完成MongoDB Atlas数据库的迁移。...
数据集成概述
离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
RDS术语
A AliPG 阿里云支持一系列兼容PostgreSQL的云数据库服务产品，这些云数据库服务采用统一的数据库内核（简称AliPG），AliPG兼容PostgreSQL开源数据库，于2015年正式商用，支持PostgreSQL主流大版本，已稳定运行多年，支撑了大量阿里巴巴集团...
查询审计日志
本文介绍如何查询云数据库MongoDB的审计日志信息。前提条件 已开通审计日志，如何开通，请参见 开通审计日志。查询审计日志 登录 MongoDB管理控制台。根据实例类型，在左侧导航栏，单击 副本集实例列表 或 分片集群实例列表。在页面左上角...
使用DTS将腾讯云MongoDB增量迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将腾讯云MongoDB副本集实例增量迁移至阿里云。DTS支持全量数据迁移和增量数据迁移，同时使用这两种迁移类型可以实现在不停服的情况下，平滑地完成腾讯云MongoDB数据库的...
RDS术语
DMS Data Management，数据管理，是一种阿里云提供的图形化的数据管理工具，集数据管理、结构管理、访问安全、BI图表、数据趋势、数据轨迹、性能与优化和服务器管理于一体的数据管理服务。支持MySQL、SQL Server、PostgreSQL、MongoDB、...
使用DTS将腾讯云MongoDB副本集实例全量迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将3.2版本的腾讯云MongoDB副本集实例全量迁移至阿里云。背景信息 当您因业务调整或需要使用阿里云MongoDB特性功能时，您可以使用DTS工具，通过 全量数据迁移 方法，将3.2...
从腾讯云MySQL迁移至阿里云
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
- 产品推荐
- 这些文档可能帮助您