PolarDB PostgreSQL版（兼容Oracle）间的迁移
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
概述
背景信息 在大数据生态系统中，Alluxio位于数据驱动框架或应用（例如Apache Spark、Presto、TensorFlow、Apache Flink和Apache Hive等）和各种持久化存储系统（例如HDFS和阿里云OSS）之间，使得上层的计算应用可以通过统一的客户端API和...
新零售：特步
解决方案 通过 PolarDB-X+RDS的分布式数据库解决方案支撑O2O全渠道业务中台系统上线，通过垂直拆分剥离各业务中心，使不同类型的业务数据可以存储在不同的RDS上，确保资源和访问隔离，从物理上使整个数据库架构具备了扩展性。通过这套架构...
术语表
链路数据（Trace）链路数据代表一个事务或者流程在（分布式）系统中的执行过程。更多信息，请参见 链路数据（Trace）。分区（Shard）分区用于控制Logstore的读写能力，数据必定保存在某一个Shard中。每个Shard均有范围，为MD5左闭右开区间...
客户案例
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户架构如下。客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台...
规格及选型
案例二：互联网SaaS用户 用户为互联网SaaS客户，需要建立数据中台，涉及多数据源包括RDS、Flink、OSS等，期待在平台上完成数据的ETL流程，实现多源处理以及分析侧不同场景的混合负载支持，需要高稳定性保证，同时平台对接数据应用支持报表...
基于Delta lake的一站式数据湖构建与分析实战
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...
RDS迁移至MaxCompute实现动态分区
本文为您介绍如何使用DataWorks数据集成同步功能自动创建分区，动态地将RDS中的数据迁移至MaxCompute大数据计算服务。前提条件 准备DataWorks环境 开通MaxCompute。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 ...
使用DMS数据追踪进行恢复
恢复全量数据 恢复全量数据到新实例，验证数据后，再将数据迁回原实例、其他实例或本地数据库。收取新建实例费用。具体费用请参见实例售卖页。收取免费额度之外的备份费用。具体费用请参见 备份费用。数据通过公网迁出收取流量费用。具体...
RDS MySQL修改字符集（平滑方案）
由于业务需求，需要变更表的字符集（例如从gbk变更为utf8mb4），如果直接使用ALTER命令修改字符集会锁表，当数据表过大时，对业务的影响较大。本文介绍的操作方法需要先在目标实例中创建表结构信息（新字符集），再通过DTS将源实例的数据...
什么是DataWorks
世界500强亿滋中国：通过DataWorks智能数据建模进行全链路的数据模型治理，极大提升数据中台的自服务能⼒，让企业数据决策实现下放，释放新零售的数字化力量。上市公司创梦天地：基于开源的EMR引擎，用DataWorks替换自研调度系统，企业内部...
自定义SQL Console的使用规范
DMS提供功能强大的SQL Console，轻松实现对数据库读、写操作。同时，您可以结合安全规则，自定义配置SQL Console查询规范。本文将以 POC_dev 实例（相关配置参见 准备工作 和 结构设计）为操作对象向您介绍SQL Console的部分使用规范。前提...
从自建SQL Server全量迁移至RDS SQL Server
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
使用DTS将MongoDB Atlas数据库迁移至阿里云
迁移类型说明 迁移类型 说明 全量数据迁移 将源MongoDB数据库迁移对象的存量数据全部迁移到目标MongoDB数据库中。说明 支持迁移database、collection和index。增量数据迁移 在全量迁移的基础上，将源MongoDB数据库的增量更新数据同步到目标...
使用DTS将MongoDB Atlas数据库迁移至阿里云
迁移类型说明 迁移类型 说明 全量数据迁移 将源MongoDB数据库迁移对象的存量数据全部迁移到目标MongoDB数据库中。说明 支持迁移database、collection和index。增量数据迁移 在全量迁移的基础上，将源MongoDB数据库的增量更新数据同步到目标...
通过数据闪回按时间点恢复数据
开启数据闪回后，在备份文件的保存期内，您可以将实例整体或指定Key的数据恢复至某个秒级的时间点（PITR，point-in-time recovery），同时支持选择将数据恢复至新实例或当前实例。数据闪回功能拥有更精细化的数据恢复能力，能最大程度地...
从自建SQL Server增量迁移至RDS SQL Server
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
通过数据闪回按时间点恢复数据
开启数据闪回后，在备份文件的保存期内，您可以将实例整体或指定Key的数据恢复至某个秒级的时间点（PITR，point-in-time recovery），同时支持选择将数据恢复至新实例或当前实例。数据闪回功能拥有更精细化的数据恢复能力，能最大程度地...
使用DTS将腾讯云MongoDB副本集实例全量迁移至阿里云
费用说明 迁移类型 链路配置费用 公网流量费用 全量数据迁移 不收费 不收费 迁移类型说明 全量数据迁移：将源MongoDB数据库迁移对象的存量数据全部迁移到目标MongoDB数据库中。说明 支持database、collection、index的迁移。迁移权限要求 ...
使用DTS将腾讯云MongoDB副本集实例全量迁移至阿里云
费用说明 迁移类型 链路配置费用 公网流量费用 全量数据迁移 不收费 不收费 迁移类型说明 全量数据迁移：将源MongoDB数据库迁移对象的存量数据全部迁移到目标MongoDB数据库中。说明 支持database、collection、index的迁移。迁移权限要求 ...
恢复数据库
数据库备份DBS 提供数据恢复能力，通过创建恢复任务将已完成备份的数据恢复到云数据库、本地数据库或DBS沙箱中，可用于误操作后恢复以及分析历史数据等场景。前提条件 DBS备份计划的运行状态为 运行中。已完成数据库备份。相关操作，请参见...
从自建Redis迁移至阿里云Redis
说明 如仅执行全量数据迁移，则为保障数据一致性，全量数据迁移期间请勿在自建Redis数据库中执行DDL操作。增量数据迁移 在全量数据迁移的基础上，DTS将自建Redis数据库的增量更新数据到阿里云Redis实例中。通过增量数据迁移可以实现在应用...
MongoDB逻辑备份
有公网IP:Port的自建数据库 ECS上的自建数据库 云数据库MongoDB 通过专线/VPN网关/智能网关接入的自建数据库 无公网IP:Port的自建数据库（通过数据库网关DG接入）说明 当您选择云数据库MongoDB时，系统会自动从备库读取数据进行全量备份。...
将ECS上分片集群架构的自建MongoDB迁移上云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将ECS上分片集群架构的自建MongoDB数据迁移至阿里云MongoDB实例中。通过DTS的增量迁移功能，可以实现在应用不停服的情况下，平滑完成数据库的迁移。本文为旧版DTS迁移操作...
使用DTS将腾讯云MongoDB增量迁移至阿里云
不收取 迁移类型说明 全量数据迁移：将源MongoDB数据库迁移对象的存量数据全部迁移到目标MongoDB数据库中。说明 支持database、collection、index的迁移。增量数据迁移：在全量迁移的基础上，将源MongoDB数据库的增量更新数据同步到目标...
恢复全量数据
如果您拥有原实例的数据备份和日志备份，可以将其恢复到新实例中，可用于误操作后恢复以及分析历史数据等场景。前提条件 原实例需要满足如下条件：实例运行状态为 运行中 且没有被锁定。当前没有进行中的迁移任务。已完成备份。RDS默认有...
使用DTS将腾讯云MongoDB增量迁移至阿里云
不收取 迁移类型说明 全量数据迁移：将源MongoDB数据库迁移对象的存量数据全部迁移到目标MongoDB数据库中。说明 支持database、collection、index的迁移。增量数据迁移：在全量迁移的基础上，将源MongoDB数据库的增量更新数据同步到目标...
备份集自动归档到备份服务器
此时，系统不会下载历史的备份数据，当之后有新的备份数据（全量与增量）生成后，系统会触发自动下载。当下载完成后，您需要对下载的文件进行解压操作，默认情况下，文件被压缩在<下载任务ID>.tar.gz 文件中。命令行方式的解压命令如下：...
从自建PostgreSQL（10.0及以下版本）增量迁移至RDS ...
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
文档修订记录
QueryPublicModelEngine 2023.10.20 新增功能 上传与下载 DataWorks的上传与下载模块，提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您...
功能特性
BI工具对接 数据传输迁移 MaxCompute提供多种渠道，以便从业务系统或外部数据源写入数据到MaxCompute，或者从MaxCompute写出数据到外部系统或外部数据源。功能集 功能 功能描述 参考文档 上传数据 Tunnel（离线）MaxCompute的客户端...
PolarDB PostgreSQL版间的迁移
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：结构一致的情况下，如在目标库遇到与源库主键或唯一键的值相同的记录：全量期间，DTS会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库中...
安全白皮书
数据恢复 从备份集恢复至新实例：支持根据指定的RDB备份文件创建新实例，新实例中的数据将和该备份文件中的数据一致，可用于数据恢复、快速部署业务或数据验证等场景。通过数据闪回按时间点恢复数据：Tair 除支持通过RDB快照执行数据备份和...
安全白皮书
数据恢复 从备份集恢复至新实例：支持根据指定的RDB备份文件创建新实例，新实例中的数据将和该备份文件中的数据一致，可用于数据恢复、快速部署业务或数据验证等场景。通过数据闪回按时间点恢复数据：Tair（企业版）除支持通过RDB快照执行...
迁移MongoDB实例至其他地域
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现全量数据迁移和增量数据迁移MongoDB副本集实例至其他地域，全量数据迁移MongoDB单节点实例至其他地域。前提条件 源实例类型为单节点实例或副本集实例。如果源实例为分...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
迁移MongoDB实例至其他地域
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现全量数据迁移和增量数据迁移MongoDB副本集实例至其他地域，全量数据迁移MongoDB单节点实例至其他地域。前提条件 源实例类型为单节点实例或副本集实例。如果源实例为分...
RDS MySQL物理备份文件恢复到自建数据库
技术实现 本文介绍的物理备份恢复方式主要是通过如下流程实现的：在RDS MySQL的管理控制台中，对数据库进行全量物理备份。将物理备份文件下载到本地，然后通过 qpress 工具进行解压。使用 Percona XtraBackup 工具，将解压后的备份文件恢复...
发布管理&快照管理
前提条件 已登录DataV控制台 已进入画布编辑器页面 发布数据看板 在 画布编辑器 页面右上角，单击 发布，进入发布页面。在 发布 弹窗中，单击 发布大屏。说明 单击发布后，发布页内容会被锁定，编辑后可通过“快照管理”快速同步发布内容。...
RDS术语
本文介绍云数据库RDS中的相关名词和术语。A 安全组 安全组是一种虚拟防火墙，用于控制安全组中的ECS实例的出入流量。在RDS白名单中添加安全组后，该安全组中的ECS实例就可以访问RDS实例。更多信息，请参见 设置安全组。按量付费 后付费，即...
- 产品推荐
- 这些文档可能帮助您