数据迁移与同步FAQ
对比项 DTS数据迁移 DTS数据同步 适用场景 主要用于迁移数据上云，例如将本地数据库、ECS上的自建数据库或第三方云数据库迁移至阿里云Redis实例。主要用于两个Redis数据库之间的数据实时同步，例如从实例A同步至实例B。可用于异地多活、...
如何选用数据库类产品
数据库类产品对比介绍 阿里云电子政务云的数据库包括关系型数据库、NoSQL型数据库，其中每类数据库又分基础版、高可用版、集群版，分别可用于不同的政务场景。以RDS为例，下表为您对比介绍基础版、高可用版、集群版分别可用于什么样的政务...
RDS(MySQL)
读取数据库数据%spark import java.sql.{Connection,DriverManager,PreparedStatement} import java.util.Properties import org.apache.spark.sql.types.{IntegerType,StringType,StructField,StructType} import org.apache.spark.sql.{...
下载数据备份和日志备份
为了保障用户权益，RDS SQL Server提供了未加密的数据备份和日志备份下载，方便用户存档，也可用于恢复到本地数据库。说明 数据备份和日志备份的详情说明，请参见 备份功能说明。功能限制 只读RAM用户（即被授权了 AliyunRDSReadOnlyAccess...
读写分离简介
为了实现弹性扩展的读取能力，并分担数据库压力，RDS SQL Server支持通过创建一个或多个只读实例来实现读写分离，通过只读实例满足大量的数据库读取需求，可以增加应用程序的吞吐量。简介 RDS SQL Server基于源生AlwaysOn技术，通过物理...
数据集成支持的数据源
例如，将本地数据库MySQL的数据迁移至阿里云数据库RDS中。整库迁移 适用于将本地数据中心或在ECS上自建的数据库，同步数据至离线数仓（Hive）、大数据计算服务等场景。例如，将ECS上自建的MySQL数据库的数据迁移至MaxCompute中。实时集成 ...
什么是云备份
一级特性 二级特性 三级特性 关键特性 相关文档 备份 本地数据备份上云 本地数据库备份 支持MySQL、Oracle、SQL Server数据库 支持预检 支持全量、增量、日志和实时备份 快速入门-本地数据库备份 功能概览（本地数据库）本地文件备份 支持...
部署方案
云数据库 OceanBase 支持包年包月和按量付费两种付费方式，部署方案支持多机房部署、双机房部署和单机房部署三种部署方案。高可用版本 多机房部署 云数据库 OceanBase 多机房部署指将三个节点部署在三个不同可用区，实现跨可用区容灾。每个...
使用DTS将MongoDB Atlas数据库迁移至阿里云
将对应地区DTS服务的IP地址添加到安全规则中，更多信息请参见 添加IP地址 和 迁移、同步或订阅本地数据库时需添加的IP白名单。说明 执行此步骤将允许DTS访问您的MongoDB Atlas数据库，迁移完成后请删除该规则。操作步骤（新版控制台）进入...
Apache ShardingSphere-Proxy与PolarDB多主集群（库表...
原理图如下所示：如果仅使用ShardingSphere，在需要提升数据库集群读写能力时，需要先使用传统数据库运维手段进行数据复制和备份恢复，再配合业务系统停写、规则切换、数据验证、业务系统恢复等步骤来提升数据库集群的读写能力，其中，数据...
如何使用RPA操作MySQL数据库
fileds_mapping=[db.GdpDemo.quarter,db.GdpDemo.gdp_abs,db.GdpDemo.gdp_yoy_growth,db.GdpDemo.pri_industry,db.GdpDemo.pi_yoy_growth,db.GdpDemo.sec_industry,db.GdpDemo.si_yoy_growth,db.GdpDemo.thi_industry,db.GdpDemo.ti_yoy_...
跨实例查询
a|b|c-+-+-2|12|t1 3|13|t1 4|14|t1 7|17|t1 8|18|t1 1|11|t1 5|15|t1 6|16|t1 9|19|t1 10|20|t1(10 rows)性能测试 以下内容为跨实例查询的TPC-H性能测试，测试数据量为1 TB，并分别在数据库本地和目标端数据库中执行查询。大数据场景...
功能特性
基础备份 满足自动化、可恢复的最小备份能力 功能集 功能 功能描述 参考文档 备份恢复 全量备份 支持数据库全量数据备份。DBS全量备份 RDS全量备份 PolarDB全量备份 MongoDB全量备份 Redis全量备份 日志备份 支持数据库增量日志备份。DBS...
挂载NAS
完成 NAS 挂载后，对挂载目录里数据的读写行为将和读写本地数据完全相同。2.说明 网络限制：批量计算仅支持专有网络(Vpc)类型的挂载点，且集群必须和待挂载的 NAS 在同一个专有网络(Vpc)内；文件系统限制：批量计算仅支持 NFS 类型的 NAS ...
分层存储命令使用说明
常用命令如下：Cache命令 Uncache命令 Archive命令 Unarchive命令 Status命令 ls2命令 Cache命令 Cache命令可以备份对应路径的数据至本集群的磁盘，以便于后续可以读取本地数据，无需读取OSS上的数据。jindo jfs-cache-p<path>-p 参数可以...
分层存储命令使用说明
常用命令如下：Cache命令 Uncache命令 Archive命令 Unarchive命令 Status命令 ls2命令 Cache命令 Cache命令可以备份对应路径的数据至本集群的磁盘，以便于后续可以读取本地数据，无需读取OSS上的数据。jindo jfs-cache-p<path>-p 参数可以...
分层存储命令使用说明
常用命令如下：Cache命令 Uncache命令 Archive命令 Unarchive命令 Status命令 ls2命令 Cache命令 Cache命令可以备份对应路径的数据至本集群的磁盘，以便于后续可以读取本地数据，无需读取OSS上的数据。jindo jfs-cache-p<path>-p 参数可以...
分层存储命令使用说明
常用命令如下：Cache命令 Uncache命令 Archive命令 Unarchive命令 Status命令 ls2命令 Cache命令 Cache命令可以备份对应路径的数据至本集群的磁盘，以便于后续可以读取本地数据，无需读取OSS上的数据。jindo jfs-cache-p<path>-p 参数可以...
分层存储命令使用说明
常用命令如下：Cache命令 Uncache命令 Archive命令 Unarchive命令 Status命令 ls2命令 Cache命令 Cache命令可以备份对应路径的数据至本集群的磁盘，以便于后续可以读取本地数据，无需读取OSS上的数据。jindo jfs-cache-p<path>-p 参数可以...
分层存储命令使用说明
常用命令如下：Cache命令 Uncache命令 Archive命令 Unarchive命令 Status命令 ls2命令 Cache命令 Cache命令可以备份对应路径的数据至本集群的磁盘，以便于后续可以读取本地数据，无需读取OSS上的数据。jindo jfs-cache-p<path>-p 参数可以...
通过VPN网关实现本地IDC与DTS云服务互通
关于DTS地址段的更多信息，请参见 迁移、同步或订阅本地数据库时需添加的IP白名单。对端网段 输入VPN网关实例关联的VPC实例要访问的对端的网段。输入 172.16.0.0/12。立即生效 选择IPsec连接的配置是否立即生效。取值：是：配置完成后立即...
分层存储命令使用说明
常用命令如下：Cache命令 Uncache命令 Archive命令 Unarchive命令 Status命令 ls2命令 Cache命令 Cache命令可以备份对应路径的数据至本集群的磁盘，以便于后续可以读取本地数据，无需读取OSS上的数据。jindo jfs-cache-p<path>-p 参数可以...
分层存储命令使用说明
常用命令如下：Cache命令 Uncache命令 Archive命令 Unarchive命令 Status命令 ls2命令 Cache命令 Cache命令可以备份对应路径的数据至本集群的磁盘，以便于后续可以读取本地数据，无需读取OSS上的数据。jindo jfs-cache-p<path>-p 参数可以...
通过DTS导入数据
DTS支持迁移全量数据及增量数据，您可以通过DTS迁移MySQL数据库（例如自建MySQL、RDS MySQL和PolarDB MySQL）同步或迁移至 云数据库 SelectDB 版，并在 云数据库 SelectDB 版 上完成亚秒级响应海量数据查询、万级高并发点查询以及高吞吐...
创建只读实例（MySQL）
为了实现读取能力的弹性扩展，分担数据库压力，您可以创建一个或多个只读实例，利用只读实例满足大量的数据库读取需求，增加应用的吞吐量。前提条件 已创建MySQL实例，详情请参见 创建MyBase MySQL实例。背景信息 关于云数据库专属集群...
收缩膨胀表和索引（pg_squeeze）
例如，以rds_superuser的身份（必须是高权限用户）清理数据库 database1 和 database2：说明 清理前，已分别在数据库 database1 和 database2 中创建了pg_squeeze插件，详情请参见 创建和删除插件。squeeze.worker_autostart='database1 ...
集群系列
SQL Server集群系列 RDS SQL Server集群系列实例采用一主一备的高可用架构，基于SQL Server源生AlwaysOn技术，实现了计算与存储的分离，并支持在主实例中添加1~7个只读实例来实现读写分离，可满足大量的数据库读取需求。在集群系列实例中，...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
常见错误码及排查方法
请参见 迁移、同步或订阅本地数据库时需添加的IP白名单。检查账号是否具有远程登录权限。说明 修复完成后，需要重启任务。DTS-70004:execute statement failed:/*bg6l15vf29l1b0vMysqlEngine(16)*/insertinto `xxx`.`yyy`.error detail ...
MySQL
API种类 Datastream和SQL 是否支持更新或删除结果表数据 是 特色功能 MySQL的CDC源表，即MySQL的流式源表，会先读取数据库的历史全量数据，并平滑切换到Binlog读取上，保证不多读一条也不少读一条数据。即使发生故障，也能保证通过Exactly ...
聚合支付方案
阿里云从业务扩展性、数据流动性、服务高可用三方面入手，通过多款云数据库产品为利楚扫呗制定聚合支付方案，解决利楚扫呗在业务扩展期遇到的数据存储空间不足、读写性能下降以及大数据分析空缺等问题。业务痛点 武汉利楚商务服务有限公司...
基本概念
备份 通过 云备份 对ECS整机、ECS数据库、对象存储OSS、文件存储NAS、表格存储Tablestore、ECS文件、本地服务器文件、本地数据库等进行副本备份，并保存至 云备份 的云上备份库。当需要恢复时，从云上备份库恢复至备份源。备份库 用于存放...
自动备份
您可通过数据备份和日志备份恢复数据到已有实例、新实例或本地数据库中，详情请参见 数据恢复方案概览。本文介绍默认的备份功能，备份文件存储于实例所在地域。如需备份至其它地域，请参见 跨地域备份。您也可以通过API管理RDS实例备份策略...
使用数据库实现读写流量路由
MSE提供一种数据库访问的读写流量路由的方案，您可以在不需要修改业务代码的情况下，基于此功能实现数据库读写分离。本文介绍如何开启数据库读写流量路由和配置读写流量路由规则。前提条件 将ACK微服务应用接入MSE治理中心。背景信息 读写...
本地自建数据库迁移到ECS
说明 如果没有选择 增量数据迁移，为保障数据一致性，数据迁移期间，请勿在本地数据库中写入新的数据。全量迁移：选择 结构迁移 和 全量数据迁移。配置迁移对象。在 迁移对象 框中，单击要迁移的数据库对象（例如数据库、表或列），然后...
读取优化
Short-Circuit Local Read（已经默认开启）当前HDFS读取数据需要经过DataNode，开启Short-Circuit Local Read后，客户端可以直接读取本地数据。Hedged Read（已经默认开启）优先会通过Short-Circuit Local Read功能尝试本地读。但是在某些...
基本概念
本地IDC自建数据库：本地IDC自建数据库是部署在非云环境（如本地IDC、托管机房等）的数据库实例。阿里云ECS自建数据库：阿里云ECS自建数据库是部署在阿里云ECS上的数据库实例。集群：集群是一个或者多个相同数据库引擎（如MySQL、Oracle、...
功能特性
数据库文件存储 功能集 功能 功能描述 参考文档 DBFS特性 原子写 支持DIRECT IO的原子写，需按4K，8K，16K对齐-共享读写 一份数据可共享式多点挂载并进行读写，读写可线性扩展-存储加密 通过对数据库文件存储实施加密，可以确保数据库文件...
JINDODATA指标
local_read_bytes_total_window jindodata_metrics_jindofsx_ns_local_read_bytes_total_window 一段时间内读取本地存储的数据量。单位：Byte。remote_read_bytes_time_total_window jindodata_metrics_jindofsx_ns_remote_read_bytes_time...
自动故障转移和读写分离
read-write：只会连接到支持读写的数据库，即从第一个数据库开始尝试连接，如果连接后发现不支持读写，则会断开连接，然后尝试连接第二个数据库，以此类推，直至连接到支持读写的数据库。更多libpq的使用方法和参数说明请参见 Connection ...
- 产品推荐
- 这些文档可能帮助您