Dataphin管道任务抽取rdbms类数据库数据，切分键使用...
但是去掉切分键后，再运行任务数据量一致 问题描述 客户管道任务抽取SqlServer数据时，查询来源表数据总数和管道任务同步的数据总数不一致。查询来源表数据总数：该任务运行成功，但任务读取写入数据总数如下：客户把切分键去掉数据量就...
元数据抽取
OSS路径 指定待抽取数据的OSS目录。排除模式 排查指定OSS目录下的文件，支持正则匹配。解析格式 支持json、csv、parquet、orc、hudi、delta、avro中某一类格式进行抽取，或采用自动识别模式会对数据文件自动解析。目标数据库 抽取获取的...
Quick BI关于图表查优的相关方法和功能实现介绍
二、Quick BI引擎（抽取加速）：抽取加速基于您的数据集查询结果集，将数据从用户数据库抽取到Quick BI引擎中内部存储，实现查询加速的效果（公共云SaaS环境不同版本对于抽取容量和单次抽取数量有不同限制，独立部署用户需单独购买该功能）...
DROP DATABASE
DROP DATABASE用于移除一个数据库。简介 DROP DATABASE 移除一个数据库。它会移除该数据库的系统目录项并且删除包含数据的文件目录。它只能由数据库拥有者执行。当你已经连接到目标数据库时，它不能被执行（连接到 postgres 或者任何其他...
（可选）创建数据库账号并添加权限
命令如下：db.createUser({user:"test",pwd:"123456Aa",roles:[{role:"read",db:"admin"}]})说明 更多权限说明，请参见 数据库账号的角色说明。返回结果中 ok 取值为 1.0 时，表示创建成功，其他取值表示创建失败。创建成功后，您可以在DMS...
（可选）创建数据库账号并添加权限
命令如下：db.createUser({user:"test",pwd:"123456Aa",roles:[{role:"read",db:"admin"}]})说明 更多权限说明，请参见 数据库账号的角色说明。返回结果中 ok 取值为 1.0 时，表示创建成功，其他取值表示创建失败。创建成功后，您可以在DMS...
（可选）创建数据库账号并添加权限
命令如下：db.createUser({user:"test",pwd:"123456Aa",roles:[{role:"read",db:"admin"}]})说明 更多权限说明，请参见 数据库账号的角色说明。返回结果中 ok 取值为 1.0 时，表示创建成功，其他取值表示创建失败。创建成功后，您可以在DMS...
数据库分组
若您需要在SQL变更或结构设计中快速载入多个数据库，可以创建一个数据库分组，将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。本文介绍如何创建数据库分组。背景信息 当您的业务部署在多个地域，且存在多个数据库时，您每次做...
数据迁移方案概览
使用场景 相关操作 将自建数据库迁移到云数据库 使用DTS将自建PostgreSQL迁移到RDS PostgreSQL 使用pg_dump和pg_restore将自建PostgreSQL迁移到RDS PostgreSQL 第三方数据库迁移到云数据库 从Amazon RDS for PostgreSQL增量迁移至阿里云 从...
新建 MySQL 数据源
数据库实例 从 数据库实例 下拉列表中，选择目标数据库实例。公网 IP 自建数据库 主机 IP 数据库宿主机的 IP。端口 数据库宿主机 IP 的端口号。共有参数 数据源标识 建议使用中文、数字和字母的组合。名称中不能包含空格，长度限制为 32 个...
管理插件
本文介绍如何通过RDS控制台管理RDS PostgreSQL的插件，包括插件的筛选、安装、卸载、升级以及将插件应用到其他数据库等操作。前提条件 实例大版本为PostgreSQL 10或以上版本。实例内核小版本为20230330及以上。查看和升级内核小版本，请...
使用MongoDB工具将MongoDB Atlas迁移至阿里云
备份文件中如有多个数据库，需要重复本步骤进行其它数据库的恢复。database_backupfile_directory>：数据库备份文件所在的目录。示例：恢复数据库备份文件中的mongodbtest数据库 mongorestore-host dds-bp*-pub.mongodb.rds.aliyuncs....
支持的数据源
DBS支持添加阿里云数据库、自建库、其他云厂商等各种环境中的MySQL、SQL Server、PostgreSQL、Oracle、MongoDB、Redis等类型的数据源。数据源是待备份的数据库或文件路径，数据源信息包含数据源名称、数据源所在地域、数据库类型、数据库的...
同步数据
分析型数据库MySQL版支持多种数据加载方式，包括但不限于：通过阿里云数据传输服务DTS将MySQL/DRDS中的数据导入分析型数据库MySQL版，其中MySQL可为RDS for MySQL、其他云厂商或线上IDC的自建MySQL以及ECS自建MySQL。详细操作步骤请参见 ...
数据库监控
数据库监控指标表 监控指标 参数 说明 QPS qps PolarDB-X 1.0 实例所选数据库每秒处理的SQL语句数目的总和。活跃连接数 con 应用到 PolarDB-X 1.0 实例所选数据库的连接总数。活跃线程 thread PolarDB-X 1.0 实例中目标数据库用来执行SQL的...
数据归档OSS
单击 确定 并刷新当前页面，在线数据库将进入转冷存数据库阶段，数据库状态将从 运行中 变为 冷存中。步骤三：将冷存数据库转为在线数据库 访问 RDS实例列表，在上方选择地域，然后单击目标实例ID。在左侧导航栏单击 数据库管理。单击目标...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
OCS与数据库结合使用示例
从MySQL中查询数据.Key=non-beijing,Value=7 从OCS中读取数据.Key=non-beijing,Value=7 从OCS中读取数据.Key=non-beijing,Value=7 从OCS中读取数据.Key=non-beijing,Value=7 …… …… 从结果可以看出，程序第1次是从MySQL数据库当中查询...
实例画像
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
新建 Oracle 数据源
数据库实例 从 数据库实例 下拉列表中，选择目标数据库实例。公网 IP 自建数据库 主机 IP 数据库宿主机的 IP。端口 数据库宿主机 IP 的端口号。共有参数 数据源标识 建议使用中文、数字和字母的组合。名称中不能包含空格，长度限制为 32 个...
数据库高级特性管理
您可以在RDS管理控制台查看或修改数据库中的各类属性，也可以手动收缩数据库事务日志和更新数据库统计信息，以优化数据库性能和提高查询效率。前提条件 已创建数据库。创建方法，请参见 创建数据库。实例所在地域必须在：华东1（杭州）、...
连接PostgreSQL实例
数据库名 可选，需要连接的数据库名，postgres是RDS PostgreSQL实例默认的系统数据库，请勿在该数据库中进行任何操作，建议配置RDS实例下已创建的其他数据库。如何创建和查看数据库，请参见 创建数据库。应用程序连接 说明 本文以Maven项目...
连接PostgreSQL实例
数据库名 可选，需要连接的数据库名，postgres是RDS PostgreSQL实例默认的系统数据库，请勿在该数据库中进行任何操作，建议配置RDS实例下已创建的其他数据库。如何创建和查看数据库，请参见 创建数据库。应用程序连接 说明 本文以Maven项目...
Babelfish简介
当您希望在单一的数据库实例中同时使用SQL Server和PostgreSQL能力，或计划将现有应用从SQL Server迁移到更具成本效益的PostgreSQL时，Babelfish for RDS PostgreSQL实现了对T-SQL语句和TDS协议的支持。本文从产品特性、架构、适用场景以及...
ECS自建数据库的灾备与安全
恢复任意1秒的数据 数据库恢复前1秒状态，而不是昨天状态。存储成本 压缩比可达30%，并自动归档到更便宜存储。备份集可验证 备份集支持SQL语句界面查询，无需恢复到数据库。异地的备份恢复 2000KM以上远距离备份，可恢复到本地或异地。同机...
什么是RDS PostgreSQL
RDS PostgreSQL 阿里云关系型数据库RDS（Relational Database Service）支持PostgreSQL引擎，RDS PostgreSQL的优点主要集中在对SQL规范的完整实现以及丰富多样的数据类型支持，包括JSON数据、IP数据和几何数据等。除了完美支持事务、子查询...
迁移
PolarDB-X 提供了评估迁移工具，帮助您将数据库从 PolarDB-X 1.0 迁移至 PolarDB-X 2.0。相关概念 源实例：待迁移的 PolarDB-X 1.0 实例。源数据库（源库）：源实例中要进行迁移的数据库。目标实例：要迁移至的 PolarDB-X 2.0实例。目标...
自建数据库异地备份
本文也适用于其他数据库类型的自建库，例如自建Oracle、SQL Server数据库等，关于其他备份参数的详细说明请参见 具体备份链路文档。创建备份计划 购买时，进行如下操作：选择 备份实例地域 为要存放备份数据的地域，本示例选择华北2。选择 ...
PolarDB Serverless实现了哪些突破
在国际数据库顶级会议2021 ACM SIGMOD上，一篇标题为《PolarDB Serverless:A Cloud Native Database for Disaggregated Data Centers》的论文，介绍了阿里云自研数据库 PolarDB 基于计算存储分离，实现的最新Serverless技术架构研究进展。...
适用场景
但从数据库自身角度出发，业务使用的SQL语句、数据类型、事务、索引、其他功能均是确定的。对于大部分业务而言，只要SQL语法、数据类型、事务、索引支持较为完整，且具备有效手段可在各种极端场景下进行水平扩展，那么对于高速发展的业务而...
pg_dump
pg_dump是 PolarDB PostgreSQL版（兼容Oracle）提供的一种逻辑备份工具，用于将集群中的单个数据库备份为脚本文件或其他存档文件。简介 pg_dump用于备份单个数据库。即使当前数据库正在被访问，也会对正在访问的数据进行一致的备份，并且在...
跨境SaaS:深圳市易仓科技有限公司
PolarDB 采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍深圳市...
PyMySQL 连接 OceanBase 数据库示例程序
本文将介绍如何使用 PyMySQL 库和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入数据、查询数据和删除表等。点击下载 python-pymysql 示例工程 前提条件 您已安装 Python 3.x 和 pip。您已安装 OceanBase ...
我是DBA
解决方案 数据归档 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建工单...
数据归档概述
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
Schema探索
示例二：运行不带有ON子句的SHOW RETENTION POLICIES查询 使用 USE<database_name>指定数据库>USE NOAA_water_database Using database NOAA_water_database>SHOW RETENTION POLICIES name duration shardGroupDuration replicaN default-...
设置透明数据加密TDE
推荐使用透明数据加密TDE（Transparent Data Encryption）功能，对数据文件执行实时I/O加密和解密，确保敏感数据在写入磁盘之前进行加密，从磁盘读入内存时进行解密，阻止可能的攻击者绕过数据库直接从存储中读取敏感信息，有效提高数据库...
RDS SQL Server空间不足问题
RDS SQL Server实例的空间使用率是日常需要重点关注的监控项之一，实例的存储空间不足，会导致严重后果，例如数据库无法写入、数据库无法备份、存储空间扩容任务耗时过长等。本文介绍如何查看空间使用情况以及排查空间问题。查看空间使用...
同数据库归档
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
- 产品推荐
- 这些文档可能帮助您