表设计最佳实践
使用阿里云DTS将数据从RDS等数据库同步到MaxCompute时，会创建全量表和增量表。在增量表进行数据插入的过程中，会因为每次数据插入条数较少而造成增量表中的小文件问题。例如，每隔5分钟执行1次同步，每次同步的数据量为10条，一天内的增量...
物化视图增量刷新（预览版）
权限要求 创建物化视图需要有数据库或表级别的CREATE权限。刷新物化视图需要有数据库或表级别的INSERT权限。需要有物化视图所涉及的所有表的相关列（或整个表）的SELECT权限。如果在创建物化视图时指定物化视图为自动刷新模式，需要具备...
RDS MySQL同步至云原生数据仓库 AnalyticDB ...
全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。如同步对象为单个或多个表（非整库），那么在数据同步时，勿对源库的同步对象使用pt-online-schema-change等类似...
将自建ClickHouse向企业版迁移
CREATE DATABASE db 使用源集群的 CREATE TABLE 语句，在目标数据库上创建表。CREATE TABLE db.table.在目标集群上创建表，使用来自源集群的 SELECT CREATE_TABLE_QUERY.的输出。允许源集群上的远程操作。为了从源集群到目的集群地读取数据...
DataStudio侧实时同步任务配置
实时同步整库增量数据时，同步方式选择 数据库变更数据同步（例如，数据库变更数据同步到MaxCompute）。路径 存放实时同步节点的目录。名称 节点名称必须是大小写字母、中文、数字、下划线（_）以及英文句号（.），且不能超过128个字符。...
实时同步数据库的数据至Hologres
同步类型 适用场景 支持的数据来源 数据源配置指导 同步任务配置指导 单表实时同步 适用于将源端部分表数据的变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。MySQL Binlog DataHub LogHub Kafka PolarDB SQL Server ...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
ODS层设计规范
ODS增量表 按天分区 有对应全量表，最多保留最近14天分区数据。无对应全量表，需要永久保留数据。ODS ETL过程临时表 按天分区 最多保留最近7天分区。DBSync非去重数据 按天分区 由应用通过中间层保留历史数据，默认ODS层不保留历史数据。...
连续查询
在数据库db_sensor_month中创建表sensor。USE db_sensor_month；CREATE TABLE sensor(device_id VARCHAR TAG,region VARCHAR TAG,time TIMESTAMP,temperature DOUBLE,humidity BIGINT);创建另一个数据库db_sensor_year，存储降精度后的数据...
数据传输预检查
错误信息 报错原因 解决办法 增量日志参数检查未通过，错误参数 supplemental_log_data_min=no 增量日志参数问题 在目标数据库，执行 alter database add supplemental log data;并重启数据库。增量日志参数检查未通过，错误参数 ...
数据引入层（ODS）
例如，不同业务系统的表可能是同一个名称，为区分两个不同的表，您可以将这两个同名表的来源数据库名称作为后缀或前缀。例如，表中某些字段的名称刚好和关键字重名了，可以通过规范定义后缀添加_col1 解决。建表示例 通过即席查询功能，您...
一键实时同步至Kafka
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
图编辑
数据源MaxCompute的iGraph表数据无需关注TTL。MaxCompute数据源+API更新，即全量+增量更新 为上述两种数据源的组合。构建程序从MaxCompute和SWIFT拖取数据构建索引。具备上述两种数据源的特性，即通过全量更新数据也会持续构建增量版本，...
2022-05-16版本
修复云数据库Hbase结果表数据异步乱序问题。修复双流Join中的空指针问题。修复MySQL CDC Connector写入Hudi时Checkpoint一直不成功的问题。优化了Kafka源表上报pendingRecords指标的计算逻辑。修复产品控制台界面部分成员名称不显示的问题...
查看集群日报与分析
RegionServer、写请求日环比增量 表相关信息 在表相关信息中展示表热点分区、表数据量、表分区数，以及表读写请求数等详细信息。存在分区热点的表详细信息 表分区均衡度倒排Top 表分区平均数据量倒排Top 表数据量Top 表数据量日环比Top 表...
创建OceanBase数据迁移项目时预检查失败并提示“增量...
问题描述 阿里云云数据库OceanBase在创建数据迁移项目时，会自动启动预检查环节，针对源端和目标端的数据库连通性、相关配置的正确性、增量日志参数等问题或设置进行检查。在预检查环节，预检查失败，增量日志参数检查未通过。解决方案 ...
MariaDB逻辑备份
数据库备份DBS 可满足MariaDB数据库的单表恢复、异地备份、长期归档等需求。本文介绍如何使用DBS备份RDS MariaDB或自建MariaDB数据库。创建备份计划 具体操作，请参见 创建备份计划。说明 购买时，选择数据源类型为 MariaDB，选择备份方式...
OceanBase 数据库 MySQL 租户的数据至 MySQL 数据库
本文为您介绍如何使用数据传输迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL 数据库。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输将主动...
分区表自动冷存
postgres 数据库中执行以下 SQL，为 db01 数据库创建一个名为 task1 的任务，该任务为每分钟检查子分区表数据，并自动将超过3个子分区的历史子分区转为冷存，并返回任务 ID：每分钟执行 postgres=>SELECT cron.schedule_in_database('task1...
分区表自动冷存
postgres 数据库中执行以下 SQL，为 db01 数据库创建一个名为 task1 的任务，该任务为每分钟检查子分区表数据，并自动将超过3个子分区的历史子分区转为冷存，并返回任务 ID：每分钟执行 postgres=>SELECT cron.schedule_in_database('task1...
配置备份计划
数据库所在位置 待备份数据库实例的所在位置，支持类型如下：RDS实例 有公网IP:Port的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能网关接入的自建数据库 PolarDB 无公网IP:Port的自建数据库(通过数据库网关DG接入)说明 本示例为...
CREATE DATABASE
CREATE DATABASE语句用于创建数据库，并可以指定数据库的默认属性（如数据库默认字符集，校验规则等）。语法 create_database_stmt:CREATE {DATABASE|SCHEMA}[IF NOT EXISTS]database_name[database_option_list]database_option_list:...
使用DBS和DG备份本地或第三方云数据库
数据库备份DBS支持通过数据库网关DG（Database Gateway）备份本地IDC或第三方云厂商的私网数据库到云存储，您只需简单几步即可将数据库低成本地接入至阿里云。完成接入后，在配置DBS的逻辑备份时，您可以直接将数据库网关中接入的数据库...
mysqldump
db-tables test_table-no-data 导出test_db1、test_db2数据库中所有表：mysqldump-h127.0.0.1-P9030-uroot-no-tablespaces-databases test_db1 test_db2 导出所有数据库和表：mysqldump-h127.0.0.1-P9030-uroot-no-tablespaces-all-...
SHOW TABLES
SHOW TABLES语句用于展示数据库中满足查询条件的所有表。在使用CREATE TABLE语句建表前，您可以通过SHOW TABLES语句查看...展示当前Database下匹配查询条件的所有表 展示当前数据库下表名以 sensor 开头的所有表。SHOW TABLES LIKE 'sensor%';
PolarDB-X 2.0迁移至DataHub
支持增量迁移的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL ADD COLUMN 数据库账号的权限要求 数据库 库表结构迁移 增量迁移 PolarDB-X 2.0 实例 SELECT权限 REPLICATION SLAVE、REPLICATION CLIENT及待迁移对象的SELECT...
迁移RDS SQL Server数据到本地SQL Server
获取解压后的全量备份文件和增量备份文件，本例以如下路径为例：全量备份文件存放路径：/tmp/testdb_datafull_201901071320.bak 增量备份文件存放路径：/tmp/testdb_datadiff_201901071330.bak 登录本地SQL Server数据库，通过备份文件查询...
CREATE DATABASE
CREATE DATABASE 用于创建一个新的PolarDB数据库。简介 CREATE DATABASE 创建一个新的PolarDB数据库。要创建一个数据库，你必须是一个超级用户或者具有特殊的 CREATEDB 特权。默认情况下，新数据库将通过克隆标准系统数据库 template1 被...
备份MySQL
增量备份 只备份增量部分数据库文件，备份内容是操作系统上增量数据库文件。恢复时只能恢复到具体备份的时间点。您可以选择立即或按指定时间备份一次，也可以选择按小时、按天、按星期或按月进行周期备份。重要 使用MyISAM引擎（MySQL 5.5...
备份SQL Server
累积增量备份 只备份增量部分数据库文件，备份内容是操作系统上数据库文件。恢复时只能恢复到具体备份的时间点。您可以选择立即或按指定时间备份一次，也可以选择按小时、按天、按星期或按月进行周期备份。重要 目前，在备份数据过期清理的...
跨库操作（dblink、postgres_fdw）
创建数据库 postgres=>\c<数据库名>/切换数据库 示例 postgres=>create database db1;CREATE DATABASE postgres=>\c db1 新建postgres_fdw插件。db1=>create extension postgres_fdw;新建用于连接远端目标数据库的服务器对象。db1=>CREATE ...
数据库对象的逻辑结构
AnalyticDB PostgreSQL 数据库由许多数据库对象组成，包括表（table）、索引（index）、序列（sequence）、视图（view）、以及数据库（database），数据库对象在逻辑上是彼此分离，相互之间可以有包含关系。一个 AnalyticDB PostgreSQL ...
从自建Redis迁移至阿里云Redis
DTS支持全量数据迁移以及增量数据迁移，同时使用这两种迁移类型可以实现在自建应用不停服的情况下，平滑地完成自建Redis数据库的迁移上云。前提条件 自建Redis数据库版本为2.8、3.0、3.2、4.0、5.0、6.0。自建Redis数据库为单机架构，暂不...
湖仓一体
云数据库SelectDB 也提供表函数功能（Table-Value-Function或TVF），支持把S3、HDFS等常见远端存储中的文件数据，映射成 云数据库SelectDB 中的表，从而方便地对这些文件数据进行分析，具体参见 文件分析。在本文中，主要介绍Catalog相关...
索引重建导数原理
RDS数据源+DTS增量+API推送 OpenSearch数据源+DTS增量+索引重建中API增量 OpenSearch数据源+RDS全量+DTS增量+索引重建中API增量 OpenSearch数据源+RDS全量+DTS增量+索引重建中API增量 OpenSearch数据源+主表条件过滤+DTS增量+索引重建中API...
GRANT
GRANT语法用于给授予指定权限，例如表的读写权限、数据库的所有权限等。适用引擎 GRANT语法适用于宽表引擎和时序引擎。无版本限制。语法 grant_permission_statement:=GRANT privilege_definition ON resource_definition TO user_...
创建备份策略模板
数据库备份DBS 支持用户自定义创建数据库备份策略模板，该模板包含备份方式、存储方式、备份频率、备份周期、备份开始时间等配置项。本文介绍创建备份策略模板的方法，帮助用户更好地管理数据库备份。操作步骤 访问 备份策略列表，在上方...
应用场景
应用更新无额外性能消耗 数据订阅通过解析数据库的增量日志来获取增量数据，不会对业务和数据库性能造成影响。业务异步解耦 传输方式：数据订阅 电商行业涉及下单系统、卖家库存、物流发货等多个业务逻辑。如果将这些逻辑全部在下单流程中...
跨Schema
使用示例 假设在某一 PolarDB-X 1.0 实例中，您创建了3个不同的数据库，每个数据库内分别有一张表，且每张表均有各自对应的Sequence，各个数据库、表和Sequence的详情如下所示：SchemaName TableName Sequence new_db new_tbl AUTO_SEQ_new...
恢复SQL Server数据
数据库恢复加速选项：RDS SQL Server 2019及更高版本提供加速数据库恢复（Accelerated Database Recovery）选项，可能会减少数据库恢复上线步骤所需时间。具体请根据 微软官方 文档综合评估是否启用此选项。预估示例 测试实例：实例规格为4...
- 产品推荐
- 这些文档可能帮助您