备份数据库
数据库备份DBS 的 批量备份 功能支持备份单个数据库和多个数据库。本文以批量配置MySQL逻辑备份为例，向您介绍如何备份数据库。说明 关于各类数据库备份方案，请参见 备份方案概览。前提条件 已添加数据源。如何添加数据源，请参见 手动...
数据类型
本文介绍了 PolarDB-X 1.0 支持的数据类型。PolarDB-X 1.0 支持四种主要数据类型：数值类型 字符串类型 日期时间类型 JSON 数据类型 不支持的数据类型：空间数据类型 关于数据类型的详细信息可参考 MySQL 数据类型 文档。
2023年
JSON_VALID JSON_PARSE JSON_FORMAT JSON_TYPE JSON_PRETTY JSON_EXTRACT JSON_ARRAY JSON_OBJECT JSON_EXISTS 2023-06-29 新增MaxCompute JSON类型使用指南（试用Beta版本）新说明 MaxCompute当前支持了JSON数据类型，提高了表中带有JSON...
从Amazon RDS for PostgreSQL全量迁移至阿里云
数据库账号的权限要求 数据库 结构迁移 全量迁移 Amazon RDS for PostgreSQL pg_catalog的usage权限 迁移对象的select权限 阿里云RDS PostgreSQL 迁移对象的create、usage权限 schema的owner权限 全量数据迁移流程 为解决对象间的依赖，...
创建并管理数据源
若您想在DataWorks操作您的数据库或数据仓库（例如，MaxCompute项目数据），需先在DataWorks的数据源管理页面，将数据库或数据仓库创建为DataWorks的数据源，并将该数据源绑定至DataWorks相应的功能模块使用。例如，同步MaxCompute数据前，...
任务运行失败
问题原因出现上述报错通常都是选择了非连接串模式创建的MySQL数据源导致。解决方案重新选择使用连接串模式创建的数据源。您可以参考 配置MySQL数据源 进入 数据源管理 页面，单击目标数据源 操作 列的 编辑，在 数据源编辑 页面查看创建...
从Amazon Aurora PostgreSQL迁移至阿里云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将Amazon Aurora PostgreSQL的数据迁移至阿里云（如RDS PostgreSQL和 PolarDB PostgreSQL版）。本文以Amazon Aurora PostgreSQL迁移至 RDS PostgreSQL 为例，为您介绍操作...
从Amazon RDS for PostgreSQL增量迁移至阿里云
DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成数据库迁移。前提条件 Amazon RDS for PostgreSQL的数据库版本为10.4或以上版本。为保障DTS能够通过公网连接Amazon ...
排查Mongo Shell登录问题
您可以通过DMS或Mongo Shell登录MongoDB数据库，本文介绍使用Mongo Shell登录数据库时出现的典型问题及解决方法。提示connection attempt failed错误 现象：#mongo-host ali12345678.mongodb.rds.aliyuncs....
标准架构
支持数据备份功能，用户可以针对备份集回滚实例或者克隆实例，有效地解决数据误操作等问题。同时，在支持容灾的可用区（例如杭州可用区H+I）创建的实例，还具备同城容灾的能力。兼容性 标准架构完全兼容Redis协议，自建的Redis数据库可以...
区域热力层（v3.x版本）
在数据配置的过程中，可能会出现区域文字标注有偏移的问题，解决方法如下。查看下您的区域热力层版本，目前可以使用的区域热力层组件包括区域热力层v0.2.4及以上版本。如果您使用的区域热力层版本较低，需要先删除该层，再重新添加。...
RDS MySQL实例间的单向同步
数据传输服务DTS（Data Transmission Service）支持两个MySQL数据库之间的数据同步，本文以RDS MySQL实例之间的单向同步为例，介绍配置流程。前提条件 数据同步的源RDS实例和目标RDS实例已存在，详情请参见 创建RDS实例。源RDS实例和目标...
离线同步任务调优
常见问题 数据同步任务where条件没有索引，导致全表扫描同步变慢。BatchSize或maxfilesize参数控制一次性批量提交的记录数大小，该值可以减少数据同步与数据库网络交互次数，并提升吞吐量。但如果该值设置过大，会导致数据同步运行进程OOM...
从ECS上的自建MySQL同步至RDS
数据传输服务DTS（Data Transmission Service）支持ECS上的自建MySQL同步至 RDS MySQL 或RDS MySQL Serverless 实例，实现增量数据的实时同步。前提条件 自建MySQL数据库版本为5.1、5.5、5.6、5.7或8.0版本。已创建 RDS MySQL实例 或 ...
A100售后支持相关问题
本文介绍了您在使用A100系列数据库审计服务时可能遇到的问题和解答，帮助您更好地理解和使用产品。使用数据库审计时，我可以为RAM用户授予哪些权限？数据库审计A100是否支持云数据库PolarDB？在CentOS中删除Agent是指删除/usr/local/...
基于Delta lake的一站式数据湖构建与分析实战
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...
RDS MySQL实例间的单向同步
数据传输服务DTS（Data Transmission Service）支持两个MySQL数据库之间的数据同步，本文以RDS MySQL实例之间的单向同步为例，介绍配置流程。前提条件 数据同步的源RDS实例和目标RDS实例已存在，详情请参见 创建RDS实例。源RDS实例和目标...
从ECS上的自建MySQL同步至RDS
数据传输服务DTS（Data Transmission Service）支持ECS上的自建MySQL同步至 RDS MySQL 或RDS MySQL Serverless 实例，实现增量数据的实时同步。前提条件 自建MySQL数据库版本为5.1、5.5、5.6、5.7或8.0版本。已创建 RDS MySQL实例 或 ...
常见问题
本文介绍了DDL语句的常见问题及解决方法。...该功能避免了用户DDL在物理执行时，出现部分分片执行成功，部分分片执行失败的情况，有效解决了物理DDL原子性问题。本优化已经默认启用，如需了解详情，详情请参见 DDL原子性。
PostgreSQL数据源
类型分类 PostgreSQL数据类型 整数类 BIGINT、BIGSERIAL、INTEGER、SMALLINT和SERIAL 浮点类 DOUBLE、PRECISION、MONEY、NUMERIC和REAL 字符串类 VARCHAR、CHAR、TEXT、BIT和INET 日期时间类 DATE、TIME和TIMESTAMP 布尔型 BOOL 二进制类 ...
分析实例简介
RDS MySQL的分析实例分为以下两种类型：云ClickHouse分析实例 云ClickHouse分析实例本质是云数据库ClickHouse实例，其通过MaterializedMySQL引擎将RDS MySQL实例中的数据同步到云数据库ClickHouse中，并利用其强大的分析性能解决多维聚合...
PolarDB PostgreSQL版间的迁移
源库、目标库出现其他问题后的重试时间 在同步任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
解决MySQL实例空间满自动锁定的问题
您可以参照本文清理数据文件、临时文件、Binlog文件、undo文件和general_log文件，解决存储空间问题。问题描述 阿里云RDS MySQL版实例由于慢SQL、插入数据多等原因导致实例磁盘空间满，为避免数据丢失，实例会自动锁定，且无法进行写入操作...
MySQL节点
问题原因 出现上述报错通常都是选择了非连接串模式创建的MySQL数据源导致。解决方案 重新选择使用连接串模式创建的数据源。您可以参考 配置MySQL数据源 进入 数据源管理 页面，单击目标数据源 操作 列的 编辑，在数据源编辑页面查看创建...
SQL Server数据源
类型分类 SQL Server数据类型 整数类 BIGINT、INT、SMALLINT和TINYINT 浮点类 FLOAT、DECIMAL、REAL和NUMERIC 字符串类 CHAR、NCHAR、NTEXT、NVARCHAR、TEXT、VARCHAR、NVARCHAR（MAX）和VARCHAR（MAX）日期时间类 DATE、DATETIME和TIME ...
登录数据库
本文主要介绍在阿里云数据管理DMS控制台登录数据库时，常见的问题及解决方案。如何正确的填写登录DMS的数据库账号与密码？数据库账号指用户账号，密码指用户账号的密码。如下以在DMS登录RDS MySQL数据库举例。获取数据库账号与密码。在 RDS...
文档修订记录
任务调度属性配置概述 2023年2月更新记录 时间 特性 类别 描述 产品文档 2023.2.28 新增功能 数据治理中心 DataWorks支持您根据业务需要，将 治理工作台>治理项问题 页面待解决的治理项问题以通知的形式，通过系统提示、邮件、钉钉群消息等...
DataStudio侧实时同步任务配置
避免混跑带来资源互相抢占、运行态互相影响等问题，例如，CPU、内存、网络等互相影响，导致离线同步任务突然变慢、实时同步任务延迟、以及在资源不足的极端情况下可能会出现任务被OOM Killer杀掉等问题。步骤三：配置实时同步任务 配置单表...
组件与数据类型的兼容
不支持 不支持 PAI 支持除Decimal之外的其它数据类型 2.0新增的数据类型中仅支持INT 部分功能支持map数据类型 不支持 不支持 PyODPS 支持 DataFrame不支持2.0数据类型 其它功能都支持2.0数据类型 支持 DataFrame不支持2.0数据类型 其它功能...
设置连接池
连接池类型 会话是否可以共用后端连接 取后端连接的时机 把后端连接放回连接池的时机 会话与后端连接的映射关系 事务级 是 处理事务时 处理完一个事务（此时会话可能没结束）N:1 会话级 否 建立会话时 会话结束 N:N Q：数据库代理出现连接...
MapReduce常见问题
解决措施 MaxCompute的单个字段可以写入的数据类型限制如下。String 8MB Bigint-9223372036854775807~9223372036854775807 Boolean True/False Double-1.0 10308~1.0 10308 Date 0001-01-01 00:00:00~9999-12-31 23:59:59 执行MaxCompute ...
使用慢日志排查超时问题
慢请求引起的连接超时等问题是影响Redis服务质量的常见问题，云数据库Redis的慢日志系统能够帮助您快速找到慢请求问题发生的位置，定位发出请求的客户端IP，为彻底解决超时问题提供可靠的依据。背景信息 Tair 的慢日志会记录执行时间超过...
DAS Auto Scaling弹性能力
针对上述两类问题，数据库自治服务DAS进行了服务创新，使数据库服务具备自动扩展存储和计算资源的技术能力，可从容应对。本文将对DAS Auto Scaling服务的架构进行详细的介绍，包括技术挑战、解决方案和关键技术。技术挑战 计算资源规格调整...
MySQL分库分表同步至MaxCompute
说明 目前自动建表生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型映射，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标表时，将自动为源端字段匹配目标端可写入的字段类型。若您需要修改...
高效数据治理实施指南
除了对存量问题的治理，作为工作空间的管理员，还需要进行增量数据治理问题的事前管控，避免在存量治理目标需要达成的情况下又出现新的问题。数据治理中心通过 配置检查项，进行增量治理问题的管控，作用于数据开发和数据提交的研发环节。...
数据集成侧同步任务配置
完成数据源、网络、资源的准备配置后，您可以根据同步场景选择同步解决方案，创建并执行同步任务，将源端数据同步至目标端。本文为您介绍同步任务的通用配置流程，不同的同步方案配置流程可能存在差异，对应方案配置详情请以界面为准。前提...
OceanBase（MySQL模式）迁移至RDS MySQL
数据传输服务DTS（Data Transmission Service）支持将OceanBase数据库迁移至 RDS MySQL 实例，帮助您解决数据库运维的烦恼。前提条件 源OceanBase数据库需为社区版，且为4.X 版本。已创建存储空间须大于源OceanBase数据库的目标 RDS MySQL ...
MySQL分库分表同步至MaxCompute
说明 目前自动建表生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型映射，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标表时，将自动为源端字段匹配目标端可写入的字段类型。若您需要修改...
离线同步能力说明
说明 脏数据是对于业务没有意义，格式非法或者同步过程中出现问题的数据。单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT类型的目标列中...
- 产品推荐
- 这些文档可能帮助您