独享数据集成资源组
性能指标 规格 离线同步最大并发线程数 4c8g 8 8c16g 16 12c24g 24 16c32g 32 24c48g 48 规格 单任务建议需要的资源规格 MySQL来源实时同步数据库数1 4c8g MySQL来源实时同步数据库数[2-5]8c16g MySQL来源实时同步数据库数6以上 12c24g ...
使用数据传输迁移数据
参数 描述 读取并发配置 该参数用于配置全量迁移阶段从源端读取数据的并发数，最大限制为 512.并发数过高可能会造成源端压力过大，影响业务。写入并发配置 该参数用于配置全量迁移阶段往目标端写入数据的并发数，最大限制为 512。并发数过...
常见问题
A：这是因为主表和索引表的冷数据归档过程是独立的，并且归档主表和索引表冷数据的操作是周期性触发的，导致了主表和索引表滞留在热存储的数据不一致，进而出现查询到的冷数据不一致的现象。您可以在查询条件中添加热数据的时间范围，避免...
创建GoldenDB数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
创建Oracle数据源
通过创建Oracle数据源能够实现Dataphin读取Oracle的业务数据或向Oracle写入数据。本文为您介绍如何创建Oracle数据源。背景信息 Oracle是一款可移植好、可靠性好、适应高、功能强大的关系型数据库。如果您使用的是Oracle，在对接Dataphin...
OceanBase 数据库之间的数据迁移
在未开启同步 DDL 的情况下，如果您变更目标端的唯一索引，需要重启数据迁移项目，否则可能存在数据不一致的问题。如果数据迁移项目未启用正向切换，请删除目标端数据库对应的唯一索引和伪列。如果不删除唯一索引和伪列，会导致无法写入...
2020年
PolarDB PostgreSQL版 版本 原生PostgreSQL版本 V1.1.7 11.9 V1.1.6 11.9 V1.1.5 11.8.15 V1.1.4 11.5.12 V1.1.3 11.5.12 V1.1.2 11.2 V1.1.1 11.2c V1.1.0 11.2 V1.1.7 内核小版本 类别 名称 描述 相关文档 发布时间 新增 兼容性 兼容...
云数据库录入
SSL（Secure Sockets Layer）能在传输层对网络连接进行加密，提升通信数据的安全性和完整性，但会增加网络连接响应时间。使用该参数的前提是数据库已开启SSL连接，当前支持如下选项：默认（DMS与数据库服务自动协商是否开启）：系统将自动...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
在未开启同步 DDL 的情况下，如果您变更目标端的唯一索引，需要重启数据迁移项目，否则可能存在数据不一致的问题。如果数据迁移项目未启用正向切换，请删除目标端数据库对应的唯一索引和伪列。如果不删除唯一索引和伪列，会导致无法写入...
云数据库录入
SSL（Secure Sockets Layer）能在传输层对网络连接进行加密，提升通信数据的安全性和完整性，但会增加网络连接响应时间。实例DBA 选择一个DBA角色进行后续权限申请等流程。查询超时时间（s）设定安全策略，当达到设定的时间后，SQL窗口执行...
MaxCompute数据源
离线读MaxCompute分区表时，不支持直接对分区字段进行字段映射配置，需要在配置数据来源时指定待同步数据的分区信息。例如，分区表t0其字段包含id、name两个字段，一级分区为pt，二级分区为ds。读取t0的pt=1，ds=hangzhou分区数据时，您...
自建Oracle迁移至PolarDB-X
前提条件 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c版本。自建Oracle数据库已开启Supplemental Logging，且要求supplemental_log_data_pk，supplemental_log_data_ui已开启，详情请参见 Supplemental Logging。自建Oracle数据...
产品优势
数据分类管理：对实例、库、表进行业务分类归属管理，便于管理人员、开发人员及运维人员能更好地管理或使用数据。更多信息，请参见 资产类目。快速查找数据：支持实例、数据库、表、功能、工单的全局搜索，基于图谱能力，可快速检索可用...
CREATE DATABASE
带有一行“不能初始化数据库目录”的错误大部分与在数据目录上权限不足、磁盘满或其他文件系统问题有关。使用 DROP DATABASE 移除一个数据库。程序 createdb 是这个命令的一个包装器程序，为了使用方便而提供。数据库层面的配置参数（参见 ...
ModifyDataLimit-修改数据资产扫描授权
7C3AC882-E5A8-4855-BE77-B6837B695EF1 示例 正常返回示例 JSON 格式 {"RequestId":"7C3AC882-E5A8-4855-BE77-B6837B695EF1"} 错误码 访问 错误中心 查看更多错误码。变更历史 变更时间 变更内容概要 操作 2024-03-25 OpenAPI 入参发生变更...
功能更新动态（2023年）
分区表预览功能优化，默认查询最新有数据的分区，但是部分场景下受引擎和分区类型限制无法获取有数据的最新分区值，该情况下，默认查询最新分区（可能无结果数据）。数据探查全局配置 新建及管理专题分组 MaxCompute物理表和字段详情 查看...
分类玫瑰图
本文介绍分类玫瑰图的图表样式和配置面板的功能。重要 在画布编辑器中添加BI分析组件时，图层栏内会自动在当前BI组件上方对应生成一个分析器，且需要提前创建数据集以供BI分析组件选择并配置使用，创建数据集和分析器交互使用说明详情，请...
分类玫瑰图（v4.x版本）
重要 本文介绍v4.x版本的分类玫瑰图的配置项，如需查看v5.0及以上版本，请参见BI分析组件模块中的 分类玫瑰图。图表样式 分类玫瑰图是饼图的一种，能够清晰智能地展示各类别的占比情况。分类玫瑰图支持图表外部的标签展示，支持分类型展示...
创建MySQL数据源
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
文档更新动态（2023年）
分区表预览功能优化，默认查询最新有数据的分区，但是部分场景下受引擎和分区类型限制无法获取有数据的最新分区值，该情况下，默认查询最新分区（可能无结果数据）。新增说明 数据探查全局配置 新建及管理专题分组 MaxCompute物理表和字段...
从零开始完成无锁结构变更
数据管理DMS的无锁结构变更功能可以较好地规避因锁表而导致的业务阻塞，以及数据库原生OnlineDDL带来的主备延迟问题。本文以云数据库RDS MySQL举例，引导您快速使用DMS完成无锁结构变更。新增实例并开启无锁结构变更 登录 数据管理DMS 5.0...
2021年
修复多Master实例在Secondary Master上的同一个Session内，发起超过两个分布式事务后，检测不出死锁的问题。2021年05月28日 类别 功能 功能描述 相关文档 新增 AUTO VACUUM AUTO VACUUM可以自动执行VACUUM命令。AUTO VACUUM将检查具有大量...
用户权限说明
数据传输迁移数据库前，请确保所有数据源已创建一个数据库用户作为迁移用户或同步用户。该用户需要具备源端和目标端数据源对应的权限。OceanBase 数据库 MySQL 租户作为源端的权限说明 OceanBase 数据库 MySQL 租户作为源端时，迁移/同步...
分组聚合查询优化
分组聚合流程 AnalyticDB for MySQL 是分布式数据仓库，其分组聚合查询默认分为两步：完成数据的局部（PARTIAL）聚合。局部聚合节点只需要占用少量内存，聚合过程为流式过程，数据不会堆积在局部聚合节点上。局部聚合完成后，数据根据分组...
自建Oracle同步至DataHub
由于您所设置的Redo Log或Archive Log保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。如果源库在同步阶段进行主备切换，将会导致同步任务失败。如果源库存在varchar2类型的空字符串（Oracle会将其处理为null）且对应的...
升级数据库大版本
迁移数据的方法如下：云数据库MongoDB版（单节点架构）全量迁移至云数据库MongoDB版（所有架构）云数据库MongoDB版（副本集架构）迁移至云数据库MongoDB版（副本集架构或分片集群架构）自建数据库MongoDB版（分片集群架构）迁移至云数据库...
使用说明
PolarDB MySQL版 支持使用X-Engine引擎，其具有较高的数据压缩率，非常适合对计算诉求不高但需要存储一些归档类数据（如钉钉消息等数据）的业务。X-Engine引擎可以与InnoDB引擎共存，对于归档类的数据采用X-Engine引擎进行压缩存储，以节省...
管控模式
创建安全规则 N N Y 数据库克隆 Y Y N 数据分类分级 Y：付费功能，包含在敏感数据管理中。Y：付费功能，包含在敏感数据管理中。Y：付费功能，包含在敏感数据管理中。结构变更 结构设计 N N Y 结构同步 Y Y Y 影子表同步 Y Y Y DDL无锁变更 ...
PolarDB HTAP实时数据分析技术解密
该执行器框架充分利用列式存储的优势，例如，以一个4096行的Batch为单位访问存储层的数据，使用SIMD指令提升CPU单核处理数据的吞吐量，所有关键算子均支持并行执行。对比MySQL原有的行存执行器，性能有数量级的提升。支持行列混合执行的...
大版本升级常见问题
A：切换域名后，可能会存在DNS解析缓存问题，在缓存过期时间内可能会出现连接不上数据库或数据库只支持读操作而无法执行写入操作等情况，建议您刷新一下服务器的DNS缓存。Q：升级切换后，为什么在 PolarDB 控制台上看不见 完成升级 按钮？A...
pg_dump
o 即-oids 备份对象标识符（OID）作为每个表数据的一部分。如果您的应用程序以某种方式引用OID列（例如在一个外键约束中引用OID列），请使用此选项。否则，不使用此选项。O 即-no-owner 匹配原始数据库时，不需要设置对象的所有权。说明 此...
概述
这就导致了不同系统之间会进行数据迁移，同一份数据可能在不同源之间冗余，进而出现数据不一致的问题，以及特征难管理、模型难升级等困境。除此之外，数据工程师、算法工程师和开发工程师的人力成本也是当前数据驱动的智能决策应用难以大...
基于Delta lake的一站式数据湖构建与分析实战
这些数据湖格式有自己的数据meta管理能力，能够支持Update、Delete等操作，以批流一体的方式解决了大数据场景下数据实时更新的问题。数据湖构建与管理 1.数据入湖 企业的原始数据存在于多种数据库或存储系统，如关系数据库MySQL、日志系统...
MaxCompute近实时增全量一体化架构介绍
近实时增全量一体化架构的Upsert实时写入链路，可以保持数据从写入到查询的延时在5~10分钟，满足分钟级近实时业务需求，并且不需要复杂的ETL链路来进行增全量数据的合并操作，节省了相应的计算和存储成本。且在实际业务数据处理场景中，...
自建Oracle同步至PolarDB-X 2.0
由于您所设置的Redo Log或Archive Log保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。如果源库在同步阶段进行主备切换，将会导致同步任务失败。如果源库存在varchar2类型的空字符串（Oracle会将其处理为null）且对应的...
等值面层（v2.x版本）
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
MySQL数据源
不支持 不支持 不支持 MULTILINESTRING 不支持 不支持 不支持 不支持 MULTIPOLYGON 不支持 不支持 不支持 不支持 GEOMETRYCOLLECTION 不支持 不支持 不支持 不支持 数据同步前准备：MySQL环境准备 在DataWorks上进行数据同步前，您需要参考...
自建Oracle同步至PolarDB MySQL版
由于您所设置的Redo Log或Archive Log保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。如果源库在同步阶段进行主备切换，将会导致同步任务失败。如果源库存在varchar2类型的空字符串（Oracle会将其处理为null）且对应的...
C3P0 连接池连接 OceanBase 数据库示例程序
本文将介绍如何使用 C3P0 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入、删除、更新和查询数据等。点击下载 c3p0-mysql-jdbc 示例工程 前提条件 您已安装 OceanBase 数据库...
他云/自建数据库录入
SSL（Secure Sockets Layer）能在传输层对网络连接进行加密，提升通信数据的安全性和完整性，但会增加网络连接响应时间。实例DBA 选择一个DBA角色进行后续权限申请等流程。查询超时时间（s）设定安全策略，当达到设定的时间后，SQL窗口执行...
- 产品推荐
- 这些文档可能帮助您