创建数据库用户
OceanBase 数据源 创建 OceanBase 数据库用户 此处创建的 OceanBase 数据库用户，用于创建 实例类型 为 VPC 内自建数据库 的 OceanBase 数据源时填写 数据库用户名。OceanBase 集群实例类型的数据库用户创建方式及授权请参见 创建 ...
使用SDK时出现Validate PK size fail异常
介绍使用SDK时出现...现象 使用SDK更新数据时出现如下异常：Caused by:[ErrorCode]:OTSInvalidPK,[Message]:Validate PK size fail 原因 设置的主键个数和数据表的主键个数不一致。解决方案 设置的主键个数必须和数据表的主键个数一致。
配置转换组件
本文介绍数据库传输服务DTS提供的ETL功能支持的转换组件及其配置方法。背景信息 ETL支持的转换组件如下：表JOIN 字段计算器 表记录过滤 使用限制 ETL支持的转换组件存在如下限制：表JOIN：仅支持两个表之间做JOIN操作。字段计算器 和 表...
创建 RDS 实例用户及授权
表分类 结构迁移 全量迁移 增量同步 DML 增量同步 DDL 全量校验 反向增量 有主键表、有非空唯一键表 只读 只读 只读 只读 只读 仅 DDL（仅同步 DDL）仅 DML（仅同步 DML）读写（同步 DDL+DML）无主键表、无非空唯一键表 只读 只读 只读 ...
一键实时同步至AnalyticDB for MySQL 3.0
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
创建 OceanBase Serverless 实例用户及授权
表分类 结构迁移 全量迁移 增量同步 DML 增量同步 DDL 全量校验 反向增量 有主键表、有非空唯一键表 只读 只读 只读 只读 只读 仅 DDL（仅同步 DDL）仅 DML（仅同步 DML）读写（同步 DDL+DML）无主键表、无非空唯一键表 只读 只读 需要_...
数据迁移服务隐藏列机制说明
源端 目标端 参考文档 OceanBase 数据库 MySQL 租户 OceanBase 数据库 MySQL 租户 OceanBase 数据库之间的数据迁移 OceanBase 数据库 Oracle 租户 OceanBase 数据库 Oracle 租户 OceanBase 数据库之间的数据迁移 OceanBase 数据库 Oracle ...
创建 PolarDB 实例用户及授权
表分类 结构迁移 全量迁移 增量同步 DML 增量同步 DDL 全量校验 反向增量 有主键表、有非空唯一键表 只读 只读 只读 只读 只读 仅 DDL（仅同步 DDL）仅 DML（仅同步 DML）读写（同步 DDL+DML）无主键表、无非空唯一键表 只读 只读 只读 ...
创建 OceanBase 集群实例用户及授权
表分类 结构迁移 全量迁移 增量同步 DML 增量同步 DDL 全量校验 反向增量 有主键表、有非空唯一键表 只读 只读 只读 只读 只读 仅 DDL（仅同步 DDL）仅 DML（仅同步 DML）读写（同步 DDL+DML）无主键表、无非空唯一键表 只读 只读 需要_...
配置并管理实时同步任务
勾选后可以在源端库表的 库过滤 搜索框和 表过滤 搜索框中填写正则表达式，实时同步运行过程中会自动识别源端数据库binlog中数据库名和表名符合正则表达式的变更，识别到这类变更后按照下面设置的 表名到Topic的映射规则 计算源端变更应该...
产品架构
数据库分层架构 在数据库分层架构中，使用 Tablestore 配合MySQL来完成应用系统的业务需求，利用MySQL的事务能力来处理对事务强需求的写操作与部分读操作，利用 Tablestore 的数据检索能力和大数据存储来实现数据存储、查询与分析。...
跨库操作（dblink、postgres_fdw）
创建数据库 postgres=>\c<数据库名>/切换数据库 示例 postgres=>create database db1;CREATE DATABASE postgres=>\c db1 新建postgres_fdw插件。db1=>create extension postgres_fdw;新建用于连接远端目标数据库的服务器对象。db1=>CREATE ...
创建 OceanBase 集群实例用户及授权
表分类 结构迁移 全量迁移 增量同步 全量校验 反向增量 有主键表、有非空唯一键表 只读 只读 只读 只读 读写 无主键表、无非空唯一键表 只读 只读 需要_OCEANBASE_INNER_DRC_USER 用户 只读 需要_OCEANBASE_INNER_DRC_USER 用户 读写 目标...
主键与唯一键（AUTO模式）
本节介绍了在AUTO模式数据库中，判断表的主键是Global主键还是Local主键，表的唯一键是Global唯一键还是Local唯一键的方法。主键 在 PolarDB-X 中，主键分为Global主键与Local主键。当创建出的主键：能保证全局唯一，就称为Global主键；只...
概述
支持的迁移类型 简称说明 实例类型 简称 RDS 实例 RDS PolarDB MySQL 实例 PolarDB VPC 内自建数据库 VPC 数据库网关（Database Gateway）DG 公网 IP 自建数据库 公网 OceanBase 数据库 MySQL 租户 OB_MySQL OceanBase 数据库 Oracle 租户 ...
整库离线同步至MaxCompute
功能 描述 为非主键表选择主键 由于当前方案不支持无主键表同步，所以您需要单击 同步主键 列的 按钮，为无主键表设置 自选主键，即选择表中一个或部分字段作为主键，写入目标端时将会使用该主键进行去重。选择表建立方式 支持 自动建表 和...
整库离线同步至MaxCompute
功能 描述 为非主键表选择主键 由于当前方案不支持无主键表同步，所以您需要单击 同步主键 列的 按钮，为无主键表设置 自选主键，即选择表中一个或部分字段作为主键，写入目标端时将会使用该主键进行去重。选择表建立方式 支持 自动建表 和...
将自建ClickHouse向企业版迁移
将自建ClickHouse迁移到 云数据库 ClickHouse 企业版，以及 云数据库 ClickHouse 企业版 集群之间迁移操作的示意图如下：从自建ClickHouse向企业版迁移 说明 在 云数据库 ClickHouse 企业版 中，无论您的源表是否存在分片或副本，您只需...
Sqoop概述
Sqoop是一款Apache社区的开源软件，支持在Hadoop生态软件和结构化数据集（例如数据库）之间进行高效的批量数据传输。背景信息 常见数据传输场景如下：将MySQL数据导入HDFS 将HDFS数据导入MySQL 将Hive数据导入MySQL 将MySQL数据导入Hive 将...
SHOW TABLES
SHOW TABLES语句用于展示数据库中满足查询条件的所有表。在使用CREATE TABLE语句建表前，您可以通过SHOW TABLES语句查看当前数据库已存在的表，避免重名报错。适用引擎 SHOW TABLES语法适用于宽表引擎和时序引擎。语法 show_tables_...
MySQL分库分表同步至MaxCompute
功能 描述 为非主键表选择主键 由于当前方案不支持无主键表同步，所以您需要单击 同步主键 列的 按钮，为无主键表设置 自选主键，即选择表中一个或部分字段作为主键，写入目标端时将会使用该主键进行去重。本案例为无主键表选择 id 列承担...
MySQL分库分表同步至MaxCompute
功能 描述 为非主键表选择主键 由于当前方案不支持无主键表同步，所以您需要单击 同步主键 列的 按钮，为无主键表设置 自选主键，即选择表中一个或部分字段作为主键，写入目标端时将会使用该主键进行去重。本案例为无主键表选择 id 列承担...
Dataphin中全域数据表联合主键的质量规则设置方法
概述 Dataphin中全域数据表联合主键的质量规则设置方法。需要联合主键的两个字段都不为空。详细信息 全域数据表可以针对数据源中的数据表设置质量规则。创建质量规则，模板来源选择“自定义SQL”，模板规则选择“自定义统计指标校验”，...
一键实时同步至DataHub
功能 描述 为非主键表选择主键 若您在上一步骤中未勾选 支持源表无主键同步，但源端部分无主键表需要同步，您可以单击 同步主键 列的 按钮，为无主键表设置 自选主键。选择Topic建立方式 支持 自动建Topic 和 使用已有Topic：当 Topic建立...
湖仓一体
本章节介绍如何通过 云数据库SelectDB 提供的联邦查询技术，对数据湖、数据库、远端文件等外部数据源进行联邦分析。为您提供简单、快速的数据分析体验。概述 云数据库SelectDB 提供多源数据目录功能（Multi-Catalog或Catalog），支持对接...
如何理解主键、数据分区和数据分区键
主键 表中的每一行由主键（PK）唯一确定。您在创建表的时候必须指定组成主键的列，这些列称为主键列。主键列必须有值。您必须确保主键列的值的组合能够唯一地确定一行。在后续使用的过程中，主键列的类型不能改变。数据分区和分区键 表格...
一键实时同步至Hologres
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
一键实时同步至Kafka
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
主键Primary Key
Hologres中主键与传统数据库主键特性一致，是表中记录的唯一标识，代表了表数据的唯一性。因此被设置为主键的字段是唯一的且是非空的，并且支持设置多个字段为主键。本文为您介绍在Hologres中为表设置主键。主键介绍 在Hologres中，系统会...
迁移评估
源实例无主键表校验 源RDS实例存在没有主键的表，同步数据后可能会导致目标数据库中出现重复数据。您可以通过在源RDS实例上通过高权限账号连接数据库，并执行如下SQL，查询没有主键的表：SELECT t1.table_schema,t1.table_name FROM ...
Dataphin中如何使用有联合主键的物理表创建维度逻辑表
概述 Dataphin中如何使用有联合...详细信息 当物理表中主键的形式为联合主键时，可以在写维度逻辑表的主键定义逻辑时，通过计算源支持的一些函数，比如concat（）函数，将两个字段合并为一个主键字段，实现逻辑表主键的定义。适用于 Dataphin
新建事实逻辑表
来源表类型说明：有主键来源表：有主键的逻辑表允许配置多个来源,第一个固定为主来源,逻辑表的数据总量（行数）由此来源决定。无主键来源表：无主键的逻辑表仅允许配置一个来源,。若来源是多个表，请使用自定义SQL预先完成多表的关联。说明...
新建事实逻辑表
来源表类型说明：有主键来源表：有主键的逻辑表允许配置多个来源,第一个固定为主来源,逻辑表的数据总量（行数）由此来源决定。无主键来源表：无主键的逻辑表仅允许配置一个来源,。若来源是多个表，请使用自定义SQL预先完成多表的关联。说明...
约束
关系数据库理论要求每一个表都要有一个主键。但本数据库中并未强制要求这一点，但是最好能够遵循它。主键对于文档和客户端应用都是有用的。例如，一个允许修改行值的 GUI 应用可能需要知道一个表的主键，以便能唯一地标识行。如果定义了...
如何清理孤立文档
数据库列表 var databasesToProcess=["database1","database2","database3"];shardNames.forEach(function(shardName){/遍历指定的数据库列表 databasesToProcess.forEach(function(dbName){ var dbInstance=db.getSiblingDB(dbName);获取...
升级评估
源实例无主键表校验 源PolarDB集群存在没有主键的表，同步数据后可能会导致目标数据库中出现重复数据。您可以通过在源PolarDB集群上通过高权限账号连接数据库，并执行如下SQL，查询没有主键的表：SELECT t1.table_schema,t1.table_name ...
行业算法版表结构
DOUBLE,BOOLEAN,DATETIME,STRING,DECIMAL,MAP,ARRAY,TINYINT,SMALLINT,INT,FLOAT,CHAR,VARCHAR,DATE,TIMESTAMP,BINARY,INTERVAL_DAY_TIME,INTERVAL_YEAR_MONTH,STRUCT 行业算法版表的字段类型与数据库表的字段类型的对应关系 行业算法版表 ...
宽表模型介绍
宽表（WideColumn）模型是类Bigtable/HBase模型，可应用于元数据、大数据等多种场景，支持数据版本、生命周期、主键列自增、条件更新、过滤器等功能。宽表模型在车联网场景中主要用于车辆元数据的存储与分析。说明 关于宽表模型的更多信息...
指定大小计算分片
使用ComputeSplitsBySize接口可以将全表数据逻辑上划分成若干接近指定大小的分片，并返回这些分片之间的分割点以及分片所在机器的提示。一般用于计算引擎规划并发度等执行计划。说明 API说明请参见 ComputeSplitPointsBySize。前提条件 已...
版本发布说明
修复已建AUTO数据库 SHOW CREATE DATABASE 命令在部分场景下会报NPE的问题。修复私有协议chunk传输在类型推导有误时，字符串转整型存在负号时不能识别的问题。修复数据库表数量过多时，扩缩容流程可能会失败的问题。修复BKAJoin场景下的...
- 产品推荐
- 这些文档可能帮助您