基本概念
分布式表（Distributed Table）本地表的集合，它将多个本地表抽象为一张统一的表，对外提供写入、查询功能。当写入分布式表时，数据会被自动分发到集合中的各个本地表中；当查询分布式表时，集合中的各个本地表都会被分别查询，并且把最终...
MySQL分库分表同步至Hologres（方案1.0）
将分表数据写入目标单表：将源表满足 t_order.*正则表达式的表数据写入到Hologres名为 t_order 的表中，所有满足 t_user.*正则表达式的表数据写入到Hologres名为 t_user 的表中。为表加上统一前缀：在目标名前统一加上 cdo_前缀。schema：...
MySQL分库分表同步至Hologres（方案2.0）
将分表数据写入目标单表：将源表满足 t_order.*正则表达式的表数据写入到Hologres名为 t_order 的表中，所有满足 t_user.*正则表达式的表数据写入到Hologres名为 t_user 的表中。为表加上统一前缀：在目标名前统一加上 cdo_前缀。schema：...
从Kafka同步数据
说明 如果您同步的目的表是本地表，请将查询语句中的分布式表名更换为本地表名，再进行查询。查询结果如下。id─┬─name─┐│1│a│2│b│└─┴─┘说明 当您执行查询语句并成功返回结果时，说明数据已从Kafka同步至 云数据库ClickHouse...
2022-03-04版本
通过对分布式表的本地表进行直接写入的方式，可以显著提高写ClickHouse分布式表的吞吐量。ClickHouse结果表 优化作业诊断规则和界面 新增20多种诊断规则，全面分析作业的运行状态。根据作业的实际情况，给出高、中、低三种风险等级提示。...
全增量实时同步至Hologres
步骤四：目标表映射 在上一步骤选择完需要同步的表后，将自动在此界面展示当前待同步的表，但目标表的相关属性默认为待映射状态，需要您定义并确认源表与目标表映射关系，即数据的读取与写入关系，然后单击 刷新映射 后才可进入下一步操作...
CREATE POLICY
如果行级安全性被启用，这个表达式将被用在该表上的 INSERT 以及 UPDATE 查询中。只有让该表达式计算为真的行才被允许。如果任何被插入的记录或者跟新后的记录导致该表达式计算为假或者空，则会抛出一个错误。注意 check_expression 是根据...
表表达式
本文介绍了表表达式的相关内容。简介 表表达式计算一个表。该表表达式包含一个 FROM 子句，该子句后面可以根据需要选用 WHERE、GROUP BY 和 HAVING 子句。最简单的表表达式只是引用磁盘上的一个表，一个所谓的基本表，但是我们可以用更复杂...
表表达式
表表达式 计算一个表。该表表达式包含一个 FROM 子句，该子句后面可以根据需要选用 WHERE、GROUP BY 和 HAVING 子句。最简单的表表达式只是引用磁盘上的一个表，一个所谓的基本表，但是我们可以用更复杂的表表达式以多种方法修改或组合基本...
社区兼容版集群垂直变配和水平扩缩容
检测失败原因有以下两种：缺失唯一的分布式表：表示本地表没有创建分布式表，需要再创建一个对应的分布式表。对应的分布式表不唯一：表示本地表有不止一个分布式表，请删除多余的分布式表，仅保留一个即可。在 变配 或 降配 页面，根据您的...
总体流程
创建表：以创建与On Time数据集类型对应的表为例，介绍如何使用DMS在已创建的数据库中创建本地表和分布式表。导入数据：以导入On Time数据集至已创建的分布式表为例，介绍如何使用客户端clickhouse-client工具导入数据到 云数据库...
从MySQL导入数据
说明 如果您导入的是本地表，请将查询语句中的分布式表名 clickhouse_test_table_distributed 更换为本地表名 clickhouse_test_table，再进行查询。查询结果如下。数据类型映射 RDS MySQL或PolarDB MySQL类型 ClickHouse类型 Unsigned ...
DDL操作常见问题
问题类别 常见问题 表操作 MaxCompute支持虚拟表吗？例如MySQL中的DUAL表？MaxCompute的表有无索引？如何修改表的Hash Clustering属性？如何将非分区表修改为分区表？因误操作删除的表可以恢复吗？如何查询某个用户创建的表？如何查看指定...
显式锁定
你也可以用LOCK命令显式获得这些锁。请记住所有这些锁模式都是表级锁，即使它们的名字包含“row”单词（这些名称是历史遗产）。在一定程度上，这些名字反应了每种锁模式的典型用法—但是语意却都是一样的。两种锁模式之间真正的区别是它们...
CREATE TABLE
CREATE TABLE 用于在当前数据库中创建一个新的、初始为空的表。简介 CREATE TABLE 将在当前数据库中创建一个新的、初始为空的表。该表将由发出该命令的用户所拥有。如果给定了一个模式名（例如 CREATE TABLE myschema.mytable.），那么该表...
MySQL整库周期性增全量同步至Hive
此操作会影响通过数据集成新建表的表结构，已有表的表格式不受影响。新建表存储方式：可以选择 内表、外表，决定新建目标表格式是内表还是外表。新建表格式：可以选择 parquet、orc、txt,决定新建目标表的存储格式。写入模式：决定任务在...
列存索引
普通分区表达式 可以指定0个或多个普通分区表达式，多个表达式用英文逗号（,）分隔。普通分区表达式为宽表主键字段（例如城市、日期等），索引数据会按照不同的分区值构建，并在查询时按照分区过滤条件高效定位数据。bucket分区表达式 至少...
Join优化
表S数据不移动，表R数据根据分区计算的结果发送到S表扫表的节点 Colocation Join 对于多个相关联的表，在建表时确保表的数据分片数量一致，相同Hash分桶在分布式系统中的分布一致，那么实际查询时就可以跳过数据的Shuffle过程，直接进行...
离线同步能力说明
示例：创建一个离线同步任务，每天从源MySQL订单表中同步前一天新产生的订单数据到MaxCompute目标表的当天分区，原表订单的创建时间字段为 gmd_created,目标odps表的分区字段为 ds，可以将任务配置如下：同步任务配置：调度参数配置：订单...
分布式序列问题
分布式序列是否全局唯一 单库单表的分布式序列可以保证生成的序列 ID 全局唯一。分库分表的分布式序列仅保证单个分片的序列 ID 唯一，如果需要确保分库分表的分布式序列全局唯一，可以在序列 ID 中拼接分库分表位，以此保证全局唯一。分布...
配置ClickHouse输入组件
来源表量包括 单表 和 多表：单表：适用于将一个表的业务数据同步至一个目标表的场景。多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT...
配置PolarDB输入组件
来源表量包括 单表 和 多表：单表：适用于将一个表的业务数据同步至一个目标表的场景。多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。表 选择数据同步的来源表：如果 来源表量...
逻辑表结构设计
数据管理DMS提供的结构设计功能，可以实现对目标库表进行符合研发规范的表结构设计。您可按需自定义不同业务线的研发流程，保障多套环境（例如开发环境、测试环境、生产环境）之间结构的一致性。本文介绍逻辑表结构设计的方法。背景信息 分...
配置PolarDB输入组件
来源表量包括 单表 和 多表：单表：适用于将一个表的业务数据同步至一个目标表的场景。多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT...
配置Oracle输入组件
来源表量包括 单表 和 多表：单表：适用于将一个表的业务数据同步至一个目标表的场景。多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。表 选择数据同步的来源表：如果 来源表量...
配置ClickHouse输入组件
来源表量包括 单表 和 多表：单表：适用于将一个表的业务数据同步至一个目标表的场景。多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT...
配置AnalyticDB for PostgreSQL输入组件
来源表量包括 单表 和 多表：单表：适用于将一个表的业务数据同步至一个目标表的场景。多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。表 选择数据同步的来源表：如果 来源表量...
配置Oracle输入组件
来源表量包括 单表 和 多表：单表：适用于将一个表的业务数据同步至一个目标表的场景。多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT...
Quick BI创建SQL的数据集时使用Excel表？
概述 本文主要讲述用SQL创建数据集时怎么使用到本地上传的Excel表。问题描述 想使用SQL创建数据集时在SQL语句中使用到我本地上传的Excel表，但是搜索找不到本地上传的表。问题原因 本地上传的表会在数据库中生成一张临时表，在SQL语句中...
数据同步模版
Flink CDC可以自动同步源中所有分库分表的全量和增量数据（包括新增的符合正则表达式的新表），同时还能实时将每张源表的表结构变更（加列等）实时同步到对应的目标表中。分库分表合并同步模版会将您的参数翻译成CTAS语句，有关CTAS语句的...
配置AnalyticDB for PostgreSQL输入组件
来源表量包括 单表 和 多表：单表：适用于将一个表的业务数据同步至一个目标表的场景。多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
重要 在混合式日志解析模式下（即 SQLServer增量同步模式 为 非堆表用日志解析增量同步，堆表用CDC增量同步 的实例），支持的源库有：Enterprise或Enterprise Evaluation版：2012、2014、2016、2019或2022版本。Standard版：2016、2019或...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
重要 在混合式日志解析模式下（即 SQLServer增量同步模式 为 非堆表用日志解析增量同步，堆表用CDC增量同步 的实例），支持的源库有：Enterprise或Enterprise Evaluation版：2012、2014、2016、2019或2022版本。Standard版：2016、2019或...
RDS SQL Server实例间数据迁移
在混合式日志解析模式下（即 SQLServer增量同步模式 为 非堆表用日志解析增量同步，堆表用CDC增量同步 的实例），支持的源库有：Enterprise或Enterprise Evaluation版：2012、2014、2016或2019版本。Standard版：2016或者2019版本。目标 ...
RDS SQL Server同步至RDS MySQL
重要 在混合式日志解析模式下（即 SQLServer增量同步模式 为 非堆表用日志解析增量同步，堆表用CDC增量同步 的实例），支持的源库有：Enterprise或Enterprise Evaluation版：2012、2014、2016、2019或2022版本。Standard版：2016、2019或...
RDS SQL Server实例间的迁移
在混合式日志解析模式下（即 SQLServer增量同步模式 为 非堆表用日志解析增量同步，堆表用CDC增量同步 的实例），支持的源库有：Enterprise或Enterprise Evaluation版：2012、2014、2016、2019或2022版本。Standard版：2016、2019或2022...
配置AnalyticDB for MySQL 3.0输入组件
来源表量包括 单表 和 多表：单表：适用于将一个表的业务数据同步至一个目标表的场景。多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。表 选择数据同步的来源表：如果 来源表量...
配置AnalyticDB for MySQL 3.0输入组件
来源表量包括 单表 和 多表：单表：适用于将一个表的业务数据同步至一个目标表的场景。多表：适用于将多个表的业务数据同步至同一个目标表的场景。多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT...
MyBase SQL Server迁移至RDS SQL Server
重要 在混合式日志解析模式下（即 SQLServer增量同步模式 为 非堆表用日志解析增量同步，堆表用CDC增量同步 的实例），支持的源库有：Enterprise或Enterprise Evaluation版：2012、2014、2016、2019或2022版本。Standard版：2016、2019或...
逻辑表表达式
本文介绍在新建逻辑表时，输入逻辑表表达式的规则。简单规则 规则 举例说明 自然序 test_[0-7]：创建8张表。自然对齐序 test_[00-07]：创建8张表，表名两位对齐。test_[000-007]：创建8张表，表名三位对齐。test_[0000-0007]：创建8张表，...
- 产品推荐
- 这些文档可能帮助您