全局二级索引
每个GSI对应一张分布式索引表，和其他分布式表一样，按照指定的分区规则水平拆分为多张物理表。PolarDB-X 使用分布式事务维护主表和索引表之间数据强一致。全局二级索引还支持以下特性：支持选择覆盖列，减少回表操作开销。在线表结构变更...
社区兼容版集群垂直变配和水平扩缩容
检测失败原因有以下两种：缺失唯一的分布式表：表示本地表没有创建分布式表，需要再创建一个对应的分布式表。对应的分布式表不唯一：表示本地表有不止一个分布式表，请删除多余的分布式表，仅保留一个即可。在 变配 或 降配 页面，根据您的...
云数据库ClickHouse集群间的数据迁移
本地表和分布式表检测 如果存在本地表没有创建分布式表或者分布式表不唯一，则校验失败。请删除多余的分布式表。迁移任务完成后，在 实例迁移 页面查看迁移任务。说明 当迁移任务的 迁移状态 为 已完成 时，说明源集群的数据已成功迁移至...
总体流程
创建表：以创建与On Time数据集类型对应的表为例，介绍如何使用DMS在已创建的数据库中创建本地表和分布式表。导入数据：以导入On Time数据集至已创建的分布式表为例，介绍如何使用客户端clickhouse-client工具导入数据到 云数据库...
CREATE TABLE
创建分布式表 分布式表是本地表的集合，它将多个本地表抽象为一张统一的表，对外提供写入、查询功能。当数据写入分布式表时，会被自动分发到集合中的各个本地表中。当查询分布式表时，集合中的各个本地表都会被分别查询，并且把最终结果...
基本概念
分布式表（Distributed Table）本地表的集合，它将多个本地表抽象为一张统一的表，对外提供写入、查询功能。当写入分布式表时，数据会被自动分发到集合中的各个本地表中；当查询分布式表时，集合中的各个本地表都会被分别查询，并且把最终...
升级内核大版本
本地表和分布式表检测 如果存在本地表没有创建分布式表或者分布式表不唯一，则校验失败。请删除多余的分布式表。迁移任务完成后，在 实例迁移 页面查看迁移任务。说明 当迁移任务的 迁移状态 为 已完成 时，说明源集群的数据已成功迁移至...
Quick BI报表SQL中sync开头的表名是什么表
概述 本文描述了Quick BI报表SQL中sync开头的表名是什么表。详细信息 sync开头的表名不是用户的物理表，而是数据集经过Quick 引擎加速后生成的加速后的表。适用于 Quick BI 公共云专业版
从MySQL导入数据
说明 如果您导入的是本地表，请将查询语句中的分布式表名 clickhouse_test_table_distributed 更换为本地表名 clickhouse_test_table，再进行查询。查询结果如下。数据类型映射 RDS MySQL或PolarDB MySQL类型 ClickHouse类型 Unsigned ...
从Kafka同步数据
说明 如果您同步的目的表是本地表，请将查询语句中的分布式表名更换为本地表名，再进行查询。查询结果如下。id─┬─name─┐│1│a│2│b│└─┴─┘说明 当您执行查询语句并成功返回结果时，说明数据已从Kafka同步至 云数据库ClickHouse...
创建表
本文介绍如何使用DMS（Data Management Service）在云数据库ClickHouse中创建表。前提条件 已完成快速入门的如下步骤。新建集群 创建账号 设置白名单 连接集群 创建数据库 操作步骤 在的 SQL Console 页面中，输入 CREATE TABLE 语句创建...
CREATE TABLE AS（CTAS）语句
通过CTAS语句，在实时同步数据的同时，还能实时将上游表结构（Schema）的变更同步到下游表，提高您在目标存储中创建表和维护源表结构变更的效率。本文为您介绍CREATE TABLE AS（CTAS）的使用方法，并提供了多种使用场景下的示例。前提条件 ...
2022-03-04版本
通过对分布式表的本地表进行直接写入的方式，可以显著提高写ClickHouse分布式表的吞吐量。ClickHouse结果表 优化作业诊断规则和界面 新增20多种诊断规则，全面分析作业的运行状态。根据作业的实际情况，给出高、中、低三种风险等级提示。...
从OSS导入数据
您可以通过表引擎或表函数将数据从OSS中导入至 云数据库ClickHouse，实现日志查询分析和加工等操作。本文介绍如何将OSS数据导入至 云数据库ClickHouse。前提条件 已开通OSS服务。如何开通，请参见 开通OSS服务。已创建存储空间（Bucket），...
Multi-Master关键技术介绍
本文对Multi-Master架构的关键技术点进行介绍，包括分布式事务处理、全局死锁处理、DDL支持、分布式表锁支持、集群容错和高可用能力。分布式事务管理 AnalyticDB PostgreSQL版 分布式事务 AnalyticDB PostgreSQL版 通过二阶段提交协议（2PC...
术语表
分区组（Partition Group）AUTO模式数据库中，当表组中的表为分区表时，该表组的所有表的某个分区构成一个分区组，分区组是分区调度的基本单元，属于某个分区组的所有表分区始终会位于同一个存储节点。Join Group AUTO模式数据库中，Join ...
表结构配置管理
选择工作空间>配置管理>数据接入管理>数据导入>表结构配置，已配置的数据表列表如下图所示。表结构配置列表支持查看、编辑、查看调度任务、移除，但通过API导入的表结构配置（创建者是API同步）不支持编辑、移除。查看表结构配置 单击 查看...
常见问题
为什么系统表system.materialize_mysql中sync_failed_tables字段不为空？如何处理报错：“Too many partitions for single INSERT block(more than 100)”？数据写入与查询 如何处理insert into select XXX内存超限报错？如何查询CPU使用量...
RDS SQL Server实例间数据迁移
在混合式日志解析模式下（即 SQLServer增量同步模式 为 非堆表用日志解析增量同步，堆表用CDC增量同步 的实例），支持的源库有：Enterprise或Enterprise Evaluation版：2012、2014、2016或2019版本。Standard版：2016或者2019版本。目标 ...
自建SQL Server同步至云原生数据仓库 AnalyticDB ...
不支持结构初始化的结构对象有：assemblies、service broker、全文索引、全文目录、分布式schema、分布式函数、CLR存储过程、CLR标量函数、CLR表值函数、内部表、系统、聚合函数。不支持同步数据类型为TIMESTAMP、CURSOR、ROWVERSION、...
数据开发与运行
需要通过MaxCompute tunnel操作：SQLTask配合Tunnel实现大量数据导出示例 为什么EMR通过DataWorks可视化建表失败报错：call emr exception？可能原因：EMR所在的ECS集群的安全组缺失必要安全组配置。绑定EMR计算引擎使用时，您需要添加以下...
ClickHouse
Boolean 否 false 参数取值如下：false（默认值）：如果是写ClickHouse分布式表，并且在参数url中只指定了一个节点，则不会尝试推测分布式表对应的本地表信息，而是依然会直接写入分布式表，再由分布式表写入对应的本地表。true：Flink将...
大数据计算服务MaxCompute
类别 详情 支持类型 源表、维表和结果表 运行模式 流模式和批模式 数据格式 暂不支持 特有监控指标 源表 numRecordsIn：源表当前读取到的数据总条数。numRecordsInPerSecond：源表当前每秒读取的数据条数。numBytesIn：源表当前读取到的...
MySQL分库分表同步至Hologres（方案1.0）
将分表数据写入目标单表：将源表满足 t_order.*正则表达式的表数据写入到Hologres名为 t_order 的表中，所有满足 t_user.*正则表达式的表数据写入到Hologres名为 t_user 的表中。为表加上统一前缀：在目标名前统一加上 cdo_前缀。schema：...
MySQL分库分表同步至Hologres（方案2.0）
将分表数据写入目标单表：将源表满足 t_order.*正则表达式的表数据写入到Hologres名为 t_order 的表中，所有满足 t_user.*正则表达式的表数据写入到Hologres名为 t_user 的表中。为表加上统一前缀：在目标名前统一加上 cdo_前缀。schema：...
安装Proxima CE包
输入表格式要求 表名 输入表的表名不能包含 tmp_字符串，否则会导致任务运行失败。输入表的表名和分区名的字符长度不能超过64，否则会导致任务运行失败。字段 固定字段 字段说明 字段数据类型 pk 查询时的pk值字段。默认为STRING类型。对于...
Hologres整库周期性增全量同步至MaxCompute
结构迁移中包含目标表的创建方式（已有表/自动建表），如果是自动建表，则会为您展示建表的DDL。全量同步中包含离线同步的表信息、同步的进度、以及写入的条数。增量同步中包含周期任务对应的最新周期实例的相关指标信息。任务重跑 直接重...
AnalyticDB for MySQL3.0整库周期性增全量同步至...
结构迁移中包含目标表的创建方式（已有表/自动建表），如果是自动建表，则会为您展示建表的DDL。全量同步中包含离线同步的表信息、同步的进度、以及写入的条数。增量同步中包含周期任务对应的最新周期实例的相关指标信息。任务重跑 直接重...
DDL操作常见问题
问题类别 常见问题 表操作 MaxCompute支持虚拟表吗？例如MySQL中的DUAL表？MaxCompute的表有无索引？如何修改表的Hash Clustering属性？如何将非分区表修改为分区表？因误操作删除的表可以恢复吗？如何查询某个用户创建的表？如何查看指定...
配置示例：MaxCompute
配置分区表达式 数据质量通过分区表达式来确定需要配置的规则：如果您的检查对象为非分区表，可以配置分区表达式为 NOTAPARTITIONTABLE。如果您的检查对象为分区表，可以配置为业务日期的表达式（例如$[yyyymmdd-1]）。说明 数据质量规则中...
MySQL整库周期性增全量同步至Hive
此操作会影响通过数据集成新建表的表结构，已有表的表格式不受影响。新建表存储方式：可以选择 内表、外表，决定新建目标表格式是内表还是外表。新建表格式：可以选择 parquet、orc、txt,决定新建目标表的存储格式。写入模式：决定任务在...
Spark SQL
同样的,建表语句必须显式指定表的存储 LOCATION 信息,类似如下SQL语句。CREATE TABLE table1(col1 INT)LOCATION 'oss:/test/db1/table1/';需要注意以下几个事项：当用户在Spark中DROP一个表或者表的某个 PARTITION 时，并不会删除OSS上的...
IO加速
适用场景 下列是一些IO加速功能适用的业务场景：排序、分组聚合、联合等产生临时结果的复杂操作 使用CTE通用表达式的递归查询 无法使用适当索引的复杂查询 对大表或多个表的分析型查询 其他使用临时表的工作负载 支持范围 满足以下条件的...
概述
SELECT 命令的一般语法是[WITH with_queries]SELECT select_list FROM table_expression[sort_specification]下面几个小节描述选择列表、表表达式和排序声明的细节。WITH 查询等高级特性将在最后讨论。一个简单类型的查询的形式：SELECT*...
离线同步能力说明
示例：创建一个离线同步任务，每天从源MySQL订单表中同步前一天新产生的订单数据到MaxCompute目标表的当天分区，原表订单的创建时间字段为 gmd_created,目标odps表的分区字段为 ds，可以将任务配置如下：同步任务配置：调度参数配置：订单...
全增量实时同步至Hologres
如上图所示，使用 源端表名 将源端表名作为目标表名称，并且将源端表名中符合 t_order.*正则表达式的表数据写入到Hologres名为 t_order 表中。应用目标schema名与表名映射规则。选中待同步的所有表，单击 批量修改>目标Schema名映射自定义 ...
逻辑表表达式
本文介绍在新建逻辑表时，输入逻辑表表达式的规则。简单规则 规则 举例说明 自然序 test_[0-7]：创建8张表。自然对齐序 test_[00-07]：创建8张表，表名两位对齐。test_[000-007]：创建8张表，表名三位对齐。test_[0000-0007]：创建8张表，...
创建逻辑模型：维度表
存储策略 维度表基于什么策略（即存储数据的时间周期及数据量范围）存储数据。维度 维度表关联的维度，用于配置维度表分析数据的视角。说明 创建维度，详情请参见 创建概念模型：维度。表名规则 通过已配置的检查器规范维度表的命名规则。...
逻辑表结构设计
数据管理DMS提供的结构设计功能，可以实现对目标库表进行符合研发规范的表结构设计。您可按需自定义不同业务线的研发流程，保障多套环境（例如开发环境、测试环境、生产环境）之间结构的一致性。本文介绍逻辑表结构设计的方法。背景信息 分...
表分区
分区可以使用表继承来实现，这能够带来一些声明式分区不支持的特性，例如：对声明式分区来说，分区必须具有和分区表正好相同的列集合，而在表继承中，子表可以有父表中没有出现过的额外列。表继承允许多继承。声明式分区仅支持范围、列表...
- 产品推荐
- 这些文档可能帮助您