结构设计

写入时容易发生倾斜影响写入性能,且多数查询通常是限定了日期或者时间段,如:查询最近一天或者一个月的数据,可能会导致要查询的数据只存在于一个节点上,无法充分利用分布式数据库中所有节点的处理能力。日期、时间类型的字段建议作为二...

行业算法版结构

应用结构 数据推送到行业算法版后会先保存到离线数据表中,在此阶段,为了方便用户推送数据数据表允许用户根据实际业务场景定义多个表(需要指定...辅表join主表时,必须用辅表的主键 join主表的某个字段,不能用辅表的非主键字段join主表;

数据归档至专属存储

如果待归档的源表中存在三个列联合主键(即三个相互关联的列共同构成该表的主键)或三个及以上的唯一键,可能会出现归档失败的情况。建议您在归档前对拥有三个列联合主键的源表进行充分测试,或者考虑使用DBS备份等其他归档方式。数据归档 ...

服务形态

库级别有序 按照数据库的名字计算Hash值并进行分发,即对应同一个库的Binlog数据,会始终按序路由给同一个Binlog数据流,适用于单个 PolarDB-X 实例上数据库比较多的场景,如果事务不涉及跨库操作,该策略下不仅可以具备多流能力,还可以...

数据倾斜诊断

设置智能诊断参数 设置数据量阈值 默认情况下,智能诊断功能会过滤小于1 GB的表,如需调整过滤的表的阈值大小,可以通过如下语句进行设置:ALTER DATABASE<数据库名称>SET adb_diagnose_table_threshold_size to<表的数据量,单位为字节>;...

Hologres维

表的主键必须是Flink Join ON的字段,Flink Join ON的字段也必须是表的完整主键,两者必须完全匹配。Hologres Blink Connector的维表功能不支持一对多的输出。不支持Blink写入时带有数组类型。DDL语义 创建Hologres维表的DDL语句如下。...

热点散列

这里以一张订单表来阐述下HASH策略下的数据表是如何产生数据热点(数据倾斜)的,该表的主键为自增的ID,表定义如下:CREATE TABLE orders(id int(11)NOT NULL AUTO_INCREMENT,seller_id int(11)DEFAULT NULL,PRIMARY KEY(id))对于这个订单...

CREATE TABLE

时序引擎 时序表的主键列中数据类型为VARCHAR的列又被称作 标签(TAG)列,数据类型为TIMESTAMP的列又被称为 时间戳列。主键列的数据类型必须是VARCHAR或TIMESTAMP类型。主键列可以包含一个或多个VARCHAR类型的列,但只能包含一个TIMESTAMP...

连续查询

说明 连续查询归属于指定的数据库,当数据库删除时,该数据库下的所有连续查询也将被自动删除。如果不指定数据库,则在当前数据库(对应USE DATABASE语句指定的数据库)下创建连续查询。连续查询的删除 从指定的Database下删除一个已存在的...

核心概念

汇总逻辑表的主键即组成统计粒度的维度(维度逻辑表的主键)组合,主键之外的字段全部都是指标。物理表 计算引擎中表,即通过DDL创建的表。物化表 存储逻辑表真实数据的物理表。维度辑逻表、事实逻辑表或汇总逻辑表是Dataphin内一种表的...

polar_create_table_with_full_replica_identity

当您通过逻辑复制的方式将 PolarDB PostgreSQL版 中的无主键表同步到其它数据库时,可能导致该上的操作报错,您可以通过设置 polar_create_table_with_full_replica_identity 参数解决该问题。PolarDB PostgreSQL版 的逻辑复制采用“发布...

polar_create_table_with_full_replica_identity

当您通过逻辑复制的方式将 PolarDB PostgreSQL版(兼容Oracle)中的无主键表同步到其它数据库时,可能导致该上的操作报错,您可以通过设置 polar_create_table_with_full_replica_identity 参数解决该问题。PolarDB PostgreSQL版(兼容...

明细数据层(DWD)

如果有字段可以表达这个粒度,可以定义为事实表的主键。应该尽量选择最细级别的粒度,以确保事实表的应用具有最大的灵活性。对于订单过程而言,每一种商品结算后都会产生一个订单,交易成功这个业务过程的粒度可以选择为订单。订单ID如果...

读取数据

例如表的主键包括PK1、PK2、PK3三个主键列,读取数据时,优先比较PK1是否在开始主键与结束主键的范围内,如果PK1在设置的主键范围内,则不会再比较其他的主键,返回在PK1主键范围内的数据;如果PK1在设置的主键边界上,则继续比较PK2是否在...

从RDS原生实时同步

考虑到数据的绝对精确,目前仅支持主键表的同步,不支持非主键表的同步。一个RDS实例推荐只创建一个同步通道,同步过程需要使具有SELECT权限的RDS实例用户。实例必须是高性能计算规格实例,并且实例状态为运行中。源RDS实例已经创建了只读...

数据脱敏

有关主键的更多信息,请参见 RDS MySQL查看表的主键字段的方法。任务配置的MaxCompute分区字段有误 创建脱敏任务时,在脱敏源配置项中填写的源分区或者目标位置配置项填写的目标分区有误。分区写法参考 分区类型 分区写法 分区示例 后N周 ...

创建数据库

若要使用云数据库RDS,您需要在实例中创建数据库。...如果您使用 一键上云 等迁移方式将本地自建数据库迁移上云时,表空间将与本地自建数据库表空间名称相同,支持将数据库和表的表空间修改为 pg_default。下一步 连接PostgreSQL实例。

数据复制

已创建 表格存储 数据表,且目标表的主键列应和需要复制的源表主键列保持一致(包括主键顺序和名称)。具体操作,请参见 通过控制台创建数据表 或 通过SDK创建数据表。已创建 RAM 用户,并授予 RAM 用户管理 表格存储 服务的权限...

新建普通维度逻辑

编辑关联逻辑 关联逻辑 默认展示需要关联维度的字段及关联的维度逻辑表的主键,不支持修改。维表版本策略 定义主表(当前维度逻辑表)与关联维度逻辑表的分区,默认使用与当前维度逻辑表相同调度周期。更多说明如下:使用同周期维度(主表...

配置流引擎的宽连接器

在流引擎中使用宽表 CREATE TABLE lindorm_table(c1 VARCHAR,c2 DOUBLE,c3 BIGINT,PRIMARY KEY(c1,c2)NOT ENFORCED-主键必须与在宽表引擎中创建的结果表的主键一致)WITH('connector'='lindorm','seedServer'='ld-bp17pwu1541ia*-proxy-...

按自定义时间列冷热分离

假设一个表的主键列为p1,p2,非主键列为c1,c2,某一行为p1=row1,p2=2023.1.28日,c1=”c1“,c2=”c2“,冷热分界线CHS=1天,当前时间为2023.1.30日,此时这一行为冷数据。如果更新这一行中的c1,c2列的值,那么这一行仍然为冷数据;...

新建普通维度逻辑

编辑关联逻辑 关联逻辑 默认展示需要关联维度的字段及关联的维度逻辑表的主键,不支持修改。维表版本策略 定义主表(当前维度逻辑表)与关联维度逻辑表的分区,默认使用与当前维度逻辑表相同的调度周期。更多说明如下:使用同周期维度(主...

唯一索引

数据库会自动为定义了一个唯一约束或主键的表创建一个唯一索引。该索引包含组成主键或唯一约束的所有列(可能是一个多列索引),它也是用于强制这些约束的机制。注意 不需要手工在唯一列上创建索引,如果那样做也只是重复了自动创建的...

方案设计

meta表设计 由于GridDataSetId可以唯一标记一个GridDataSet,所以meta表的主键只有一列,用于记录GridDataSetId。各种系统属性和自定义属性保存在meta表的属性列中。查询meta表有两种方式:一种是通过GridDataSetId直接查询,另外一种是...

使用全局二级索引时的注意事项

语句 是否支持变更主表拆分键 是否支持变更主表主键(也即索引表主键)是否支持变更本地唯一索引列 是否支持变更索引表拆分键 是否支持变更Unique Index列 是否支持变更Index列 是否支持变更Covering列 ADD COLUMN 无该场景 不支持 无该...

ALTER DATABASE

ALTER DATABASE 更改一个数据库的属性。简介 ALTER DATABASE 更改一个数据库的属性。第一种形式更改某些针对每个数据库的设置。只有数据库拥有者或者超级用户可以更改这些设置。第二种形式更改数据库的名称。只有数据库拥有者或者超级用户...

使用DataX同步

说明 创建数据表时,建议使用MySQL原主键或唯一索引作为表格存储数据表的主键。已获取AccessKey(包括AccessKey ID和AccessKey Secret),用于进行签名认证。具体操作,请参见 获取AccessKey。背景信息 DataX通过MySQL驱动使用Reader中的...

新建层级维度逻辑

数据类型 选择层级逻辑表主键数据类型。例如,bigint。说明 填写层级逻辑表主键的字段说明。例如,区域_主键 ID。来源表 选择层级维度的数据来源。例如,region 区域数据表。层级数 配置层级维度的层级数。例如,5 层。是否生成叶子维度...

步骤一:创建SQL分析任务

主键:数据的主键字段,显示自定义存储表的主键字段。调度策略生效日期:调度SQL分析任务的时间范围。调度周期:调度SQL分析任务的频率。具体操作,请参见 步骤三:设置任务调度策略并发布。单击 撤销 图标,撤销已发布的SQL分析任务。单击...

添加自增主键导致主从节点查询数据不一致

在没有主键的情况下,数据中的顺序是由存储引擎内部的RowID决定的,同样的数据在主从节点上的RowID可能不同,因此无主键表中的数据在主从节点中的排列顺序不同,从而导致同样的数据对应的自增主键值不同,即用相同的自增主键值分别在主...

添加自增主键导致主从节点查询数据不一致

在没有主键的情况下,数据中的顺序是由存储引擎内部的RowID决定的,同样的数据在主从节点上的RowID可能不同,因此无主键表中的数据在主从节点中的排列顺序不同,从而导致同样的数据对应的自增主键值不同,即用相同的自增主键值分别在主...

ALTER TABLE

变更表的COMMENT 语法 ALTER TABLE db_name.table_name COMMENT 'comment' 示例 将customer表的Comment变更为顾客表。ALTER TABLE customer COMMENT '顾客表';列 增加列 语法 ALTER TABLE db_name.table_name ADD[COLUMN]{column_name ...

写入与查询

当 加载内置数据集 前出现 并为灰质状态,且 库表 页签下可以查看到ADB_SampleData_TPCH数据库及相关的表,则为加载成功。加载内置数据集时,提示加载失败或者长时间加载中如何处理?您需要先通过SQL语句 DROP TABLE table_name;删除库中的...

OTSReader常见问题

解决方案 首先查看读取的Tablestore数据表Schema,确认主键个数,然后确保OTSReader脚本中配置的主键个数与Tablestore数据表的主键个数一致。假设Tablestore数据表有两个主键列,以全同步为例,则OTSReader中应该配置的range范围如下:...

CREATE DATABASE

删除数据库时,系统会同时删除数据库的表或数据等对象。说明 开通Hologres实例后,系统自动创建 postgres 数据库。该数据库分配到的资源较少,仅用于管理,开发实际业务建议您新建数据库。Superuser可以为其他用户创建数据库,并授权该...

Aliyun:Serverless:TableStore:Table

语法 {"Type":"Aliyun:Serverless:TableStore:Table","Properties":{"PrimaryKeyList":List } } 属性 属性名称 类型 必须 允许更新 描述 约束 PrimaryKeyList List 是 否 要用作表主键的列表项的属性名称和类型。更多信息,请参见 ...

CREATE[PUBLIC]DATABASE LINK

数据库连接是一个对象,允许在DELETE、INSERT、SELECT或UPDATE命令中引用远程数据库的表或视图。通过将附加到SQL命令中引用表或视图名称来引用数据库连接,其中 dblink 是数据库连接的名称。数据库连接可以是公共的或私有的。公共数据库...

场景化建调优指南

设置建议 将等值过滤条件的字段设置为主键(Primary Key)的最左字段,即Lineitem表的主键是(l_orderkey,l_linenumber),而不是(l_linenumber,l_orderkey)。将等值过滤条件的字段设置为Distribution Key,保证需要扫描的数据都存储在同一个...

Paimon系统

Paimon系统表用于存储Paimon表的元数据和特定的数据消费行为。本文为您介绍Paimon元数据系统表和特定消费行为的有关系统表作用,相关的字段及含义等。元数据系统表 Snapshots系统表 Snapshots系统表可以查询每个快照文件的具体信息,例如...

湖仓一体

数据库 SelectDB 版 也提供表函数功能(Table-Value-Function或TVF),支持把S3、HDFS等常见远端存储中的文件数据,映射成 云数据库 SelectDB 版 中的表,从而方便地对这些文件数据进行分析,具体参见 文件分析。在本文中,主要介绍...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
云数据库 Redis 版 云数据库 RDS 数据库备份 云数据库 MongoDB 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用