AUTO模式核心特性及典型场景
ALTER TABLEGROUP#tgName MOVE PARTITIONS#hotPartitionName TO#dn 如果热点数据突破了机器的单点性能，在 PolarDB-X 中可以对其采用第二种处理方法，通过以下命令将热点数据散列，更好的支持业务的线性扩展：ALTER TABLEGROUP#tgName ...
使用冷存储
背景信息 用户可以在购买云HBase实例时选择冷存储作为一个附加的存储空间，并通过建表语句指定将冷数据存放在冷存储介质上面，同时HBase增强版还基于冷存储实现了在同一张表内的冷热分离功能，能够自动将表中热数据放到读写速度快的热存储...
更改列存表的数据存储格式
从Hologres V0.10版本开始，Hologres创建的列存表数据存储格式升级为AliORC，该存储格式能够进一步压缩数据存储大小，降低存储成本。本文将会为您介绍在Hologres中如何更改列存表的数据存储格式。使用限制 在Hologres中更改列存表的数据...
表操作篇
如果必须使用 OrderNumber 作为分区键，建议在 OrderNumber 上进行哈希散列，将哈希值作为 OrderNumber 的前缀，保证数据和访问压力的均匀。总结 可以根据需求将 CardID 和 DeviceID 作为表的分区键，而不应该使用 SellerID 和 OrderNumber...
Join优化
Hash Join：在右表上根据等值Join列建立哈希表，左表流式的利用哈希表进行Join计算，这个算子只适用于等值Join。Nest Loop Join：通过两个for循环进行Join过程处理。它适用的场景是不等值的Join，例如大于小于或者是需要求笛卡尔积的场景。...
数据分布策略
语法 CREATE TABLE table_name(.)[DISTRIBUTED BY(column[,.])|DISTRIBUTED RANDOMLY|DISTRIBUTED REPLICATED]哈希分布 DISTRIBUTED BY(column,[.]）数据将根据分布列的哈希值将各个行分布到指定计算节点上，相同的哈希值会始终散列到同一...
HASH
LINEAR HASH与HASH的不同之处在于，LINEAR HASH使用线性二次幂算法，而HASH使用散列函数值的模数。在语法上，LINEAR HASH和HASH的唯一区别是LINEAR在PARTITION BY子句中添加了关键字。示例 HASH类型的使用示例：CREATE TABLE sales_hash(s_...
管理离线数据归档
时序/快照表中 的 产品属性时序表、产品事件表 自定义存储表 中的 分区表、时序表 数据归档存储成功后，在分析洞察的SQL数据服务工作台，无法再查询到对应的归档数据进行分析。如果需要在分析洞察中对已归档的数据进行查询和分析，可以撤销...
表分布定义
建表语句 CREATE TABLE 支持如下三个分布策略的子句：分布方式 说明 哈希分布 DISTRIBUTED BY(column,[.])数据将根据分布列的哈希值将各个行分布到指定计算节点上，相同的哈希值会始终散列到同一计算节点。为保障数据可以均匀分布在各个...
列存索引如何实现高效数据过滤
其中，RANGE和LIST分区会把数据表分成若干个区间或列表，HASH分区会将数据散列到不同的分区。在使用分区剪枝技术时，需要使用符合分区条件的查询语句，并将分区键作为查询条件进行查询。例如，假设有一个订单表orders，根据订单日期分为12...
迁移HBase至Hologres
支持行存储，列存储，行列共存多种模式。多态存储可以根据数据访问模式的不同而使用灵活的存储方式。Schema表达能力 弱Schema，弱数据类型。强Schema，丰富的数据类型。强Schema可以保证开发的效率，在数据质量不可靠，数据接口不明确的...
名词解释
下表列出了 AnalyticDB PostgreSQL 所涉及到的基本概念：名词 解释 MPP Massively Parallel Processing，一种分布式 Shared Nothing 计算架构，支持多个无共享的节点，执行全并行计算，计算性能随节点增加而线性提升。AnalyticDB for ...
SQL使用限制
大小写敏感 不敏感 由于 表格存储 中原表名和列名均是大小写敏感的，当使用SQL时，原表名和列名会统一转换为小写字母进行匹配，即如果要操作 表格存储 中的Aa列，在SQL中使用AA、aa、aA、Aa均可，因此在原表名或者列名不能同时为AA、aa、aA...
二级索引简介
在创建数据表时预先定义一些列（称为预定义列）后，您可以对任意预定义列和数据表主键列进行索引，指定数据表的若干个预定义列作为索引表属性列。索引表中也可以不包含任何属性列。当指定数据表的若干个预定义列作为索引表属性列时，读取...
概览
产品形态 数据存储类型 企业级高级能力 描述 源表 结果表 维表 Hologres Binlog消费 Flink Catalog Schema Evolution Flink全托管 支持行存储及列存储，Binlog源表建议使用行存储或行列共存。支持行存储及列存储 建议使用行存储或行列共存 ...
分区索引
分区索引是为了解决大宽表的存储和高并发访问问题而设计的一种新特性。创建搜索索引时可以指定数据分区策略，服务端自动将数据进行拆分并存储，查询数据时系统自动进行分区裁剪。本文介绍数据分区的策略和使用方法。前提条件 已开通 云原生...
命名规则和数据类型
通过本文您可以了解 表格存储 的表名和列名的命名规则，以及主键列和属性列支持的数据类型。命名规则 表名和列名必须符合以下规则。规范项 说明 组成 由英文字符（a~z）或（A~Z）、数字（0~9）和下划线（_）组成。首字母 必须为英文字母（a...
存储格式
列存表 列存表（Column-Oriented Table）的按列存储格式，数据访问只会读取涉及的列，适合少量列的数据查询、聚集等数据仓库应用场景，在此类场景中，列存表能够提供更高效的 I/O。但列存表不适合频繁的更新操作或者大批量的INSERT写入场景...
SQL概述
由于表格存储中原始表的列名大小写敏感，当使用SQL时，原始表的列名会统一转换为小写字母进行匹配，即如果要操作表格存储表中的Aa列，在SQL中使用AA、aa、aA、Aa均可，因此表格存储原始表的列名不能同时为AA、aa、aA和Aa。保留字与关键字 ...
RIGHT_SHIFT
使用示例 假设需要将ID作为拆分键，并将ID的值向右移二进制8位的值作为哈希值，则可以如下建表：create table test_hash_tb(id int,name varchar(30)DEFAULT NULL,create_time datetime DEFAULT NULL,primary key(id))ENGINE=InnoDB ...
功能特性
表存储格式：列存、行存、行列共存 数据分层存储 数据湖等外表存储 可直接访问存储MaxCompute、OSS上的数据，实现离线数据加速，数据湖数据加速，包含：OSS存储、MaxCompute存储。OSS数据湖加速 通过创建外部表加速查询MaxCompute数据 开发...
表设计
主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀，避免热点。假设数据分布不均匀，会出现以下问题：数据写入和读取能力受限于单个分区的能力，或者是单机能力，存在...
分布式线性扩展
本文详细介绍了分布式线性扩展的特性。数据物理分布 PolarDB-X 将数据表以水平分区的方式，分布在多个存储节点（DN）上。数据分区方式由分区函数决定，PolarDB-X 支持哈希（Hash）、范围（Range）等常用的分区函数。以下图为例，shop库中的...
配置冷存储
开通 云原生多模数据库 Lindorm 的冷存储功能后，需要配置数据库中的表或者列簇，本文介绍配置冷存储的方法。背景信息 冷存储功能仅支持 云原生多模数据库 Lindorm 引擎版本为2.1.8及以上。Lindorm支持在表级别设置存储属性，可以将整个表...
表索引诊断
统计信息日志表（hologres.hg_table_info）用于收集实例中表的相关元数据，包括创建时间、存储量等信息，以便业务对表做精细化治理。基于hg_table_info表，Hologres提供了表索引诊断功能，通过对表的索引（存储模式、索引设置）等不同维度...
创建和管理自定义存储表
物联网平台数据服务提供离线数据存储功能，支持自定义分区表、事务表和时序表。自定义存储表可以作为数据服务中数据解析、SQL分析任务和数据可视化的数据源，可以作为数据解析、SQL分析任务的结果输出表，可以集成时序表数据到实时计算...
PolarDB HTAP实时数据分析技术解密
用户可以选择通过DDL将一张表的全部列或者部分列创建为列索引，列索引采用列压缩存储，其存储空间消耗会远小于行存格式。默认列索引会全部常驻内存以实现最大化分析性能，当内存不够时，也支持将其持久化至共享存储。PolarDB的SQL执行器层...
管理平台系统表和时序/快照表
您可以通过数据服务的离线数据存储功能，查看平台系统表、时序表和快照表。本文介绍查看平台系统表、时序表和快照表的操作步骤，及各存储表的数据内容。查看存储表 登录 物联网平台控制台。在 实例概览 页面，找到对应的企业版实例，单击...
数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
Dataphin中逻辑维表的存储方式是行式存储还是列式存储
问题描述 Dataphin中逻辑维表存储方式是行式存储还是列式存储的？解决方案 逻辑维表最终是物化存储到用户计算引擎的，比如 ODPS和Hadoop计算引擎，都是列式存储的，所以需要看底层计算引擎的存储方式是什么的，不是Dataphin本身决定的，...
索引选择
索引表可支撑的数据规模与数据表相同，此外，二级索引的主键设计也同样需要考虑散列问题。更多信息，请参见 二级索引简介。表格存储提供了全局二级索引和本地二级索引两种类型的索引。全局二级索引以异步方式将数据表中被索引的列和主键列...
按自定义时间列冷热分离
购买容量型云存储后，您可以指定表或二级索引中的某个时间列作为冷热分离的依据，将数据分别存储于不同的介质中，有效提升热数据查询效率，降低冷数据存储成本。本文介绍按自定义时间列冷热分离的具体操作步骤及相关注意事项。前提条件 已...
表格存储建表注意事项
表格存储支持半结构化的表，即建表时只需要指定主键列（1至4列），不需要在创建表的时候指定属性列。表格存储表中包含的属性列个数无限制，且每一行数据可以拥有不同数量不同类型的属性列。在应用程序写入数据时，表格存储需要应用程序指定...
离线数据存储概述
离线数据包括平台系统表、时序表、快照表和自定义存储表。本文介绍不同类型存储表的基本功能和应用场景。前提条件 已备份数据，具体操作，请参见 数据备份。应用场景 除了查看数据外，数据存储中的存储表，可应用于以下功能。作为查询对象...
实例选型和集群规划
行存储与列存储 云原生数据仓库AnalyticDB PostgreSQL版在表数据存储格式上支持行存储和列存储，二者在不同使用场景下各有优劣势，直接关系到实例的性能和存储空间。用户在创建表时，支持指定数据存储格式，即支持按行组织存储，也支持按列...
如何优化高并发IM系统架构
介绍如何使用表格存储的主键增列功能优化高并发IM系统架构。背景 在构建社交IM和朋友圈应用时，最基本的需求是将用户发送的消息和朋友圈的更新及时、准确地更新给该用户的好友。这需要为用户发送的每一条消息或者朋友圈更新设置一个序号...
混合云备份HBR
抵扣系数 SCU可以抵扣多款云产品的部分存储费用，下表列出中国内地SCU抵扣HBR存储费用时的抵扣系数。说明 其他地域和其他云产品的抵扣规则，请参见 产品定价。存储类型 抵扣系数 说明 备份库存储容量 0.29 每0.29 GB SCU容量抵扣1 GB HBR的...
文件存储NAS
抵扣系数 SCU可以抵扣多款云产品的部分存储费用，下表列出中国内地SCU抵扣NAS存储费用时的抵扣系数。说明 其他地域和其他云产品的抵扣规则，请参见 产品定价。文件系统类型 每GiB存储产品消耗SCU容量系数 说明 容量型NAS 0.35 每0.35 GiB ...
存储容量单位包SCU
抵扣规则 SCU可以抵扣多款云产品的部分存储费用，下表列出中国内地SCU抵扣NAS各存储类型存储费用时的抵扣系数。说明 其他地域和其他云产品的抵扣系数，请参见 产品定价。文件系统类型 每GiB存储产品消耗SCU容量系数 说明 通用容量型NAS 0....
快照服务
抵扣系数 SCU可以抵扣多款云产品的部分存储费用，下表列出中国内地SCU抵扣快照服务容量的抵扣系数。说明 其他地域和其他云产品的抵扣规则，请参见 产品定价。类型 每GiB存储产品消耗SCU容量系数 说明 普通快照 0.12 每0.12 GiB SCU容量能...
- 产品推荐
- 这些文档可能帮助您