数据分层存储
返回单位是Byte table_name|hot_size|cold_size|status-+-+-+-tbl2_2022062222|0|0|hot tbl2_2022062221|1125|0|hot tbl2_2022062220|1245|0|hot tbl2_2022062219|1358|0|hot tbl2_2022062218|0|1875|cold tbl2_2022062217|0|1143|cold tbl...
常见问题
数据存储到阿里云OSS以后，您可以选择标准存储（Standard）作为移动应用、大型网站、图片分享或热点音视频的主要存储方式，也可以选择成本更低、存储期限更长的低频访问存储（Infrequent Access）、归档存储（Archive）、冷归档存储（Cold ...
参数说明
work_mem 指定在写到临时磁盘文件之前被内部排序操作和哈希表使用的内存量。注意对于一个复杂查询，可能会并行运行好几个排序或者哈希操作；每个操作都会被允许使用这个参数指定的内存量，然后才会开始写数据到临时文件。同样，几个正在...
分区表简介
比如 idxpart0 中只会存储 i 的哈希值除以2余0的行，idxpart 表则是使用了哈希分区。比如 idxpart1 中只会存储 i 的哈希值除以2余1的行。多级分区（Multi-Level Partitioning）分区表被分成多个分区后，这些分区还可以继续被分区，这样的...
分区表简介
比如 idxpart0 中只会存储 i 的哈希值除以2余0的行，idxpart 表则是使用了哈希分区。比如 idxpart1 中只会存储 i 的哈希值除以2余1的行。多级分区（Multi-Level Partitioning）分区表被分成多个分区后，这些分区还可以继续被分区，这样的...
分区表简介
比如 idxpart0 中只会存储 i 的哈希值除以2余0的行，idxpart 表则是使用了哈希分区。比如 idxpart1 中只会存储 i 的哈希值除以2余1的行。多级分区（Multi-Level Partitioning）分区表被分成多个分区后，这些分区还可以继续被分区，这样的...
并行计划
在一个 哈希连接（没有“并行”前缀）中，每个合作进程都会完全执行内侧以构建哈希表的相同拷贝。如果哈希表很大或者该计划开销很大，这种方式就很低效。在一个 并行哈希连接 中，内侧是一个 并行哈希，它把构建共享哈希表的工作划分到多个...
原理
本文概述了分区表模块的主要实现原理，便于用户了解分区表在底层实现时的一些细节，从而能够更好地学习如何去使用分区表。分区表创建原理 分区表的创建主要涉及语法解析模块和执行模块。语法解析模块 分区表创建是分区表整个功能的核心部分...
查看表和DB的存储大小
返回单位是KB或者MB等单位 查看表存储明细 Hologres从V2.1版本开始，支持通过 hologres.hg_relation_size 函数查看表的明细存储，包括数据、Binlog等存储明细。使用限制 仅V2.1及以上版本Hologres实例支持使用 hologres.hg_relation_size ...
创建二级索引
二级索引相当于把数据表的主键查询能力扩展到了不同的列，当需要使用属性查询数据时，您可以通过创建二级索引加快数据查询的效率。设置预定义列后，在创建二级索引时将预定义列作为索引表的索引列或者属性列。说明 二级索引包括全局二级...
数据膨胀诊断
设置数据量阈值 默认情况下，智能诊断功能会过滤小于1 GB的表，如需调整过滤的表的阈值大小，可以通过如下语句进行设置：ALTER DATABASE<数据库名称>SET adb_diagnose_table_threshold_size to<表的数据量，单位为字节>;例如，您需要诊断...
概述
通过KV查询方式访问数据时，查询主体是表格存储的数据表，数据表只能通过主键查询。如果查询的SQL语句中的过滤字段不是数据表的主键，则需要进行全表扫描。由于col1不是数据表的主键，表格存储会进行全表扫描找到col1的值为'阿%'的一行数据...
列存索引中GroupJoin算子的实现
在这两个操作中，都会使用key1创建哈希表（注意fact_table.key1=dimension_table.key1），执行计划说明如下：HASH JOIN：使用dimension_table.key1建哈希表，使用fact_table.key1查哈希表并输出数据；HASH GROUP BY：使用fact_table.key1建...
创建二级索引
在数据表上创建索引表后，可根据需要读取索引表中的数据或者删除数据表上指定的索引表。说明 二级索引包括全局二级索引和本地二级索引。关于二级索引的更多信息，请参见 二级索引。您也可以使用CreateTable接口在创建数据表的同时创建一个...
创建二级索引
二级索引相当于把数据表的主键查询能力扩展到了不同的列，当需要使用属性查询数据时，您可以通过创建二级索引加快数据查询的效率。设置预定义列后，在创建二级索引时将预定义列作为索引表的索引列或者属性列。创建二级索引后，您可以使用二...
创建数据表
接口/说明：根据指定的表结构信息创建数据表。request是CreateTableRequest类的实例，它包含TableMeta和TableOption以及ReservedThroughput。请参见TableMeta类的文档。当创建一个数据表后，通常需要等待几秒钟时间使partition load完成，...
ECS实例中的应用偶尔出现丢包现象并且内核日志（dmesg...
nf_conntrack模块会使用一个哈希表记录TCP协议“established connection”记录，当这个哈希表满之后，新的连接会引发“nf_conntrack:table full,dropping packet”错误。关于nf_conntrack模块中的重要参数，可参考如下信息。nf_conntrack_...
如何使用Redis连接模块
HGET 获取存储在哈希表中指定字段的值 HMSET 同时将多个 字段-值（域-值）对设置到哈希表 键 中。HMGET 获取所有给定字段的值。HSETNX 只有在 字段 不存在时，设置哈希表字段的值。HDEL 删除一个或多个哈希表字段。HEXISTS 查看哈希表 键 ...
Join优化
Hash Join：在右表上根据等值Join列建立哈希表，左表流式的利用哈希表进行Join计算，这个算子只适用于等值Join。Nest Loop Join：通过两个for循环进行Join过程处理。它适用的场景是不等值的Join，例如大于小于或者是需要求笛卡尔积的场景。...
表格存储中表、行、列、值和电子表格的类比
表格存储中的表存储着用户的结构化数据。用户可以在表中查询、插入、修改和删除数据。一个用户可以拥有多个表。数据在表中以行、列、值的形式来组织。上图展示了表格存储中表及其它概念与电子表格的类比：表：类似电子表格中底端的标签，...
后端路由
2.4 一致性哈希算法路由 一致性哈希算法根据不同的哈希因子将访问请求均匀地分配到后端服务。相同哈希因子计算结果的请求，将会调度到相同的后端服务。后端路由插件支持如下哈希因子：源IP哈希：根据请求的源IP地址进行哈希计算。相同源IP...
离线数据存储概述
离线数据包括平台系统表、时序表、快照表和自定义存储表。本文介绍不同类型存储表的基本功能和应用场景。前提条件 已备份数据，具体操作，请参见 数据备份。应用场景 除了查看数据外，数据存储中的存储表，可应用于以下功能。作为查询对象...
pg_partitioned_table
目录 pg_partitioned_table 存放有关表如何被分区的信息。列名称 列类型 描述 partrelid oid 这个分区表的 pg_class 项的OID。partstrat char 分区策略。取值范围如下：h：哈希分区表。l：列表分区表。r：范围分区表。partnatts int2 分区...
CREATE TABLE
对于特别大的表，500 MB的限制可以突破，每个Bucket在2 GB~3 GB左右比较合适。同时，可以结合 set odps.stage.reducer.num=<并发数>;来突破1111个桶的限制。对于 join 优化场景，去除Shuffle和Sort步骤能显著提升性能。因此要求两个表的...
时序分析存储概述
低成本数据存储 冷热数据分层存储，采用不同的存储介质 对于时序的热数据采用 表格存储 行列混合的宽表存储，对于时序全量历史数据采用列存储。高数据压缩率存储 列存储能更好地利用数据重复性，结合RLE、DICTIONARY、DELTA、BIT-PACKING等...
使用流程
通过控制台使用宽表模型的流程 通过控制台使用宽表模型流程中的主要步骤说明请参见下表。步骤 操作 说明 1 开通表格存储服务 使用表格存储功能前，您必须开通表格存储服务。服务仅需开通一次，开通过程免费。如果已经开通 表格存储 服务，...
分区表常见问题
分区表查询计划不准确主要的原因是统计信息不准确，在8.0.2版本中已经针对这个问题做了分区级别统计信息优化，建议您将版本升级到8.0.2。PolarDB MySQL版 的物理表如何分区？一般情况下，每个分区是一个Innodb表，Hybrid分区可以放在其他...
JOIN优化和执行
详情参见 查询优化器介绍 此外，各个JOIN算法对左右输入也有不同的偏好，例如，Hash Join中右表作为内表用于构建哈希表，因此应当将较小的表置于右侧。这些也同样会在CBO中被考虑到。PolarDB-X 支持了上述比较丰富的Join算法，优化器会根据...
数据导出到OSS概述
同步方式 说明 全量导出 将表格存储的全量数据一次性导出到OSS中备份或者使用。使用此同步方式时，只需执行一次离线同步任务即可，无需为离线同步任务配置调度属性。增量同步 将表格存储中新增和变化的数据定期同步到OSS中备份或者使用。...
应用场景
本文介绍文件存储NAS数据存储的主要应用场景。企业应用上云 阿里云NAS提供标准的NFS和SMB接口，云下建立在NAS上的应用程序可以轻松迁移到阿里云。阿里云NAS基于云原生架构，具有99.95%高可用性，PB级容量弹性，同时支持目录配额、ACL、回收...
表格存储建表注意事项
如在写入一行数据时，将UserID通过简单的哈希算法生成一个哈希值，然后在哈希值后拼接UserID作为分区键的值存入表格存储的表。通过这种轻量级的操作可以有效地解决部分访问热点问题。但是需要特别注意的是，由于分区键的值是由哈希值和实际...
使用EXPLAIN
QUERY PLAN--Limit(cost=0.29.14.48 rows=2 width=244)->Index Scan using tenk1_unique2 on tenk1(cost=0.29.71.27 rows=10 width=244)Index Cond:(unique2>9000)Filter:(unique1)这是和上面相同的查询，但是我们增加了一个 LIMIT 这样...
Logstash配置文件说明
数组类型目前被用于处理不需要类型检查的哈希表或混合类型列表，示例如下。users=>[{id=>1,name=>bob},{id=>2,name=>jane}]列表 列表本身不具备类型特征，但其所包含的属性具有类型特征，这样就可以键入检查多个值。您可以通过列表的形式，...
JOIN与子查询的优化和执行
本文主要介绍如何使用JOIN和子查询。JOIN是将多个表以某个或某些列为条件，进行连接操作而检索出关联数据的过程，多个表之间以共同列而关联在一起。子查询是指在父查询的WHERE子句或HAVING子句中嵌套另一个SELECT语句的查询。基本概念 JOIN...
查询执行器介绍
某些情况下，算子需要将数据全部读取并缓存在内存中，该过程被称为物化，例如，HashJoin算子需要读取内表的全部数据，并在内存中构建出哈希表。其他类似的算子还有HashAgg（聚合）、MemSort（排序）等。由于内存资源是有限的，如果物化的...
表操作篇
并行写入数据 表格存储的表会被切分成多个分区，这些分区被分散在多个表格存储的服务器上。如果有一批数据要上传到表格存储中，同时这批数据是按主键排列顺序的，若按顺序写入数据，可能会导致写入压力集中在某个分区中，而其他的分区处于...
数据表管理
AnalyticDB PostgreSQL版 数据库中的表与其它关系型数据库中的表类似，不同的是表中的行被分布在不同Segment上，表的分布策略决定了在不同Segment上面的分布情况。创建普通表 CREATE TABLE命令用于创建一个表，创建表时可以定义以下内容：...
功能发布记录
2022-01-20 华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）、新加坡 通过Hibernate使用 通过MyBatis使用 同步Kafka数据到时序表 您可以使用kafka-connect-tablestore包将Kafka中数据写入 表格存储 的时序表...
通用限制
本文介绍了表格存储的通用使用限制。为保证更好的性能，请合理设计表结构和单行数据大小。实例限制 资源 限制值 说明 单个阿里云账号下可以保有实例数 10个 如果业务需求超过限制，请 提交工单 联系我们。单实例中表的个数 64个 限制值包含...
Hash Clustering
Join在MaxCompute内部主要有三种实现方法：Broadcast Hash Join 当Join表中存在一个很小的表时，MaxCompute采用此方式，即把小表广播传递到所有的Join Task Instance上面，然后直接和大表做Hash Join。Shuffle Hash Join 如果Join表比较大...
- 产品推荐
- 这些文档可能帮助您