JindoTable使用说明
JindoTable提供表或分区级别的热度统计、存储分层和表文件优化的功能。本文为您介绍JindoTable的使用方法。前提条件 本地安装了Java JDK 8。已创建EMR-3.30.0或后续版本的集群，详情请参见 创建集群。使用JindoTable 常见命令如下：...
JindoTable使用说明
JindoTable提供表或分区级别的热度统计、存储分层和表文件优化的功能。本文为您介绍JindoTable的使用方法。前提条件 本地安装了Java JDK 8。已创建EMR-3.30.0或后续版本的集群，详情请参见 创建集群。使用JindoTable 常见命令如下：...
JindoTable使用说明
JindoTable提供表或分区级别的热度统计、存储分层和表文件优化的功能。本文为您介绍JindoTable的使用方法。前提条件 本地安装了Java JDK 8。已创建EMR-3.30.0或后续版本的集群，详情请参见 创建集群。使用JindoTable 常见命令如下：...
JindoTable使用说明
JindoTable提供表或分区级别的热度统计、存储分层和表文件优化的功能。本文为您介绍JindoTable的使用方法。前提条件 本地安装了Java JDK 8。已创建EMR-3.30.0或后续版本的集群，详情请参见 创建集群。使用JindoTable 常见命令如下：...
作为Output接入
分区顺序消息：默认情况下，保证相同Key的消息分布在同一个分区中，且分区内消息按照发送顺序存储。集群中出现机器宕机时，仍然保证分区内按照发送顺序存储。但是会出现部分分区发送消息失败，等到分区恢复后即可恢复正常。当 存储引擎 ...
2023年
本文介绍2023年 云原生数据仓库AnalyticDB PostgreSQL版 存储弹性模式的内核功能发布记录。您可以在 云原生数据仓库AnalyticDB PostgreSQL版 控制台将实例升级至最新发布的小版本。升级小版本的具体操作，请参见 版本升级。2023年12月 V6.3...
数据存储量如何计量
表格存储对实例的数据总量按小时计费。表格存储以固定的时间间隔统计数据总量，然后计算每小时数据总量的平均值。如下图所示，表格存储中实例的数据总量是所有表的数据量之和，表的数据量是表中所有行的数据量之和，所有行的数据量是所有...
Jindo sql命令介绍
使用Jindo sql分析OSS访问日志 注意 分析OSS访问日志需要指定OSS访问日志目录和指定是否为分区表，指定分区表会自动按照Bucket或date进行日志归档，能够支持使用过滤语句指定查询某个分区，极大的提升了查询效率，但是开启分区表之后必须...
Jindo sql命令介绍
使用Jindo sql分析OSS访问日志 注意 分析OSS访问日志需要指定OSS访问日志目录和指定是否为分区表，指定分区表会自动按照Bucket或date进行日志归档，能够支持使用过滤语句指定查询某个分区，极大的提升了查询效率，但是开启分区表之后必须...
Jindo sql命令介绍
使用Jindo sql分析OSS访问日志 注意 分析OSS访问日志需要指定OSS访问日志目录和指定是否为分区表，指定分区表会自动按照Bucket或date进行日志归档，能够支持使用过滤语句指定查询某个分区，极大的提升了查询效率，但是开启分区表之后必须...
产品整体介绍
在将表数据分布到各个存储节点后，在单个节点上根据业务场景可对表数据进行分区，在执行具体查询时进行分区裁剪，缩小查找和数据处理范围。AnalyticDB PostgreSQL版 支持范围和列表分区类型，同时支持多级分区。下图展示了一张用户表显示...
新建数据探查任务
您可快捷选择已存在的指定分区（同数据表资产详情页面的明细信息-分区信息页签已生成的分区），也可手动填写表达式一次探查多个分区，例如：ds>'20230101' and(age>10 or age)and city in('beijing','hangzhou')。如果有多级分区，则至少...
新建数据探查任务
您可快捷选择已存在的指定分区（同数据表资产详情页面的明细信息-分区信息页签已生成的分区），也可手动填写表达式一次探查多个分区，例如：ds>'20230101' and(age>10 or age)and city in('beijing','hangzhou')。如果有多级分区，则至少...
通道服务概述
通道服务（Tunnel Service）是基于表格存储数据接口上的全增量一体化服务。通道服务提供了增量、全量、增量加全量三种类型的分布式数据实时消费通道。通过为数据表建立数据通道，您可以简单地实现对表中历史存量和新增数据的消费处理。背景...
推荐的性能设计模式
使用传输加速加快远距离上传下载速率 OSS的传输加速功能 利用全球分布的云机房，将全球各地用户对您存储空间的访问，经过智能路由解析至就近的接入点，使用优化后的网络及协议，为云存储互联网的上传下载提供端到端的加速方案。您可以使用 ...
ALTER TABLE
alter table 只会影响分区表的新建分区（包括 insert overwrite 生成的），新分区将按新的聚簇属性存储，老数据分区的聚簇属性和存储保持不变。即在一张曾经做过聚簇属性设置的表上，关闭了聚簇属性，再增加聚簇设置，可以在新分区设置不同...
分区分桶
为了帮助您深入理解 云数据库 SelectDB 版 的分区分桶的概念和如何实施分区分桶，本文档详细阐释了分区分桶的原理和操作示例，以帮助您理解分区分桶原理和如何实施分区分桶。概述 为了能高效处理大数据量的存储和计算，云数据库 SelectDB ...
EMR控制台管理YARN分区
EMR支持在控制台上通过可视化UI管理YARN分区，同时可以批量建立节点组与分区的映射，方便操作。您可以直接在节点组上配置分区属性，扩容和弹性伸缩后，EMR会自动为新增节点打上Node Label，无需重新配置新节点。本文为您介绍如何在EMR控制...
增量同步性能白皮书
单机同步单分区 单机同步4个分区 单机同步8个分区 单机同步32分区 单机同步64分区 2台机器同步64分区 2台机器同步128分区 说明 上述测试场景不是产品能力的极限测试，对表格存储服务端的整体压力较小。测试步骤 创建数据表并进行预分区...
Iceberg连接器
本文为您介绍Iceberg连接器相关的内容和操作，具体如下：配置Iceberg连接器 示例：查询Iceberg表数据 SQL语法 分区表 按分区删除 回滚 系统表和列 Iceberg表属性 物化视图 前提条件 已创建DataLake集群或Hadoop集群，并选择了Presto服务，...
使用ODPS Foreign Table访问MaxCompute数据
末级分区外表 相对于非分区外表，末级分区外表，映射的是MaxCompute的末级分区表，需要设置正确的 partition 属性，多级分区时，末级分区外表只支持末级分区表，即 partition 属性需要包含多级分区完整路径。举例说明：在MaxCompute上创建...
列存索引如何实现高效数据过滤
对于LIST分区，会将所有分区的list值及其对应的分区ID组成tuple,part_id>，按value有序存储，也是按照二分搜索法寻找命中分区；对于HASH分区，则枚举可能的取值进行hash，计算可能落在哪些分区，只能用于整型字段并且需要枚举的数量较少。...
CREATE TABLE
例如，使用 FROM(MINVALUE)TO(10)定义的分区允许任何小于 10 的值，并且使用 FROM(10)TO(MAXVALUE)定义的分区允许任何大于或等于 10 的值。创建涉及多个列的范围分区时，将 MAXVALUE 作为下限的一部分并将 MINVALUE 作为上限的一部分也是有...
分区和列操作
合并分区 对分区表的分区进行合并，即同一个分区表下的多个分区合并成一个分区，同时删除被合并的分区维度的信息，把数据移动到指定分区。清空分区数据 清空指定分区的数据。列操作 添加列或注释 为已存在的非分区表或分区表添加列或注释。...
分区表
分区表使用 AnalyticDB PostgreSQL支持的分区表类型包括范围（Range）分区、值（List）分区和多级分区表，下图为一个多级分区表设计实例，一级分区采用按月的区间（Range）分区，二级分区采用按地区的值（List）分区设计。使用场景 是否...
快速开始
CLOSING分区指调度中的分区，表示该分区正在切换Tunnel Client，会调度到其他Tunnel Client。附录：完整代码 import com.alicloud.openservices.tablestore.TunnelClient;import ...
RestAPI Reader最佳实践
{"status":"success","totalNum":304,"data":[{"id":6,"name":"测试用户6"},{"id":7,"name":"测试用户7"},{"id":8,"name":"测试用户8"},{"id":9,"name":"测试用户9"},{"id":10,"name":"测试用户10"}]} 其中data为返回的数据存储路径，读取...
通过SDK使用通道服务
CLOSING分区指调度中的分区，表示该分区正在切换Tunnel Client，会调度到其他Tunnel Client。附录：完整代码 import com.alicloud.openservices.tablestore.TunnelClient;import ...
表结构设计
A：执行以下SQL，可以查看表的所有二级分区及分区的统计信息：SELECT partition_id,-分区名 row_count,-分区总行数 local_data_size,-分区本地存储所占用空间大小 index_size,-分区的索引大小 pk_size,-分区的主键索引大小 remote_data_...
通过控制台使用宽表模型
表格存储 提供了控制台、命令行工具（Tablestore CLI）和Tablestore SDK三种访问方式。通过控制台使用宽表模型（WideColumn）时，您需要开通表格存储服务，然后使用控制台进行创建实例、创建数据表、读写表中数据以及使用SQL查询数据的操作...
多元索引最佳实践
大批量导入数据前准备 首次创建Tablestore的数据表后，在导入数据前，如果数据较多，例如超过10亿行，请联系表格存储技术支持进行数据表的预分区，使数据导入速度更快。数据量较大的情况下，推荐先将数据导入到数据表再创建多元索引，有利...
计费模式
说明 元数据对象存储量计费案例：例如在1月1号，数据湖元数据中包括100个库，1万张表，共50万个分区，0.5万个索引，则 月初时，元数据对象的存储量=0.01（库）+1（表）+50（分区）+0.5（索引）=51.51万个存储对象 1月31号，增加60万个分区...
局部事务
为数据表开启局部事务后，使用局部事务功能，您可以创建数据范围在一个分区键值内的局部事务并对局部事务中的数据进行读写操作。通过使用局部事务您可以实现单行或多行读写的原子操作。场景 使用局部事务功能，可以实现单行或多行读写的...
分区投影
本文档主要介绍了分区投影功能的背景信息、使用场景和限制，以及如何使用分区投影功能。背景信息 当您把数据存储在OSS或HDFS上，并建立大量的分区管理这些数据。DLA Presto在分析这些数据时，会花费大量的时间从元数据系统中获取分区，从而...
使用JindoTable实现对OSS上表或分区的归档和解冻
本文介绍了JindoTable中的archiveTable和unarchiveTable命令，这两个命令可以用于对OSS上的表或分区进行归档和解冻操作。使用限制 该文档仅适用于使用Hive Metastore存储元数据的情况。archiveTable命令 archiveTable 命令可以对OSS上的表...
分区和列操作
分区和列操作为您提供了变更MaxCompute中表的分区或列的操作方法，您可以根据实际业务场景执行相应操作。本文为您介绍如何添加或删除分区、添加或修改列及注释常用操作。分区和列操作详情请参见 分区和列操作。分区和列操作常用命令如下。...
对象存储OSS
存储类型 OSS提供标准存储、低频访问存储、归档存储、冷归档存储和深度冷归档存储多种存储类型，全面覆盖从热到冷的各种数据存储场景。存储类型 说明 标准存储 提供高可靠、高可用、高性能的对象存储服务，能够支持频繁的数据访问。适用于...
2021年
2021年10月 内核小版本（V1.1.17）类别 名称 描述 相关文档 新增 分区表DML支持执行期修剪 分区表支持update、delete在执行器期间（runtime）执行分区剪枝。分区剪枝 聚合函数支持order by子句 聚合函数支持包含 order by 子句的简单查询。...
PolarDB MySQL版DDL操作指南
ERROR 0A000:ALGORITHM=INPLACE is not supported.Reason:Cannot change column type INPLACE.Try ALGORITHM=COPY.VARCHAR类型属于变长存储类型，磁盘仅存储实际长度，因此建议您在使用VARCHAR类型的字段时，考虑将最大长度直接调整到256个...
局部事务
为数据表开启局部事务后，使用局部事务功能，您可以创建数据范围在一个分区键值内的局部事务并对局部事务中的数据进行读写操作。通过使用局部事务您可以实现单行或多行读写的原子操作。目前局部事务功能处于邀测中，默认关闭。如果需要使用...
- 产品推荐
- 这些文档可能帮助您