多色仪表盘
多色仪表盘组件可用于展示设备的某个属性（作为设备仪表使用），或接口返回的数值型数据。下文介绍组件的详细配置方法。步骤一：添加组件 创建Web应用。具体操作，请参见 创建Web应用。在Web应用编辑器中，单击最左侧的组件图标。在画布...
ALTER TABLE…DROP SUBPARTITION
ALTER TABLE…DROP SUBPARTITION 命令用于删除子分区及存储在子分区内的数据。语法介绍 使用ALTER TABLE…DROP SUBPARTITION 命令来删除子分区定义及子分区内的数据。语法如下：ALTER TABLE table_name DROP SUBPARTITION subpartition_...
查看分区状态
分区用于存储消息，每个Topic由一个或多个分区组成，分区状态展示了各个分区的消息总量、最大及最小消费位点。当Kafka集群出现消息堆积、磁盘水位过高等异常情况时，可查看分区状态了解服务端的消息量及各个分区的消费进度，定位异常原因。...
推荐的挂载方式
容器网络文件系统CNFS则是阿里云容器服务利用CSI插件抽象出的新的容器存储管理方式，与传统CSI使用模式保持兼容。我们推荐您在使用阿里云容器服务时使用CNFS来管理和访问NAS存储卷，从而获得明显的性能提升和强大的管理能力和I/O可观测性。...
按扫描量付费
然后将GZIP格式的数据分区存储，将待扫描的数据存储在同一个分区中。DLA只扫描一个分区，扫描的数据量降低至0.2 TB。将1 TB的JSON文件转换为ORC格式，DLA只需按列扫描其中10%的数据，扫描的数据量降低至0.1 TB。经过数据格式转换、压缩和...
表设计规范
分区设计与存储逻辑 一张表里有很多个一级分区，每个一级分区都会按时间存储二级分区，每个二级分区都会存储所有的列，如下图所示。分区设计需要注意：设置分区的数量上限。避免每个分区中只存少量数据。以方便数据查询和计算为前提设置...
创建混合分区
混合分区原理如下图所示：混合分区的基本原理是将分区表中的分区存储在不同的存储介质上，以达到冷热数据分离管理的目的。比如将热数据存储在本地PFS上，冷数据存储在OSS上，这样可以极大地降低冷数据的存储成本，且不影响热数据的查询性能...
读取以分区方式存储的OSS数据
MaxCompute支持创建OSS外部表为分区表，访问OSS上以分区方式存储的数据，通过该方式可降低读取数据量并提升数据处理效率。本文为您介绍MaxCompute支持的OSS标准分区路径格式和自定义分区路径格式。背景信息 创建OSS外部表后，MaxCompute会...
数仓版变配湖仓版
湖仓版（3.0）在数据的采集、存储、计算和应用等方面做了升级，若需体验 湖仓版（3.0）的更多功能，可通过扩缩容的方式将 数仓版（3.0）直接变配为 湖仓版（3.0），变配流程结束后，只保留变配后的 湖仓版（3.0）集群。若您选用该方式进行...
Node Labels特性使用
本文为您介绍YARN Node Labels特性、使用方式和常见问题。基本介绍 YARN Node Labels特性支持将YARN NodeManager节点进行分区管理。因为一个节点只能设置属于某一个Node ...实例规格差异过大，用分区管理的方式分别运行作业避免不均衡等。
创建和管理自定义存储表
管理自定义存储表 重要 自定义存储表可应用于数据服务的多个功能，需注意以下几点：SQL分析任务的结果存储到自定义存储表时，自定义存储表的表结构字段已添加并保存。无数据输出的自定义存储表，仅可作为一个数据解析或SQL分析任务的输出...
数据存储冷热分离
假设热分区数为N，数据存储冷热分离策略会按照分区的大小（指定分区列数据的数据值大小）降序排序，最大的N个分区为热分区，存储在SSD盘，其余分区为冷分区，存储在OSS中，形成冷热分区布局。例如热分区数为4，分区包含20201110、20201109...
分区表管理（auto_partition）
AnalyticDB PostgreSQL版 支持将大表定义为分区表，并支持通过auto_partition插件对分区表进行自动删除或新增，当您进行条件查询时，系统只会扫描满足条件的分区，避免全表扫描，从而提升查询性能。新增分区的粒度包括小时，天，星期，月，...
Hive以EMR集群的方式处理OSS-HDFS服务中的数据
使用示例 以下示例用于为表sale_detail添加一个分区，用于存储2021年12月华东1（杭州）地域的销售记录，并将分区存储于指定的OSS路径。ALTER TABLE sale_detail ADD IF NOT EXISTS PARTITION(sale_date='202112',region='hangzhou')...
创建MaxCompute投递任务（新版）
日志服务采集到日志后，支持将日志投递至MaxCompute的表中进行存储与分析。本文介绍如何创建MaxCompute投递任务（新版）。前提条件 已创建Project和Logstore。具体操作，请参见 创建Project和Logstore。已采集日志。具体操作，请参见 数据...
分区策略使用示例
可变后缀：可选择时间类型的分区键对应的分区上界作为当前分区的命名后缀，另外可选时间的格式化输出格式以及时间的递增间隔。配置完成后，单击 测试生成 按钮可以查看设置的分区名。在 删除分区 项下，根据时间间隔设置预创建相应数量的...
离线扩容分区和文件系统（Linux数据盘）
由于部分Linux操作系统版本较旧，云盘无法在操作系统内使用growpart等工具在线（云盘是mount状态）扩容，这种情况需要采用离线（云盘是umount状态）扩容的方式才能使云盘扩容生效。本文主要介绍如何离线扩容Linux数据盘。前提条件 已创建...
Web服务和内容管理
文件存储NAS可用于各种内容管理系统和Web服务应用程序，为网站及应用程序提供高效存储服务。本文列举了Web服务的最佳实践案例。使用Nginx代理服务器代理阿里云NAS 通过Windows IIS服务访问阿里云NAS 容器服务ACK+文件存储NAS快速搭建NGINX...
全局索引
分区表可以将一个表按照维度（分区键）拆分为若干个独立的子表，通过对子表的分别管理，达到提高可管理性、整体性能和负载均衡的效果。PolarDB PostgreSQL版 的许多用户大量的使用分区表来管理自己的数据，其中较为典型的用法是以时间为...
全局索引
分区表可以将一个表按照维度（分区键）拆分为若干个独立的子表，通过对子表的分别管理，达到提高可管理性、整体性能和负载均衡的效果。PolarDB PostgreSQL版（兼容Oracle）的许多用户大量的使用分区表来管理自己的数据，其中较为典型的用法...
HybridDB for MySQL设计和实践优化建议
当用户在使用HybridDB for MySQL进行数据库设计和实践的过程中，我们有如下建议：分区键的选择 分区键是数据库控制数据分布的维度，以该条件进行等值查询，查询范围只会限制在一个存储分区上，通常选择查询最频繁的列，或数据分布最均匀的...
发布者最佳实践
在消息没有指定Key的情况下，云消息队列 Kafka 版 2.4版本之前的默认策略是循环使用主题的所有分区，将消息以轮询的方式发送到每一个分区上。但是，这种默认策略Batch的效果会比较差，在实际使用中，可能会产生大量的小Batch，从而使得实际...
投递日志到MaxCompute（旧版）
您可以在日志服务控制台实时...分区列 log_partition_time string_partition_time_保留字段 由日志的_time_字段对齐计算而得，分区粒度可配置。status string status 日志内容字段 解析自日志，该字段取值支持枚举，保证分区数目不超过上限。
计划加速
但是一旦达到一定规模的分区数，这个过程变得逐渐明显，用户在查询过程中感到分区表的查询相比于普通表尤为缓慢。如上面的SQL中，表 part_hash 有10000个分区，它的 Planning Time 可以达到3秒左右，但普通表的查询 Planning Time 仅需0.1...
计划加速
但是一旦达到一定规模的分区数，这个过程变得逐渐明显，用户在查询过程中感到分区表的查询相比于普通表尤为缓慢。如上面的SQL中，表 part_hash 有10000个分区，它的 Planning Time 可以达到3秒左右，但普通表的查询 Planning Time 仅需0.1...
分区变更
PolarDB-X 的AUTO模式数据库分区表配套了非常完善的分区变更及管理能力，具体的分区管理能力包括以下几种：分区分裂 热点分区分裂 分区合并 分区迁移 重命名分区 增加分区 删除分区 修改分区 重组分区 清空分区 分区变更操作对不同分区策略...
变更表的表组（AUTO模式）
在 PolarDB-X 的AUTO模式数据库中，所有表都从属且只属于一个表组，同一个表组内的表分区方式一致，同一表组内的表之间的关联查询可以下推到存储节点执行，执行效率得到了很大的提高。本语法仅适用于AUTO模式数据库。为了方便将表关联到同...
存储池
PolarDB 在内核集成了原生的存储池功能，提供了面向SaaS用户的资源划分、资源重组、数据库对象（数据库级与分区级）资源绑定、数据库对象资源重定义能力，可有效解决多租户平台应用在跨机分布式事务、数据运维、租户资源管理等等方面的问题...
概述
表格存储的索引方式可选全局二级索引或者多元索引。说明 全局二级索引和多元索引的更多信息请参见 海量结构化数据存储技术揭秘：Tablestore存储和索引引擎详解。表分区裁剪：根据过滤条件进行逻辑分区（Split）的细化匹配，提前筛选出无效...
动态分区管理
Hologres的动态分区功能无需预先设定所有分区信息，可依据创建分区表时配置的动态分区规则，自动创建并管理分区子表。同时，还支持将符合条件的分区数据迁移到低频存储设备，在保证查询性能的同时，有效降低存储费用。功能介绍 动态分区...
列存索引如何实现高效数据过滤
优点是数据预先按分区键分布，通常均具有较好的过滤效果，如果用户大部分查询条件均包含分区键，并且还有按分区管理数据生命周期的需求，分区表pruning是个不错的选择，可根据需要建立一级或二级分区。minmax：一般需要该列数据分布有较好...
API概览
分区管理 API 描述 AddPartitions 在元信息系统中添加分区信息。GetPartition 获取分区信息。GetPartitions 获取表的所有分区信息。DropPartition 删除分区信息。表管理 API 描述 CreateTable 创建OSS的表。GetTable 获取给定表的详细信息...
数据分层存储
动态管理分区表的存储介质 为了更智能的管理表分区的存储介质，可以使用动态分区功能来设置数据冷热转换规则，实现智能冷热分层存储，有效的平衡成本和性能。更多对于动态管理分区表的信息，详情请参见 动态分区管理。查询存储介质状态 ...
生命周期管理FAQ
创建生命周期管理策略时，可以配置低频存储管理规则，将距最近一次访问14天、30天、60天、90天以上的文件转换为低频存储文件；也可以配置归档存储管理规则，将距最近一次访问14天、30天、60天、90天、180天以上的文件转换为归档存储文件。...
名词解释
下表列出了 AnalyticDB PostgreSQL 所涉及到的基本概念：名词 解释 MPP Massively ...数据分布 MPP架构下，表的数据按分区键存储在不同数据分区上，是全并行计算中的一个计算执行和存储单元。常见的分布方式有哈希分布，随机分布，复制分布。
Hudi存储
分区级生命周期管理 支持设置多种策略，如按分区数、按数据量和按过期时间策略管理分区数据生命周期，同时支持并发设置生命周期管理策略，进一步降低存储成本。异步Table Service 支持异步Table Service服务，与写入链路完全隔离，对写入...
生命周期管理概述
同一个文件或目录支持同时配置低频存储规则和归档存储规则，若同时选择，低频存储管理规则天数必须小于归档管理规则天数。优势 配置简便，无须编写脚本或手动迁移数据 您只需设置生命周期管理策略，文件系统会自动将符合生命周期策略的数据...
功能特性
目录配额 生命周期管理 阿里云文件存储通用型 NAS 推出的生命周期管理功能，可以帮助您将低频访问的冷文件数据从标准存储转换到低频存储中，并采用低频存储计费方式，从而减少文件系统的存储费用。配置生命周期 数据安全和保护能力 功能集 ...
快速玩转Tablestore入门与实战
本文为您介绍 表格存储 的适用场景以及可借鉴的开发指导、经典案例。通过本文提供的场景和应用案例，您可以更好地了解 表格存储 使用方式、设计思路、架构实现等，为您的方案选型提供参考依据。说明 本文中的经典场景都提供相应的实现代码...
Hive使用JindoSDK处理OSS-HDFS服务中的数据
使用示例 以下示例用于为表sale_detail添加一个分区，用于存储2021年12月华东1（杭州）地域的销售记录，并将分区存储于指定的OSS路径。ALTER TABLE sale_detail ADD IF NOT EXISTS PARTITION(sale_date='202112',region='hangzhou')...
- 产品推荐
- 这些文档可能帮助您