动态分区管理
Hologres的动态分区功能无需预先设定所有分区信息，可依据创建分区表时配置的动态分区规则，自动创建并管理分区子表。同时，还支持将符合条件的分区数据迁移到低频存储设备，在保证查询性能的同时，有效降低存储费用。功能介绍 动态分区...
数据分层存储
动态管理分区表的存储介质 为了更智能的管理表分区的存储介质，可以使用动态分区功能来设置数据冷热转换规则，实现智能冷热分层存储，有效的平衡成本和性能。更多对于动态管理分区表的信息，详情请参见 动态分区管理。查询存储介质状态 ...
动态分区
本文介绍 云数据库 SelectDB 版 动态分区相关的概念和示例，帮助您进行分区的动态管理，降低您的使用成本。概述 在某些场景下，可能会将数据库表按照天进行分区划分。如果需要手动管理分区，可能由于没有创建分区导致数据导入失败，这给...
ODPS-0123031
解决方案 插入动态分区时，需要注意如下情况：在分布式环境下执行插入动态分区操作时，单个进程最多只能输出512个动态分区。任意动态分区SQL不允许生成超过2000个动态分区。动态生成的分区值不允许为NULL。如果目标表有多级分区，在执行...
功能发布记录
动态分区Auto Partition支持自定义分区创建时间或删除时间，以及自定义冷存表搬迁时间，提升动态分区的易用性。详情请参见 动态分区管理。支持SQL Hint语法，通过Hint改变SQL的执行方式，从而实现对SQL进行细粒度的执行优化。详情请参见 ...
表索引诊断
对于分区表，建议使用动态分区管理分区子表的生命周期。列出所有开了Binlog的表 开启Binlog后，会有额外的存储开销，同时也建议行存表、行列共存表开启Binlog，若列存表开启Binlog，性能开销较大。详情请参见 订阅Hologres Binlog。如果列...
CREATE PARTITION TABLE
CREATE PARTITION TABLE语句用于创建分区表。...动态分区管理 Hologres的动态分区功能无需预先设定所有分区信息，可依据创建分区表时配置的动态分区规则，自动创建并管理分区子表。关于动态分区的管理详情，请参见 动态分区管理。
AUTO模式数据库与DRDS模式数据库
自动分区与手动分区 自动分区 自动分区，指创建表时不指定任何分区定义（如分区键、分区策略等），PolarDB-X 能够自动选择分区键并对表及其索引进行水平分区的功能。AUTO模式数据库支持自动分区，而DRDS模式数据库不支持。示例如下：使用...
2023年
oss_fdw 2023年10月 缺陷修复 修复Auto VACUUM、存储管理、全局索引等稳定性问题。2023年10月 14.8.11.0 内核小版本 类别 说明 相关文档 发布时间 新增 支持对带有关联查询的 IN/ANY 子查询进行条件更加宽松的谓词上拉，提升最优执行计划的...
列存索引如何实现高效数据过滤
优点是数据预先按分区键分布，通常均具有较好的过滤效果，如果用户大部分查询条件均包含分区键，并且还有按分区管理数据生命周期的需求，分区表pruning是个不错的选择，可根据需要建立一级或二级分区。minmax：一般需要该列数据分布有较好...
插入或覆写动态分区数据（DYNAMIC PARTITION）
MaxCompute支持通过 insert into 或 insert overwrite 操作向动态分区中插入数据。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用DataWorks连接 MaxCompute Studio 前提条件 执行 insert into 和 insert ...
将云消息队列 Kafka 版接入阿里云Elasticsearch
Logstash能够动态地从多个来源采集数据、转换数据，并且将数据存储到所选择的位置。通过输入、过滤和输出插件，Logstash可以对任何类型的事件加工和转换。更多信息，请参见 什么是阿里云Logstash。步骤一：获取VPC环境接入点 阿里云...
配置规则：按表（单表）
多级分区表达式 1级分区名=分区值/2级分区名=分区值/N级分区名=分区值 分区值可以是固定值，也可以是内置参数表达式。参数必须使用中括号表示，例如，$[yyyymmdd-N]。分区表必须配置到最后一级分区。DataWorks为您提供了部分内置的业务日期...
DML操作常见问题
解决措施 插入动态分区时，需要注意如下情况：在分布式环境下执行插入动态分区操作时，单个进程最多只能输出512个动态分区。任意动态分区SQL不允许生成超过2000个动态分区。动态生成的分区值不允许为NULL。如果目标表有多级分区，在执行...
PolarDB MySQL版DDL操作指南
此外，您也可以使用 ALTER TABLE 语句的ALGORITHM和LOCK子句对DDL的行为做精细化管理：ALGORITHM子句：为了使用指定算法执行DDL语句，您可以指定ALGORITHM字段，可选的值有DEFAULT、INSTANT、INPLACE和COPY。当DDL操作不支持该算法时，会...
对象存储OSS
存储类型 OSS提供标准存储、低频访问存储、归档存储、冷归档存储和深度冷归档存储多种存储类型，全面覆盖从热到冷的各种数据存储场景。存储类型 说明 标准存储 提供高可靠、高可用、高性能的对象存储服务，能够支持频繁的数据访问。适用于...
数据脱敏
数据安全中心（Data Security Center，简称DSC）支持静态脱敏和动态脱敏，可以脱敏数据库中的敏感数据。本文介绍如何使用静态脱敏和动态脱敏。脱敏方式 静态脱敏：通过新增脱敏任务，使用脱敏算法对敏感数据进行遮盖、加密或替换，并将脱敏...
创建OSS-HDFS投递任务
分区格式 按照投递时间动态生成OSS Bucket的目录，不能以正斜线（/）开头，默认值为%Y/m/d/H/M，相关示例请参见 分区格式，参数详情请参见 strptime API。写OSS-HDFS RAM角色 授予OSS-HDFS投递任务将数据写入到OSS Bucket的权限。默认角色...
CREATE TABLE
支持多种表属性，例如数据有效期TTL、压缩算法COMPRESSION等。您可以灵活搭配各种表属性和数据类型，设计出更贴合业务场景的表。引擎与版本 CREATE TABLE适用于宽表引擎和时序引擎。时序引擎自3.4.32版本开始支持标准CREATE TABLE语法。...
分区裁剪
云原生数据仓库AnalyticDB PostgreSQL版 支持静态分区和动态分区裁剪。在扫描分区表前，能通过检查分区约束条件与每个分区的定义，提前排除不需要扫描的分区，大大减少从磁盘中读取的数据量，从而缩短运行时间，改善查询性能，减少资源浪费...
概述
只将分区表中的过期子分区存储在OSS中，热分区存储在云盘中，这是比较典型的冷热分层模式。数据冷热分层场景 由于OSS访问延迟是云盘介质访问延迟的几百倍，数据一旦冷存处理后，其访问性能会降低。用户为了降低成本将数据冷存处理，但对冷...
概述
只将分区表中的过期子分区存储在OSS中，热分区存储在云盘中，这是比较典型的冷热分层模式。数据冷热分层场景 由于OSS访问延迟是云盘介质访问延迟的几百倍，数据一旦冷存处理后，其访问性能会降低。用户为了降低成本将数据冷存处理，但对冷...
概述
只将分区表中的过期子分区存储在OSS中，热分区存储在云盘中，这是比较典型的冷热分层模式。数据冷热分层场景 由于OSS访问延迟是云盘介质访问延迟的几百倍，数据一旦冷存处理后，其访问性能会降低。用户为了降低成本将数据冷存处理，但对冷...
NAS存储卷FAQ
NAS存储卷挂载时间延长 NAS存储卷挂载失败时出现timeout错误 使用NAS存储卷时，提示chown:option not permitted 挂载NAS存储卷失败 使用NAS动态存储卷时Controller的任务队列已满且无法创建新的PV NAS存储卷挂载时间延长 问题现象：NAS存储...
Spark SQL创建C-Store表
例如，指定这个表数据全部存储在SSD，或者全部存储在OSS，或者指定这个表的一部分二级分区存储在SSD，另一部分二级分区存储在OSS。是 hotPartitionCount=N 指定MIXED存储策略时热分区的个数。表示按分区键的值的大小倒序排列，最大N个分区...
创建隐匿信息查询任务
数据分区 数据分区：分区分为动态分区和静态分区，动态分区按照日、小时调度。使用场景 离线场景：生成预计算文件在后续离线PIR查询中速度较快。在线场景：生成的预计算文件在后续在线PIR查询中速度较快。单击 提交，完成任务的创建。步骤...
客户端工具
本文主要为您介绍表格存储客户端管理工具。简介 表格存储客户端管理工具在本地安装之后，提供图形化的操作...相关文档 您还可以通过表格存储管理控制台、命令行工具和SDK方式创建表以读写数据。具体操作，请参见 数据表操作 和 基础数据操作。
持续的存储优化
维护一个规模适中且价格合理的存储架构是一个持续的过程。为了更有效地利用存储支出，您每个月都应该进行存储...您可以为存储优化任务设置月度计划，使用OSS提供的各种存储管理功能来监控存储成本并评估资源使用情况，从而简化存储优化工作。
数据建模
时间分区 时间分区会按照时间维度进行数据分区存储，存储底层会将不同时间分区内的数据进行分段存储，一个时间分区内的数据包含时间线索引和时序数据。时序引擎支持在数据库设置时间分区，一般情况下，如果创建周期性时间线导致了时间线...
容器与云原生
容器挂载 使用NAS动态存储卷创建有状态应用 存储管理-CSI NAS卷使用说明 存储管理-CSI 通过NFS使用NAS静态存储卷 存储管理-CSI 通过NFS使用NAS动态存储卷 容器应用 阿里云ACK服务使用Windows容器挂载NAS SMB最佳实践 容器服务ACK+文件存储...
概述
同时提供算法服务，支撑您管理算法任务。背景信息 当前物联网行业中，算法开发没有统一的算法定义和开发规范，自主开发的成本高，是业务中的一大痛点。物联网边缘计算，为了提升用户算法开发和运维的效率，通过V（Version）系列边缘一体机...
对象存储优化
对象存储OSS提供存储管理功能，帮助您优化存储性能和成本。分析数据访问模式并对数据进行转储或删除 您可以分析数据访问模式并配置 生命周期规则，自动将访问频率较低的数据转换为成本更低的存储类型，或者在到期日之后自动删除数据。例如...
Hive使用JindoSDK处理OSS-HDFS服务中的数据
使用示例 以下示例用于为表sale_detail添加一个分区，用于存储2021年12月华东1（杭州）地域的销售记录，并将分区存储于指定的OSS路径。ALTER TABLE sale_detail ADD IF NOT EXISTS PARTITION(sale_date='202112',region='hangzhou')...
配置算法任务
管理算法任务 在 算法任务管理 页面，选择您的LE-V-B015型号边缘一体机，单击 算法服务 区域的 事件中心。在 事件中心 页面，选择 客流统计 应用、IPCamera-No1 设备，设置起始和结束时间，搜索并查看该算法任务的事件。单击具体事件右侧的...
生命周期管理FAQ
创建生命周期管理策略时，可以配置低频存储管理规则，将距最近一次访问14天、30天、60天、90天以上的文件转换为低频存储文件；也可以配置归档存储管理规则，将距最近一次访问14天、30天、60天、90天、180天以上的文件转换为归档存储文件。...
使用NAS动态存储卷
在NAS文件系统中通过创建子目录并将其映射为一个动态PV提供给应用。本文介绍如何使用NAS动态存储卷。前提条件 已创建Kubernetes集群，并且在该集群中安装Flexvolume插件。具体操作，请参见 创建Kubernetes托管版集群。已部署alicloud-nas-...
实例
开通 表格存储 服务后，您需要通过 表格存储 管理控制台来创建实例，然后在实例内进行表的创建和管理。每个阿里云账号最多创建10个实例，每个实例内最多创建64张表（包括数据表、二级索引表和时序表）。如果您需要增加限额，请 提交工单。...
创建安全联邦学习任务（任务模式）
数据分区：分区分为动态分区和静态分区，动态分区按照日、小时调度。特征数：请输入数据的特征指数。数据集比例划分：用于按比例随机划分训练集和测试集。单击 下一步，配置数据处理参数。参数 描述 算法分类 支持的算法分类为FL决策树、FL...
NAS存储卷概述（ASK）
在 ACK Serverless集群 中，只支持挂载NAS静态存储卷，不支持挂载NAS动态存储卷。关于如何挂载NAS静态存储卷，请参见 使用NAS静态存储卷。注意事项 NAS为共享存储，可以同时为多个Pod提供共享存储服务，即一个PVC可以同时被多个Pod使用。在...
概述
为此，PolarDB-X 2.0的AUTO模式数据库分区表配套了非常完善的分区变更及管理能力，具体的分区管理能力包括以下几种：分裂分区 分裂热点 合并分区 迁移分区 重命名分区 增加分区 删除分区 修改分区 重组分区 清空分区 分区变更操作对不同...
- 产品推荐
- 这些文档可能帮助您