2023年
本文介绍2023年 云原生数据仓库AnalyticDB PostgreSQL版 存储弹性模式的内核功能发布记录。您可以在 云原生数据仓库AnalyticDB PostgreSQL版 控制台将实例升级至最新发布的小版本。升级小版本的具体操作，请参见 版本升级。2023年12月 V6.3...
配置规则：按表（单表）
多级分区表达式 1级分区名=分区值/2级分区名=分区值/N级分区名=分区值 分区值可以是固定值，也可以是内置参数表达式。参数必须使用中括号表示，例如，$[yyyymmdd-N]。分区表必须配置到最后一级分区。DataWorks为您提供了部分内置的业务日期...
表分区
由于分区表及其分区组成的分区层次仍然是一种继承层次，所以继承的普通规则也适用，不过有一些例外，尤其是：分区表的 CHECK 约束和 NOT NULL 约束总是会被其所有的分区所继承。不允许在分区表上创建标记为 NO INHERIT 的 CHECK 约束。只要...
创建Hologres内部表
Hologres可通过DDL方式创建Hologres内部表，也可使用DataWorks提供的可视化方式创建。本文为您介绍如何使用DataWorks可视化方式创建Hologres内部表。前提条件 工作空间已绑定Hologres引擎。详情请参见 绑定Hologres计算引擎。创建表的用户...
转换MBR分区为GPT分区
MBR分区格式不支持2 TiB以上的云盘。如果该云盘目前使用的是MBR分区类型，且希望将其扩容至2 TiB以上，需要先将分区类型从MBR转换为GPT。本文为您介绍如何将Linux和Windows数据盘的MBR分区转换为GPT分区。转换Linux数据盘的分区类型 您可以...
数据质量入门
操作流程 步骤一：配置分区表达式 通过分区表达式匹配数据质量规则需校验的目标表的分区。步骤二：创建质量规则 根据业务需求，创建校验表数据的质量规则。步骤三：试跑质量规则 运行创建的规则，测试验证规则的正确性。步骤四：质量规则...
如何使用Prometheus监控Windows
工作集仅包含可分页内存分配，不包含不可分页的内存分配。进程I/O总量（Bytes）Major WMI（IODataBytesPerSec）进程读写I/O的总量。如果您发现磁盘响应繁忙、响应慢，那么您需要优先查看进程IO量大的进程是否符合预期。进程I/O请求数...
新功能发布记录
当Topic上的分区数分配不均衡时，支持使用集群分区均衡引流功能将集群中所有云存储类型的Topic的分区进行引流调整，使每个节点上的分区数尽量保持一致。当云存储类型的Topic分区分配不均且流量过大时，支持使用Topic分区引流功能将此Topic...
PolarDB MySQL版8.0.2版本发布日志
修复分区表的所有分区在分区剪枝阶段都被裁剪掉的情况下，使用RANGE INDEX访问分区表的全局二级索引时，触发ASSERT CRASH（断言错误）的问题。修复将冷数据归档为ORC格式时，因表中存在Blob类型的字段导致归档失败的问题。修复MRR等场景下...
8.0.1和8.0.2版功能对比
PolarDB for MySQL 8.0.1版和8.0.2版在功能上存在一些差异，包括Warm Buffer Pool、Hash Join、弹性并行查询、执行器增强、优化器增强、分区表、多主集群（库表）、Blink Tree等方面的差异。本文介绍这两个版本的功能区别，以便您基于业务...
Hologres数据源
配置分区表 说明 目前Hologres仅支持LIST分区，分区Column仅支持单个Column分区，且仅支持INT4或TEXT类型。请确认该参数和表DDL的分区配置匹配。配置从内存产生的数据同步至Hologres分区表的子表。{"type":"job","version":"2.0","steps":...
IP前缀
通过分配及回收IP前缀，您可以快速便捷地完成ECS实例批量IP地址的管理，同时提升ECS实例IP地址的密度。基于多IP搭建容器网络时，您可以通过分配IP前缀大幅提升单节点IP密度，简化子网网段管理操作。使用 限制 使用IP前缀功能时，有以下约束...
ID²设备端SDK适配接口
2.2 预留分区操作 int ls_hal_open_rsvd_part(int flag)功能：根据指定的权限flag打开预留的管理分区。如不支持文件系统，直接返回0。参数："flag"：指定管理分区的权限，如LS_HAL_READ。返回值：文件句柄或0；失败返回-1。注意 系统中预留...
文件存储NAS
阿里云文件存储NAS（Apsara File Storage）是面向阿里云ECS实例、E-HPC和容器服务等计算节点的文件存储服务。它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统，支持NFS和SMB协议。文件存储NAS 目前提供极速型、通用性能型...
2022年
2022-08-31 全部地域 读OSS外部表 支持分区表到期后自动删除表 当分区表的分区数据生命周期到期会自动回收，当所有分区都自动回收后，MaxCompute支持设置自动删除该分区表。2022-08-27 全部地域 生命周期操作 新增三个聚合函数 新增三个...
离线全量Key分析
您可以通过离线全量Key分析功能来分析 Tair 的备份文件，快速发现实例中的大Key，帮助您掌握Key在内存中的占用和分布、Key过期时间等信息，为您的优化操作提供数据支持，帮助您避免因Key倾斜引发的内存不足、性能下降等问题。该功能由 ...
表设计最佳实践
按项目空间进行资源的分配、隔离和管理，实现了多租户的管理能力。如果多个应用需要共享数据，则推荐使用同一个项目空间；反之，如果多个应用所需的数据是无关的，则推荐使用不同的项目空间。项目空间的表和分区可以通过Package授权的方式...
初始化大于2 TiB数据盘
一块全新的数据盘挂载到ECS实例后，还不能直接存储数据，通常您需要完成分区、挂载文件系统、磁盘联机等初始化操作后，才能供系统读写数据。本文介绍如何在Linux系统和Windows系统中初始化一块大于2 TiB的数据盘。前提条件 数据盘已挂载到...
本地数据库存储助手
本文以使用官方示例驱动的LightSensor设备为例，描述将设备的数据存储到本地数据库的方法。前提条件 本示例仅适用于Link IoT Edge专业版，请您确保已根据 专业版环境搭建 内容完成边缘实例的创建。根据 示例驱动 内容创建光照度传感器产品...
使用阿里云Flink（流式数据传输）
动态分区模式会为每个分区分配一个缓冲区，缓冲区大小通过 flush_batch_size 参数控制，所以动态分区模式最大会占用分区数量×缓冲区大小的内存。例如100个分区，每个分区1 MB，则最大占用内存为100 MB。否 默认值为100。系统内存中会维护...
为分布式实例添加子实例
创建完成分布式实例后，仅包含一个子实例，您需要为该分布式实例添加单个或多个子实例来组建完整的架构，单个分布式实例中最多可包含三个子实例。添加后，多个子实例间会自动进行实时的数据同步。前提条件 已创建分布式实例，详情请参见 ...
功能发布记录
存储引擎优化Schema存储管理机制，统一通过Meta Tablet存储管理，降低表多、Shard多场景下Schema常驻内存开销，降低资源开销。存储引擎优化快速恢复能力，支持在部分表常规恢复有问题时以修复模式启动快速恢复。元数据管理默认支持逻辑恢复...
存储资源
存储资源是指用于存储和管理数据的硬件和软件资源，包括节点的本地磁盘、分布式文件存储、数据库和缓存等。存储资源的主要作用是存储和管理系统的数据。存储资源需要提供数据的持久性、可靠性和高效性，以满足系统的数据存储和访问需求。...
添加弹性伸缩规则
yarn_cluster_availMemoryMBByPartition YARN 指定分区的内存可用量，参数partition_name为分区名称，空字符串为默认分区。说明 EMR-3.44及之后版本、EMR-5.10及之后版本支持该指标。yarn_cluster_usedVirtualCoresByPartition YARN 指定...
表索引诊断
统计信息日志表（hologres.hg_table_info）用于收集实例中表的相关元数据，包括创建时间、存储量等信息，以便业务对表做精细化治理。基于hg_table_info表，Hologres提供了表索引诊断功能，通过对表的索引（存储模式、索引设置）等不同维度...
2024年
本文介绍2024年 云原生数据仓库AnalyticDB PostgreSQL版 存储弹性模式的内核功能发布记录。2024年03月 V6.6.2.1 类别 功能 功能描述 相关文档 新增 pg_jieba插件 pg_jieba插件对中文文本进行分词，从而实现高效的中文全文检索。使用pg_...
账户共享常见问题
如果怕券浪费，可以手工回收券的剩余金额。如果重新建立与账户的付款关系，该账号可以继续使用该代金券抵扣。企业账号关系解除后，已分配的代金券还能回收吗？企业账号关系解除后，已分配到企业成员账户的代金券额度仍可被之前的管理员回收...
创建分布式实例
若您希望跨地域的不同实例能够自动进行实时数据同步，您可以通过转化已有普通实例或创建新实例的方式，创建分布式（全球多活）实例。可应用于跨地域的实例多活、灾备与数据同步等场景。背景信息 Tair 全球多活 是阿里云自研的基于 云原生...
列存索引中HashMatch算子的实现
当全部处理完内存中的分区后，开始处理磁盘中的分区，由于磁盘中分区的数据已经按分区保存在不同临时文件中，为了避免锁同步，probe阶段仍采用一个磁盘分区由单独Worker独立完成，由于Partition数目往往远大于Worker数目，因此一般不会存在...
通过控制台使用动态云盘卷
分配模式：包含 使用存储类动态创建、已有存储卷、创建存储卷 三种模式。本示例选择 使用存储类动态创建。已有存储类：单击 选择存储类，在 选择存储类 对话框中，目标存储类右侧操作列单击 选择。总量：所创建存储卷的容量。说明 所创建的...
CREATE TABLE（AUTO模式）
Key分区与Hash分区使用区别如下表所示：表 1.Key分区策略与Hash分区策略对比 分区策略 分区键支持 是否支持分区函数 语法示例 特点与限制 路由描述（点查）Key（默认的分区策略）单列分区键 否 PARTITION BY KEY(c1)不支持热点分裂；...
执行引擎
批量内存分配：向量化执行引擎预测计算每个算子需求的内存空间，结合执行引擎Batch化数据模型进行批量内存分配，避免过于碎片化的内存分配。最小内存操作原则：减少不必要的内存申请/重置/释放操作，最大化地提升内存操作性能。
使用限制
说明 所有DB存储的数据总量受限于实例的内存大小；单个DB占用内存按照使用情况自动分配，上限为实例内存（例如DB0占用全部内存而其它DB无数据）。Redis命令支持 详情请参见 Redis命令概览。监控报警 云数据库 Redis 版 未提供容量告警，...
快速入门
分区模式 分区模式决定了将数据写入到MaxCompute哪个分区中，目前DataHub支持以下分区方式：分区模式 分区依据 支持Topic类型 说明 USER_DEFINE Record中的分区列（和MaxCompute的分区字段同名）的value值 TUPLE(1).DataHub schema中必须...
数据源
本文主要介绍数据源的管理和数据接入环节常见问题的诊断方法。一、原始数据源配置 AIRec有两类数据源：启动数据源和实时数据源。启动数据源是在实例初始化阶段上传的数据，是您购买AIRec服务之前就已经拥有的历史数据，一般是一次性上传到...
表结构设计
A：执行以下SQL，可以查看表的所有二级分区及分区的统计信息：SELECT partition_id,-分区名 row_count,-分区总行数 local_data_size,-分区本地存储所占用空间大小 index_size,-分区的索引大小 pk_size,-分区的主键索引大小 remote_data_...
数据存储
本文介绍 云数据库 SelectDB 版 在数据存储方面的关键设计和特性，帮助客户充分发挥SelectDB的潜力。表 在云数据库SelectDB中，表（Table）是存储结构化数据的一种特殊形式。一张表由行（Row）和列（Column）组成，其中行表示一行数据，列...
BigQuery数据迁移至MaxCompute
可选：如果您未创建存储分区，请登录 OSS管理控制台，创建保存迁移数据的分区（Bucket），详情请参见 控制台创建存储空间。可选：如果您未创建RAM用户，请创建RAM用户并授予相关权限。登录 RAM访问控制台，创建RAM用户，详情请参见 创建RAM...
节点异常问题排查
节点已分配的内存资源总量）集群节点临时存储不足的判定方式：当前Pod请求的临时存储总量>（节点可分配的临时存储总量-节点已分配的临时存储总量）如果当前Pod请求的资源总量大于节点可分配的资源总量减去节点已分配的资源总量，Pod就不会...
基础监控
混部资源分配率 分为CPU和内存两个资源维度，分别展示了集群当前为应用混部的CPU资源分配率和内存资源分配率（资源分配率=资源分配量÷资源总量）。如上图所示，集群中混部CPU资源分配率为1.70%，混部内存资源分配率为0.21%。混部资源分配...
- 产品推荐
- 这些文档可能帮助您