块存储FAQ
本文汇总了使用块存储时的常见问题。存储容量单位包SCU问题 什么是存储容量单位包SCU？哪些块存储产品可以使用存储容量单位包SCU？存储容量单位包SCU可以单独使用吗？存储容量单位包SCU的抵扣规则是什么？SCU如何计费？SCU可以退款吗？ESSD...
JindoFS实战演示
如何将Hive数据按照分区归档到OSS 如何将Hive数据按照分区归档到OSS 2021-05-18 传统集群架构存在很多问题，例如存储量与计算量无法一直匹配、存储无法水平扩展、存储与计算竞争硬盘资源等。为了解决这些问题，您可以将HDFS中的热数据保留...
表设计最佳实践
维度表可与任意表组中的任意表进行关联，且创建时无需配置分区信息，但是对单表个数有所限制。通常要求维度表的单表量不超过1000万个。说明 维度表的数据不应被大量更新。可以使用MAPJOIN语句进行维度表和其它表的JOIN操作。拉链表的设计 ...
功能发布记录（2023年）
2023.3.15 所有地域 所有DataWorks用户 处理治理项问题 数据服务的加速服务启动商业化 加速服务面向MaxCompute数据源生成在线API服务，无需导出MaxCompute数据，即可提供良好的查询性能与效率，满足在线查询需求。2023.3.1 华东2（上海）、...
功能发布记录
支持将DATE类型设为主键及分区表分区键，详情请参见 CREATE PARTITION TABLE，优化分区剪裁，当分区字段IN Array的长度超过阈值（默认100）同样支持分区裁剪。更多引擎内部优化：存储引擎优化Tablet Lazy Open机制（主从实例均支持）：超过...
PolarDB PostgreSQL版：ePQ架构详解
PolarDB PostgreSQL版 实现了弹性跨机并行查询（ePQ）特性，能够帮助您解决原先的 PolarDB PostgreSQL版 在处理复杂的AP查询时会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 11（内核小版本1.1.28及以上）...
PolarDB PostgreSQL版：ePQ架构详解
PolarDB PostgreSQL版（兼容Oracle）实现了弹性跨机并行查询（ePQ）特性，能够帮助您解决原先的 PolarDB PostgreSQL版（兼容Oracle）在处理复杂的AP查询时会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版（兼容Oracle）的版本如下：...
表操作
当使用分区字段对表进行分区时，新增分区、更新分区内数据和读取分区数据均不需要做全表扫描，提高处理效率。col_comment：分区列的注释内容。注释内容为长度不超过1024字节的有效字符串，否则报错。说明 分区值不能包含双字节字符（如中文...
PolarDB PostgreSQL（兼容Oracle）2.0版本商业化公告
支持Oracle兼容的分区表创建、修改、扩展功能 PolarDB PostgreSQL版（兼容Oracle）2.0版本 支持Oracle风格的分区表，包括一级、二级分区的创建，支持List、Range、Hash三种分区的创建。支持常见的CREATE、COALESCE、DROP、EXCHANGE、MERGE...
PolarDB PostgreSQL（兼容Oracle）2.0版本与1.0版本...
支持Oracle兼容的分区表创建、修改、扩展功能 PolarDB PostgreSQL版（兼容Oracle）2.0版本 支持Oracle风格的分区表，包括一级、二级分区的创建，支持List、Range、Hash三种分区的创建。支持常见的CREATE、COALESCE、DROP、EXCHANGE、MERGE...
版本发布说明
修复CoHash的Right分区函数计算结果不正确导致的分区路由问题，发布日期：2023-12-27 大版本：V5.4.18 小版本：17034692 类别 说明 新增&优化 新增支持AUTO模式数据库的co_hash分区策略。优化使用AB表方案进行事务日志清理的流程，避免一次...
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
初始化云盘
您可以在扩容系统盘后做扩展分区或者新增分区操作。具体操作，请参见 扩展分区和文件系统_Linux系统盘。操作场景 当新建边缘云ENS实例时设定的系统盘容量与系统盘镜像容量相同时，系统已经自动为系统盘分区并挂载文件系统，因此系统盘无需...
表操作
当使用分区字段对表进行分区时，新增分区、更新分区内数据和读取分区数据均不需要做全表扫描，提高处理效率。col_comment：分区列的注释内容。注释内容为长度不超过1024字节的有效字符串，否则报错。说明 分区值不能包含双字节字符（如中文...
扩容分区和文件系统（Linux）
如果您需要扩容的云盘分区是MBR分区表下的扩展分区（通常判断方式是分区号大于等于5），您需要先进行扩展分区扩容后再对逻辑分区进行扩容。例如您有/dev/vdb1（主分区）、/dev/vdb2（扩展分区）、/dev/vdb5（逻辑分区）三个分区，此时您...
索引介绍
使用宽表模型的表引擎查询数据时存在依赖主键以及根据属性查询效率低的问题，表格存储提供了二级索引和多元索引用于解决宽表模型的数据查询问题。您也可以为数据表创建映射关系后，像使用传统数据库一样使用SQL查询表中数据。表引擎 宽表...
FineReport
选中C4单元格，由于A4、B4、C3单元格的扩展已经确定了唯一的销量值，故C4单元格无需扩展，扩展方向为不扩展。C5和D5单元格也都要设置扩展方向为不扩展。多数据集关联：当报表中存在不同数据集的数据时，需要通过添加数据过滤条件，建立起...
DataWorks的审计事件
DataWorks已与操作审计服务集成，您可以在操作审计中查询用户操作DataWorks产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过Open...
Hive数据源
Hive的本质是一个SQL解析引擎，其底层通过MapReduce实现数据分析，使用HDFS存储处理的数据，将HQL转化为MapReduce程序并在Yarn上运行。Hive Reader插件通过访问HiveMetastore服务，获取您配置的数据表的元数据信息。您可以基于HDFS文件和...
扩展参数
OpenSearch-LLM智能问答版扩展参数说明 Prompt参数 attitude参数 参数说明：对话内容的语气，默认为normal normal：无 polite：使用和蔼和礼貌的语气 patience：使用委婉和耐心的语气 rule参数 参数说明：对话内容的详细程度，默认为...
扩容磁盘
说明 系统盘扩容完成后，ECS实例存在以下问题：ECS实例会对磁盘做一些处理，这可能导致ECS实例的/etc/hosts 文件发生变化，您需要在扩容完成后修复/etc/hosts 文件。SSH免登录配置失效（不影响服务），您可以手动修复。
开发部署扩展程序：自建服务方式
在DataWorks扩展程序中，您可以自定义逻辑以监管用户的操作行为，例如拦截和阻断不当行为，通过扩展程序对特定事件进行消息通知与流程管控。本文为您介绍如何通过自建服务开发部署扩展程序。权限说明 开放平台管理员 和 租户管理员 拥有 ...
扩展程序概述
DataWorks通过OpenEvent能力为您提供消息推送订阅能力，同时您可以将服务程序注册为DataWorks的扩展程序，通过扩展程序来卡点并响应订阅的事件消息，以此实现通过扩展程序对特定事件进行消息通知与流程管控。本文为您介绍通过OpenEvent和...
EXCHANGE PARTITION
语法 ALTER TABLE.EXCHANGE PARTITION 命令用于将一个分区或子分区与单表进行交换，可以将一个与分区表的表结构相同的单表交换为分区表中的一个分区或子分区。语法如下：ALTER TABLE target_table EXCHANGE PARTITION target_partition ...
推荐的性能设计模式
如果请求前缀合理打散（参见 OSS性能与扩展性最佳实践），OSS会自动扩展分区数量来支持更高QPS的访问，您只需要等待并重试即可。当您发出大量不同大小的请求时（例如超过128 MB），建议您测量吞吐量，并重试最慢的5%请求。当您发出较小的...
使用fdisk扩容新分区起始位置无法与扩容前保持一致
问题描述 使用fdisk扩容新分区起始位置无法与扩容前保持一致，具体信息如下所示。查看vdb1磁盘分区情况，如下图所示，扩容前分区起始位置63。使用fdisk删除分区后，新建分区时最小起始位置为2048，无法与原分区保持一致。问题原因 用户在...
概述
为此，PolarDB-X 2.0的AUTO模式数据库分区表配套了非常完善的分区变更及管理能力，具体的分区管理能力包括以下几种：分裂分区 分裂热点 合并分区 迁移分区 重命名分区 增加分区 删除分区 修改分区 重组分区 清空分区 分区变更操作对不同...
OSS/OSS-HDFS的性能优化最佳实践
如果使用随机性前缀（参见 OSS性能与扩展性最佳实践），OSS会自动扩展分区数量来支持更高QPS的访问，您只需要等待并重试即可。您可以通过调整 fs.oss.retry.count 控制访问OSS或OSS-HDFS的重试次数，fs.oss.retry.interval.millisecond ...
MaxCompute数据源
MaxCompute如何实现列筛选、重排序和补空等 MaxCompute列配置错误的处理 MaxCompute分区配置注意事项 MaxCompute任务重跑和failover 更多其他数据集成常见问题请参见 数据集成常见问题。附录：脚本Demo与参数说明 附录：离线任务脚本配置...
PARTITION_EXISTS
按照表分区列的顺序依次写出分区值，分区值数目必须与分区列数目一致。返回值说明 返回BOOLEAN类型。如果指定的分区存在返回True，否则返回False。使用示例-创建分区表foo。create table foo(id bigint)partitioned by(ds string,hr string...
分区表索引
分区表索引类型 PolarDB PostgreSQL版（兼容Oracle）支持分区上的两种索引类型：本地索引 在分区表本地索引（Local Index）中，本地索引与分区表的分区一一对应，具有与其表相同的分区数和相同的分区范围。每个索引分区都与基础表的一个...
分区表索引
分区表索引类型 PolarDB PostgreSQL版 支持分区上的两种索引类型：本地索引 在分区表本地索引（Local Index）中，本地索引与分区表的分区一一对应，具有与其表相同的分区数和相同的分区范围。每个索引分区都与基础表的一个分区相关联，因此...
分区表索引
分区表索引类型 PolarDB PostgreSQL版（兼容Oracle）支持分区上的两种索引类型：本地索引 在分区表本地索引（Local Index）中，本地索引与分区表的分区一一对应，具有与其表相同的分区数和相同的分区范围。每个索引分区都与基础表的一个...
预读和预扩展
本文介绍了堆表预读、堆表预扩展以及索引创建预扩展的简介、原理以及使用方法等。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.5.1.0及以上）PostgreSQL 11（内核小版本1.1.1及以上）说明 您可通过如下...
预读和预扩展
本文介绍了堆表预读、堆表预扩展以及索引创建预扩展的简介、原理以及使用方法等。前提条件 支持的 PolarDB PostgreSQL版（兼容Oracle）的版本如下：Oracle 2.0（内核小版本2.0.14.1.0及以上）说明 您可通过如下语句查看 PolarDB PostgreSQL...
创建MaxCompute投递任务（新版）
日志服务采集到日志后，支持将日志投递至MaxCompute的表中进行存储与分析。本文介绍如何创建MaxCompute投递任务（新版）。前提条件 已创建Project和Logstore。具体操作，请参见 创建Project和Logstore。已采集日志。具体操作，请参见 数据...
技术面临的挑战与革新
在分布式数据库中，同样也可以采用这种模式，将事务集中在一个节点处理，而这限制了事务处理的扩展能力，系统能处理的事务操作的数据范围受限于单个节点所能访问的数据范围，事务处理能力也受限于单个节点的处理能力。
MaxCompute投递（新版）
处理脏数据 错误项 是否计入失败条数 说明 分区错误 是 常见场景为分区不合法或分区列不存在。该条数据不会写入MaxCompute。数据列不合法 否 常见场景类型为不匹配或者类型转换失败。该列数据不会写入MaxCompute，其余列正常写入MaxCompute...
动态分区
本文介绍 云数据库 SelectDB 版 动态分区相关的概念和示例，帮助您进行分区的动态管理，降低您的使用成本。概述 在某些场景下，可能会将数据库表按照天进行分区划分。如果需要手动管理分区，可能由于没有创建分区导致数据导入失败，这给...
编辑资源队列
如果关闭了分区与队列关联，则会一键清空当前分区已关联的队列。进入服务的配置页面。登录 E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。在EMR on ECS页面，单击目标集群操作列的 集群服务。在 集群服务 页面，单击...
- 产品推荐
- 这些文档可能帮助您