工作原理
工作原理 本地安装一个数据库网关代理（database gateway agent）。数据库网关代理负责与数据库网关云端服务（database gateway cloud service）建立安全的、可信任的通道。不同账号、不同网关所建立的通道彼此隔离。通道建立后，当您...
常见问题
云工作流的工作原理是什么？云工作流的优势是什么？云工作流最长执行多长时间？怎么执行云工作流？云工作流使用什么语言编写流程？云工作流是集成了云监控？云工作流是否集成了事件源？什么是 云工作流？云工作流 是一个用来协调多个分布式...
创建混合分区
混合分区原理如下图所示：混合分区的基本原理是将分区表中的分区存储在不同的存储介质上，以达到冷热数据分离管理的目的。比如将热数据存储在本地PFS上，冷数据存储在OSS上，这样可以极大地降低冷数据的存储成本，且不影响热数据的查询性能...
发布者最佳实践
如果您使用的Producer客户端版本小于2.4，可以根据黏性分区策略原理，自行实现分区策略，然后通过参数 partitioner.class 设置指定的分区策略。关于黏性分区策略实现，您可以参考如下Java版代码实现。该代码的实现逻辑主要是根据一定的时间...
通过ARMS APM应用监控服务实现HPA弹性伸缩
工作原理 将ACK集群中的Java应用接入ARMS APM应用监控服务后，您可以通过ARMS APM获取应用接口的访问详情。关于如何将Java应用接入ARMS APM应用监控服务，请参见 应用监控。ARMS APM应用监控服务将ARMS APM数据转换为阿里云Prometheus数据...
RDS迁移至MaxCompute实现动态分区
本文为您介绍如何使用DataWorks数据集成同步功能自动创建分区，动态地将RDS中的数据迁移至MaxCompute大数据计算服务。前提条件 准备DataWorks环境 开通MaxCompute。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 ...
分区索引
数据分区策略 HASH分区 时间范围分区 多级HASH分区（高级用法）准备工作 使用分区索引前需要创建测试表，语句如下：CREATE TABLE IF NOT EXISTS search_table(user_id bigint,storeId varchar,goodsId varchar,goodsPrice smallint,...
多级分区表静态裁剪与并行扫描
原理介绍 在多级分区表中，每一级分区表的分区维度可以不同，如下图所示：例如，一级分区表按照时间（date）维度分区，二级分区表按照地域（region）维度分区。当QC发起查询时，优化器可以根据查询条件（例如，date='202201' AND region='...
原理
本文概述了分区表模块的主要实现原理，便于用户了解分区表在底层实现时的一些细节，从而能够更好地学习如何去使用分区表。分区表创建原理 分区表的创建主要涉及语法解析模块和执行模块。语法解析模块 分区表创建是分区表整个功能的核心部分...
Bucket Shuffle Join
工作原理 SelectDB支持的常规分布式Join方式包括Shuffle Join和Broadcast Join。这两种Join都会导致相当大的网络开销。例如，当前存在A表与B表的Join查询，它的Join方式为Hash Join，不同Join类型的开销如下：Broadcast Join：如果根据数据...
Node Labels特性使用
这里只介绍Node Labels配置节点映射最方便的centralized模式便于理解工作原理，EMR-5.11.1及之后版本和EMR-3.45.1及之后版本已经默认使用 yarn.node-labels.configuration-type=distributed 模式，无需使用本文提供的手动添加命令，支持在...
确认表血缘
确认表血缘 同空间下确认上游表血缘 节点周期写入某张表某个分区的数据，大部分场景都是采用调度参数来动态实现，您可参考 调度参数，了解调度参数的替换原理。若您需要依赖同工作空间某节点，则可检查其调度参数的配置情况。开发环境确认...
顺序消息
说明 全局顺序消息实际上是一种特殊的分区顺序消息，即Topic中只有一个分区，因此全局顺序和分区顺序的实现原理相同。因为分区顺序消息有多个分区，所以分区顺序消息比全局顺序消息的并发度和性能更高。如何实现顺序消息 全局顺序消息和...
分区裁剪
动态分区裁剪的原理：利用JOIN算子内表的数据，动态生成外表（分区表）的分区过滤器，从而跳过不需要的分区。如果没有分区裁剪，分区大表和小表的JOIN可以简化为下图：当JOIN KEY为分区键，那么分区表中的所有分区都需要被扫描，然后和小表...
MMA概述
数据迁移原理 Hive数据迁移原理 Hive数据迁移包含通过Hive UDTF迁移数据到MaxCompute、通过OSS迁移Hive数据到MaxCompute，本文为您介绍两种数据迁移方式的原理。通过Hive UDTF迁移数据到MaxCompute。该场景通过Hive的分布式能⼒，实现Hive...
表分区
由于分区表及其分区组成的分区层次仍然是一种继承层次，所以继承的普通规则也适用，不过有一些例外，尤其是：分区表的 CHECK 约束和 NOT NULL 约束总是会被其所有的分区所继承。不允许在分区表上创建标记为 NO INHERIT 的 CHECK 约束。只要...
列存索引如何实现高效数据过滤
基本原理与方法 分区信息剪枝 IMCI的分区剪枝技术是指在查询时根据分区键的条件来过滤不需要查询的分区，从而减少查询的数据量和提高查询效率的技术。IMCI支持的分区类型包括RANGE、LIST、HASH三种。其中，RANGE和LIST分区会把数据表分成...
一键表数据同步
前提条件 已开通DataWorks服务并创建DataWorks工作空间，详情请参见 创建工作空间。开通Hologres并绑定至DataWorks工作空间，详情请参见 绑定Hologres实例。背景信息 DataStudio支持 一键MaxCompute数据同步 功能，您可以使用可视化方式...
双样本T检验
双样本T检验基于统计学原理用来检验两个样本的均值是否有显著差异。本文为您介绍 Designer 提供的双样本T检验的参数配置和使用示例。组件配置 您可以使用以下任意一种方式，配置双样本T检验组件参数。方式一：可视化方式 在 Designer 工作...
订阅者最佳实践
云消息队列 Kafka 版 负载均衡消费的内部原理是，把订阅的Topic的分区，平均分配给各个消费实例。因此，消费实例的个数不要大于分区的数量，否则会有消费实例分配不到任何分区而处于空跑状态。这个负载均衡发生的时间，除了第一次启动上线...
一键MaxCompute数据同步节点
详细原理请参见 postgres_fdw。配置目标表信息。用于新建存放MaxCompute数据的Hologres内部表。参数 描述 目标schema Hologres内部表所属的 Schema。目标表名 Hologres内部表名称。当创建内部表时，若表名称已存在，不同类型的表处理策略...
K近邻
K近邻算法进行分类的原理是针对预测表的每行数据，从训练表中选择与其距离最近的K条记录，将这K条记录中类别数量最多的类，作为该行的类别。组件配置 您可以使用以下任意一种方式，配置K近邻组件参数。方式一：可视化方式 在 Designer 工作...
如何使用Prometheus监控Kafka
分区指标：展示分区数量、ISR、Unclean Leader选举、Replica Lag、Offline分区、Under Replicated分区等明细信息。时间指标：展示Produce、Request、Fetch等各个环境的时间指标。集群流量指标：展示集群的总体流量指标。Broker流量指标：...
PolarDB PostgreSQL版：ePQ架构详解
分区表支持：不仅包括对Hash/Range/List三种分区方式的完整支持，还包括对多级分区静态裁剪、分区动态裁剪的支持。除此之外，PolarDB PostgreSQL版 分布式ePQ执行引擎还支持分区表的Partition Wise Join。并行度弹性控制：包括全局级别、表...
如何使用Prometheus监控Kafka
分区指标：展示分区数量、ISR、Unclean Leader选举、Replica Lag、Offline分区、Under Replicated分区等明细信息。时间指标：展示Produce、Request、Fetch等各个环境的时间指标。集群流量指标：展示集群的总体流量指标。Broker流量指标：...
PolarDB PostgreSQL版：ePQ架构详解
分区表支持：不仅包括对Hash/Range/List三种分区方式的完整支持，还包括对多级分区静态裁剪、分区动态裁剪的支持。除此之外，PolarDB PostgreSQL版（兼容Oracle）分布式ePQ执行引擎还支持分区表的Partition Wise Join。并行度弹性控制：...
创建服务器迁移任务
使用内网传输能获得比通过公网更快速更稳定的数据传输效果，提高迁移工作效率。您可以通过VPN网关、高速通道物理专线、智能接入网关将源服务器和云上VPC打通。更多信息，请参见 连接本地IDC。传输限速 迁移过程中，数据传输的带宽上限限制...
导入数据并查询
说明 TABLE_PROPERTIES 中的 partition_column 属性必须声明分区列（本例中的p1、p2、p3）且 partition_column 属性里必须严格按照第1级、第2级、第3级的顺序声明（本例中p1为第1级分区，p2为第2级分区，p3为第3级分区）。列定义中必须定义...
分区分桶
为了帮助您深入理解 云数据库 SelectDB 版 的分区分桶的概念和如何实施分区分桶，本文档详细阐释了分区分桶的原理和操作示例，以帮助您理解分区分桶原理和如何实施分区分桶。概述 为了能高效处理大数据量的存储和计算，云数据库 SelectDB ...
分区表扫描算子
分区间并行：每个工作进程查询一个分区。混合并行：分区间和分区内都可以并行执行。示例 创建两张分区表，并分别创建1000个子分区。CREATE TABLE part_range(a INT,b VARCHAR,c NUMERIC,d INT8)PARTITION BY RANGE(a);SELECT 'CREATE TABLE...
分区表扫描算子
分区间并行：每个工作进程查询一个分区。混合并行：分区间和分区内都可以并行执行。示例 创建两张分区表，并分别创建1000个子分区。CREATE TABLE part_range(a INT,b VARCHAR,c NUMERIC,d INT8)PARTITION BY RANGE(a);SELECT 'CREATE TABLE...
RestAPI Reader最佳实践
接口测试工具调用示例：准备工作：创建MaxCompute分区表 本实践将从接口处读取的数据同步至MaxCompute分区表中，因此首先需要创建一张用于存储同步过来的数据的分区表。说明 分区表配合覆盖写命令，可以实现分区覆盖写的效果，让数据同步...
表操作篇
设计良好的主键 表格存储会根据表的分区键将表的数据自动切分成多个分区，每个分区调度到一台服务节点上。分区键的值是最小的分区单位，相同的分区键值下的数据无法再做切分。为了防止某一个分区键值的数据成为访问热点造成单机服务能力...
支持多级分区表上创建全局索引
PolarDB PostgreSQL版（兼容Oracle）支持在多级分区表上以及分区键上创建全局索引（Global Index）。前提条件 PolarDB PostgreSQL版（兼容Oracle）的内核小版本需为20230930（v1.1.35）版本及以上。注意事项 在多级分区中，Global Index...
块存储FAQ
如果您直接测试裸盘分区，会破坏裸盘分区中的文件系统元数据，导致无法访问该裸盘分区中的文件，甚至导致实例宕机。使用FIO的文件系统测试性能方式时，不存在上述问题。如何根据应用需求选择可用区？按量付费的云盘只能挂载到同一可用区的...
DataWorks的审计事件
AddProjectMemberToRole 添加DataWorks工作空间用户至角色。AddTenantUser 添加租户成员。AddToMetaCategory 添加表至指定的类目。ApprovePermissionApplyOrder 审批一个权限申请单。BatchCreateIndicator 批量创建指标。...
计划加速
这是因为分区表在优化器中的原理可以简单理解为：首先对每个分区生成最优的Plan，然后使用 Append 算子把这些Plan并联起来作为分区表的最优Plan。如果分区表的分区数量较少，这个过程会很快，对于用户是无感知的；但是一旦达到一定规模的...
计划加速
这是因为分区表在优化器中的原理可以简单理解为：首先对每个分区生成最优的Plan，然后使用 Append 算子把这些Plan并联起来作为分区表的最优Plan。如果分区表的分区数量较少，这个过程会很快，对于用户是无感知的；但是一旦达到一定规模的...
INSERT OVERWRITE SELECT
功能原理 INSERT OVERWRITE SELECT 会先清空分区中的旧数据，再将新数据批量写入到分区。如果表是分区表，INSERT OVERWRITE SELECT 只能覆盖数据涉及到的分区，数据未涉及的分区不会被清空并覆盖写入。如果表是非分区表，INSERT OVERWRITE ...
Topic引流
引流方式 引流方式 原理 影响 适用场景 持续时间 新增分区 为原集群节点上的所有Topic在扩容后的新节点中增加分区。分区消息乱序。分区数量改变。如果您的客户端无法自动感知到新分区（例如：指定分区发送消费以及一些数据处理场景），您...
- 产品推荐
- 这些文档可能帮助您