PolarDB HTAP实时数据分析技术解密
用户可以选择通过DDL将一张表的全部列或者部分列创建为列索引，列索引采用列压缩存储，其存储空间消耗会远小于行存格式。默认列索引会全部常驻内存以实现最大化分析性能，当内存不够时，也支持将其持久化至共享存储。PolarDB的SQL执行器层...
列存索引技术架构介绍
列式存储由于有更好的IO效率（压缩、DataSkipping、列裁剪）以及CPU计算效率（Cache Friendly），因此要达到最极致的分析性能必须使用列式存储，而列式存储中由于索引稀疏导致索引精准度问题决定了它不可能成为TP场景的存储格式。...
Doris概述
Doris也支持比较丰富的索引结构，来减少数据的扫描：Sorted Compound Key Index：可以最多指定三个列组成复合排序键，通过该索引，能够有效进行数据裁剪，从而能够更好支持高并发的报表场景。Z-order Index：使用Z-order索引，可以高效对...
产品月度更新总览
本章节介绍了云效的产品功能和对应的文档动态。2024年3月 产品领域 更新名称 详情描述 相关文档 云效项目协作 Projex 需求评审支持自动触发状态流转 在自动化规则中，新增需求评审相关模板。可通过自动化规则设置实现评审完成需求自动流转...
二级索引
支持动态列：支持写入动态列和冗余动态列。支持自定义数据版本：自定义时间戳后自动写入数据。使用要求 服务器：使用Lindorm实例。客户端：更多信息，请参见 通过Lindorm宽表SQL使用宽表引擎。Lindorm-Cli客户端：更多信息，请参见 通过...
管理HBase全文索引
准备工作 学习 快速开始 部分，在 使用HBaseue Shell访问增强版集群 下载好并配置好最新版本的Shell。HBase表与Search索引的映射 表和索引的映射采用JSON方式实现，一个典型的映射配置如下：{"sourceNamespace":"default","sourceTable":...
如何优化Batch Insert
1000 列：4 gsi：无 sequence：无 测试项 thread 1 2 4 8 16 32 64 128 PolarDB-X【单表】性能（行每秒）22625 41326 76052 127646 210644 223431 190138 160858 测试总结 对于单表的测试，推荐batch size为1000，并行度为16~32时整体性能...
列存索引如何实现高效数据过滤
Bloom filter：用于等值条件以及IN条件过滤，对于过滤性较强的等值条件，一般具有比较好的过滤效果。例如各种随机生成的ID，通常单个ID仅对应少数记录，包含这种ID的等值过滤条件具有较好的pruning效果。位图索引：适用于单一条件过滤性差...
概述
本文介绍了列存索引的特点、架构和适用场景。简介 传统的OLTP和OLAP解决方案基于简单的读写分离或ETL模型，将在线库的数据以T+1的方式抽取到数据仓库中进行计算，这种方案存在存储成本高、实时性差、链路和维护成本高等缺陷。为应对数据...
如何对JSON类型进行高效分析
本文介绍了PolarDB IMCI为应对海量结构化与半结构化数据分析场景，通过整合列式JSON、虚拟列、秒级加减列、表列数扩展及列存索引等系列功能而构建出的扩展流计算方案，以及该方案的应用案例。背景 随着应用场景多样化与快速迭代，业务系统...
索引介绍
采用多列主键主要原因如下：业务常需要多个字段来构成主键，如果只支持一个主键列，业务需要进行拼接，多列主键列避免了业务层做主键拼接和拆解。第一个主键列是分区键，保证了分区键相同的行一定在同一个分区上。分区键可以帮助实现分区内...
客户案例
优化结果 OceanBase 作为一个通用的分布式关系数据库系统，其提供了丰富的分区方式（HASH，RANGE，RANGE+HASH 等），并且提供在线的业务无感知的动态分区能力，集群扩容只需要 DBA 简单的增加存储节点，以及做一些简单的 DDL 操作即可，...
PolarDB MySQL版8.0版本内核参数发布日志
2023.11.09 类型 参数 级别 说明 新增 loose_imci_enable_max_pddl_threads_adjust Global 开启列存索引功能时，列存节点是否会根据集群规格动态调整DDL的最大线程数。取值范围如下：ON（默认）：开启列存索引功能时，列存节点会根据集群...
SELECT
当存在 GROUP BY 子句或者任何聚集函数时，SELECT列表表达式不能引用非分组列（除非它出现在聚集函数中或者它函数依赖于分组列），因为这样做会导致返回非分组列的值时会有多种可能的值。如果分组列是包含非分组列的表的主键（或者主键的...
数据管理
通过对订单数据及客户数据进行了多方位的分析，为商家提供了可视化且精准的销售分析与营销参考，最后“下载中心”将保存所有用户导出的报表数据，配合权限控制可以很好的管理店铺的敏感数据。1 品牌诊断 1.1 店铺DSR 店铺DSR属于淘系店铺...
跨项目场景，我们度量什么？
3.平衡需求新增、交付速度 在比较理想的情况下，新增、交付需求应该保持动态平衡，需求新增数量与交付团队的吞吐量相匹配。当需求的新增量明显多于交付量时，可能会出现需求大量积压的问题，消耗团队精力，导致团队整体交付效率降低。看...
报表嵌入的基础方案
id=<报表ID>&accessTicket=管理嵌入的报表 对已嵌入的第三方报表，可以执行如下操作：查询已嵌入的报表：在报表列表页面的搜索框中，输入报表名称关键字并单击 图标，查询报表。您可以通过选择报表的工作空间或报表类型，缩小搜索范围。...
配置列映射
推荐使用搜索引擎提供的动态列功能，搜索引擎通过动态列的后缀自动识别这一列的数据类型，格式为 列名:列的数据类型，列名以name为例，动态列支持的数据类型如下表：数据类型 targetField 示例值 INT name_i LONG name_l STRING name_s ...
表变更管理
开启动态列 为表开启动态列功能。详细介绍，请参见 动态列。修改 Version Version为列值保留的版本数。取值为大于等于1的整数。默认值为1，表示保留一个版本。Compaction 周期 系统执行 major compaction 的周期，单位为毫秒（ms）。最小...
更新配置集
此时，可以使用Search服务提供的动态列能力，参考 managed-schema 中的 dynamicField 定义，有了它之后不需要额外定义每个列，只需要在写入数据时指定的列名称后缀与定义保持一致即可。例如：name_s 可以自动匹配*_s。age_i 可以自动匹配*_...
更新配置集
此时，可以使用Search服务提供的动态列能力，参考 managed-schema 中的 dynamicField 定义，有了它之后不需要额外定义每个列，只需要在写入数据时指定的列名称后缀与定义保持一致即可。例如：name_s 可以自动匹配*_s。age_i 可以自动匹配*_...
通配符列
通配符列是指列名由通配符组成的列，多用于模糊匹配、动态列写入等场景，可以更灵活地匹配和查找目标列。在Lindorm宽表引擎中使用通配符列，可以满足多数据类型动态写入的需求。本文介绍通配符列的使用限制及使用方法。背景信息 在大数据量...
SELECT
关于动态列的详情，请参见 动态列。GROUP BY 子句 宽表引擎与时序引擎均支持GROUP BY子句，用于分组聚合计算。ORDER BY子句 指定一个列或多个列，对查询结果集进行排序。LIMIT子句 LIMIT 子句用于分页查询。LIMIT后只跟一个数字，表示返回...
Quick BI报表列汇总的总计值都显示为0
问题描述 Quick BI报表列汇总的总计值都显示为0是什么原因？问题原因 指标使用的是str类型，总计计算方式使用的SUM，导致文本类型指标求和为0值。解决方案 列汇总配置中，计算方式选择“自动”，则总计值会汇总计算求计数总和。适用于 ...
ALTER TABLE
说明 关于动态列的介绍，请参见 动态列。设置数据有效期 为dt表设置数据有效期，时间单位为秒（s）。ALTER TABLE sensor SET 'TTL'='2592000';为dt表取消数据有效期。ALTER TABLE sensor SET 'TTL'='';结果验证 在集群管理系统的 概览 页面...
动态列
云原生多模数据库 Lindorm 宽表引擎支持动态列功能，即创建表时未显式指定的列，在实际业务中动态写入数据并执行查询。本文介绍如何通过Lindorm SQL实现动态列能力的开启、写入以及查询。背景信息 传统关系型数据库表的Schema必须预先定义...
常见问题
原因：开启动态列的表可能包含大量的动态列，且表的Schema定义不固定。如果对这类表进行全表扫描，将会导致IO消耗严重，加重实例负载。为避免高负载情况的产生，Lindorm宽表引擎对动态列表的查询语句进行了限制。解决方案：在SELECT语句中...
Kafka单表实时入湖OSS（HUDI）
上游流入动态字段处理策略用于控制上游数据处理节点（目前可以生成动态列的数据处理节点只有 JSON解析）生成动态列的处理方式。如果在 JSON解析 节点配置了 动态输出字段，则在OSS节点中会出现 上游流入动态字段处理策略 表单。动态列指在...
名词解释
DYNAMIC COLUMN 〇 ✖️ Dynamic Column（动态列）是指在宽表引擎中创建宽表时，未显式指定但在实际业务中动态写入数据的列。在宽表引擎中，建表可以通过设置表属性来指定表是否允许写入动态列。MUTABILITY 〇 ✖️ Mutability（易变性）是...
CREATE INDEX
COVERED_DYNAMIC_COLUMNS表示冗余动态列。如果没有该选项，可以使用Include表示冗余Includes的列。STARTKEY String 表示索引表的起始Key。ENDKEY String 表示索引表的终止Key。NUMREGIONS String 表示索引表的预分区数。说明 索引表支持...
CREATE INDEX
说明 冗余动态列前必须保证已开启动态列功能，详细介绍，请参见 动态列。您也可以通过 INCLUDE 关键字冗余指定的列。STARTKEY STRING 索引表的起始Key。重要 不支持为 时间戳列 或类型为 空间数据类型的列 设置起始Key。ENDKEY STRING 索引...
Kafka实时ETL同步至Hologres
对上游流入动态字段处理策略如下表所示：参数 描述 加列 如果在Hologres表中无与动态列同名的列，则触发Hologres表加列后将动态列写入。忽略 如果在Hologres表中无与动态列同名的列，则忽略该动态列，将其他配置了映射关系的列写入Hologres...
大盘
大盘是将已配置好的数据源，集中在一个页面上以报表形式呈现。大盘只用于数据展现，没有预警功能。配置大盘时，可根据业务需要、数据源类型，选择不同的报表类型。目前，实时监控支持以下报表类型，具体配置方法，详见各报表类型说明。下文...
创建大盘
大盘是将已配置好的数据源，集中在一个页面上以报表形式呈现。大盘只用于数据展现，没有预警功能。配置大盘时，可根据业务需要、数据源类型，选择不同的报表类型。目前，实时监控支持以下报表类型，具体配置方法，详见各报表类型说明。最近...
计算下推
数据列和数据列比较，不支持算子下推*/聚合函数 基础聚合：MIN、MAX、COUNT、AVG、SUM、ANY_VALUE 去重聚合：COUNT(DISTINCT col_name)分组函数：GROUP BY col_name 聚合函数可以对全部数据或者GROUP BY分组中的数据进行聚合，只有聚合函数...
使用SQL访问HBase表
关于动态列的详细信息，请参见 动态列。为了能够在基于HBase API写入的列上使用Lindorm SQL，同时使用丰富的数据类型和二级索引，云数据库HBase提供了HBase列映射功能以及HBase兼容类型。语法 在Lindorm SQL中，对HBase表中自定义Column ...
分析视图简介
Java堆分析中每个视图的主要功能 综合报表 列出堆转储的基础信息，同时概括的列出堆中占比最大的一些类、对象、类加载器等信息。综合报表可以看作是其他视图的一个摘要，将其他视图中最重要的信息摘要出来。我们可以获得堆的基本使用情况,...
使用SQL访问HBase表
关于动态列的详细信息，请参见 动态列。为了能够在基于HBase API写入的列上使用Lindorm SQL，同时使用丰富的数据类型和二级索引，云数据库HBase提供了HBase列映射功能以及HBase兼容类型。语法 在Lindorm SQL中，对HBase表中自定义Column ...
配额与限制
非主键列 非主键动态列的类型只能为Varbinary。非主键列的长度不能超过2 MB。索引 索引表的数量不能超过5个。自增字段、时间字段或基数较少的字段不建议作为索引。表 一旦创建，表名不支持修改。一个表不能超过3个列簇（column family）。...
原子计数器
示例 写入数据时，使用updateRow接口对整型列做列值的增量变更，属性列中对应类型为INCREMENT。def increment_by_update_row(client):primary_key=[('pk0',1)]#INCREMENT类型为自增列，如下示例对price属性列值+6。update_of_attribute_...
- 产品推荐
- 这些文档可能帮助您