多表连接
连接条件 连接条件指定了两张数据表之间使用哪些字段进行连接，当数据表中某条数据（假定为a）的所有连接字段的值与另一张数据表某条数据（假定为b）的所有连接字段的值相同，则这a、b两条数据成功连接。多表连接算子支持指定多张数据表...
Bloom过滤器索引
在sha列有50,000,000种可能出现的值，假阳性的概率为0.1（即判断某数据存在于文件中，但实际并不在的概率）。CREATE BLOOMFILTER INDEX ON TABLE bloom_test FOR COLUMNS(sha OPTIONS(fpp=0.1,numItems=50000000))生成测试数据：WITH ...
Delta Lake概述
而Delta简化了工作流程，整条数据处理过程是一条完整的、可靠的实时流，其数据的清洗、转换、特征化等操作都是流上的节点动作，无需对历史和实时数据分别处理。与开源Delta Lake对比 EMR-Delta Lake丰富了开源Delta Lake的特性，例如对SQL...
存储过程
存储过程（SQL stored procedures），通常指数据库中存放在一起的一系列SQL。您在使用存储过程时，可以指定存储过程的名字并使用参数（parameters），并在合适的时候调用存储过程实现相同或者不同的业务。本文将介绍存储过程的使用方法。...
如何统计冷存数据
场景描述 表、索引转存至冷存过程中会进行压缩，所以存储在冷存中的数据相比在云盘上的存储空间也会减少，其统计的规则也会发生变化，PolarDB PostgreSQL版 提供了冷存数据存储空间统计函数，用户可以通过统计函数了解数据的使用情况。...
如何统计冷存数据
场景描述 表、索引转存至冷存过程中会进行压缩，所以存储在冷存中的数据相比在云盘上的存储空间也会减少，其统计的规则也会发生变化，PolarDB PostgreSQL版（兼容Oracle）提供了冷存数据存储空间统计函数，用户可以通过统计函数了解数据的...
使用列索引加速ETL
您可以通过 HINT 语法为某条SQL语句选择是否从只读列存节点读取数据。示例如下：CREATE TABLE t2 SELECT/*+SET_VAR(etl_from_imci=ON)*/*from t1 where 'A'='a';当 etl_from_imci 参数设置为 ON，即选择从只读列存节点读取数据，数据读取...
验证数据压缩能力
概念介绍 存储过程是一条或多条语句的集合，对数据库进行一系列复杂操作时，存储过程可以在数据库内将这类复杂操作封装成一个代码块，以便重复使用，从而减少数据库开发人员的工作量。存储过程旨在完成特定功能的 SQL 语句集，经编译创建并...
新建存储过程
概述 存储过程是一条或多条语句的集合，对数据库进行一系列复杂操作时，存储过程可以在数据库内将这类复杂操作封装成一个代码块，以便重复使用，从而减少数据库开发人员的工作量。存储过程旨在完成特定功能的 SQL 语句集，经编译创建并保存...
查询机制
INSERT 当您使用INSERT插入一条数据时，具体过程如下：从数据文件中读取一个数据块到内存中，并将这行数据写入这个数据块，系统生成一条INSERT的WAL日志。当执行COMMIT命令后，系统会产生一条COMMIT的WAL日志。INSERT WAL日志和COMMIT WAL...
数据集成概述
单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT类型的目标列中，导致因为转换不合理而无法写入的数据。您可以在同步任务配置时，控制同步...
Iceberg概述
对比项 子项目 开源Clickhouse实时数仓 开源Hive离线数仓 阿里云Iceberg数据湖 系统架构 架构 计算存储一体 计算存储分离 计算存储分离 多计算引擎支持 不支持 支持 支持 数据存储在对象存储 不支持 支持不完善 支持 数据存储在HDFS 不支持...
离线同步能力说明
单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT类型的目标列中，导致因为转换不合理而无法写入的数据。您可以在同步任务配置时，控制同步...
如何支持超大事务
首先在数据表中导入2^25条数据，数据的 id 为0,1,2,.,2^26-1，每条数据的 c 列值为"aa.aa"（255个a的字符串）。然后开启事务，执行以下语句：UPDATE `tb` SET c=“bb.bbb”(255个b的字符串)where id?假设语句中的?为 x，则会修改共 x 条...
创建同步任务
单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT类型的目标列中，则会因为转换不合理导致脏数据不会成功写入目的端。您可以在同步任务配置...
概述
使用说明 使用列存索引查询复杂的SQL语句时，您需要 检查SQL语句中是否存在未被索引覆盖的列，若存在未被列存索引覆盖的列，您可以针对某条SQL语句 获取创建列存索引的DDL语句 或针对某个业务 批量获取创建列存索引的DDL语句，执行获取到的...
快速使用存算分离版实例
该实例类型采用存算分离架构，将数据存储在阿里云OSS对象存储中。本文为您介绍如何通过阿里云账号创建并快速使用EMR Serverless StarRocks存算分离实例。前提条件 已注册阿里云账号，并完成实名认证。具体操作请参见 账号注册（PC端）。...
管理存储过程
概述 在 OceanBase 开发者中心（OceanBase Developer Center，ODC）首页单击连接名进入连接后，在左导航栏中单击 存储过程 标签可查看存储过程列表，在存储过程列表中显示当前连接的数据库中存在的存储过程对象。在存储过程列表中，可查看...
查询时序数据
配置是否按照时间倒序读取数据，可用于获取某条时间线的最新数据。系统默认会返回所有数据列，您可以配置获取指定数据列。配置一次最多返回的行数。使用方式 您可以使用控制台、命令行工具或者SDK进行时序数据查询操作。说明 通过不同使用...
2020年
2020年6月 V1.1.0 内核小版本 类别 名称 描述 相关文档 发布时间 新增 polar_concurrency_control插件 新增polar_concurrency_control插件，可以对事务执行、SQL查询、存储过程、DML等操作进行并发限制，您可以自定义大查询，并对大查询...
SECURITY LABEL
argtype 一个函数，存储过程或聚集函数参数的数据类型。large_object_oid 大对象的OID。PROCEDURAL 这是一个噪声词。label 写成一个字符串文本的新安全标签。如果写成 NULL 表示删除原有的安全标签。示例 下面的例子展示了如何更改一个表的...
PL 编译和调试
前提条件 ODC PL 支持现状 功能 支持的对象 支持的数据源 支持版本 编译 函数/存储过程/程序包 OceanBase Oracle、OB Cloud Oracle V2.2.7x、V3.0.0 及之后版本。调试 函数/存储过程/匿名块 OceanBase Oracle V3.2.3 及之后版本。运行 函数...
列存在性查询
ExistsQuery也叫NULL查询或者空值查询，一般用于判断稀疏数据中某一行的某一列是否存在。例如查询所有数据中address列不为空的行。说明 要对Nested字段进行列存在性查询（ExistsQuery）时，请使用嵌套类型查询（NestedQuery）进行嵌套。...
SQL洞察和审计
修改SQL洞察和审计数据存储时长 警告 减少SQL洞察和审计数据存储时长后，DAS会立刻将超过存储时长的SQL审计日志清空。建议您将SQL审计日志导出并保存至本地后，再减少SQL洞察和审计数据存储时长。访问 RDS实例列表，在上方选择地域，然后...
SQL洞察和审计
修改SQL洞察和审计数据存储时长 警告 减少SQL洞察和审计数据存储时长后，DAS会立刻将超过存储时长的SQL审计日志清空。建议您将SQL审计日志导出并保存至本地后，再减少SQL洞察和审计数据存储时长。访问 RDS实例列表，在上方选择地域，然后...
新功能发布记录
无 冷数据存储 修复冷数据存储的问题，提升查询的命中率及查询性能。无 2023年11月 数仓版 类别 名称 说明 相关文档 新增 一键诊断 数仓版（3.0）推出一键诊断功能，可对指定时间段的集群运行状况发起诊断，结合监控数据、日志数据以及库表...
ExistsQuery
ExistsQuery也叫NULL查询或者空值查询，一般用于判断稀疏数据中某一行的某一列是否存在。例如查询所有数据中address列不为空的行。数据结构 message ExistsQuery { optional string field_name=1;} 名称 类型 是否必选 描述 field_name ...
功能特性
数据库文件存储 功能集 功能 功能描述 参考文档 DBFS特性 原子写 支持DIRECT IO的原子写，需按4K，8K，16K对齐-共享读写 一份数据可共享式多点挂载并进行读写，读写可线性扩展-存储加密 通过对数据库文件存储实施加密，可以确保数据库文件...
如何对JSON类型进行高效分析
总之，PolarDB MySQL版 的虚拟列是一种灵活且强大的功能，尤其处理半结构化数据（如JSON类型数据等）时可以直接将不规则的数据存储为结构化数据，避免中间ETL额外处理逻辑，并且可以使用传统的SQL查询语言进行查询与分析。虚拟列有助于简化...
功能概述
表格存储 面向海量结构化数据提供Serverless表存储服务，适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。基本概念 在使用 ...
概述
架构特点 云原生架构（存储和计算分离，低成本）PolarDB-X 列存索引，采用云原生对象存储OSS作为主要数据存储（成本仅为本地盘的1/6~1/10），同时结合列存数据本身的高压缩性（3~5倍），可以提供非常有竞争力的低成本优势。在HTAP行列混存...
DROP PROCEDURE
PolarDB PostgreSQL版（兼容Oracle）允许重载存储过程名称，因此在 PolarDB PostgreSQL版（兼容Oracle）中，重载存储过程的 DROP PROCEDURE 命令需要使用输入参数数据类型给定的存储过程特征。使用 IFEXISTS、CASCADE 或 RESTRICT 与 ...
如何设计宽表主键
查询某台机器某个指标最新的几条数据，主键设计为[hostname][log-event][timestamp DESC]。查询的数据存在只有时间一个维度或某一个维度数据量巨大的情况，主键设计为 long bucket=timestamp%numBuckets;[bucket][timestamp][hostname][log...
列存索引配置参数说明
存储过程的可用内存大小。取值范围：0~18446744073709551615。默认值为8388608。单位为Byte。loose_etl_from_imci 是否从只读列存节点读取数据。取值如下：OFF（默认）：不从只读列存节点读取数据。ON：从只读列存节点读取数据。loose_etl_...
INSERT
行列共存表：会分别Flush为行存和列存两种文件，SST和ORC格式，在Flush过程中会保证数据的一致性，只有行存、列存都同时Flush完成才会返回成功，同时在存储上行列共存相当于是两份存储，因此行列共存的表在存储上会有一定的牺牲。...
DBMS_PROFILER
表 1.DBMS_PROFILER函数/存储过程 函数/存储过程 类型 返回类型 描述 FLUSH_DATA 函数、存储过程 Status code、exception 刷新当前会话中收集的性能数据。GET_VERSION(major OUT,minor OUT)存储过程 N/A 返回 DBMS_PROFILER 版本信息。...
使用mysqldump迁移MySQL数据
操作步骤 使用mysqldump导出自建数据库的数据、存储过程、触发器和函数。重要 导出期间请勿进行数据更新，耐心等待导出完成。下文中的user用户需要具备本文介绍的操作的相关权限。权限设置的详细操作，请参见 权限设置。在Linux命令行下...
离线同步并发和限流之间的关系
脏数据限制能力用来控制任务在遇到脏数据时的行为，所谓脏数据是指数据条目在写入目标数据源过程中发生了异常，则此条数据被视为脏数据。由于各类异构系统对数据处理的复杂和差异性，目前策略是写入失败的数据均被归类于脏数据。在一些数据...
访问列存数据
列存即列式存储，是一种将数据按列进行存储和处理的数据管理方式。Lindorm计算引擎支持将半结构化、结构化数据以列存方式进行存储，相较于行式存储，列式存储的查询响应时间更短，消耗IO更少。本文介绍如何通过计算引擎访问Lindorm列存数据...
产品规格和定价
数据测点：采集数据并发送到TSDB的数据监测点，例如一个温度传感器的温度、某台服务器的CPU使用率；一个数据采集点生产一条时间线。写入能力TPS：指TSDB支持的最大写入速率，即每秒写入数据点的最大数量（数据点/秒）。存储空间 设备产生的...
- 产品推荐
- 这些文档可能帮助您