多元索引数组类型
要使用数组类型，在数据表中的列数据类型必须为字符串。创建多元索引时，该列的数据类型需要设置为数组元素的实际类型并且开启该列的数组属性。数据类型映射 数据表中数据类型 多元索引中数据类型 SQL数据类型 字符串 数组元素的实际类型，...
pg_type
说明 对于系统表中使用的固定宽度类型，在 pg_type 定义的大小和对齐与编译器在表示表行的结构中布局列的方式一致。下表列出了 typcategory 的系统定义值。任何未来对此列表的增加都将是大写 ASCII 字母。所有其他 ASCII 字符都保留给用户...
2023年
通过Paimon外部表，您可以访问存储在OSS上的Paimon表中的数据。本文介绍如何创建Paimon外部表。Paimon外部表 2023-09-14 新增授权实践 新说明 为确保MaxCompute项目数据的安全性，项目所有者或者具备授权权限的用户需要对项目内成员的权限...
自建PostgreSQL同步至PolarDB PostgreSQL版（兼容...
若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。WAL日志：需开启，即设置 wal_level 参数的值...
文档更新动态（2023年）
新增Salesforce输入组件，可离线抽取Salesforce实例中的数据。整库迁移新增FTP作为来源库，通过上传并解析Excel文件（.xlsx格式）的指定格式，批量创建FTP文件同步任务。FTP输入组件支持通过指定来源文件中的起始字符和结束字符的位置来...
系统信息函数和运算符
current_schemas(include_implicit boolean)→name[]返回当前在有效搜索路径中的所有模式的名称的数组，以优先级顺序。如果布尔参数为 true，则类似 pg_catalog 的隐式搜索的系统模式将包含在结果中。current_user→name 返回当前执行上...
如何设计宽表主键
Lindorm宽表引擎是一款分布式数据引擎，宽表引擎中的数据均按照主键进行分布。在执行查询时，如果表中存在多列主键，系统会从最左边的主键开始匹配。如果主键设置不当，则可能导致主键无法被有效利用，进而产生热点问题，影响查询性能。...
功能更新动态（2023年）
新增Salesforce输入组件，可离线抽取Salesforce实例中的数据。整库迁移新增FTP作为来源库，通过上传并解析Excel文件（.xlsx格式）的指定格式，批量创建FTP文件同步任务。FTP输入组件支持通过指定来源文件中的起始字符和结束字符的位置来...
PolarDB HTAP实时数据分析技术解密
由于一份数据在多个副本之间完全独立，因此在不同副本上使用不同格式进行存储，来服务不同的查询负载是一个易于实施的方案。例如，TiDB从TiDB4.0开始，在Raft Group的其中一个副本上使用列式存储（TiFlash）来响应AP型负载，并通过TiDB的...
2022年
开启该参数后backend进程自身刷脏次数会降低，可提升查询速度，但由于突破了ring buffer限制，buffer pool可能会被当前查询的表数据占满，当多个连接查询多个不同表时，仍然会产生buffer淘汰从而带来IO操作。无 2022年10月 V1.1.26 内核小...
UDT概述
UDT内置类型与特定Java类型有一一映射关系，详情请参见 Java UDF 中的数据类型映射表，这个映射关系对UDT也有效。内置类型的数据能够直接调用其映射到的Java类型的方法，例如 '123'.length(),1L.hashCode()。UDT类型能够直接参与内置函数...
UDT示例
例如Java数组、JSON、复杂类型、聚合操作、表值函数、函数重载和引用嵌入式代码。说明 请您在脚本模式下运行如下示例代码，脚本模式详情请参见 SQL脚本模式。Java数组 set odps.sql.type.system.odps2=true;set odps.sql.udt.display....
Spark Connector
背景信息 使用Spark引擎调用MaxCompute的Storage API处理MaxCompute数据，满足您数据开放、多引擎使用场景，同时Spark结合MaxCompute的数据存储能力，可以实现高效、灵活和强大的数据处理和分析能力。阿里云提供了Spark Connector来简化...
产品整体介绍
使用模式把数据库对象组织成逻辑组，让它们便于管理，允许多个用户（角色）使用同一个数据库不会互相干扰。用户（角色）是数据库（集群）全局范围内的权限控制系统，用于各种集群范围内所有的对象权限管理。用户不特定于某个单独的数据库，...
2022年
开启该参数后backend进程自身刷脏次数会降低，可提升查询速度，但由于突破了ring buffer限制，buffer pool可能会被当前查询的表数据占满，当多个连接查询多个不同表时，仍然会产生buffer淘汰从而带来IO操作。无 2022年9月 内核小版本（V1.1...
列存索引技术架构介绍
目前，白名单规则校验的内容包含SQL语句中的数据类型、算子、计算表达式以及其他场景。其他场景如不支持multi statement等。MySQL已经发展了数十年，其支持的各种列类型和SQL语法非常丰富。在IMCI中，初期重点优化在分析型查询语句中最常见...
数据膨胀诊断
重要 诊断信息表 diag_bloat_tables 中的数据是按照 ORDER BY bloat_coeff desc,real_size DESC 排序的，即膨胀率越大的表越靠前。如果两个表的膨胀率相同时，数据量大的表更靠前。诊断信息表内部原理是基于PostgreSQL的Statistic ...
自建PostgreSQL迁移至PolarDB PostgreSQL版
修改配置文件 postgresql.conf，将配置文件中的 wal_level 设置为 logical，并确保 max_wal_senders 和 max_replication_slots 的参数值，均大于数据库复制槽已使用数与需要以该自建PostgreSQL为源创建的DTS实例数的总和。Settings-wal_...
自建PostgreSQL迁移至云原生数据仓库 AnalyticDB ...
修改配置文件 postgresql.conf，将配置文件中的 wal_level 设置为 logical，并确保 max_wal_senders 和 max_replication_slots 的参数值，均大于数据库复制槽已使用数与需要以该自建PostgreSQL为源创建的DTS实例数的总和。Settings-wal_...
自建PostgreSQL迁移至RDS PostgreSQL
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的表，分批配置多个任务，或者配置整库的迁移任务。DTS不支持迁移源库中的临时表、系统内部的触发器（TRIGGER）、部分函数（关于PROCEDURE与FUNCTION的C语言函数和内部函数...
基本概念
数据库实例：数据库实例是在云中运行的独立数据库环境。一个数据库实例可以包含多个由数据库用户创建的数据库，并且...索引：索引是数据库管理系统对数据库表中一个或多个列的值进行排序的数据结构，使用索引可快速访问数据库表中的特定信息。
自建PostgreSQL同步至RDS PostgreSQL
若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。WAL日志：需开启，即设置 wal_level 参数的值...
自建PostgreSQL同步至RDS PostgreSQL
若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。WAL日志：需开启，即设置 wal_level 参数的值...
自建PostgreSQL迁移至PolarDB PostgreSQL版（兼容...
当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的表，分批配置多个任务，或者配置整库的迁移任务。如需进行增量迁移，WAL日志：需开启，即设置 wal_level 参数的值为 logical。如为增量迁移任务，DTS要求源数据库的WAL...
功能更新动态（2024年）
创建Sap Table数据源 离线集成 将存储在计算引擎中的数据作为来源数据时支持展示数据分类分级信息。支持将离线管道切换为离线脚本模式或克隆为脚本模式，可以有效提高脚本模式的配置效率；支持将组件直接切换为脚本模式；切换为脚本模式后...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
此类场景中，您可以借助DTS的多表归并功能将源库中多个表结构相同的表（即各分表）同步至云原生数据仓库AnalyticDB PostgreSQL中的同一个表中。说明 选择源库的多个表后，您需要通过对象名映射功能，将其改为云原生数据仓库AnalyticDB ...
2021年
无 copy支持多个字符的分隔 Copy功能新增支持多个字符的分隔。无 优化 修复PX对polar_row_id的支持 跨机并行查询支持polar_row_id。无 standby并行回放 Standby节点通过多进程来加速回放，减少standby节点与master节点之间的延迟。无 时空...
文档更新动态（2024年）
新增说明 创建Sap Table数据源 数据引入-离线集成-离线单条管道-组件库开发 将存储在计算引擎中的数据作为来源数据时支持展示数据分类分级信息。支持将离线管道切换为离线脚本模式或克隆为脚本模式，可以有效提高脚本模式的配置效率；支持...
Logview诊断实践
如下图中的Logview，右侧 Job Details 页面显示Fuxi作业所有阶段为Terminated，但左侧代表作业整体进度的 Status 仍然显示Running：造成这种现象一般分为两种情况：一个SQL作业可能包含多个Fuxi作业，比如子查询存在多阶段执行，作业输出小...
约束和限制
目录下面采样最新和最老的文件，每个文件读取前1000行 元数据发现SLS数据源发现历史投递数据 如果投递中途修改了分区格式，不会发现修改前的数据 一键建仓/多库合并支持的数据源网络类型 VPC 一键建仓/多库合并支持的数据源 PolarDB MySQL ...
新功能发布记录
弹性物化视图 列组统计信息 列组统计信息收集同一张表多个列的统计信息，描述多个列之间的关联程度。统计信息 手动收集分区统计信息 湖仓版（3.0）集群支持使用 ANALYZE TABLE 命令全量收集OSS外表分区的基础统计信息。收集分区统计信息 可...
使用限制
数据传输服务共享资源组说明 下表数据为不同区域下免费共享资源（单位：Slot）Project级最多可用Slot数说明。站点 地域 Slot（个数）中国 华东1（杭州）300 中国 华东2（上海）600 中国 华东2金融云（上海）50 中国 华北2（北京）300 中国 ...
新功能发布记录
购买实例 集群实例工作台 标准版（Key-Value）标准版（Key-Value）是 OceanBase 的 No SQL 数据库模型，可以绕过 SQL 引擎直接读取存储引擎中的数据。同时，提供多种更加简单高效的非关系型 API 接口，充分发挥 NoSQL 和 SQL 共处的新架构...
散点层
说明 该配置项可为一个数组，可在此配置项中配置多个不同系列，数据中的 type 字段对应的点会使用此系列下的颜色进行渲染。若数据中 type 字段不存在于此配置项中，则以默认颜色渲染。数据面板 配置字段说明 字段 说明 lng 散点的经度。lat...
PolarDB MySQL版同步至AnalyticDB MySQL 3.0
此类场景中，您可以借助DTS的多表归并功能将源库中多个表结构相同的表（即各分表）同步至目标库中的同一个表中。具体操作，请参见 开启多表归并。说明 选择源库的多个表后，您需要通过对象名映射功能，将其改为目标库中的同一个表名。关于...
smlar
float4 smlar(anyarray a,anyarray b,text formula)计算两个相同数据类型数组的相似度，数组通过formula指定，数组的数据类型需要一致。formula的预定义变量说明如下：N.i：两个数组中的相同元素个数（交集）。N.a：第一个数组中的唯一元素...
在EMR集群运行TPC-DS Benchmark
TPC-DS官方工具只包含SQL生成器以及单机版数据生成工具，并不适合大数据场景，所以本文教程中使用的工具和集群信息如下：Hive TPC-DS Benchmark测试工具。该工具是业界最常用的测试工具，是由Hortonworks公司开发，支持使用Hive和Spark运行...
smlar
float4 smlar(anyarray a,anyarray b,text formula)计算两个相同数据类型数组的相似度，数组通过formula指定，数组的数据类型需要一致。formula的预定义变量说明如下：N.i：两个数组中的相同元素个数（交集）。N.a：第一个数组中的唯一元素...
smlar
float4 smlar(anyarray a,anyarray b,text formula)计算两个相同数据类型数组的相似度，数组通过formula指定，数组的数据类型需要一致。formula的预定义变量说明如下：N.i：两个数组中的相同元素个数（交集）。N.a：第一个数组中的唯一元素...
smlar
float4 smlar(anyarray a,anyarray b,text formula)计算两个相同数据类型数组的相似度，数组通过formula指定，数组的数据类型需要一致。formula的预定义变量说明如下：N.i：两个数组中的相同元素个数（交集）。N.a：第一个数组中的唯一元素...
- 产品推荐
- 这些文档可能帮助您