扩展性原理

针对这类在线数据库上复杂SQL的处理,PolarDB-X 1.0 额外扩展了单机并行处理器(Symmetric Multi-Processing,简称SMP)和多机并行处理器(DAG)。前者完全集成在 PolarDB-X 1.0 内核中;而对于后者,PolarDB-X 1.0 构建了一个计算集群,...

错误响应

当您访问图片处理服务出现错误时,图片处理服务会将相应的错误码和错误信息返回给您,以帮助您定位与处理问题。图片处理服务错误的响应格式 错误响应的消息体例子:<Error><Code>BadRequest</Code><Message>Input is not base64 decoding....

错误响应

当您使用文件处理功能出现错误时,会返回相应的错误码和错误信息,帮助您定位与处理问题。错误响应 文件处理功能错误响应的消息体示例如下:<Error><Code>Imm Client</Code><Message>InvalidArgument,The parameter OctreeOption is ...

错误响应

当用户访问图片处理服务出现错误的时候,图片处理服务会返回给用户相应的错误码和错误信息,以帮助用户定位与处理问题。错误响应 图片处理服务错误响应的消息体示例如下:<Error><Code>BadRequest</Code><Message>Input is not base64 ...

错误响应

当您使用媒体处理功能出现错误时,会返回相应的错误码和错误信息,帮助您定位与处理问题。错误响应 媒体处理功能错误响应的消息体示例如下:<Error><Code>Imm Client</Code><Message>InvalidArgument,[target]:is required.9D31D05E-FC1C-...

错误响应

当您使用文档处理功能出现错误时,会返回相应的错误码和错误信息,帮助您定位与处理问题。错误响应 文档处理功能错误响应的消息体示例如下:<Error><Code>Imm Client</Code><Message>InvalidArgument,[target]:is required.9D31D05E-FC1C-...

PolarDB并行查询

两个阶段没有重叠,这样就实现了全阶段的并行,但Parallel Hash join也有自身的问题,例如:共享Hash Table过大导致spill to disk问题并行插入虽然无锁,但仍有“同步”原语带来的cache invalidation。Partition Hash join Partition ...

深度解析PolarDB数据库并行查询技术

本文主要介绍基于代价进行并行优化、并行执行的云数据库的并行查询引擎的关键问题和核心技术。背景信息 随着数据规模的不断扩大,用户SQL的执行时间越来越长,这不仅对数据库的优化能力提出更高的要求,并且对数据库的执行模式也提出了新的...

数据处理

数据处理类节点包括页面导航节点、并行数据处理节点、串行数据处理节点、序列执行节点和WebSocket节点。本文介绍在蓝图编辑中,配置数据处理类节点的方法。页面导航节点 页面导航 节点,可用于实现页面跳转的功能,支持新开浏览标签页...

技术原理

针对这类在线数据库上复杂SQL的处理,PolarDB-X 1.0 额外扩展了单机并行处理器(Symmetric Multi-Processingy,简称SMP)和多机并行处理器(DAG)。前者完全集成在 PolarDB-X 1.0 内核中;而对于后者,PolarDB-X 1.0 构建了一个计算集群,...

Wi-Fi设备接入物联网平台

基于Ubuntu+C+MQTT+物模型的加法器实现 请参见 快速体验 中的“以物模型编程方式接入设备”,该章节描述了在Ubuntu上使用C SDK实现的一个支持加法运算的设备逻辑。请参见 C语言的物模型编程指南 了解相关API说明。基于Ubuntu+C+MQTT的OTA...

以太网设备接入物联网平台

基于Ubuntu+C+MQTT+物模型的加法器实现 请参见快速体验中的“以物模型编程方式接入设备”,该章节描述了在Ubuntu上使用C SDK实现的一个支持加法运算的设备逻辑。有关API说明请参见 C语言的物模型编程指南。基于Windows+C+MQTT Topic的数据...

PolarDB MySQL版8.0.2版本发布日志

修复了在unsigned列signed列进行Join连接时,优化不能准确估算Join选择率的问题。修复了查询被调度终止时可能导致数据库重启的问题。修复访问X-Engine引擎的只读(RO)节点无法汇报版本引用信息,引发空间回收失败的问题。修复加载...

VACUUM

对于并行清理,每个处理器的睡眠处理器完成的工作成比例。PolarDB包括了一个“autovacuum”工具,它可以自动进行例行的清理维护。示例 清理单一表 onek,为优化分析它并且打印出详细的清理活动报告:VACUUM(VERBOSE,ANALYZE)onek;

概述

功能简介 弹性并行查询(Elastic Parallel Query,ePQ)目前支持单机并行和多机并行两种并行引擎,单机并行引擎等效于原有的并行查询,多机并行引擎支持集群内跨节点的自适应弹性调度。PolarDB MySQL版 8.0.1版本支持单机并行查询,查询时...

AliSQL内核小版本发布记录

不建议升级到此版本,如遇到备份失败问题,请参见 RDS MySQL 8.0.31(20230630)版本备份失败问题处理。新特性 合并官方 8.0.31 变更。支持取消正在运行的Buffer Pool Online Resize。Statement Concurrency Control功能新增模板级别并发控制...

PolarDB MySQL版8.0.1版本发布日志

修复了在unsigned列signed列进行Join连接时,优化不能准确估算Join选择率的问题。修复了部分带有OR谓词的查询因查询计划无法绑定正确的列而无法执行的问题。修复了查询被调度终止时可能导致数据库重启的问题。修复列存索引在延迟物化...

列存索引技术架构介绍

在处理大数据量下复杂查询所需要的能力方面,如优化器处理子查询的能力、高性能算子HashJoin、SQL并行执行能力等,MySQL社区一直将其放在比较低优先级上,因此,MySQL的数据分析能力提升进展缓慢。随着MySQL发展为世界上最为流行的开源数据...

PolarDB处理TPC-H查询的挑战和机遇

这是MySQL比较薄弱的一方面,在其优化逻辑中,经常会插入更多的用于最终结果计算的额外表达式,但这些表达式可能已有表达式重叠,但它没有精细的区分与处理。PolarDB 中之前还修复过一个Bug:对于已计算完成的标量子查询,会在后续执行中...

什么是自动驾驶开发平台

能够解决的问题如下 海量非结构化数据快速预处理 利用数据管理并行计算框架,在阿里云上以云原生的方式分布式处理海量非结构化数据,采集到的感知数据处理效率提高10倍。感知数据多模态检索 无论是经过标注还是未经标注的传感输出数据,...

弹性并行查询(Elastic Parallel Query)常见问题

本文档介绍了弹性并行查询(Elastic Parallel Query)的常见问题。PolarDB读写集群地址是否可以通过hint开启并行查询?优先推荐您在 PolarDB 控制台的 集群地址配置 页面开启并行查询。如果您希望在SQL语句级别生效,可以通过/*+PARALLEL(n...

V5.3.x系列实例版本说明

性能优化 优化MysqlDump兼容性问题处理,支持MySQL可执行HINT。优化MysqlDump兼容性问题处理,支持MySQL单行注释“—”。修复问题 修复存在HINT时,没有正确设置ThreadLocal变量导致NPE的问题。修复特殊场景下子查询条件上拉失败,导致全表...

OSS触发器概述

OSS 函数计算 集成后,OSS事件能触发相关函数执行,实现对OSS中的数据的自定义处理。本文介绍 函数计算 支持的OSS触发的使用限制、事件类型及触发规则。背景信息 OSS和 函数计算 通过OSS触发实现无缝集成,您可以编写函数对OSS事件...

JVM参数配置说明

说明 此值建议配置与处理器数目相等。Xmx3800m-Xms3800m-Xmn2g-Xss128k-XX:+UseParallelGC-XX:ParallelGCThreads=20,-XX:ParallelGCThreads=20 表示配置并行收集的线程数为20个。XX:+UseParallelOldGC 配置年老代垃圾收集方式为并行收集...

OSS触发器概述

OSS 函数计算 集成后,OSS事件能触发相关函数执行,实现对OSS中的数据的自定义处理。本文介绍 函数计算 支持的原生OSS触发和EventBridge类别的OSS触发的使用限制、事件类型及触发规则。背景信息 OSS和 函数计算 通过OSS触发实现...

2021年

跨机并行查询 PX支持并行Delete 跨机并行查询支持并行delete,包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数,开启或关闭该功能,默认值为false。设置为true时,表示开启并行delete功能。设置为false时,表示...

PolarDB PostgreSQL版架构介绍

Storage带来的挑战 架构原理 数据一致性 低延迟复制 Recovery优化 PolarDB PostgreSQL版HTAP架构详解 HTAP架构原理 分布式优化 算子并行化 消除数据倾斜问题 SQL级别弹性扩展 事务一致性 TPC-H性能:加速比 TPC-H性能:和传统MPP数仓对比...

PolarDB HTAP实时数据分析技术解密

在处理大数据量下复杂查询所需要的能力方面,如优化器处理子查询的能力、高性能算子HashJoin、SQL并行执行等。社区将其处于低优先级,因此MySQL的数据分析能力提升进展缓慢。随着MySQL的发展,用户使用其存储了大量的数据,并且运行着关键...

服务端人脸识别SDK

检测模块和识别模块并行处理 获取视频流之后,通过人脸检测识别出人脸,根据跟踪的ID进行人脸质量的判断。一个人脸的质量可以通过关键点定位是否准确、人脸质量模块分值是否比较高、人脸的角度是否在一定的范围内进行挑选,然后送入到活体...

pg_hint_plan

pg_hint_plan插件对于对象的处理与PostgreSQL并不一致,只会按照对象的对象名进行比较。例如,一个名为 TBL 的对象在提示语句中只会匹配 TBL,而不会匹配 tbl 或 Tbl。使用限制 在PL/pgSQL存储过程中使用pg_hint_plan插件的限制如下:提示...

pg_hint_plan

pg_hint_plan插件对于对象的处理与PostgreSQL并不一致,只会按照对象的对象名进行比较。例如,一个名为 TBL 的对象在提示语句中只会匹配 TBL,而不会匹配 tbl 或 Tbl。使用限制 在PL/pgSQL存储过程中使用pg_hint_plan插件的限制如下:提示...

参数说明

当您通过数据库统计信息、慢SQL等信息了解数据库当前的状态以及存在的问题后,可以针对发现的问题,进行调整和优化。PolarDB PostgreSQL版(兼容Oracle)默认的参数模板适用于大多数通用的数据库场景,对于一些特殊的数据库场景,默认模板...

构建基于Serverless架构的弹性高可用音视频处理系统

在音视频系统中,音视频转码是比较消耗计算力的一个子系统,您可以通过 函数计算 和 Serverless 工作流 构建弹性高可用的Serverless音视频处理系统。本文会从工程效率、运维、性能和成本方面介绍Serverless音视频处理系统和传统方案的差异...

什么是GPU云服务器

其作为阿里云弹性计算家族的一员,结合了GPU计算力CPU计算力,满足您在人工智能、高性能计算、专业图形图像处理等场景中的需求,例如,在并行运算方面,使用GPU云服务可显著提高计算效率。为什么选择GPU云服务 阿里云GPU云服务是...

V5.4.x系列实例版本说明

修复时间类型函数的兼容性问题,提升对时间类型数据的处理效率。修复监控中的连接数显示不正确的问题。修复ALTER TABLE语句中CONVERT TO CHARACTER SET不能同时修改GSI索引表的问题。修复部分PARSER报错信息不明确的问题。优化性能 优化...

数字翻牌

当数据接口请求失败时 数据接口请求失败时(请求失败的情况可能是:网络问题或接口报错等)返回并经过过滤器处理后抛出的事件,同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 数据响应结果...

2021年

跨机并行查询 2021年12月 PX支持并行Delete 跨机并行查询支持并行delete,包括带子查询和不带子查询的并行delete。通过设置polar_px_enable_delete参数,开启或关闭该功能,默认值为false。设置为true时,表示开启并行delete功能。设置为...

RDS SQL Server CPU使用率高问题排查

CPU使用率高的因素有很多,其中最常见的因素说明及解决方法如下:实例的并行度设置不合理 排查步骤 线程并行处理任务时,由于每个线程处理的数据量不一致,会出现CXPACKET等待情况,CXPACKET等待发生比较多的话,就会造成CPU使用率高。...

LLM on DLC-Megatron on DLC最佳实践

预训练大语言模型面对来自于模型规模和数据规模的多重挑战,为了解决这些问题,PAI提供了在 DLC 上使用Megatron-LM进行大语言模型预训练的最佳实践。该实践通过准备镜像环境训练数据、调整训练策略、提交管理任务等流程,帮助您在 DLC ...

Hive连接

Experimental 可以分析、处理与重写Hive视图,包括其包含的表达式和语句。可以通过配置 hive.translate-hive-views=true 启用此模式。使用此模式时,暂不支持以下功能:HiveQL的 current_date、current_timestamp,及其它若干类似的语句。...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
媒体处理 日志服务 对象存储 视频点播 视频直播 弹性公网IP
新人特惠 爆款特惠 最新活动 免费试用