Windows系统实例的宕机问题排查
定位宕机原因 您可以通过以下方式，定位ECS实例发生宕机的具体原因。方式一：（推荐）通过自助诊断工具定位 登录 ECS管理控制台，左侧导航栏单击 自助问题排查。单击 实例问题排查 页签。选择 实例无法连接或启动异常>实例出现宕机，然后...
避免下盘
由于磁盘操作相对内存访问缓慢，避免查询执行过程中的算子下盘有助于提高查询效率。算子下盘常见原因 在数据量较大的表上执行SORT、JOIN、HASH等操作时，可能由于内存不足导致临时结果落盘。您通过观察执行计划（explain analyze）可以辨认...
2021年
无 算子级内存限制 通过算子级内存限制，降低OOM风险，提升PolarDB稳定性。无 时空数据库（V4.0）类别 名称 描述 相关文档 优化 栅格表面计算函数 增强栅格表面计算函数返回Raster对象取代像素矩阵。ST_Aspect、ST_Slope、ST_Hillshade ST_...
2021年
无 2021年9月 算子级内存限制 通过算子级内存限制，降低OOM风险，提升PolarDB稳定性。无 2021年9月 时空数据库（v4.0）类别 名称 描述 相关文档 发布时间 优化 栅格表面计算函数 增强栅格表面计算函数返回Raster对象取代像素矩阵。ST_...
PolarDB并行查询
以下是针对t1 NLJ t2这个算子，做枚举过程的一个简要示例：在整体枚举完成后，计划空间中会产生一系列带有数据分发 Exchange Enforcer 的物理算子树，基于代价选择最优树即可，然后以Enforcer作为子计划的切分点，可以构建出一系列的执行...
0040-00000203
问题描述 图片处理算子参数格式非法。问题原因 在单个算子参数的图片处理算子中传入多个参数，参数个数不符合要求。...单个算子参数的算子如下：auto-orient rotate bright sharpen interlace 相关文档 自适应方向 旋转 亮度 锐化 渐进显示
计算下推
多元索引包含b,c,d，通过多元索引读取数据，支持算子下推*/支持下推的算子 算子类型 下推算子 下推限制 逻辑运算符 AND、OR 不支持NOT算子下推。关系运算符=、!BETWEEN.AND.只有数据列和常数的比较才支持算子下推，不支持数据...
算子
AnalyticDB for MySQL 中的一个算子负责完成一个基本的数据处理逻辑，合理地组合算子、优化算子的顺序和执行方式，可以提升数据的处理效率。本文介绍 AnalyticDB for MySQL 中的常用算子及算子所对应的属性。背景信息 AnalyticDB MySQL版 ...
功能简介
算子管理：展示并管理用户添加的脚本算子，已添加的算子可在模型画布中进行托拉拽使用。算子配置：展示并管理用户上传的资源文件及函数信息，包含了资源管理。模型中心 模型中心提供业务模型的可视化组装、编排能力，提供拖拽式智能算子的...
查询计划概述
因此，理解查询计划是进行SQL语句优化的前提条件，同时了解查询计划中的算子是理解EXPLAIN命令的关键。查询计划深度 Lindorm SQL提供了 EXPLAIN 语句，方便查看一条查询语句在SQL引擎中生成的查询计划。共包含三种计划深度：逻辑计划、物理...
Kafka实时入湖
filter算子类似SQL的where语句，对前面的算子输出的字段进行过滤。数据预处理示例 您可以参考以下示例编写自己的预处理算子。提取Kafka消息体与时间戳字段。通过定义一个map算子实现，表达式参考如下。cast(value as string)as content,...
GraphFlowNode
1 Lambda string 普通算子逻辑 a CheckType integer 质检维度 1 Triggers array 关注的算子 string 算子 a BranchJudge boolean 是否开启分支判断 true CheckMoreSize integer 最多检测 N 句 1 Conditions array 算子信息 ...
PolarDB PostgreSQL版架构介绍
算子并行化 PolarDB PostgreSQL版 中有4类算子需要并行化，以下介绍一个具有代表性的Seqscan的算子的并行化。为了最大限度的利用存储的大IO带宽，在顺序扫描时，按照4 MB为单位做逻辑切分，将IO尽量打散到不同的盘上，达到所有的盘同时提供...
Gremlin算子差异
bulk iGraph额外支持的算子 distinct iGraph自研算子 fields iGraph自研算子 fold 不支持接收参数 has 不支持has(label,key,value),has(P,value)->has(P,T)等部分接口 indexQuery iGraph自研算子 limit 不支持指定global/local math 不支持...
建一个包含自定义算子的任务
当平台内置的算子无法解决您的数据处理需求时，您需要自己开发一个算子（如天气识别算子）并打包成像，上传到 自定义算子管理 模块，点击上线后，该算子将会在任务配置的算子列表中出现，即可参与任务的编排。大致可分为以下两个步骤：上传...
几何求交
本文介绍几何求交算子的使用方法。用途 几何求交算子用于计算主表与关联节点在空间位置上的交集。适用场景 计算链路 计算引擎 是否支持 离线 PostgreSQL 是 Polar_PG 是 AnalyticDB PostgreSQL(ADB_PG)是 使用说明 来源节点 几何求交算子...
几何求差
本文介绍几何求差算子的使用方法。用途 几何求差算子用于计算主表相对于关联节点（另一张数据表）在空间位置上的差集。适用场景 计算链路 计算引擎 是否支持 离线 PostgreSQL 是 Polar_PG 是 AnalyticDB PostgreSQL(ADB_PG)是 使用说明 ...
0040-00000241
问题原因 图片处理模糊算子的参数r为非数字或不符合取值范围要求。问题示例 GET/example_image?x-oss-process=image/blur,r_abc,s_25 HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Fri,03 Feb 2023 03:41:49 GMT ...
0040-00000242
问题原因 图片处理模糊算子的参数s为非数字或不符合取值范围要求。问题示例 GET/example_image?x-oss-process=image/blur,r_3,s_abc HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Fri,03 Feb 2023 03:41:49 GMT Content...
质检规则组成说明
目前有以下四种类型的算子：文字检查类 语音检查类 知识检查类 其他检查类 关键词检查 通话静音检查 客户检测模型 模型检测 文本相似度检查 语速检查 客服检测模型 正则表达式检查 抢话检查 上下文重复检查 角色判断 非正常挂机 录音时长...
查询优化器介绍
查询改写这一步的主要有如下功能：子查询去关联化（Subquery Unnesting）子查询去关联化是将含有关联项的子查询（关联子查询）表示为SemiJoin或类似的算子，便于后续的各种优化，例如下推到存储层MySQL或在 PolarDB-X 1.0 层选择某种算法...
自定义算子管理
说明 此处定义的算子可在后续数据处理任务时调用运行，包括“数据标准化算子”、“数据预处理算子”和“数据预标注算子”。数据标准化算子：对接入平台的非标准格式数据进行标准化，支持RGB图像、视频、传感器内外参、点云、激光雷达原始...
查询优化器介绍
物理算子下推 物理算子下推是非常关键的一步，PolarDB-X 内置了如下物理算子的下推优化规则：优化规则 描述 谓词下推或列裁剪 将Filter及Project物理算子下推至存储层MySQL执行，过滤掉不需要的行和列。JOINClustering 将JOIN按照拆分...
工作流模板与算子
本文介绍智能媒体管理IMM提供的工作流模板ID（TemplateId）及其对应支持的算子。简介 在创建IMM项目或数据集时，可以为项目或数据集设置工作流模板（Template），模板定义了部分接口所需要执行的工作流。在为存储在对象存储（OSS）、相册与...
算子介绍
本文介绍了一些基本的算子含义和实现。算子介绍 含义 算子 可下推至DN的算子 LogicalView，LogicalModifyView，PhyTableOperation,IndexScan 连接（Join）BKAJoin，NLJoin，HashJoin，SortMergeJoin，HashSemiJoin，SortMergeSemiJoin，...
计算层高可用
同时对于interactive模式下本身目标在于延迟敏感的分析场景，目前对于计算节点异常宕机的场景，计算引擎会通过查询级别重算，保证查询稳定性。Batch模式 对于类似ETL等数据清洗任务，这类任务计算时间长，计算资源消耗大，如果依然查询级别...
执行计划和基本算子
本文介绍如何使用 EXPLAIN 命令查询执行计划，并介绍一些基本的算子（例如 LogicalView，Gather，MergeSort 等）。更多算子（例如Join、Agg、Sort等）的介绍在后续的章节中单独列出。背景信息 通常SQL调优的过程离不开以下两个步骤：分析...
Query Profiling Statistics
查询执行过程中耗时多的算子。单一算子执行时占用的资源量，例如内存，磁盘 I/O，网络 I/O。操作步骤如下：在当前会话中开启查询执行信息收集功能，SQL如下：SET queryprofile.enable=ON;查看历史查询执行信息，此处以获取最近10条历史查询...
DescribeDiagnosisSQLInfo-查看SQL语句的详细信息
Children 算子结构体 递归结构 子节点算子，字段结构与父节点算子结构一致，最下层子节点的该值为空。示例 正常返回示例 JSON 格式 {"RequestId":"425AAA6A-63E0-1929-A1CE-3D9036CBC463","QueryID":"71403480878*","SessionID":"658*",...
Explain和Explain Analyze
需要关注的算子包括：参数 描述 cost 算子的 预估 耗时，父节点的cost也包含子节点的cost。包含 预估启动cost 和 预估总cost，中间使用.分割。预估启动cost：输出阶段开始之前的cost。预估总cost：是假设算子运行完成的总cost。例如上述...
0040-00000238
问题原因 老版本图片处理模糊算子的参数形式不符合要求。问题示例 GET/example_image@3-bl HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Fri,03 Feb 2023 03:41:49 GMT Content-Type:application/xml 上述请求串中 3-不...
0040-00000235
问题原因 老版本图片处理内切圆算子的参数不符合格式要求。问题示例 GET/example_image@ci HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Fri,03 Feb 2023 03:41:49 GMT Content-Type:application/xml 上述请求串中@ci ...
RDS MySQL只读实例同步延迟原因与处理
本文介绍常见的RDS MySQL只读实例延迟时间变长的原因及解决方案。问题描述 由于阿里云云数据库RDS只读实例采用MySQL原生的基于日志复制技术（异步复制或半异步复制），必然会有同步延迟。延迟会导致只读实例与主实例的数据出现不一致，从而...
RDS MySQL只读实例同步延迟原因与处理
本文介绍常见的RDS MySQL只读实例延迟时间变长的原因及解决方案。问题描述 由于阿里云云数据库RDS只读实例采用MySQL原生的基于日志复制技术（异步复制或半异步复制），必然会有同步延迟。延迟会导致只读实例与主实例的数据出现不一致，从而...
0040-00000240
问题原因 老版本图片处理模糊算子的参数sigma不符合取值范围要求。问题示例 GET/example_image@3-200bl HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Fri,03 Feb 2023 03:41:49 GMT Content-Type:application/xml 上述...
0040-00000239
问题原因 老版本图片处理模糊算子的参数radius不符合取值范围要求。问题示例 GET/example_image@300-2bl HTTP/1.1 Host: oss-example.oss-cn-hangzhou.aliyuncs.com Date: Fri,03 Feb 2023 03:41:49 GMT Content-Type:application/xml 上述...
Join优化
物理算子支持 SelectDB支持如下两种物理Join算子，用于实现单机引擎中数据进行Join的处理过程。Hash Join：在右表上根据等值Join列建立哈希表，左表流式的利用哈希表进行Join计算，这个算子只适用于等值Join。Nest Loop Join：通过两个for...
使用执行计划分析查询
算子层计划执行树 算子层执行计划由多个算子组成，图中的每个矩形框代表一个算子，数据流向自下而上，扫描数据过程或接收网络数据由最上游的算子（TableScan和RemoteSource）完成，扫描到的数据和接收到的网络数据经过中间算子层层处理后，...
使用Prometheus监控E-MapReduce
zk_max_latency ZooKeeper最大请求延迟，单位：ms。zk_watch_count ZooKeeper watch的数量。zk_znode_count ZooKeeper znode的数量。zk_num_alive_connections ZooKeeper存活的连接数。zk_outstanding_requests ZooKeeper排队请求的数量。...
使用Prometheus监控E-MapReduce
zk_max_latency ZooKeeper最大请求延迟，单位：ms。zk_watch_count ZooKeeper watch的数量。zk_znode_count ZooKeeper znode的数量。zk_num_alive_connections ZooKeeper存活的连接数。zk_outstanding_requests ZooKeeper排队请求的数量。...
- 产品推荐
- 这些文档可能帮助您