基本介绍
通过并行循环（foreach）步骤来并行处理数组数据。流程包含以下属性：version（必需）：流程版本，仅支持 v1。type（必需）：flow表示是流程类型。steps（必需）：定义了流程的多个串行步骤。一个步骤执行完成后，如果成功，则会执行下一个...
热点行优化
这样的流水线式的处理方式能够充分利用硬件资源，提升CPU的使用率，提高数据库系统的并行处理能力，从而最大限度地提升数据库系统的吞吐量。消除申请行锁时的等待 为了保证数据的逻辑一致性，对一个数据行进行更新时，首先会对该数据行加锁...
构建基于Serverless架构的弹性高可用音视频处理系统
在音视频系统中，音视频转码是比较消耗计算力的一个子系统，您可以通过 函数计算 和 Serverless 工作流 构建弹性高可用的Serverless音视频处理系统。本文会从工程效率、运维、性能和成本方面介绍Serverless音视频处理系统和传统方案的差异...
配置网卡多队列的网络中断亲和性
多队列是指网络接口卡具有能力在多个发送和接收队列上并行处理网络数据包。在使用网卡多队列时，通常需要配置网络中断亲和性（IRQ Affinity），将不同的队列中断分配给特定的CPU处理，而不是由任意的CPU处理，这有助于减少CPU之间的争用并...
8.0.1和8.0.2版功能对比
支持 支持 热点行优化 PolarDB 在数据库内核层进行了创新性的优化，不但能够自动识别热点行更新请求，而且将一定时间间隔内对同一数据行的更新操作进行分组，不同分组采用流水线的方式并行处理，通过这些优化，极大地提升了系统的性能。...
RDS SQL Server CPU使用率高问题排查
CPU使用率高的因素有很多，其中最常见的因素说明及解决方法如下：实例的并行度设置不合理 排查步骤 线程并行处理任务时，由于每个线程处理的数据量不一致，会出现CXPACKET等待情况，CXPACKET等待发生比较多的话，就会造成CPU使用率高。...
测试指标
它的功能主要是解释计算机指令以及处理计算机软件中的数据。CPU Load：系统正在干活的多少的度量，队列长度。系统平均负载。简称 Central Processing Unit：CPU 标准 CPU指标主要指的CPU使用率、利用率，包括用户态（user）、系统态（sys）...
概述
文件存储CPFS 文件存储CPFS（Cloud Paralleled File System）是一款并行文件系统，其数据存储在集群中的多个数据节点，多个客户端可以同时访问，满足大型高性能计算机集群的高IOPS、高吞吐、低时延的数据存储需求。文件存储HDFS版 文件存储...
并行查询Hint语法
Parallel Hints可以指定优化器是否选择并行执行，还支持指定并行度以及需要并行的表，以及各个算子的并行执行方式。PolarDB MySQL版 8.0.1版本目前支持在并行查询中使用 PARALLEL 和 NO_PARALLEL 两种Hints。PolarDB MySQL版 8.0.2版本除了...
GxP欧盟附录11标准合规包
业务背景 GxP欧盟附录11（GxP EU Annex 11）是欧盟对于计算机化系统使用的规范性要求，主要针对在制药、生物技术和医疗器械领域中使用计算机化系统的企业和组织。他要求涵盖了计算机化系统的开发、验证、操作、维护和监测等方面，以确保...
未来规划
如何对海量数据进行在线分析和计算，支持实时在线交互式分析，需要做并行处理（DSP 模型、MPP 模型等等），对并行调度计算进行优化。系统能力提升：智能化+安全（使用方便可靠、运维简易）。如在管控平台的层面如何做智能化的调度、监控...
CreateFileSystem-创建文件系统
例如：快照的源文件系统版本是 1，需要创建版本 2 的文件系统，可以先通过快照创建一个文件系统 A，然后再创建一个满足版本 2 配置的文件系统 B，把文件系统 A 中的数据拷贝至文件系统 B，拷贝完成后把业务迁移到文件系统 B 即可。...
CreateFileSystem-创建文件系统
例如：快照的源文件系统版本是 1，需要创建版本 2 的文件系统，可以先通过快照创建一个文件系统 A，然后再创建一个满足版本 2 配置的文件系统 B，把文件系统 A 中的数据拷贝至文件系统 B，拷贝完成后把业务迁移到文件系统 B 即可。...
PolarDB处理TPC-H查询的挑战和机遇
上图给出了前两项优化后对社区版本在TPC-H SF10上一些查询的性能对比，由于社区不支持并行处理，就没再比较parallel hash join的提升了。Sparse Foreign Key Joins 在TPC-H中，大量的join都是主外键join，而且在主表上，对主键都有一定的...
基本概念
VM Virtual Machine，虚拟机，指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。云边一体 云边一体，又叫云边协同，其中“云”指的是中心云计算，“边”指的是边缘云计算。云边一体主要是针对提供用户...
算子
AnalyticDB MySQL版 是一个分布式系统，大多数算子可以达到在多个节点上并行完成计算任务，来提高数据处理效率。您可以通过 AnalyticDB MySQL版 的SQL诊断功能查看具备属性的算子以及算子级别的结果诊断。更多详情，请参见 算子层计划执行...
PolarDB并行查询
并行执行器 PQ实现了一系列算子内并行的机制，如对表的逻辑分区和并行扫描，Parallel Hash join等，来使并行执行成为可能或进一步提升性能，还有多样化的子查询处理机制等。Parallel Scan PolarDB 是共享存储的，所有数据对所有节点均可见...
产品概述
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
列存索引技术架构介绍
并行查询突破了单核执行性能的限制，利用多核CPU的并行处理能力，使得部分SQL查询耗时成指数级下降。PolarDB列式存储 并行执行框架突破了CPU扩展能力的限制，带来了显著的性能提升。然而，受限于行式存储及行式执行器的效率限制，单核执行...
如何对JSON类型进行高效分析
PolarDB IMCI采用精简二进制方式存储JSON列存数据，且使用RapidJSON库解析JSON数据，处理过程中按需读取数据且利用列存压缩技术等有效减少IO量，同时充分利用SIMD和向量化及并行等加速运算。以实际测试数据为例展示列存中JSON用法及其行列...
附录 2 等级保护简介
《中华人民共和国计算机信息系统安全保护条例》（国务院147号令）：“计算机信息系统实行安全等级保护，安全等级的划分标准和安全等级保护的具体办法，由公安部会同有关部门制定”。《国家信息化领导小组关于加强信息安全保障工作的意见》...
PolarDB MySQL版8.0.1版本发布日志
即开启弹性并行查询功能后，当系统的 loose_csv_max_oss_threads 参数值大于1时，直接进行并行查询。优化OSS外表文件格式错误的报错信息内容。支持在 ALTER TABLE PARTITION BY RANGE 语法中增加 without validation 的选项，将普通表快速...
OSS/OSS-HDFS的性能优化最佳实践
阿里云OSS-HDFS服务（JindoFS服务）是JindoFS存储系统在阿里云上的服务化部署形态，与阿里云OSS深度融合，开箱即用，无须在EMR集群中部署维护JindoFS，免运维。OSS-HDFS服务详情请参见 OSS-HDFS服务概述。管理HTTP速度缓慢响应的最佳实践 ...
VACUUM
对具有 GIN 索引的表，VACUUM（任何形式）也会通过将待处理索引项移动到主要 GIN 索引结构中的合适位置来完成任何待处理的索引插入。我们建议经常清理活动的生产数据库（至少每晚一次），以保证移除失效的行。在增加或删除了大量行之后，对...
应用场景
并行转码：根据视频文件数量，自动进行毫秒级的弹性伸缩，并行处理多个文件。成本低廉：提供丰富的计量模式，在不同场景下有显著的成本优势。快速迁移：FFmpeg相关命令可以直接移植到函数计算，在虚拟机上部署的基于FFmpeg的服务可以轻松...
应用场景
并行转码：根据视频文件数量，自动进行毫秒级的弹性伸缩，并行处理多个文件。成本低廉：提供丰富的计量模式，在不同场景下有显著的成本优势。快速迁移：FFmpeg相关命令可以直接移植到函数计算，在虚拟机上部署的基于FFmpeg的服务可以轻松...
控制台发布记录
2022-11-20 集群保护锁 新增全局只读节点 在产品系列为多主集群（库表）的集群中，您可以通过增加全局只读节点的方式，来读取集群中所有读写节点的数据，以处理跨节点的汇聚库请求，而无需额外配置数据同步和部署独立的集群资源来实现数据...
如何使用Prometheus监控Windows
CPU指标 CPU作为计算机系统的运算和控制核心，是信息处理、程序运行的最终执行单元，您可以关注以下主要指标。指标名称 指标级别 指标来源 指标说明 CPU使用率（%）Critical WMI（PercentProcessorTime）若长时间CPU使用率达到100%，表示...
如何使用Prometheus监控Windows
CPU指标 CPU作为计算机系统的运算和控制核心，是信息处理、程序运行的最终执行单元，您可以关注以下主要指标。指标名称 指标级别 指标来源 指标说明 CPU使用率（%）Critical WMI（PercentProcessorTime）若长时间CPU使用率达到100%，表示...
使用实例时镜像相关问题
在使用ECS实例过程中，可能会遇到一些与镜像有关的问题或咨询，比如实例启动慢、系统负载高、如何编译内核等。本文介绍在使用ECS实例过程中遇到的镜像相关问题及解决方案。Windows镜像问题 如何手动更新Windows实例的virtio驱动？Windows ...
功能特性
媒体处理可以将一个音视频文件转换成另一个或多个音视频文件，以适应不同网络带宽、终端设备和用户的需求。对媒体的内容、文字、语音、场景进行多模态分析，实现智能审核、内容理解、智能编辑等多种处理功能。音视频转码 把音视频码流转换...
影响查询性能的因素
但 AnalyticDB MySQL版 能否充分利用多节点来并行处理查询，还取决于数据在存储节点上的分布特征。如果数据能够均匀分布在存储节点上，那么 AnalyticDB MySQL版 中的多个子任务在处理数据时，就能几乎同时结束任务，实现理想的查询处理；...
监控指标说明
注意事项 Source端的指标表现并不是判断问题根源的充分条件，只反映了Source当前的工作状况，您仍然需要其他辅助指标或工具来判断问题的根源。常见问题的指标表现如下。场景 详情 作业中某些算子存在反压 判断反压最直接的方式是使用Flink ...
SQL调优
并行度优化 并行度是衡量并行计算并行程度的一个指标，从执行计划上来看，例如ID为M1的任务，使用1000个Instance来执行，我们就说M1的并行度是 1000。需要注意的是：调整并行度不一定是越多越好，Instance数量过多会从如下两个方面影响执行...
数据导入常见问题
您可以根据以下步骤处理：调整系统句柄数。调小 base_compaction_num_threads_per_disk 和 cumulative_compaction_num_threads_per_disk（默认都是1）的参数值。修改配置项的具体操作，请参见 修改配置项。如果问题还未解决，建议扩容或者...
X-Engine简介
造成这种现象的原因是近年来我们所依赖的硬件体系发生了巨大的变化，例如多核（众核）CPU、新的处理器架构（Cache/NUMA）、各种异构计算设备（GPU/FPGA）等，而架构在这些硬件之上的数据库软件却没有太大的改变，例如使用B-Tree索引的固定...
消费-通过消费组实现高可靠消费
这篇文章主要介绍在实时计算场景中，如何能做到日志处理保序、不丢失、不重复，并且在上下游业务系统不可靠（存在故障）、业务流量剧烈波动情况下，如何保持这三点。为方便理解，本文使用《银行的一天》作为例子将概念解释清楚。在文档末尾...
南京银行：借助云效完成敏捷转身，实现新金融DevOps...
通过架构变革、并行开发、多分支管理、持续集成等方式，成功实现敏捷转身。业务特征及痛点 南京银行科技有运维中心、研发中心和科技管理部，正式的员工有200多人，外包合作厂商有600多人，在线运营的运营系统有300多个。有人说银行不就是有...
企业版和标准版功能对比
支持 支持 弹性并行查询（ePQ）弹性并行查询（Elastic Parallel Query，ePQ）目前支持单机并行和多机并行两种并行引擎，单机并行引擎等效于原有的并行查询，多机并行引擎支持集群内跨节点的自适应弹性调度。支持 支持 SQL引擎查询优化 ...
CREATE INDEX
通过 ALTER INDEX 关闭 fastupdate 会阻止未来的更新进入到待处理索引项列表中，但它不会自己处理之前的待处理项。可以使用 VACUUM 或者调用 gin_clean_pending_list 确保处理完待处理列表的项。gin_pending_list_limit(integer)自定义 gin...
- 产品推荐
- 这些文档可能帮助您