产品概述
云原生数据仓库 AnalyticDB PostgreSQL 版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。云原生数据仓库 AnalyticDB PostgreSQL 版 基于开源项目Greenplum构建，由阿里云深度扩展，兼容ANSI SQL 2003，兼容...
什么是实时数仓Hologres
亚秒级交互式分析 Hologres采用可扩展的大规模并行处理（MPP）架构全并行计算，通过向量化算子发挥CPU最佳算力，基于AliORC压缩存储，面向SSD存储优化IO吞吐，支持PB级数据亚秒级交互式分析体验。在线高性能主键点查 基于行存表的主键索引...
Spark应用性能诊断
大规模应用负载均衡：Spark应用在高并发负载运行时，可能会出现性能问题，例如：数据倾斜、长尾任务、负载不均衡。对Spark应用进行性能诊断，可以快速定位问题，便于您优化Spark应用。使用限制 仅支持诊断14天以内且执行成功的Spark应用。...
文档上传格式要求
处理后会出现的问题 第三条会被分到一个chunk，但是由于水印部分被识别成文字，导致“（五）十一等耕地12万元/亩”后会多出“政府公报”几个字，并且由于“政府公报”的水印位置比较靠前，会导致（一）（二）（三）（四）（五）的顺序被...
功能概览
大规模文件系统通常用于处理和存储大量数据，并提供高吞吐量、高并发和高可用性特性。这些系统可以广泛应用于云计算、高性能计算、大数据分析、媒体处理和其他需要处理大型数据集的场景。本文介绍 云备份 大规模文件系统（除NAS以外）备份...
集群消费和广播消费
分布式数据处理：在大规模数据处理的场景中，使用集群消费模式可以将数据分发给多个处理节点进行并行处理。每个节点只处理其中一部分数据，从而加速数据处理的速度。注意事项 集群模式下，不保证每一次失败重投的消息投递到同一台机器上。...
热点行优化
因此 PolarDB 在数据库内核层进行了创新性的优化，不但能够自动识别热点行更新请求，而且将一定时间间隔内对同一数据行的更新操作进行分组，不同分组采用流水线的方式并行处理，通过这些优化，极大地提升了系统的性能。具体方案如下：串行...
安装CUDA
如果您想要在GPU云服务器上进行GPU加速计算任务（例如科学计算或大规模并行计算等），则需要安装CUDA开发运行环境。CUDA提供了一整套工具和库，可以帮助您进行GPU加速的程序开发，以充分发挥NVIDIA GPU的计算潜力，提高计算性能和加速运行...
LLM on DLC-Megatron on DLC最佳实践
附录：PTD-P并行技术原理介绍 大规模并行训练的一个关键因素是并行训练策略的选择。在 Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM 和 Reducing Activation Recomputation in Large Transformer ...
PAI灵骏智算服务概述
PAI灵骏 主要面向图形图像识别、自然语言处理、搜索广告推荐、通用大模型等大规模分布式的AI研发场景，适用于自动驾驶、金融风控、药物研发、科学智能、元宇宙、互联网和ISV等行业。您只需为AI训练所消耗的资源付费，无需建设、调优和运维...
大规模ACK Pro集群使用建议
但当集群进行大规模变更操作时，例如快速创建或删除大量资源，或大规模扩缩集群节点数时，可能会造成控制面压力过大，导致集群性能下降、响应延迟，甚至服务中断。例如，在一个5,000个节点的集群中，如果存在大量固定数量的Pod且保持稳定...
PolarDB PostgreSQL版架构介绍
同时，PolarDB PostgreSQL版 具有大规模并行计算能力，可以应对OLTP与OLAP混合负载。还具有时空、向量、搜索、图谱等多模创新特性，可以满足企业对数据处理日新月异的新需求。PolarDB PostgreSQL版 支持多种部署形态：存储计算分离部署、X-...
PolarDB PostgreSQL版架构介绍
同时，PolarDB PostgreSQL版（兼容Oracle）具有大规模并行计算能力，可以应对OLTP与OLAP混合负载。还具有时空、向量、搜索、图谱等多模创新特性，可以满足企业对数据处理日新月异的新需求。PolarDB PostgreSQL版（兼容Oracle）支持多种部署...
基本概念
本文为您介绍灵骏中用到的基本概念，帮助您正确理解和使用。使用灵骏的过程中，您可以根据业务需求规划多...优化套件 灵骏提供的适合大规模并行计算集群优化组件的集合，包括数据加载优化、集合通信优化、计算资源优化、网络优化等几个组件。
客户案例
系统成本：另一种解决方案就是采用大多数商业公司使用的 Oracle 提供的 RAC 解决方案，通过共享存储的能力提供数据存储空间的扩容，通过在共享存储上增加计算节点来提供高速的并行处理能力。这套方案都是基于在昂贵的硬件基础和 Oracle ...
技术面临的挑战与革新
存储计算分离是近年来分布式系统设计架构的潮流，从2001年开始Google的GFS开创先河地开始使用了普通X86服务器和硬盘搭建了大规模的存储，虽然受限于当时网络的传输速度，和机器间的带宽，还是需要耦合计算和存储节点的分布。但是随着底层...
Java SDK
修复“SchedulerX客户端与Spring Cloud集成时会出现任务运行锁死超时”的兼容问题。修复“广播任务在并发情况下出现执行中断”的问题。修复“秒级别任务在执行过程中未能定时刷新Worker实例列表”的问题。修复“秒级别广播任务执行停止指令...
X-Engine简介
为什么设计一个新的存储引擎 X-Engine的诞生是为了应对阿里内部业务的挑战，早在2010年，阿里内部就大规模部署了MySQL数据库，但是业务量的逐年爆炸式增长，数据库面临着极大的挑战：极高的并发事务处理能力（尤其是双十一的流量突发式暴增...
Presto FAQ
Schema的Catalog类型必须是Hive，否则会出现如下报错：big_query only support hive catalog.如何调整查询RDS类数据源的并发度？以RDS为例，使用DLA扫描线上数据时，如果RDS实例规格比较小，可能无法支撑默认的JDBC Connector并发度。您...
版本发布说明
支持对大规模分片DDL任务的压缩存储，优化DDL引擎的调度响应时间。缺陷修复 修复SQL中包含恒假表达式时在事务内执行可能报错的问题。修复扩缩容过程中存在悬挂事务时，可能存在数据不一致的问题。修复开启useAffectedRows后，在GSI的复杂...
JindoData版本说明
JindoFS修复服务端授权错误时，访问OSS会导致服务异常的问题。JindoFSx存储加速系统 JindoFSx修复Storage服务文件句柄泄漏问题。JindoFSx修复客户端metrics上报线程安全问题。JindoFSx优化递归创建父目录性能。JindoFSx优化路径改写功能...
简介
批量计算服务（Batch Computing Service，简称BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。我们提供了丰富的API接口，您可以基于此API很方便使用BatchCompute的服务以及开发自己的应用程序。请确保在使用这些接口前，...
控制台发布记录
升级评估 为了保证升级链路的顺利进行以及更好的升级体验，PolarDB 为大版本升级提供了升级评估功能，您可以在开始升级前，对集群状态、升级任务依赖、源集群属性信息等前提条件进行预校验，提前发现影响升级进度的前置条件并处理，以降低...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
查询流程和执行计划
Stage的数据来源可以是底层存储系统中的数据或者网络中传输的数据，一个Stage由分布在不同Executor节点上相同类型的Task组成，多个Task会并行处理数据。说明 AnalyticDB MySQL版 SQL诊断功能支持对Stage级别进行结果诊断。更多详情，请参见...
Kyuubi概述
Kyuubi可以在用户级别缓存后台引擎实例，以更好的实现计算资源共享和快速响应，并行处理大量数据的查询并快速返回结果。批数据处理：Kyuubi提供了SQL接口用于常见的批处理，通常是大型提取、转换、加载（ETL）过程。Kyuubi及其引擎都是存储...
ARMS告警精细管理最佳实践
本文介绍ARMS告警管理如何应对大规模系统的告警配置。背景知识 在告警管理中有一个非常重要的指标Mean Time To Contain（MTTC），MTTC描述了从检测到故障事件到控制和解决该事件所需的平均时间。它是一个关键指标，因为它衡量了一个组织对...
产品概述
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
影响查询性能的因素
但 AnalyticDB MySQL版 能否充分利用多节点来并行处理查询，还取决于数据在存储节点上的分布特征。如果数据能够均匀分布在存储节点上，那么 AnalyticDB MySQL版 中的多个子任务在处理数据时，就能几乎同时结束任务，实现理想的查询处理；...
常见问题
SUBMITTED：该状态极少遇到，可能原因为Node Update请求太多造成Capacity Scheduler内部抢锁堵塞，通常发生在大规模集群，需优化相关流程。相关案例，请参见 YARN-9618。ACCEPTED：检查Diagnostics。请根据提示信息，选择相应的处理方式。...
2017年功能发布记录
其特点如下：能大规模并行执行代码。无需配置服务器、安装软件、部署容器。容量自动配置、自动扩展机制，松散耦合。事件触发运行代码方式。按运行计费，不执行0费用。无 华东1区开通 新增 阿里云函数计算开通华东1地域。无 4大实用模板 ...
2017年功能发布记录
其特点如下：能大规模并行执行代码。无需配置服务器、安装软件、部署容器。容量自动配置、自动扩展机制，松散耦合。事件触发运行代码方式。按运行计费，不执行0费用。无 华东1区开通 新增 阿里云函数计算开通华东1地域。无 4大实用模板 ...
什么是人工智能平台PAI
千亿级特征样本的大规模并行计算框架Parameter Server。Spark、PySpark、MapReduce等业内主流开源框架。PAI提供的服务：可视化建模和分布式训练Designer，详情请参见 可视化建模（Designer）。Notebook交互式AI研发DSW（Data Science ...
深度解析PolarDB数据库并行查询技术
传统的优化器只能生成串行的执行计划，为了实现并行读取数据，同时并行处理数据，首先必须对现有的优化器进行改造，让优化器可以生成需要的并行计划。例如，选择哪个表或哪些表可以并行读取，并且通过并行读取会带来足够的收益；或者哪些...
技术原理
原理架构 MPP和只读资源 PolarDB-X 1.0 通过多组DRDS计算节点提供大规模多级并行处理能力（Massively Parallel Processing，简称MPP），针对计算节点进行Scale-out完成MPP处理能力的线性扩展。同时通过AiSQL三节点基于Paxos构建Row-based...
概述
弹性并行查询（Elastic Parallel Query）针对云上用户实例CPU资源利用率较低、使用不均衡的特征，充分挖掘集群中多核CPU的并行处理能力，以8核32 GB（独享规格）的 PolarDB MySQL版 集群版为例，示意图如下所示：前提条件 PolarDB 集群版本...
并行查询
PolarDB PostgreSQL版 支持分区表的并行查询（Parallel Append）功能，可以更好地处理大规模数据的查询。概述 当代计算机往往有更多的核心可以使用，并行查询是现代数据库必不可少的能力。PolarDB PostgreSQL版 对分区表的并行查询，和普通...
基本概念
相比CPU具有众多计算单元和更多的流水线，适合用于大规模并行计算等场景。CUDA NVIDIA推出的通用并行计算架构，帮助您使用NVIDIA GPU解决复杂的计算问题。cuDNN NVIDIA推出的用于深度神经网络的GPU加速库。DeepGPU 阿里云专门为GPU云服务器...
并行查询
PolarDB PostgreSQL版（兼容Oracle）支持分区表的并行查询（Parallel Append）功能，可以更好地处理大规模数据的查询。概述 当代计算机往往有更多的核心可以使用，并行查询是现代数据库必不可少的能力。PolarDB PostgreSQL版（兼容Oracle）...
并行查询
PolarDB PostgreSQL版（兼容Oracle）支持分区表的并行查询（Parallel Append）功能，可以更好地处理大规模数据的查询。概述 当代计算机往往有更多的核心可以使用，并行查询是现代数据库必不可少的能力。PolarDB PostgreSQL版（兼容Oracle）...
- 产品推荐
- 这些文档可能帮助您