产品概述
云原生数据仓库 AnalyticDB PostgreSQL 版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。云原生数据仓库 AnalyticDB PostgreSQL 版 基于开源项目Greenplum构建，由阿里云深度扩展，兼容ANSI SQL 2003，兼容...
产品概述
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
Spark应用性能诊断
应用场景 Spark应用性能诊断主要适用于以下场景：数据集性能分析：使用Spark处理大规模数据时，需要对数据集进行性能分析。使用性能诊断工具可以快速定位性能瓶颈（例如：内存峰值、Spill等），提高数据处理效率。大规模应用负载均衡：...
音视频弹性处理
可以在短时间内准备大量的计算资源进行大规模并行转码处理。能简单迁移基于FFmpeg自建的转码服务。方案简介 本示例是将MOV格式文件转换为FLV、AVI、MP4格式的文件，并将转换后的文件存储到对象存储的指定目录中。方案实施如下：上传视频...
PyODPS概述
如tunnel下载操作、execute操作、to_pandas操作等，因此，很多初始使用PyODPS的用户会试图把数据拉取到本地，处理完成后再上传到 MaxCompute上，很多时候这种方式是十分低效的，拉取数据到本地彻底丧失了MaxCompute的大规模并行能力的优势...
简介
批量计算服务（Batch Computing Service，简称BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。我们提供了丰富的API接口，您可以基于此API很方便使用BatchCompute的服务以及开发自己的应用程序。请确保在使用这些接口前，...
什么是实时数仓Hologres
亚秒级交互式分析 Hologres采用可扩展的大规模并行处理（MPP）架构全并行计算，通过向量化算子发挥CPU最佳算力，基于AliORC压缩存储，面向SSD存储优化IO吞吐，支持PB级数据亚秒级交互式分析体验。在线高性能主键点查 基于行存表的主键索引...
基本概念
它是一种为图像和图形运算工作优化的微处理器，适用于大规模并行计算等场景。VM Virtual Machine，虚拟机，指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。云边一体 云边一体，又叫云边协同，其中...
什么是数据管理DMS
AnalyticDB PostgreSQL版：云原生数据仓库AnalyticDB PostgreSQL版是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。OSS：对象存储服务OSS（Object Storage Service）是阿里云提供的海量、安全、低成本、高可靠的云...
补数据
为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况？为什么补数据选择补0点~1点生成了多个实例？为什么进行大量补数据操作时，会出现等待资源情况（实例显示黄色，实例状态为等待资源）？为什么补数据报错调起的节点运行时间不...
应用场景
数据库加速 以大型互联网公司为例，每天处理的数据量级都在PB，每天更新的网页以亿计，每24小时更新的日志超过PB，因此需要大型的集群处理大规模的数据。在处理大规模数据时，数据仓库的性能直接影响数据本身的处理能力。f3实例得益于FPGA...
RDS SQL Server CPU使用率高问题排查
CPU使用率高的因素有很多，其中最常见的因素说明及解决方法如下：实例的并行度设置不合理 排查步骤 线程并行处理任务时，由于每个线程处理的数据量不一致，会出现CXPACKET等待情况，CXPACKET等待发生比较多的话，就会造成CPU使用率高。...
一键建仓
AnalyticDB MySQL版是云端托管的大规模并行处理的PB级数据仓库，具有快、灵活、易用、超大规模、高并发写入等特点。更多信息，请参见 什么是云原生数据仓库MySQL版。费用说明 AnalyticDB MySQL实例费用：若您购买新的AnalyticDB MySQL实例...
函数存储选型
整个架构中，您只需要专注于函数逻辑的编写，系统将以实时的、可靠的、大规模并行的方式处理海量的数据。具体操作，请参见 OSS触发器概述。临时硬盘 函数计算 为您提供两种规格的临时硬盘规格，分别是512 MB和10 GB。临时硬盘中所有目录可...
影响查询性能的因素
但 AnalyticDB MySQL版 能否充分利用多节点来并行处理查询，还取决于数据在存储节点上的分布特征。如果数据能够均匀分布在存储节点上，那么 AnalyticDB MySQL版 中的多个子任务在处理数据时，就能几乎同时结束任务，实现理想的查询处理；...
函数存储选型
整个架构中，您只需要专注于函数逻辑的编写，系统将以实时的、可靠的、大规模并行的方式处理海量的数据。具体操作，请参见 OSS触发器概述。临时硬盘 函数计算 为您提供两种规格的临时硬盘规格，分别是512 MB和10 GB。临时硬盘中所有目录可...
灵骏常见问题
对比项 GPU CPU 算术运算单元（ALU）大量擅长处理大规模并发计算的算术运算单元（ALU）。拥有强大的算术运算单元（ALU），但数量较少。逻辑控制单元 相对简单的逻辑控制单元。复杂的逻辑控制单元。缓存 缓存较低且用于服务线程，不用于保存...
2017年功能发布记录
其特点如下：能大规模并行执行代码。无需配置服务器、安装软件、部署容器。容量自动配置、自动扩展机制，松散耦合。事件触发运行代码方式。按运行计费，不执行0费用。无 华东1区开通 新增 阿里云函数计算开通华东1地域。无 4大实用模板 ...
2017年功能发布记录
其特点如下：能大规模并行执行代码。无需配置服务器、安装软件、部署容器。容量自动配置、自动扩展机制，松散耦合。事件触发运行代码方式。按运行计费，不执行0费用。无 华东1区开通 新增 阿里云函数计算开通华东1地域。无 4大实用模板 ...
QueryContent-查询文档内容
云原生数据仓库AnalyticDB PostgreSQL版是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。Metadata object 元数据 Map。string 元数据。{"title":"test"} FileName string 文件名。my_doc.txt LoaderMetadata string...
多级分区表静态裁剪与并行扫描
为了方便管理和提高查询性能，用户一般会使用分区表，将大表拆分成多张子分区表，每张子分区表又进一步可以拆成二级子分区表，从而形成了多级分区表。支持多级分区表的静态分区裁剪，避免对无关分区进行扫描。同时，针对被裁剪后的分区表，...
功能概览
大规模文件系统通常用于处理和存储大量数据，并提供高吞吐量、高并发和高可用性特性。这些系统可以广泛应用于云计算、高性能计算、大数据分析、媒体处理和其他需要处理大型数据集的场景。本文介绍 云备份 大规模文件系统（除NAS以外）备份...
深度解析PolarDB数据库并行查询技术
传统的优化器只能生成串行的执行计划，为了实现并行读取数据，同时并行处理数据，首先必须对现有的优化器进行改造，让优化器可以生成需要的并行计划。例如，选择哪个表或哪些表可以并行读取，并且通过并行读取会带来足够的收益；或者哪些...
未来规划
云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台服务器和虚拟机，带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用，实现按需按量...
减灾与应急时空解决方案与案例
可在表级和操作级充分利用时空并行处理能力加快大数据计算效率。系统原生部署在云端，支持直接使用SQL实现传统GIS服务软件提供的大部分功能，还支持性能及存储空间同时线性扩展。项目价值 领域专业数据一体化融合管理和处理能力，提供存储...
应用场景
例如，来自不同数据源的计量数据被收集到日志服务，函数计算 的定时器定时触发 云工作流 执行，云工作流 利用 函数计算 对多个Shard的计量数据做并行处理，并将结果分别写回日志服务；然后可以将所有Shard产生的文件进行聚合，写入表格存储...
离线异步任务场景
本文介绍什么是GPU离线异步任务场景和如何使用函数计算GPU异步调用、异步有状态调用服务离线AI推理、离线AI训练、离线GPU加速场景，以及如何基于非Web Server模式的Custom Container满足离线GPU应用场景。场景介绍 在离线异步应用场景中，...
概述
弹性并行查询（Elastic Parallel Query）针对云上用户实例CPU资源利用率较低、使用不均衡的特征，充分挖掘集群中多核CPU的并行处理能力，以8核32 GB（独享规格）的 PolarDB MySQL版 集群版为例，示意图如下所示：前提条件 PolarDB 集群版本...
什么是人工智能平台PAI
千亿级特征样本的大规模并行计算框架Parameter Server。Spark、PySpark、MapReduce等业内主流开源框架。PAI提供的服务：可视化建模和分布式训练Designer，详情请参见 可视化建模（Designer）。Notebook交互式AI研发DSW（Data Science ...
集群消费和广播消费
分布式数据处理：在大规模数据处理的场景中，使用集群消费模式可以将数据分发给多个处理节点进行并行处理。每个节点只处理其中一部分数据，从而加速数据处理的速度。注意事项 集群模式下，不保证每一次失败重投的消息投递到同一台机器上。...
ARMS告警精细管理最佳实践
本文介绍ARMS告警管理如何应对大规模系统的告警配置。背景知识 在告警管理中有一个非常重要的指标Mean Time To Contain（MTTC），MTTC描述了从检测到故障事件到控制和解决该事件所需的平均时间。它是一个关键指标，因为它衡量了一个组织对...
自动/手动主备切换
当系统发生故障时，PolarDB 集群会自动进行主备切换。您也可以手动进行主备切换，指定一个只读节点为新的主节点。注意事项 不论是自动切换还是手动切换，当只读节点未开启热备时，主备切换过程中可能会出现20~30秒左右的闪断，因此切换前请...
并行查询
PolarDB PostgreSQL版 支持分区表的并行查询（Parallel Append）功能，可以更好地处理大规模数据的查询。概述 当代计算机往往有更多的核心可以使用，并行查询是现代数据库必不可少的能力。PolarDB PostgreSQL版 对分区表的并行查询，和普通...
产品简介
支持秒级启动和大规模弹性伸缩，减少任务积压排队等待，提高大规模并行计算的业务效率。延时极度敏感业务场景 延时极度敏感的业务场景，例如高性能网络服务器、网关系统和中间件系统等业务，使用绑核的独享型实例，确保业务负载的稳定无...
图片处理常见问题
本文主要介绍您在使用OSS图片处理时可能遇到的一些常见问题及处理方法。遇到问题时，如果有明显的参数超过显示等问题，可以使用OSS的?x-oss-process=image/info 参数查看原始图片中的信息是否超标。OSS单边长度不能超过4096，乘积不能高于...
发布单对接说明
为什么同一应用的发布单不支持并行 弹性场景 在 SAE 应用的发布、扩缩容场景下需要禁用弹性规则，否则会出现一系列不可预期的问题。如果此时有多个发布单并行，就会出现A发布单禁用了弹性，在A发布单未完结之前，B发布单又启动了弹性的情况...
并行查询
PolarDB PostgreSQL版（兼容Oracle）支持分区表的并行查询（Parallel Append）功能，可以更好地处理大规模数据的查询。概述 当代计算机往往有更多的核心可以使用，并行查询是现代数据库必不可少的能力。PolarDB PostgreSQL版（兼容Oracle）...
并行查询
PolarDB PostgreSQL版（兼容Oracle）支持分区表的并行查询（Parallel Append）功能，可以更好地处理大规模数据的查询。概述 当代计算机往往有更多的核心可以使用，并行查询是现代数据库必不可少的能力。PolarDB PostgreSQL版（兼容Oracle）...
技术原理
原理架构 MPP和只读资源 PolarDB-X 1.0 通过多组DRDS计算节点提供大规模多级并行处理能力（Massively Parallel Processing，简称MPP），针对计算节点进行Scale-out完成MPP处理能力的线性扩展。同时通过AiSQL三节点基于Paxos构建Row-based...
弹性并行查询（Elastic Parallel Query）常见问题
并行查询的基本原理是有效利用多核CPU并发处理来加速查询，开启并行查询会占用更多的计算资源，并行度设置的过大可能导致集群负载偏高，一般建议不超过CPU核数的1/4。另外并行度超过CPU的核数是没有意义的，当集群有多个RO节点时，可以在8....
- 产品推荐
- 这些文档可能帮助您