数据处理
数据处理类节点包括页面导航节点、并行数据处理节点、串行数据处理节点、序列执行节点和WebSocket节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。页面导航节点 页面导航 节点，可用于实现页面跳转的功能，支持新开浏览器标签页...
实践教程概览
MPI（Message Passing Interface）是支持多编程语言的并行计算通信库，具有高性能、大规模性、可移植性、可扩展性等特点。本教程以IMB软件和MPI通信库为例介绍如何测试E-HPC集群的通信性能。测试SCC集群性能 超级计算集群SCC具有无虚拟化...
产品架构
一致性问题处理简单：计算层只需要保证同一时刻有一个计算节点写入同一分片的数据。扩展更灵活：计算和存储可以分开扩展，计算不够扩计算节点，存储不够扩存储节点。这样在大促等场景上会非常灵活。计算资源不够了，马上扩容计算就好了，不...
功能特性
单击在线体验 音 视 频增强 音频增强 视频云音频实验室有机结合传统信号处理与深度学习技术，提供全场景音频增强与修复方案。单击在线体验。重要 以下功能需要在 提交转码作业 时 配置相应参数 使用，音频部分按照输出的音频规格和时长，...
自适应扫描
这种模式通过QC进程与PX Worker进程之间特定的RPC通信机制，由QC进程负责告知每个PX Worker进程可以执行的扫描任务，从而消除计算倾斜的问题。术语 QC(Query Coordinator)：发起ePQ并行查询的进程角色。PX Worker：参与ePQ跨节点并行查询的...
自适应扫描
这种模式通过QC进程与PX Worker进程之间特定的RPC通信机制，由QC进程负责告知每个PX Worker进程可以执行的扫描任务，从而消除计算倾斜的问题。术语 QC(Query Coordinator)：发起ePQ并行查询的进程角色。PX Worker：参与ePQ跨节点并行查询的...
内存型
图 2.Tair多线程模型 Tair 内存型将服务各阶段的任务进行分离，通过分工明确的多个线程并行处理各阶段任务，达到提高性能的目的。IO线程：负责请求读取、响应发送、命令解析等。Worker线程：负责命令处理、定时器事件等。辅助线程：负责高...
灵骏常见问题
本文为您介绍智能计算灵骏的常见问题。如何创建、删除集群下的节点分组？您有两种方式为灵骏集群创建分组。创建集群时，为集群创建分组。更多信息，请参见 集群和分组配置。创建集群完成后，为已有的集群创建分组。在左侧导航栏，选择 资源...
2017年功能发布记录
2017年12月 功能名称 变更类型 功能描述 相关文档 与IoT产品的对接 新增 函数计算打通和IoT产品对接，通过IoT产品控制台可以配置函数计算作为后端处理，可以解决物联网、智能家居存在的问题：数据不能即时处理 较重的技术架构 无法实时弹性...
2017年功能发布记录
2017年12月 功能名称 变更类型 功能描述 相关文档 与IoT产品的对接 新增 函数计算打通和IoT产品对接，通过IoT产品控制台可以配置函数计算作为后端处理，可以解决物联网、智能家居存在的问题：数据不能即时处理 较重的技术架构 无法实时弹性...
LLM on DLC-Megatron on DLC最佳实践
预训练大语言模型面对来自于模型规模和数据规模的多重挑战，为了解决这些问题，PAI提供了在 DLC 上使用Megatron-LM进行大语言模型预训练的最佳实践。该实践通过准备镜像环境与训练数据、调整训练策略、提交与管理任务等流程，帮助您在 DLC ...
企业版和标准版功能对比
支持 支持 弹性并行查询（ePQ）弹性并行查询（Elastic Parallel Query，ePQ）目前支持单机并行和多机并行两种并行引擎，单机并行引擎等效于原有的并行查询，多机并行引擎支持集群内跨节点的自适应弹性调度。支持 支持 SQL引擎查询优化 ...
什么是GPU云服务器
其作为阿里云弹性计算家族的一员，结合了GPU计算力与CPU计算力，满足您在人工智能、高性能计算、专业图形图像处理等场景中的需求，例如，在并行运算方面，使用GPU云服务器可显著提高计算效率。为什么选择GPU云服务器 阿里云GPU云服务器是...
PAI灵骏智算服务概述
基于数据中心超大规模RDMA“高速网”和通信流控技术，实现端到端微秒级通信时延，超大规模线性拓展可打造万卡级并行算力。融合生态，拓展创新边界。支持HPC和AI任务融合调度，为科研和AI提供统一协同的底座支撑，促进技术生态融合。云上...
PolarDB PostgreSQL（兼容Oracle）2.0版本商业化公告
并行 VACUUM（垃圾回收）VACUUM 机制在 PolarDB PostgreSQL版（兼容Oracle）2.0版本 的数据库管理中非常重要，能够释放掉已经不再使用的表空间，以缓解常见的表膨胀问题。为了进一步优化垃圾回收的效率和性能，PolarDB PostgreSQL版（兼容...
2019年
本文介绍了SchedulerX产品在2019年发布涉及的新增功能、功能优化、重要问题修复及对应的文档。客户端发布记录 1.1.0，2019-12-17 变更类型 功能描述 相关文档 优化 修复问题：调整默认依赖的log4j2至2.15.0版本。无 变更类型 功能描述 相关...
基本概念
CUDA NVIDIA推出的通用并行计算架构，帮助您使用NVIDIA GPU解决复杂的计算问题。cuDNN NVIDIA推出的用于深度神经网络的GPU加速库。DeepGPU 阿里云专门为GPU云服务器搭配的具有GPU计算服务增强能力的免费工具集合。AIACC-Taining 阿里云自研...
扩展性原理
针对这类在线数据库上复杂SQL的处理，PolarDB-X 1.0 额外扩展了单机并行处理器（Symmetric Multi-Processing，简称SMP）和多机并行处理器（DAG）。前者完全集成在 PolarDB-X 1.0 内核中；而对于后者，PolarDB-X 1.0 构建了一个计算集群，...
查询流程和执行计划
本文介绍 AnalyticDB MySQL版 的查询处理流程和执行计划中的相关概念。查询流程 AnalyticDB MySQL版 使用SQL语言完成用户和系统内部存储数据之间的交互。SQL查询的执行计划生成流程如下：客户端将SQL语句提交到 AnalyticDB MySQL版 的前端...
并行查询性能
并行查询利用多核CPU的并行处理能力，以8核32 GB 独享规格 的集群为例，并行查询示意图如下所示。下文将介绍8.0.1和8.0.2版本并行查询参数取值分别设置为如下表所示时，PolarDB 集群负载 并行查询测试方法 与 执行结果。关于如何配置参数，...
模块化开发概述
SOFABoot 模块化开发主要目标是如何让各个模块的上下文之间既实现隔离，又能彼此互相通信。主要实现原理如下：每个 SOFABoot 模块中包含了一个独立的上下文。模块与模块之间不能直接通过 bean 来交互，这是模块化隔离性的一个体现。通过...
应用场景
多媒体文件处理 使用 云工作流 可以帮助您将多个任务，如转码、截帧、人脸识别、语音识别、审核上传等，编排成一个完整的处理流程，通过 函数计算，提交媒体处理（IMM）任务，或自建处理器，产出一个符合业务需求的输出。各任务的执行错误...
基本介绍
通过并行循环（foreach）步骤来并行处理数组数据。流程包含以下属性：version（必需）：流程版本，仅支持 v1。type（必需）：flow表示是流程类型。steps（必需）：定义了流程的多个串行步骤。一个步骤执行完成后，如果成功，则会执行下一个...
概述
高性能 通过分布式以及优化的底层架构、支持多层调度模式可进行无限拆分，多线程并行处理，显著提升大数据量的批任务处理的性能。可视化集中式管理 通过简易操作的可视化集中式管理平台可对上万个任务节点进行集中化管理，简化运维管理操作...
影响查询性能的因素
节点数量 AnalyticDB MySQL版 使用了分布式数据处理架构，一条查询会被分解成多个Stage在不同的节点上并行执行。所以如果集群中的节点数量越多，AnalyticDB MySQL版 处理查询的能力也会越强。您可以根据实际的业务需求来决定集群节点的购买...
概述
接入方案 将MCU与通信模组相连，MCU与通信模组之间通过AT指令进行连接和通信。在通信模组上，使用C语言设备端Link SDK实现与物联网平台的连接和通信。准备软硬件 本示例中，使用了如下MCU、通信模组开发板和软件开发环境：软硬件 准备说明 ...
配置数据库代理
开启弹性并行查询（ePQ）能够有效利用多核CPU（集群内空闲计算资源）的并行处理能力，对复杂查询进行加速，详情请参见 弹性并行查询。说明 自2023年4月1日起，集群满足以下条件时会默认开启弹性并行查询，且默认的并行度为2：新创建的集群...
减灾与应急时空解决方案与案例
方案背景 华宁环球（北京）减灾与应急科技有限公司专注于自然灾害风险、灾害应急预警领域全栈数据、模型及平台研发，面向保险等行业及各级政府提供技术服务，数据及模型研发及成果应用处于行业领先水平。公司主营OpenRIS灾害风险大数据平台...
PolarDB MySQL版8.0.1版本发布日志
修复并行查询将GROUP BY下推到Worker上去并行执行时，在有分区表的情况下，返回结果集中存在分组重复的问题。修复执行 EXCHANGE PARTITION 操作时，因索引顺序不同导致索引损坏，无法访问表数据的问题。修复主键不包含分区键的分区表在使用...
深度解析PolarDB数据库并行查询技术
本文主要介绍基于代价进行并行优化、并行执行的云数据库的并行查询引擎的关键问题和核心技术。背景信息 随着数据规模的不断扩大，用户SQL的执行时间越来越长，这不仅对数据库的优化能力提出更高的要求，并且对数据库的执行模式也提出了新的...
使用Topic通信
定义Topic后，设备可以通过Topic与物联网平台通信，从而实现设备、物联网平台、业务服务器、其他云产品之间的通信。前提条件 使用物模型Topic通信，需要先 添加物模型。使用自定义Topic通信，需要先定义产品Topic类，具体步骤请参见 使用...
MaxFrame概述
背景信息 基于Python语言的易读性、高效开发及开放生态等优势，Python已经成为科学计算、机器学习以及AI开发领域的事实标准和主流编程语言，其整合了数据分析、机器学习等各类第三方包，如Pandas（数据处理与分析）、NumPy（数值计算）、...
并行查询使用限制和兼容性问题
精度问题 并行查询的执行过程中，可能会出现比串行执行多出中间结果的存储，如果中间结果是浮点型，可能会导致浮点部分精度差别，导致最终结果有细微的差别。网络包或者中间结果长度超出 max_allowed_packet 允许的最大长度 并行查询的执行...
控制面质量
控制面与经典微服务的差异 Service Mesh 控制面落地 挑战及应对 未来规划 Service Mesh 组成 Service Mesh 组成图 Service Mes h 组 成说明：数据面：称为 MOSN，是处理应用数据请求的一个独立代理模块，脱离于应用，为应用提供请求代理及...
验证分析型查询请求能力
将 orders 表与自身聚合，生成 20,000*20,000 行数据的笛卡尔积，开启 8 个并行执行，对比执行时间，验证云数据库 OceanBase 的实时分析能力。概念介绍 OLAP（Online Analytical Processing）是一种面向分析的、多维数据分析技术。它适用于...
任务管理
MapReduce：属于常规MapReduce模型任务，能支持超大数量的子任务并行处理，仅可查询子任务运行汇总信息，建议子任务100W以下时选择。分片运行：类似elastic-job模型，配置分片参数，可以将分片平均分给多个客户端执行。支持多语言版本。...
任务管理
MapReduce：属于常规MapReduce模型任务，能支持超大数量的子任务并行处理，仅可查询子任务运行汇总信息，建议子任务100W以下时选择。分片运行：类似elastic-job模型，配置分片参数，可以将分片平均分给多个客户端执行。支持多语言版本。...
V5.4.x系列实例版本说明
修复时间类型与函数的兼容性问题，提升对时间类型数据的处理效率。修复监控中的连接数显示不正确的问题。修复ALTER TABLE语句中CONVERT TO CHARACTER SET不能同时修改GSI索引表的问题。修复部分PARSER报错信息不明确的问题。优化性能 优化...
已停售的GPU实例规格
计算：采用NVIDIA T4 GPU计算加速器 实例包含分片虚拟化后的虚拟GPU 计算能力支持NVIDIA Tesla T4的1/4和1/2 GPU显存支持4 GB和8 GB 处理器与内存配比约为1:5 处理器：2.5 GHz主频的Intel ® Xeon ® Platinum 8163（Skylake）存储：I/O...
实例概述
物联网平台提供公共实例和企业版...设备接入物联网平台实例时的常见问题，请参见：设备接入物联网平台相关问题 设备认证相关问题 Link SDK相关问题 MQTT连接相关问题 设备与物联网平台通信常见问题，请参见：物模型相关问题 消息通信相关问题
- 产品推荐
- 这些文档可能帮助您