流水线组件
问题处理 如果发生冲突导致合并失败，可尝试先合并一次目标分支，例如当从 source_branch 合并到 target_branch 时产生冲突，可尝试使用以下方法解决：git fetch#更新代码 git checkout source_branch#这里的 source_branch 指来源分支，...
LightGBM
它可以说是分布式的，高效的，有以下优势：更快的训练效率 低内存使用 更高的准确率 支持并行化学习 可以处理大规模数据 与常见的机器学习算法对比，速度是非常快的。计算逻辑原理 LightGBM 通过叶分裂(Leaf-wise)策略来生长树。每次从当前...
Flink指标
TM GC Count flink_taskmanager_Status_JVM_GarbageCollector_PS_Scavenge_Count TM年轻代并行回收器运行次数。flink_taskmanager_Status_JVM_GarbageCollector_PS_MarkSweep_Count TM老年代标记-清除回收器运行次数。TM GC Time flink_...
技术支持
实时计算控制台功能主要包括：工作空间购买流程 工作空间创建流程 工作空间扩缩容流程 创建与管理项目空间流程 负责实时计算Flink版产品功能使用咨询服务、产品缺陷问题处理、集群稳定性问题处理。协助排查实时计算Flink版产品依赖的其他...
并行安全性
规划器把查询中涉及的操作分类成 并行安全、并行受限 或者 并行不安全。并行安全的操作不会与并行查询的使用产生冲突。并行受限的操作不能在并行工作者中执行，但是能够在并行查询的领导者中执行。因此，并行受限的操作不能出现在 Gather ...
循环（Map）
基本概念 循环状态遍历输入中的某个数组类型参数，对于数组中的每个元素，并行执行其处理器（Processor）状态。循环状态类似于编程语言中的 foreach，不同之处是这里的迭代是并行执行的。执行并行循环步骤会并发执行输入参数中的每个元素的...
并行网关
在拓扑任务中，您可以添加并行网关实现多个节点并行处理效果，满足业务存在多个独立任务需要并行处理的需求，以此提高整体处理性能。本文将快速引导您如何在拓扑任务中使用并行网关。操作步骤 创建拓扑子任务。创建两个或两个以上的简单或...
如何处理云服务器ECS内网流量增高问题？
本文为您介绍如何处理云服务器ECS内网流量增高问题。问题描述 在云监控控制台的 主机监控 中，看到云服务器ECS的内网流量增高，如下图所示。问题分析 云服务器ECS通过外网网卡对外提供服务，内网的使用率通常比较低。当其他ECS服务器向某个...
离线异步任务场景
并行处理 离线GPU任务需要处理大量数据，对GPU资源供给要求高，并行运行加快处理速度。数据源集成 离线GPU任务对数据源的需求多种多样，处理过程中需要与多种存储产品（例如对象存储OSS）和多种消息产品（例如消息队列）进行频繁交互。更多...
并行DDL
多核处理器的发展为并行DDL使用更多线程数提供了硬件支持，而固态硬盘（Solid State Disk，简称SSD）的普及使得随机访问延迟与顺序访问延迟相近，使用并行DDL加速大表的索引创建显得尤为重要。使用方法 innodb_polar_parallel_ddl_threads ...
函数存储选型
整个架构中，您只需要专注于函数逻辑的编写，系统将以实时的、可靠的、大规模并行的方式处理海量的数据。具体操作，请参见 OSS触发器概述。临时硬盘 函数计算 为您提供两种规格的临时硬盘规格，分别是512 MB和10 GB。临时硬盘中所有目录可...
函数存储选型
整个架构中，您只需要专注于函数逻辑的编写，系统将以实时的、可靠的、大规模并行的方式处理海量的数据。具体操作，请参见 OSS触发器概述。临时硬盘 函数计算 为您提供两种规格的临时硬盘规格，分别是512 MB和10 GB。临时硬盘中所有目录可...
Fluid监控大盘参数说明
Runtime控制器处理失败数量 表示在一个监控周期内，Runtime控制器处理对应Runtime资源时的失败类型和次数，失败类型包括：Runtime部署失败。Runtime健康检查失败。Runtime控制器线程数 表示当前Runtime控制器的活跃线程数和最大可用线程数...
已停售的实例规格
计算：处理器与内存配比为1:2 处理器：采用第三代Intel ® Xeon ® 可扩展处理器（Ice Lake），基频2.7 GHz，全核睿频3.5 GHz，计算性能稳定 支持开启或关闭超线程配置 存储：I/O优化实例 仅支持ESSD云盘 实例存储I/O性能与计算规格对应...
已停售的GPU实例规格
计算：采用NVIDIA T4 GPU计算加速器 实例包含分片虚拟化后的虚拟GPU 计算能力支持NVIDIA Tesla T4的1/4和1/2 GPU显存支持4 GB和8 GB 处理器与内存配比约为1:5 处理器：2.5 GHz主频的Intel ® Xeon ® Platinum 8163（Skylake）存储：I/O...
使用MapReduce处理JindoFS上的数据
Hadoop MapReduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。一个MapReduce作业通常会把输入的数据集切分为若干独立的数据块，由Map...
并行查询性能
并行查询利用多核CPU的并行处理能力，以8核32 GB 独享规格 的集群为例，并行查询示意图如下所示。下文将介绍8.0.1和8.0.2版本并行查询参数取值分别设置为如下表所示时，PolarDB 集群负载 并行查询测试方法 与 执行结果。关于如何配置参数，...
技术架构
PolarDB PostgreSQL版（兼容Oracle）的计算节点，主要实现了SQL解析和优化、以及查询并行执行与无锁高性能事务处理，计算节点之间通过高吞吐的物理复制协议同步内存状态。数据库节点最多可以扩容到16个，其中1个读写节点，其他均为只读节点...
超级计算集群概述
计算：支持NVSwitch，算力高达312T（TF32）处理器与内存配比为1:8 处理器：采用第三代Intel ® Xeon ® 8369可扩展处理器（Ice lake），基频2.9 GHz，全核睿频3.5 GHz，支持PCIe 4.0接口 存储：I/O优化实例 仅支持ESSD云盘和ESSD AutoPL云...
MaxFrame概述
背景信息 基于Python语言的易读性、高效开发及开放生态等优势，Python已经成为科学计算、机器学习以及AI开发领域的事实标准和主流编程语言，其整合了数据分析、机器学习等各类第三方包，如Pandas（数据处理与分析）、NumPy（数值计算）、...
域名或网站无法访问如何排查？
处理方法：设置域名解析，将域名解析指向您的阿里云服务器。具体请参见您使用的阿里云服务器域名解析相关文档。云虚拟主机，请参见 云虚拟主机如何设置域名解析。轻量应用服务器，请参见 绑定域名和DNS解析。如果您是在阿里云域名服务（原...
并行查询使用限制和兼容性问题
精度问题 并行查询的执行过程中，可能会出现比串行执行多出中间结果的存储，如果中间结果是浮点型，可能会导致浮点部分精度差别，导致最终结果有细微的差别。网络包或者中间结果长度超出 max_allowed_packet 允许的最大长度 并行查询的执行...
减灾与应急时空解决方案与案例
方案背景 华宁环球（北京）减灾与应急科技有限公司专注于自然灾害风险、灾害应急预警领域全栈数据、模型及平台研发，面向保险等行业及各级政府提供技术服务，数据及模型研发及成果应用处于行业领先水平。公司主营OpenRIS灾害风险大数据平台...
查看和修改CPU拓扑结构
背景信息 什么是CPU 拓扑 CPU拓扑是多核处理器中物理核心与逻辑核心之间的连接方式。通常情况下，每个物理核心都包含一个或多个逻辑核心，而物理核心直接通过总线或互联网络连接，拓扑结构的不同将直接影响多核处理器的性能和能效。目前...
验证分析型查询请求能力
将 orders 表与自身聚合，生成 20,000*20,000 行数据的笛卡尔积，开启 8 个并行执行，对比执行时间，验证云数据库 OceanBase 的实时分析能力。概念介绍 OLAP（Online Analytical Processing）是一种面向分析的、多维数据分析技术。它适用于...
什么是弹性高性能计算E-HPC
弹性高性能计算将计算能力积聚，用并行计算方式解决更大规模的科学、工程和商业问题，在科研机构、石油勘探、金融市场、气象预报、生物制药、基因测序、图像处理等行业均有广泛的应用。产品架构 弹性高性能计算的产品架构如下图所示。弹性...
媒体处理常见问题
如果转码失败，可能是因为源文件本身问题导致，例如：视频流缺失、metadata存在问题、帧错误、视频头部信息缺失等。通过阅读本文，您可以了解转码异常、转码格式支持及其他常见问题及对应解决方案。转码异常问题 使用SubmitJobs API提交...
高性能计算优化型实例概述
hpc8ae的特点如下：计算：处理器与内存配比为1:4 处理器：3.4 GHz主频的AMD EPYC TM Genoa处理器，单核睿频最高3.75 GHz，计算性能稳定 不支持开启超线程配置 存储：I/O优化实例 仅支持ESSD云盘和ESSD AutoPL云盘 重要 ESSD、ESSD AutoPL云...
图片处理常见问题
本文主要介绍您在使用OSS图片处理时可能遇到的一些常见问题及处理方法。遇到问题时，如果有明显的参数超过显示等问题，可以使用OSS的?x-oss-process=image/info 参数查看原始图片中的信息是否超标。OSS单边长度不能超过4096，乘积不能高于...
基本介绍
通过并行循环（foreach）步骤来并行处理数组数据。流程包含以下属性：version（必需）：流程版本，仅支持 v1。type（必需）：flow表示是流程类型。steps（必需）：定义了流程的多个串行步骤。一个步骤执行完成后，如果成功，则会执行下一个...
区域热力层
当区域热力图请求失败时 区域热力图数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据 页签的 ...
加工原理
调度机制 对每一个加工规则，加工服务的调度器会启动一个或多个运行实例，每个运行实例扮演一个消费者的角色去消费1个或者多个源Logstore的Shard，调度器会根据运行实例对内存与CPU的消耗情况决定并行的运行实例数，最多启动与源Logstore的...
影响查询性能的因素
节点数量 AnalyticDB MySQL版 使用了分布式数据处理架构，一条查询会被分解成多个Stage在不同的节点上并行执行。所以如果集群中的节点数量越多，AnalyticDB MySQL版 处理查询的能力也会越强。您可以根据实际的业务需求来决定集群节点的购买...
区域热力层
当地理边界geojson数据接口请求完成时 地理边界geojson数据接口请求失败时（请求失败的情况可能是：网络问题或接口报错等）返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧...
概述
高性能 通过分布式以及优化的底层架构、支持多层调度模式可进行无限拆分，多线程并行处理，显著提升大数据量的批任务处理的性能。可视化集中式管理 通过简易操作的可视化集中式管理平台可对上万个任务节点进行集中化管理，简化运维管理操作...
Kyuubi概述
Kyuubi可以在用户级别缓存后台引擎实例，以更好的实现计算资源共享和快速响应，并行处理大量数据的查询并快速返回结果。批数据处理：Kyuubi提供了SQL接口用于常见的批处理，通常是大型提取、转换、加载（ETL）过程。Kyuubi及其引擎都是存储...
如何基于LSM-tree架构实现一写多读
并行回放的粒度是事务，需要处理的一个关键问题就是可见性问题。事务串行回放时，Sequence版本号都是连续递增的，事务可见性不存在问题。在并行回放场景下，我们仍然需要保序，通过引入 滑动窗口 机制，只有连续一段没有空洞的Sequence才能...
自助诊断系统
自助诊断系统可以在您使用云资源遇到问题时，帮您一键提交问题的诊断信息，快速获取诊断结果。背景信息 自动诊断系统有以下功能优势：一键反馈，降低问题的反馈沟通成本。智能处理，实现秒级自动回复。快速收敛，对于智能处理无法覆盖的...
配置数据库代理
开启弹性并行查询（ePQ）能够有效利用多核CPU（集群内空闲计算资源）的并行处理能力，对复杂查询进行加速，详情请参见 弹性并行查询。说明 自2023年4月1日起，集群满足以下条件时会默认开启弹性并行查询，且默认的并行度为2：新创建的集群...
使用Megatron-Deepspeed训练GPT-2并生成文本
DeepSpeed团队通过将DeepSpeed库中的ZeRO分片（ZeRO sharding）数据并行（Data Parallelism）和管道并行（Pipeline Parallelism）与Megatron-LM中的张量并行（Tensor Parallelism）相结合，开发了一种基于3D并行的实现，这就是Megatron-...
- 产品推荐
- 这些文档可能帮助您