Hive作业调优
某个特定的Job可能包含多个阶段，而这些阶段可能并非完全相互依赖的，也就是可以并行运行的，这样可以使得整个Job的运行时间缩短。您可以通过设置以下参数，控制不同的作业是否可以同时运行。参数 描述 hive.exec.parallel 默认值为false。...
前言
App 是什么 App 是批量计算中资源配置的模板，包括使用什么镜像、什么实例类型、VM 个数。镜像中封装了运行作业的程序或算法，使用 App 提交作业，只需要指定输入数据和输出路径即可以运行作业，而不用关心上述的资源配置以及程序运行的...
SQL调优
并行度优化 并行度是衡量并行计算并行程度的一个指标，从执行计划上来看，例如ID为M1的任务，使用1000个Instance来执行，我们就说M1的并行度是 1000。需要注意的是：调整并行度不一定是越多越好，Instance数量过多会从如下两个方面影响执行...
请求处理程序（Handler）
什么是请求处理程序 FC 函数的请求处理程序，是函数代码中处理请求的方法。当您的 FC 函数被调用时，函数计算 会运行您提供的Handler方法处理请求。您可以通过 函数计算控制台 的 请求处理程序（函数入口）配置Handler。对Custom Runtime...
请求处理程序（Handler）
什么是请求处理程序 FC 函数的请求处理程序，是函数代码中处理请求的方法。请求处理程序分为事件请求处理程序（Event Handler）和HTTP请求处理程序（HTTP Handler）。其中事件请求由各种事件源触发生成，HTTP请求则由HTTP触发器触发生成。...
2019年
前端任务管理列表重新设计，可以看到更多信息。修复分布式拉模型，全局子任务可能不起作用。修复隔离单元环境，如果没有配置Domain，可能还是会启动失败。无 1.0.9，2019-11-28 变更类型 功能描述 相关文档 新增 增加 BlockAppStart 配置。...
什么是混合云存储
CPFS并行文件存储 高性能计算文件存储，支持标准的POSIX和MPI-IO协议，自带的高性能计算程序无需任何接口适配和性能优化接口即可高效率执行，满足高性能文件存储需求。SDS分布式存储 弹性灵活，适合业务快速发展的私有云和互联网应用场景，...
如何备份RDS只读实例
全量备份并行线程数上限 填写全量备份并行线程数上限，您可以通过设置该参数调节备份速度，例如降低备份线程数，以减少对数据库的影响。不同备份计划规格并行线程数上限不同，具体以控制台为准，更多信息，请参见 如何调节备份速度。备份...
应用实践：Transformer模型训练加速
说明 由于预训练利用iterator读取数据，这里需要导入mpu来做数据并行。from megatron import mpu from transformers import BertConfig,BertForPreTraining from rapidformer import RapidformerEngine,get_args,PreTrainer from rapi...
RDS MySQL只读实例逻辑备份
全量备份并行线程数上限 填写全量备份并行线程数上限，您可以通过设置该参数调节备份速度，例如降低备份线程数，以减少对数据库的影响。不同备份计划规格并行线程数上限不同，具体以控制台为准，更多信息，请参见 如何调节备份速度。备份...
实践教程概览
通过后处理脚本，您可以对计算节点做定制化操作，例如扩容的计算节点自动挂载ossfs、自动部署软件环境等。自动伸缩最佳实践 当您需要每天不定时提交作业，使用E-HPC集群几个小时进行大规模计算，然后释放节点。您可以针对不同的作业类型，...
什么是GPU云服务器
GPU在执行复杂的数学和几何计算方面有着独特的优势，特别是在浮点运算、并行运算等方面，GPU可以提供比CPU高百倍的计算能力。GPU的功能特性如下：拥有大量擅长处理大规模并发计算的算术逻辑单元（Arithmetic and Logic Unit，即ALU）。能够...
边缘函数在手淘App前端优化和小程序场景下的应用
ER在小程序场景的实践 以店铺小程序为例，左侧是常规的小程序服务架构，客户端请求由中心服务器做小程序组装，将各个模块组装成1个店铺框架后返回给客户端。但根据小程序的特点，这些模块也可以细分成静态化的更新频率低的通用模板，以及...
边缘函数在手淘App前端优化和小程序场景下的应用
ER在小程序场景的实践 以店铺小程序为例，左侧是常规的小程序服务架构，客户端请求由中心服务器做小程序组装，将各个模块组装成1个店铺框架后返回给客户端。但根据小程序的特点，这些模块也可以细分成静态化的更新频率低的通用模板，以及...
常见问题
您可以用顺序、选择、并行等方式来编排分布式任务，云工作流 会按照设定好的步骤可靠地协调任务执行，跟踪每个步骤的状态转换，并在必要时执行用户定义的重试逻辑，以确保工作流顺利完成。云工作流 通过提供日志记录和审计来监视工作流的...
PolarDB PostgreSQL版：ePQ架构详解
PolarDB PostgreSQL版 实现了弹性跨机并行查询（ePQ）特性，能够帮助您解决原先的 PolarDB PostgreSQL版 在处理复杂的AP查询时会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 11（内核小版本1.1.28及以上）...
PolarDB PostgreSQL版：ePQ架构详解
PolarDB PostgreSQL版（兼容Oracle）实现了弹性跨机并行查询（ePQ）特性，能够帮助您解决原先的 PolarDB PostgreSQL版（兼容Oracle）在处理复杂的AP查询时会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版（兼容Oracle）的版本如下：...
代码多副本功能
在NUMA架构（尤其是ARM实例）中，不同NUMA节点具有各自的本地内存，当一个NUMA节点上的程序或进程需要访问其他NUMA节点的代码段时，就会引入额外的延迟和性能开销。通过代码多副本功能，可以将远程节点的代码段复制到本地节点，避免了跨...
基本概念
在设计时，开发人员可以使用图形化的界面来设计应用程序的数据模型、页面、逻辑流以及集成外部服务等。设计时是开发人员通过低代码平台快速构建应用的阶段。运行时 运行时是指当应用部署到服务器上并被实际用户访问和使用的阶段。在运行时...
常见问题
云函数固定出网IP加白需提供什么?Emas Serverless 是否可以对接阿里云的Redis，开启Http触发之后能否对接API Gateway相关服务？EMAS Serverless有QPS上限吗？EMAS Serverless云函数的超时时间多久？EMAS Serverless 静态网站托管，如何将两...
计算资源
异步：对于耗时较长的任务做异步执行处理，可以充分利用计算资源，加快任务处理，避免阻塞整个任务执行流程。优先级：根据任务的重要性和紧急程度，设置不同的任务优先级。优先执行高优先级的任务，避免其被阻塞或堆积，保证系统的响应性和...
Tair开发运维规范
云原生内存数据库Tair 拥有极强的性能，阿里云结合多年的运维经验，从业务部署、Key的设计、SDK、命令、运维管理等维度展示 Tair 开发运维规范，为您设计高效的业务系统提供参考，帮助您充分发挥Tair的能力。了解 Tair 性能边界 图 1.Tair ...
云数据库Redis开发运维规范
云数据库Redis拥有极强的性能，阿里云结合多年的运维经验，从业务部署、Key的设计、SDK、命令、运维管理等维度展示云数据库Redis开发运维规范，为您设计高效的业务系统提供参考，帮助您充分发挥Redis的能力。了解Redis性能边界 图 1.Redis...
什么是chargen服务放大DDoS攻击
详细信息 什么是 CHARGEN 协议 CHARGEN 字符发生器协议（Character Generator Protocol）是一种简单网络协议，设计的目的是用来调试TCP或UDP协议程序、测量连接的带宽或进行QoS的微调等。它的默认端口为19，分为基于TCP和UDP两种方式。TCP...
技术架构
PolarDB PostgreSQL版（兼容Oracle）中内置的数据库智能代理可以对应用程序提供一个统一的入口地址，屏蔽底层的多个计算节点的设计，在故障切换、增减节点时，对应用程序透明，无需跟着修改数据库的连接地址。同时这层数据库代理在应用程序...
计算资源优化
基于云基础设施的操作系统优化 阿里云提供了Alibaba Cloud Linux操作系统镜像，是阿里云基于龙蜥社区（OpenAnolis）的龙蜥操作系统（Anolis OS）打造的操作系统发行版，在兼容RHEL/CentOS生态的同时，为云上应用程序提供安全、稳定、高性能...
产品优势
蚂蚁区块链 蚂蚁区块链 BaaS 平台具备以下优势：高性能 金融科技区块链基于它并行共识的技术，轻松满足金融领域的高频场景应用。高可靠性 业务可靠受理，峰值业务缓冲，基于 PBFT 的共识技术提供高可用的拜占庭容错能力，支持共识状态自动...
表设计
主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀，避免热点。假设数据分布不均匀，会出现以下问题：数据写入和读取能力受限于单个分区的能力，或者是单机能力，存在...
PolarDB MySQL版8.0版本内核参数发布日志
2023.12.11 类型 参数 级别 说明 新增 loose_pq_mpp_shared_subquery Global/Session 用于设置弹性并行查询（ePQ）中shared access子查询是否支持跨机并行执行。取值范围如下：OFF（默认）：弹性并行查询（ePQ）中shared access子查询不...
创建任务工作负载Job
2+1 固定结束次数的并行Job 多个Pod同时处理工作队列 依次创建多个Pod运行直至Completions个成功结束 2+2+并行Job 多个Pod同时处理工作队列 创建一个或多个Pod直至有一个成功结束 1 2+操作步骤 说明 本例中创建的任务属于固定结束次数的...
产品介绍
HTAP跨节点并行执行能力 PolarDB支持分析型查询，通过分布式并行计算技术，多个RO点并行执行SQL查询，充分发挥共享存储层的高IO吞吐能力，以及RO点的CPU和memory资源。能在一份TP数据上实时执行分析型查询，而无需再把数据导入到分析平台。...
快速入门
并发控制策略 当两个任务流中的一个任务流中已有正在运行的实例时，再次运行时您可以选择如下策略：跳过：不运行该任务流，直接跳过。忽略：直接运行该任务流（请确认之前的执行实例不会收到影响）。并行：并行运行两个任务流。并行模式1：...
设计阶段
完成需求阶段的工作后，数据产品经理会产出最终版本的产品需求文档，以供设计人员进行设计工作。设计工作包含数据探查和系分设计两部分：数据探查旨在了解来源数据的数据形态，例如数据质量、数据分布等。结合业务场景，帮助分析和判断需求...
将节点容器运行时从Docker迁移到containerd
为了避免同一个应用的多个副本都在一个批次内进行升级，可以手动调整并行数小于Pod副本数。将Docker迁移到containerd后，支持回退吗？不支持回退。将Docker迁移到containerd的过程中，节点数据会丢失吗？通过节点池升级页面将Docker迁移到...
基本概念
容器化 容器化是指将应用程序、依赖项、配置打包在一起的软件开发方法，让它们隔离在自己的“容器”中。算力 计算能力。GPU Graphics Processing Unit，图形处理器。它是一种为图像和图形运算工作优化的微处理器，适用于大规模并行计算等...
创建任务工作负载Job
根据.spec.completions 和.spec.Parallelism 的设置，可以将Job划分为以下几种模式：说明 本例中创建的任务属于固定结束次数的并行Job。Job类型 使用示例 行为 Completions Parallelism 一次性Job 数据库迁移 创建一个Pod直至其成功结束。1...
计划内事件常见问题
实例将发生连接闪断及30秒以内的只读状态（用于等待数据完全同步），请在业务低峰期进行升级，并确保应用程序具备重连机制。重要 如果实例为集群或读写分离架构，涉及切换的每个分片均会出现连接闪断和30秒内的只读状态。会短暂影响 DMS 和...
计划内事件常见问题
实例将发生连接闪断及30秒以内的只读状态（用于等待数据完全同步），请在业务低峰期进行升级，并确保应用程序具备重连机制。重要 如果实例为集群或读写分离架构，涉及切换的每个分片均会出现连接闪断和30秒内的只读状态。会短暂影响 DMS 和...
添加访问地址
原理介绍 OceanBase 数据库在数据库和应用程序之间提供网络代理服务，您可以根据业务需求在代理层添加只读地址和读写分离地址，充分利用 OceanBase 数据库的多副本能力，提升业务系统的执行效率。OceanBase 数据库的读写分离是指将数据库的...
CREATE INDEX
简介 CREATE INDEX 在指定关系的指定列上构建一个索引，该关系可以是一个表或者一个物化视图。索引主要被用来提升数据库性能（不过不当的使用会导致性能变差）。索引的键域被指定为列名或者写在圆括号中的表达式。如果索引方法支持多列索引...
- 产品推荐
- 这些文档可能帮助您