搭建Hadoop环境
背景信息 Apache Hadoop软件库是一个框架，它允许通过简单的编程模型在由多台计算机组成的集群上对大规模数据集进行分布式处理。该框架设计能够从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储能力。Hadoop并不依赖硬件来实现...
Transaction Table2.0概述
现状分析 当前典型的数据处理业务场景中，对于时效性要求低的大规模数据全量批处理的单一场景，直接使用MaxCompute足以很好的满足业务需求，对于时效性要求很高的秒级实时数据处理或者流处理，则需要使用实时系统或流系统来满足需求。...
技术面临的挑战与革新
存储计算分离是近年来分布式系统设计架构的潮流，从2001年开始Google的GFS开创先河地开始使用了普通X86服务器和硬盘搭建了大规模的存储，虽然受限于当时网络的传输速度，和机器间的带宽，还是需要耦合计算和存储节点的分布。但是随着底层...
测试指标
一般扩展能力非常好的应用系统，扩展指标应是线性或接近线性的，现在很多大规模的分布式系统的扩展能力非常好。标准 理想的扩展能力是资源增加几倍，性能就提升几倍。扩展能力至少在70%以上。可靠性指标 双机热备 对于将双机热备作为可靠性...
创建调度任务
假设单台并行索引块数量上限为 x，集群并行执行索引块数量上限为 y，客户端数量为 m，则单台客户端实际最大并行索引块数量为 min(x,y/m)。单台并行执行索引块数量上限：配置单台客户端最大并行索引块（chunk）数量。默认值为 5。单个分片...
并行网关
在拓扑任务中，您可以添加并行网关实现多个节点并行处理效果，满足业务存在多个独立任务需要并行处理的需求，以此提高整体处理性能。本文将快速引导您如何在拓扑任务中使用并行网关。操作步骤 创建拓扑子任务。创建两个或两个以上的简单或...
集群消费和广播消费
分布式数据处理：在大规模数据处理的场景中，使用集群消费模式可以将数据分发给多个处理节点进行并行处理。每个节点只处理其中一部分数据，从而加速数据处理的速度。注意事项 集群模式下，不保证每一次失败重投的消息投递到同一台机器上。...
发展历程
MaxCompute以单集群三万以上节点通过中国信通院分布式批处理平台（大规模）测试评审认证。MaxCompute通过全国首批大数据平台稳定性认证，被证明为韧性型系统。深度参与和推动全球大数据领域标准化建设 MaxCompute代表阿里巴巴计算平台，...
消费-搭建监控系统
弹性的服务能力：处理大规模数据写入和读取的能力。图 1.监控系统架构 如何搭建监控系统 收集监控数据 配置SLS的日志收集，确保日志收集到了日志服务。中间件使用API消费数据 通过SDK的PullLog接口从日志服务批量消费日志数据，并且把数据...
术语表
M MapReduce MapReduce是处理数据的一种编程模型，通常用于大规模数据集的并行运算。您可以使用MapReduce提供的接口（Java API）编写MapReduce程序，来处理MaxCompute中的数据。编程思想是将数据的处理方式分为Map（映射）和Reduce（规约）...
验证分析型查询请求能力
它适用于处理大规模、多维的数据集，能够帮助用户进行数据分析、数据挖掘、业务决策等。并行执行 OceanBase 数据库的并行执行指的是在分布式架构下进行的并发处理。OceanBase 数据库采用了分布式架构，将数据分片存储在不同的节点上，通过...
概述
高性能 通过分布式以及优化的底层架构、支持多层调度模式可进行无限拆分，多线程并行处理，显著提升大数据量的批任务处理的性能。可视化集中式管理 通过简易操作的可视化集中式管理平台可对上万个任务节点进行集中化管理，简化运维管理操作...
技术架构
PolarDB PostgreSQL版（兼容Oracle）的计算节点，主要实现了SQL解析和优化、以及查询并行执行与无锁高性能事务处理，计算节点之间通过高吞吐的物理复制协议同步内存状态。数据库节点最多可以扩容到16个，其中1个读写节点，其他均为只读节点...
MaxFrame概述
MaxFrame可直接使用MaxCompute海量弹性计算资源，并支持自动分布式、并行处理，大幅缩短数据处理的时间。更便捷的开发体验 MaxFrame已与MaxCompute Notebook、DataWorks集成，无需配置环境即可直接使用；同时MaxFrame也支持在用户本地环境...
扩展性原理
针对这类在线数据库上复杂SQL的处理，PolarDB-X 1.0 额外扩展了单机并行处理器（Symmetric Multi-Processing，简称SMP）和多机并行处理器（DAG）。前者完全集成在 PolarDB-X 1.0 内核中；而对于后者，PolarDB-X 1.0 构建了一个计算集群，...
基本概念
相比CPU具有众多计算单元和更多的流水线，适合用于大规模并行计算等场景。CUDA NVIDIA推出的通用并行计算架构，帮助您使用NVIDIA GPU解决复杂的计算问题。cuDNN NVIDIA推出的用于深度神经网络的GPU加速库。DeepGPU 阿里云专门为GPU云服务器...
查询流程和执行计划
Stage的数据来源可以是底层存储系统中的数据或者网络中传输的数据，一个Stage由分布在不同Executor节点上相同类型的Task组成，多个Task会并行处理数据。说明 AnalyticDB MySQL版 SQL诊断功能支持对Stage级别进行结果诊断。更多详情，请参见...
应用场景
高性能计算 适用于大规模高性能科学计算、并行计算、仿真计算等场景，如气象预报、生物制药、基因测序、图像处理等。推荐使用 弹性高性能计算E-HPC，弹性高性能计算可以将计算能力积聚，用并行计算方式解决更大规模的科学、工程和商业问题...
简介
BatchCompute 是阿里云上的批量计算服务，可以帮助用户进行大规模并行计算。OSS 是阿里云上的对象存储服务，可以存储海量数据。ECS 是阿里云上的云服务器，极易运维和操作,可以方便的制作系统镜像。渲管与这三个云产品的关系如下图 A)制作...
计算资源优化
GPU的功能特性如下：拥有大量擅长处理大规模并发计算的算术逻辑单元（Arithmetic and Logic Unit，即ALU）、能够支持多线程并行的高吞吐量运算、逻辑控制单元相对简单。适用于视频转码、图片渲染、AI训练、AI推理、云端图形工作站等场景。...
恢复大规模文件系统
可以 恢复到源大规模文件系统，或者 恢复到一个新的大规模文件系统。前提条件 已完成大规模文件系统备份。更多信息，请参见 备份大规模文件系统。费用说明 恢复功能不收费。计费详情请参见 计费方式与计费项。注意事项 云备份 的备份速率和...
监控分析平台对比
本文从运维和SRE团队角度介绍监控分析平台的建设与选择。背景信息 运维和SRE团队...日志服务希望通过自身的不断进步，为Log、Metric、Trace等数据提供大规模、低成本、实时平台化服务，助力运维和SRE团队更高效工作，更有效支持业务快速发展。
部署数据库
常用数据库简介 常用数据库包含以下三种：Oracle Oracle可以支持多种不同的硬件和操作系统平台，从台式机到大型或超级计算机，为各种硬件结构提供高度的可伸缩性，支持对称多处理器、群集多处理器、大规模处理器等，并提供广泛的国际语言...
使用Argo Workflow编排动态DAG Fan-out/Fan-in任务
背景信息 Fan-out Fan-in Fan-out和Fan-in常用于构建高效的并发处理流程，通过拆分（Fan-out）和聚合（Fan-in）操作，能够充分利用多核、多机资源，实现大规模数据的高效处理。如上图所示，工作流编排过程中，可以使用DAG（有向无环图）...
产品简介
支持秒级启动和大规模弹性伸缩，减少任务积压排队等待，提高大规模并行计算的业务效率。延时极度敏感业务场景 延时极度敏感的业务场景，例如高性能网络服务器、网关系统和中间件系统等业务，使用绑核的独享型实例，确保业务负载的稳定无...
姜子牙通用大模型
Ziya-LLaMA通用大模型是由IDEA研究院出品的大规模语言模型，它在大模型服务平台上的模型名称为"ziya-llama-13b-v1。Ziya-LLaMA大模型V1是基于LLaMa的130亿参数的大规模预训练模型，具备翻译，编程，文本分类，信息抽取，摘要，文案生成，...
什么是基因分析平台？
提供计算侧的文件访问缓存加速，支持计算作业直接读写OSS文件，解决并行任务的I/O和吞吐问题 大规模并行计算调度，提供容器/虚拟机执行环境，支持多种异构计算，加速基因分析。工程化的流程执行引擎，支持GA4GH标准（WDL/CWL）,无需迁移...
2017年功能发布记录
其特点如下：能大规模并行执行代码。无需配置服务器、安装软件、部署容器。容量自动配置、自动扩展机制，松散耦合。事件触发运行代码方式。按运行计费，不执行0费用。无 华东1区开通 新增 阿里云函数计算开通华东1地域。无 4大实用模板 ...
2017年功能发布记录
其特点如下：能大规模并行执行代码。无需配置服务器、安装软件、部署容器。容量自动配置、自动扩展机制，松散耦合。事件触发运行代码方式。按运行计费，不执行0费用。无 华东1区开通 新增 阿里云函数计算开通华东1地域。无 4大实用模板 ...
数据源管理
通过控制数据源执行质量规则的并发度，对数据源进行保护，...最大并行规则数 设置最大并行规则数。不能超过1000。操作 时段超过两个时，单击 图标可删除时段。设置完成后，即可在 数据源管理 页面，查看限速生效时段以及最大并行校验规则数。
数据源管理
通过控制数据源执行质量规则的并发度，对数据源进行保护，...最大并行规则数 设置最大并行规则数。不能超过1000。操作 时段超过两个时，单击 图标可删除时段。设置完成后，即可在 数据源管理 页面，查看限速生效时段以及最大并行校验规则数。
如何高效扫描数据
并行的全表扫描：如果需要从所有库导出数据，可以通过SHOW指令查看表拓扑结构，针对分表并行处理。通过HINT进行表遍历 执行 SHOW TOPOLOGY FROM TABLE_NAME 指令获取表拓扑结构。mysql>SHOW TOPOLOGY FROM DRDS_USERS;ID|GROUP_NAME|TABLE_...
快速开始
通过通道服务功能，您可以消费处理表中数据。本文介绍如何使用Java SDK快速体验通道服务。注意事项 TunnelWorkerConfig中默认会启动读数据和处理数据的线程池。如果使用的是单台机器，当需要启动多个TunnelWorker时，建议共用一个...
高性能计算优化型实例概述
通过 弹性高性能计算E-HPC，您可以像使用其他ECS实例一样，任意创建HPC优化实例，扩展云上大规模并行任务的计算效率。使用HPC优化实例时，请注意：不支持规格变配。提供物理内核，为优化性能不支持开启超线程配置。高性能计算优化型实例...
功能概览
大规模文件系统通常用于处理和存储大量数据，并提供高吞吐量、高并发和高可用性特性。这些系统可以广泛应用于云计算、高性能计算、大数据分析、媒体处理和其他需要处理大型数据集的场景。本文介绍 云备份 大规模文件系统（除NAS以外）备份...
未来规划
云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台服务器和虚拟机，带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用，实现按需按量...
超级计算集群概述
计算：处理器与内存配比为1:3 处理器：3.1 GHz主频的Intel ® Xeon ® Gold 6149（Skylake）存储：均为I/O优化实例 仅支持SSD云盘和高效云盘 网络：同时支持RoCE网络和VPC网络，其中RoCE网络专用于RDMA通信 适用场景：大规模机器学习训练 ...
服务端人脸识别SDK
检测模块和识别模块并行处理 获取视频流之后，通过人脸检测识别出人脸，根据跟踪的ID进行人脸质量的判断。一个人脸的质量可以通过关键点定位是否准确、人脸质量模块分值是否比较高、人脸的角度是否在一定的范围内进行挑选，然后送入到活体...
分布式训练框架StarServer
分布式训练框架是深度学习和大规模机器学习中用于加速模型训练、处理海量数据以及提高系统稳定性和资源利用率的关键技术。它通过将复杂的模型分布在多个计算节点上实现并行计算，从而显著缩短训练时间，适应日益增长的数据集规模和大模型的...
应用场景
并行转码：根据视频文件数量，自动进行毫秒级的弹性伸缩，并行处理多个文件。成本低廉：提供丰富的计量模式，在不同场景下有显著的成本优势。快速迁移：FFmpeg相关命令可以直接移植到函数计算，在虚拟机上部署的基于FFmpeg的服务可以轻松...
- 产品推荐
- 这些文档可能帮助您