大规模ACK Pro集群使用建议
如您有以下维度的考量，我们更建议您使用多个集群，而非单一的大规模集群。分类 说明 隔离性 使用多个集群可以确保不同集群（例如生产集群和测试集群）的隔离性，避免某个集群的问题影响全部业务，降低故障爆炸半径。位置 某些服务需要部署...
构建基于Serverless架构的弹性高可用音视频处理系统
工程效率诉求 需要并行处理多个视频文件。需要批量快速处理多个超大的视频。例如，每周五定时产生几百个4 GB以上1080P的大视频，需要几小时内处理完。自定义处理诉求 需要处理更高级的自定义处理需求。例如，视频转码完成后，需要将转码...
数据科学计算概述
为满足用户基于MaxCompute进行大规模数据处理、分析、挖掘及模型训练的需求，MaxCompute提供了一套Python开发生态，让用户通过统一的Python编程接口一站式、高效地完成数据处理、加工及挖掘工作。发展路径 MaxCompute提供的Python开发生态...
如何选择实例规格
32核128 GB 48核192 GB 64核256 GB 96核384 GB 128核512 GB 企业版 32核128 GB 大规格资源，面向具备企业级超高并发、大规模数据复杂查询、加速分析的业务场景。默认提供Parallel Query并行查询能力，可大幅提升海量数据下复杂查询、报表...
客户案例
系统成本：另一种解决方案就是采用大多数商业公司使用的 Oracle 提供的 RAC 解决方案，通过共享存储的能力提供数据存储空间的扩容，通过在共享存储上增加计算节点来提供高速的并行处理能力。这套方案都是基于在昂贵的硬件基础和 Oracle ...
X-Engine简介
为什么设计一个新的存储引擎 X-Engine的诞生是为了应对阿里内部业务的挑战，早在2010年，阿里内部就大规模部署了MySQL数据库，但是业务量的逐年爆炸式增长，数据库面临着极大的挑战：极高的并发事务处理能力（尤其是双十一的流量突发式暴增...
内存型
图 2.Tair多线程模型 Tair 内存型将服务各阶段的任务进行分离，通过分工明确的多个线程并行处理各阶段任务，达到提高性能的目的。IO线程：负责请求读取、响应发送、命令解析等。Worker线程：负责命令处理、定时器事件等。辅助线程：负责高...
姜子牙通用大模型
Ziya-LLaMA通用大模型是由IDEA研究院出品的大规模语言模型，它在大模型服务平台上的模型名称为"ziya-llama-13b-v1。Ziya-LLaMA大模型V1是基于LLaMa的130亿参数的大规模预训练模型，具备翻译，编程，文本分类，信息抽取，摘要，文案生成，...
应用场景
下文先以用户注册为场景说明 云消息队列 RocketMQ 版 如何实现以下功能：异步解耦 分布式事务的数据一致性 消息的顺序收发 最后，再以电商的秒杀场景和价格同步场景分别说明 云消息队列 RocketMQ 版 所实现的削峰填谷和大规模机器的缓存...
快速开始
阶段之间可以是串行也可以是并行的；任务：在阶段中具体需要完成的动作，目前任务主要包含两类，一类是与工作区相关的（AgentJob）以及与工作区无关的（Agentless Job），工作区相关任务会在固定的工作目录中执行用户定义的任务。而工作区...
功能特性
Spark 向量计算 Proxima CE Proxima CE 是基于Proxima2.x内核提供的超大规模离线向量检索引擎，用于支持批量离线向量检索任务，包括基础的向量检索、多类目检索及百万TopK检索等功能。向量计算 Proxima CE 存储 表是MaxCompute的数据存储...
矢量金字塔
矢量金字塔是为了能够快速显示大规模空间几何数据（千万级以上）而设计的一种结构。概述 矢量金字塔对空间几何数据创建稀疏索引，按规则对密集区域预处理，可以输出标准的mvt-pbf格式数据。通过Ganos提供的矢量金字塔，亿条空间几何记录...
OSS/OSS-HDFS的性能优化最佳实践
为了帮助您利用其规模，建议您将并行请求水平扩展到OSS服务终端节点，这种扩展方式有助于通过网络将负载分布在多个路径上。OSS-HDFS使用了上述最佳实践，通过元数据服务支持，以文件块的方式将文件水平扩展到多个OSS服务终端上，以获取最佳...
矢量金字塔
矢量金字塔是为了能够快速显示大规模空间几何数据（千万级以上）而设计的一种结构。概述 矢量金字塔对空间几何数据创建稀疏索引，按规则对密集区域预处理，可以输出标准的mvt-pbf格式数据。通过Ganos提供的矢量金字塔，亿条空间几何记录...
矢量金字塔
矢量金字塔是为了能够快速显示大规模空间几何数据（千万级以上）而设计的一种结构。概述 矢量金字塔对空间几何数据创建稀疏索引，按规则对密集区域预处理，可以输出标准的mvt-pbf格式数据。通过Ganos提供的矢量金字塔，亿条空间几何记录...
技术面临的挑战与革新
存储计算分离是近年来分布式系统设计架构的潮流，从2001年开始Google的GFS开创先河地开始使用了普通X86服务器和硬盘搭建了大规模的存储，虽然受限于当时网络的传输速度，和机器间的带宽，还是需要耦合计算和存储节点的分布。但是随着底层...
概述
PolarDB 集群备份和恢复功能均采用多线程并行处理，并通过其他技术创新，预计10分钟内（开启热备集群后恢复时间将加倍）即可完成从备份集（快照）恢复到一个新的集群。具体耗时与数据库的数据量大小等因素有关。说明 一级备份默认开启，...
基本概念
相比CPU具有众多计算单元和更多的流水线，适合用于大规模并行计算等场景。CUDA NVIDIA推出的通用并行计算架构，帮助您使用NVIDIA GPU解决复杂的计算问题。cuDNN NVIDIA推出的用于深度神经网络的GPU加速库。DeepGPU 阿里云专门为GPU云服务器...
内存型
图 2.Tair多线程模型 Tair 内存型将服务各阶段的任务进行分离，通过分工明确的多个线程并行处理各阶段任务，达到提高性能的目的。IO线程：负责请求读取、响应发送、命令解析等。Worker线程：负责命令处理、定时器事件等。辅助线程：负责高...
姜子牙通用大模型
Ziya-LLaMA通用大模型是由IDEA研究院出品的大规模语言模型，它在灵积平台上的模型名称为"ziya-llama-13b-v1。Ziya-LLaMA大模型V1是基于LLaMa的130亿参数的大规模预训练模型，具备翻译，编程，文本分类，信息抽取，摘要，文案生成，常识问答...
Kyuubi概述
Kyuubi可以在用户级别缓存后台引擎实例，以更好的实现计算资源共享和快速响应，并行处理大量数据的查询并快速返回结果。批数据处理：Kyuubi提供了SQL接口用于常见的批处理，通常是大型提取、转换、加载（ETL）过程。Kyuubi及其引擎都是存储...
任务拆分和执行
该公司选择使用两层拆分的集群任务，通过集群任务并行处理能力提高数据处理效率。具体的实现步骤如下：任务拆分阶段：将用户数据进行拆分，详情请参见 集群任务拆分阶段。第一层拆分：按用户表维度进行数据拆分。第二层拆分：按分页维度...
实例规格
32核128 GB 8核32 GB 4 48核192 GB 8核32 GB 6 64核256 GB 8核32 GB 8 96核384 GB 8核32 GB 12 128核512 GB 8核32 GB 16 企业版 32核128 GB 16核64 GB 2 大规格资源，面向具备企业级超高并发、大规模数据复杂查询、加速分析的业务场景。...
媒体转码
难以支撑大规模高并发转码任务。转码算法 强大的计算资源，先进的视频处理算法。依赖开源转码服务。功能 视频转码，视频转封装，视频转HLS，视频转动图，视频拼接，视频截图，视频截雪碧图，音频转码，音频提取，字幕提取等。需要自行对接...
概述
文件存储CPFS 文件存储CPFS（Cloud Paralleled File System）是一款并行文件系统，其数据存储在集群中的多个数据节点，多个客户端可以同时访问，满足大型高性能计算机集群的高IOPS、高吞吐、低时延的数据存储需求。文件存储HDFS版 文件存储...
文件存储CPFS
文件存储CPFS（Cloud Paralleled File System）是一种并行文件系统。CPFS的数据存储在集群中的多个数据节点，并可由多个客户端同时访问，从而能够为大型高性能计算机集群提供高IOPS、高吞吐、低时延的数据存储服务。适用场景 文件存储CPFS ...
迁移方案
例如小时周期的任务实际已完整处理数据多个小时后，就可以对比处理过的小时数据，而天维度的聚合值，通常就需要等待新任务处理完完整的一天数据后才能对比。根据任务产出的生成周期特性和数据规模，您可以结合业务的实际情况，使用恰当的...
推荐的性能设计模式
为了帮助您利用其规模，建议您将并行请求水平扩展到OSS服务终端节点，这种扩展方式有助于通过网络将负载分布在多个路径上。对于高吞吐量传输，建议您在多个线程或多个实例中同时启动多个请求连接来并行上传和下载数据。对于某些应用程序，...
使用HPL测试集群浮点性能
因此建议在小规模测试时选择3个性能不错的NB值，再通过大规模测试检验这些选择。第10~12行内容。1#of process grids(P x Q)1 Ps 1 Qs P表示水平方向处理器个数，Q表示垂直方向处理器个数。P×Q表示二维处理器网格。P×Q=进程数。一般情况下...
应用场景
基因数据处理 云工作流 可以将多个批量计算分布式作业串联或并行编排，可靠地支持执行时间长、并发量大的大规模计算。如基因数据分析中将基因序列对齐，将所有染色体并行做变异分析，最终将各染色体数据聚合产出结果。云工作流 根据指定的...
弹性裸金属服务器概述
通用型弹性裸金属服务器实例规格族ebmg7a ebmg7a的特点如下：依托第三代神龙架构，通过芯片快速路径加速手段，提供稳定可预期的超高计算、存储和网络性能 提供专属硬件资源和物理隔离 计算 处理器与内存配比为1:4 处理器：2.55 GHz主频的...
Delta Engine 概述
Delta Engine 优化可加快数据湖操作速度，并支持各种工作负载，从大规模 ETL 处理到临时交互式查询均可。其中许多优化都自动进行；只需要通过将Databricks 用于数据湖即可获得这些 Delta Engine 功能的优势。通过文件管理优化性能 自动优化...
时空服务介绍
大规模历史轨迹的压缩存储，减少存储成本。地理网格聚合 基于H3网格和指定精度进行轨迹点聚合、过滤查询。轨迹热力图：统计不同区域的车辆数，并使用热力图的方式进行可视化展示。实时地理围栏 车辆监控报警：实时监控目标车辆的位置是否...
迁移方案
例如小时周期的任务实际已完整处理数据多个小时后，就可以对比处理过的小时数据，而天维度的聚合值，通常就需要等待新任务处理完完整的一天数据后才能对比。根据任务产出的生成周期特性和数据规模，您可以结合业务的实际情况，使用恰当的...
控制台发布记录
升级评估 为了保证升级链路的顺利进行以及更好的升级体验，PolarDB 为大版本升级提供了升级评估功能，您可以在开始升级前，对集群状态、升级任务依赖、源集群属性信息等前提条件进行预校验，提前发现影响升级进度的前置条件并处理，以降低...
JindoData版本说明
JindoFS支持批量写入功能，优化大规模ETL作业性能。JindoFS修复服务端授权错误时，访问OSS会导致服务异常的问题。JindoFSx存储加速系统 JindoFSx修复Storage服务文件句柄泄漏问题。JindoFSx修复客户端metrics上报线程安全问题。JindoFSx...
使用Megatron-Deepspeed训练GPT-2并生成文本
LM中的张量并行（Tensor Parallelism）相结合，开发了一种基于3D并行的实现，这就是Megatron-Deepspeed，它使得千亿级参数量以上的大规模语言模型（LLM）的分布式训练变得更简单、高效和有效。本文基于阿里云GPU服务器，使用Megatron-...
配置并管理实时同步任务
有条件的正常处理：选择后，您可以配置过滤条件，同步任务将按照您配置的过滤表达式对源端数据进行过滤，满足过滤条件的数据会被正常处理，不满足的会被忽略掉。DDL消息处理规则设置。来源数据源会包含许多DDL操作，数据集成体提供默认处理...
Presto FAQ
当您查询的数据需要消耗比较多的内存导致一直失败时，您可以开启虚拟集群的大查询功能。开启方法，在查询中添加HINT，示例如下。big_query=true*/insertintotable1SELECT*FROMtable2;说明 大查询功能只支持CU版本，不支持扫描量版本。大...
消费-通过消费组实现高可靠消费
日志处理是一个很大范畴，其中包括实时计算、数据仓库、离线计算等众多点。这篇文章主要介绍在实时计算场景中，如何能做到日志处理保序、不丢失、不重复，并且在上下游业务系统不可靠（存在故障）、业务流量剧烈波动情况下，如何保持这三点...
- 产品推荐
- 这些文档可能帮助您