功能特性
混合事务和分析处理（Hybrid Transaction and Analytical Process，HTAP）OceanBase 数据库独创的分布式计算引擎，能够让系统中多个计算节点同时运行 OLTP 类型的应用和复杂的 OLAP 类型的应用，让数据库利用率最大化的同时利用多个节点的...
实现原理
PontusSpark 分布式计算引擎 功能强大的 Spark 计算集群，负责接收产品层的计算配置，并对数据进行离线计算和统计。从 Register 中获取监控数据采集的 Vessel 地址，并通过 Vessel 获取必要的监控数据。PontusAlarm 监控告警组件（又称 ...
MapReduce模型
通过MapJobProcessor或MapReduceJobProcessor接口将接入的Worker组成分布式计算引擎进行大数据跑批。相对于传统的大数据跑批（例如Hadoop、Spark等），MapReduce无需将数据导入大数据平台，且无额外存储及计算成本，即可实现秒级别海量数据...
产品架构
图计算服务（GraphCompute）一站式图计算解决方案，通过高性能的分布式图计算引擎，提供万亿数据规模下搜推、实时风控、复杂图关系的查询和分析。结合阿里巴巴在电商、安全和社交等多个行业领域的积累，为全球企业及开发者提供图技术服务
整体架构
计算引擎 计算引擎具备分布式MPP和DAG融合执行能力，结合智能优化器，可支持高并发和复杂SQL混合负载。同时借助云原生基础设施，计算节点实现了弹性调度，可根据业务需求做到分钟级甚至秒级扩展，实现了资源的有效利用。存储引擎 存储引擎...
产品优势
高性能 支持秒级别调度，轻量级分布式计算可以帮助您完成准实时的大数据跑批。节约成本和提升效率 无机器和人工运维成本，接入简单，提供报警监控。安全防护 多层次安全防护，包括：支持HTTPS，VPC访问。支持用户隔离、命名空间隔离和应用...
Pandas API支持
MaxFrame提供了兼容Pandas的API接口，您可以用类似于Pandas的方式来操作MaxCompute中的数据，同时利用MaxCompute强大的分布式计算能力，简化您在大数据环境下的数据处理工作，本文为您介绍Pandas API的支持情况。当前MaxFrame支持的API详情...
MaxFrame概述
MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算，同时可直接使用MaxCompute计算资源及数据接口，与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。...
2024年
2024-03-27 全部地域 镜像管理 MaxCompute分布式计算框架MaxFrame发布 MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算，同时可直接使用MaxCompute计算资源及数据接口，与MaxCompute ...
任务管理高级配置参数说明
1 子任务单机并发数 并行计算 内存网格 网格计算 分布式模型，单台机器并发消费子任务的个数。5 子任务失败重试次数 并行计算 内存网格 网格计算 分布式模型，子任务失败自动重试的次数。0 子任务失败重试间隔 并行计算 内存网格 网格计算 ...
任务管理高级配置参数说明
1 子任务单机并发数 并行计算 内存网格 网格计算 分布式模型，单台机器并发消费子任务的个数。5 子任务失败重试次数 并行计算 内存网格 网格计算 分布式模型，子任务失败自动重试的次数。0 子任务失败重试间隔 并行计算 内存网格 网格计算 ...
产品优势
高性能 支持秒级别调度，轻量级分布式计算可以帮助您完成准实时的大数据跑批。免运维、低成本 无机器和人工运维成本且接入简单。基础版成本是开源自建的三分之一；专业版集成了短信电话报警、日志服务、链路追踪、监控大盘等，无需额外费用...
任务管理高级配置参数说明
1 子任务单机并发数 并行计算 内存网格 网格计算 分布式模型，单台机器并发消费子任务的个数。5 子任务失败重试次数 并行计算 内存网格 网格计算 分布式模型，子任务失败自动重试的次数。0 子任务失败重试间隔 并行计算 内存网格 网格计算 ...
产品优势
高性能 支持秒级别调度，轻量级分布式计算可以帮助您完成准实时的大数据跑批。免运维、低成本 无机器和人工运维成本且接入简单。基础版成本是开源自建的三分之一；专业版集成了短信电话报警、日志服务、链路追踪、监控大盘等，无需额外费用...
什么是持续交付
可编排 在分布式计算中，组件灵活可编排，可以支持各种规模的动态部署与服务。通过检测容器状态，分析整体数据和资源状况，合理分配和支持不同业务、不同规模的产品服务，实现高效的持续交付。多样化 多平台支撑，支持多种分支策略，支持...
配置Lindorm Spark节点
任务编排的Lindorm Spark节点可以通过Lindorm计算引擎高效地完成分布式计算任务，满足用户在数据生产、交互式分析、机器学习和图计算等场景中的计算需求，同时可以方便地读取Lindorm宽表引擎数据，与OSS上的数据进行联合分析。前提条件 您...
产品概述
存储节点（Data Node，DN），主要提供数据存储引擎，基于多数派Paxos共识协议提供高可靠存储、分布式事务的MVCC多版本存储，另外提供计算下推能力满足分布式的计算下推要求（比如Project/Filter/Join/Agg等下推计算），可支持本地盘和共享...
产品功能
分布式计算 提供简单、易用的分布式编程模型，支持进行大数据批处理。单机 随机挑选一台机器执行。更多信息，请参见 单机。广播 所有机器同时执行且等待全部结束。更多信息，请参见 广播。Map模型 类似于Hadoop MapReduce里的Map。只要实现...
产品功能
分布式计算 提供简单、易用的分布式编程模型，支持进行大数据批处理。单机 随机挑选一台机器执行。更多信息，请参见 单机。广播 所有机器同时执行且等待全部结束。更多信息，请参见 广播。Map模型 类似于Hadoop MapReduce里的Map。只要实现...
产品功能
分布式计算 提供简单、易用的分布式编程模型，可以进行大数据跑批。单机：随机挑选一台机器执行。详情请参见 单机。广播：所有机器同时执行且等待全部结束。详情请参见 广播。Map模型：类似于Hadoop MapReduce里的Map。只要实现一个Map方法...
PyODPS概述
使用这些接口最终都会翻译成SQL到MaxCompute计算集群做分布式计算，并且本地几乎没有任何的内存消耗，相比于单机有很大的性能提升。以下以一个分词的示例为例，为您对比两种方式的代码区别。示例场景 用户需要通过分析每天产生的日志字符串...
技术架构
基于无状态的SQL引擎提供分布式路由和计算，解决分布式事务2PC协调、分布式DDL执行、全局索引维护等。存储节点（Data Node，DN），主要提供数据存储引擎，基于多数派Paxos共识协议提供高可靠存储、分布式事务的MVCC多版本存储，另外提供...
概述
使用说明 Mars是一个基于张量的统一分布式计算框架。Mars能利用并行和分布式技术，为Python数据科学栈加速，包括 Numpy、Pandas 和 Scikit-learn。Mars常用接口如下：Mars Tensor 接口 和Numpy保持一致，且支持大规模高维数组。示例代码...
MapReduce模型
MapReduce模型的原理和最佳实践，请参见 SchedulerX 2.0 分布式计算原理和最佳实践。SchedulerX 2.0支持MapReduce模型的详细信息，请参见 SchedulerX 2.0 支持 MapReduce 模型。注意事项 所有子任务结果会缓存在Master节点，内存压力较大，...
Map模型
10 子任务全局并发数（仅适用于拉模型）并行计算 内存网格 网格计算 分布式拉模型支持全局子任务并发数，可以进行限流。1,000 发送50条消息的Demo示例（适用于Map模型）@Component public class TestMapJobProcessor extends ...
引擎简介
Lindorm计算引擎是一款基于 云原生多模数据库 Lindorm 核心能力实现的数据库内 高性能、低成本、稳定可靠 的分布式计算服务，满足用户在 云原生多模数据库 Lindorm 支撑场景下的数据生产、交互式分析、机器学习和图计算等场景中的计算需求...
任务管理
10 子任务全局并发数（仅适用于拉模型）并行计算 内存网格 网格计算 分布式拉模型支持全局子任务并发数，可以进行限流。1,000 在 定时配置 配置向导页，设置定时参数和高级配置参数，然后单击 下一步。定时参数说明如下：配置项 说明 时间...
任务管理
10 子任务全局并发数（仅适用于拉模型）并行计算 内存网格 网格计算 分布式拉模型支持全局子任务并发数，可以进行限流。1,000 在 定时配置 配置向导页，设置定时参数和高级配置参数，然后单击 下一步。定时参数说明如下：配置项 说明 时间...
引擎类型
计算引擎是基于云原生架构提供的分布式计算服务，支持社区版计算模型以及编程接口，同时深度融合Lindorm存储引擎特性，利用底层数据存储特征以及索引能力，高效地完成分布式作业任务。流引擎 兼容SQL、Kafka接口 IoT数据处理、应用日志处理...
网商银行
网商银行之所以能够顺利完成分布式的云计算架构建设，主要依托三方面的优势：承袭了蚂蚁集团的两项核心技术——分布式事务框架 XTS 和 OceanBase 数据库。完善的分布式架构辅助支撑平台。高度互联网化的研发运维体系。这三方面共同构筑了...
开启CNFS NAS计算端分布式缓存
CNFS文件存储计算端分布式缓存可提供多链接访问、元数据缓存、分布式数据缓存等加速能力，并提供端侧性能监控、QoS能力。本文介绍如何在ACK集群中开启CNFS NAS计算端分布式缓存，并通过分布式缓存功能加速读取数据。索引 前提条件 分布式...
开启CNFS NAS计算端分布式缓存
CNFS文件存储计算端分布式缓存可提供多链接访问、元数据缓存、分布式数据缓存等加速能力，并提供端侧性能监控、QoS能力。本文介绍如何在ACK集群中开启CNFS NAS计算端分布式缓存，并通过分布式缓存功能加速读取数据。索引 前提条件 分布式...
典型客户案例
完成云平台 PaaS 层建设，构建分布式系统上下游生态，实现分布式云原生架构体系 实现分布式云原生架构体系，需要从技术规范、基础设施、生产力工具、组织流程等各个方面进行持续革新：需要一个面向分布式架构的开发平台和运行平台，结合...
事务引擎介绍
分布式事务 HybridDB for MySQL事务引擎支持基本的分区内事务。可通过增加分布式节点，实现分布式任务处理性能的线性增长。数据压缩 HybridDB for MySQL事务引擎支持多种数据压缩算法，通过对数据块的压缩存储，大大节约了存储空间和I/O的...
产品架构
计算引擎 计算引擎 是基于云原生架构提供的分布式计算服务，计算节点运行在阿里云Serverless Kubernetes（简称ASK）容器服务中。计算引擎支持社区版计算模型以及编程接口，同时深度融合Lindorm存储引擎特性，充分利用底层数据存储特征以及...
优势
实时监控利用文件传输、流式计算、分布式文件存储、时序数据存储，数据可视化、数据建模等技术，提供实时、智能、可定制、多视角、全方位的监控体系。其主要优势有：全方位实时监控 提供资源、应用、业务等各种视角的监控能力，关键指标秒...
ClickHouse
仅Flink计算引擎VVR 4.0.11及以上版本支持直接将数据写入到ClickHouse分布式表对应的本地表。仅Flink计算引擎VVR 4.0.11及以上版本提供写EMR的ClickHouse的Exactly Once语义。但对EMR-3.45.1和EMR-5.11.1之后版本的ClickHouse，由于EMR ...
执行引擎
分布式执行 执行引擎是一个和存储计算分离架构配合的分布式执行模型。执行计划由异步算子组成的执行图DAG（有向无环图）表示，可以表达各种复杂查询，并且完美适配Hologres的数据存储模型，方便对接查询优化器，利用各种查询优化技术。全...
查询执行模式
Interactive模式 AnalyticDB MySQL 接收到用户查询后，会对查询进行解析，由优化器生成执行计划，执行引擎接收到执行计划后，会生成对应的分布式执行任务，这些分布式执行任务会根据执行计划描述的逻辑进行计算。执行引擎负责调度、管理...
计算设置概述
设置Dataphin实例的计算引擎为Hadoop CDH5.x Hadoop CDH6.x Hadoop 全球应用较广的分布式系统基础架构，核心为HDFS和MapReduce，提供了海量数据存储与计算。全球应用较广的分布式系统基础架构，核心为HDFS和MapReduce，提供了海量数据存储...
- 产品推荐
- 这些文档可能帮助您