引擎简介
Lindorm计算引擎是一款基于 云原生多模数据库 Lindorm 核心能力实现的数据库内 高性能、低成本、稳定可靠 的分布式计算服务，满足用户在 云原生多模数据库 Lindorm 支撑场景下的数据生产、交互式分析、机器学习和图计算等场景中的计算需求...
产品优势
高性能 支持秒级别调度，轻量级分布式计算可以帮助您完成准实时的大数据跑批。节约成本和提升效率 无机器和人工运维成本，接入简单，提供报警监控。安全防护 多层次安全防护，包括：支持HTTPS，VPC访问。支持用户隔离、命名空间隔离和应用...
基础术语
分布式事务 distributed transaction 事务的发起者、资源及资源管理器和事务协调者分别位于不同的分布式系统的不同节点之上。分支事务 action 一个分布式事务可能包含多个数据库本地事务，在分布式事务框架下，分支事务可能是一个分库上...
Pandas API支持
MaxFrame提供了兼容Pandas的API接口，您可以用类似于Pandas的方式来操作MaxCompute中的数据，同时利用MaxCompute强大的分布式计算能力，简化您在大数据环境下的数据处理工作，本文为您介绍Pandas API的支持情况。当前MaxFrame支持的API详情...
MaxFrame概述
MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算，同时可直接使用MaxCompute计算资源及数据接口，与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。...
产品优势
微服务产品在蚂蚁集团内部已支撑数万个节点规模的分布式应用架构，具有高可用性、高可扩展性、高性能、高时效性、稳定可靠等核心优势，并提供丰富的功能来帮助用户简化分布式系统的管理，让业务开发人员可以专注于业务逻辑实现，提升研发...
数据科学计算概述
Mars则是一个基于张量的统一分布式计算框架，实现了Numpy大约70%的接口，并进行了分布式化，不仅大幅减少了分布式科学计算代码的编写难度，同时在性能上也有大幅提升。Mars核心功能如下：兼容及分布式化（2019年1月正式开源）：支持将Numpy...
2024年
2024-03-27 全部地域 镜像管理 MaxCompute分布式计算框架MaxFrame发布 MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算，同时可直接使用MaxCompute计算资源及数据接口，与MaxCompute ...
任务管理高级配置参数说明
1 子任务单机并发数 并行计算 内存网格 网格计算 分布式模型，单台机器并发消费子任务的个数。5 子任务失败重试次数 并行计算 内存网格 网格计算 分布式模型，子任务失败自动重试的次数。0 子任务失败重试间隔 并行计算 内存网格 网格计算 ...
任务管理高级配置参数说明
1 子任务单机并发数 并行计算 内存网格 网格计算 分布式模型，单台机器并发消费子任务的个数。5 子任务失败重试次数 并行计算 内存网格 网格计算 分布式模型，子任务失败自动重试的次数。0 子任务失败重试间隔 并行计算 内存网格 网格计算 ...
顺德农商
解决方案 通过引入阿里“飞天”云计算操作系统、分布式中间件体系 SOFAStack、分布式数据库平台 OceanBase、金融核心套件 bPaaS、mPaaS、金融数据智能平台、移动开发平台等，逐渐打造了覆盖底层 IDC 到上层移动应用在内的金融级全分布式...
应用场景
多数据中心异地多活 通过微服务产品可快速构建高可扩展、高性能的金融级分布式核心系统，拥有弹性扩容和异地多活的能力，实现技术安全自主可控，突破业务发展瓶颈，并减少开发及运维成本。实现轻型银行，助力业务快速发展和持续创新。异地...
应用场景
多数据中心异地多活 通过微服务产品可快速构建高可扩展、高性能的金融级分布式核心系统，拥有弹性扩容和异地多活的能力，实现技术安全自主可控，突破业务发展瓶颈，并减少开发及运维成本。实现轻型银行，助力业务快速发展和持续创新。异地...
产品优势
变更管控与保障 针对金融级场景下大规模分布式系统的特点，提供了丰富的发布策略以满足不同的场景，如：分组发布、Beta 发布、灰度发布等，帮助传统架构平滑过渡，适应金融技术风险保障需求，实现大规模金融级运维场景下的容器服务落地。...
概述
分布式系统将计算任务和数据分布在多个节点上以实现更高的性能、可靠性和可扩展性，当一个节点发生故障或错误时，其他节点可以继续工作，相比于单机系统，架构本身就有较高的节点容错性。但随着服务拆分，更多组件的引入，分布式系统的复杂...
应用场景
分布式事务的数据一致性 支付的流程中，用户入口在支付中心完成，账单、权益、通知系统在其他系统完成，多个系统之间的数据需要保持最终一致。在这样的情况下，虽然实现了系统间的解耦，上游系统不需要关心下游系统的业务处理结果；但是...
产品优势
遵循 OpenTracing 埋点 提供平台无关、厂商无关的 API，使得开发人员能够方便的添加（或更换）追踪系统的实现，跟踪分布式系统内各组件的调用情况等。多维度应用度量 提供多种度量维度实时监测应用程序的性能，能帮助更好的了解当前应用...
技术面临的挑战与革新
公有云厂商使用基于网络的块存储逐步代替了单机的本地存储，在这样的基础架构下计算和存储耦合的架构已经变得不透明不合理，此时存储计算分离的架构的优势体现了出来，存储计算分离，分布式存储系统使用高密度，低功耗的服务器来解决存储...
MapReduce模型
MapReduce模型的原理和最佳实践，请参见 SchedulerX 2.0 分布式计算原理和最佳实践。SchedulerX 2.0支持MapReduce模型的详细信息，请参见 SchedulerX 2.0 支持 MapReduce 模型。注意事项 所有子任务结果会缓存在Master节点，内存压力较大，...
Map模型
基于MapJobProcessor，调用Map方法，即可实现大数据分布式跑批的能力。注意事项 SchedulerX不保证子任务一定执行一次，在特殊条件下会failover，可能会导致子任务重复执行，需要业务方自己实现幂等。SchedulerX使用的是Hessian序列化框架，...
监控指标
错误次数 服务端错误（RegionServerErrors）次 在某一地域内调用函数时，由于 函数计算 系统错误导致函数未被执行的总调用次数。按1分钟或1小时粒度统计求和。说明 不包括HTTP触发器函数执行成功返回的 5xx 状态码。客户端错误...
监控指标
错误次数 服务端错误（RegionServerErrors）次 在某一地域内调用函数时，由于 函数计算 系统错误导致函数未被执行的总调用次数。按1分钟或1小时粒度统计求和。说明 不包括HTTP触发器函数执行成功返回的 5xx 状态码。客户端错误...
什么是企业级分布式应用服务EDAS
企业级分布式应用服务EDAS（Enterprise Distributed Application Service）是一个应用托管和微服务管理的云原生PaaS平台，提供应用开发、部署、监控、运维等全栈式解决方案，同时支持Spring Cloud和Apache Dubbo（以下简称Dubbo）等微服务...
概述
一个稳定的分布式系统需要能够快速适应变化，及时发现和解决问题，并且能够保持系统的一致性和可靠性。稳定性通常包含系统可用性、可靠性、可观测性、可运维性、可扩展性、可维护性等。使用云计算平台服务可以更好的构建系统稳定性，例如云...
四川农信
完成云平台 PaaS 层建设，构建分布式系统上下游生态，实现分布式云原生架构体系 实现分布式云原生架构体系，需要从技术规范、基础设施、生产力工具、组织流程等各个方面进行持续革新：建立一个面向分布式架构的开发平台和运行平台，结合...
产品架构
图计算服务（GraphCompute）一站式图计算解决方案，通过高性能的分布式图计算引擎，提供万亿数据规模下搜推、实时风控、复杂图关系的查询和分析。结合阿里巴巴在电商、安全和社交等多个行业领域的积累，为全球企业及开发者提供图技术服务
功能特性
混合事务和分析处理（Hybrid Transaction and Analytical Process，HTAP）OceanBase 数据库独创的分布式计算引擎，能够让系统中多个计算节点同时运行 OLTP 类型的应用和复杂的 OLAP 类型的应用，让数据库利用率最大化的同时利用多个节点的...
2019年
分布式模型支持拉模型，解决因为单机性能引起的木桶效应，支持动态扩容拉子任务。拉模型支持全局子任务并发度，可以进行限流。JobContext增加 wfInstanceId。客户端启动失败抛异常，堵塞JVM启动，尽早发现问题。客户端启动打印mvn依赖JAR的...
基本概念
发起方 Initiator，分布式事务的发起方负责启动分布式事务，通过调用参与者的服务，将参与者纳入到分布式事务当中，并决定整个分布式事务是提交还是回滚。一个分布式事务有且只能有一个发起方。分组标识 用于在网关上做全局的唯一标识，...
典型客户案例
完成云平台 PaaS 层建设，构建分布式系统上下游生态，实现分布式云原生架构体系 实现分布式云原生架构体系，需要从技术规范、基础设施、生产力工具、组织流程等各个方面进行持续革新：需要一个面向分布式架构的开发平台和运行平台，结合...
配置HTTP触发器并使用HTTP触发
前提条件 创建函数 步骤...是 系统错误 500 函数计算 系统错误，可重试解决。否 系统流控 503 函数计算 系统流控。可用指数退避方式重试。否 如果问题还未能解决，请加入钉钉用户群（钉钉群号：11721331），联系函数计算工程师及时沟通处理。
产品架构
架构优势 在传统的分布式系统中，常用的存储计算架构有如下三种。Shared Disk/Storage（共享存储）有一个分布式的存储集群，每个计算节点像访问单机数据一样访问这个共享存储上的数据。这种架构的存储层可以比较方便的扩展，但是计算节点...
2022年
分布式系统不可避免会产生小文件，比如SQL或其他分布式引擎的计算结果、Tunnel数据采集。合并小文件可以达到优化系统性能的目的。本文为您介绍如何在MaxCompute中合并小文件。合并小文件 2022年11月更新记录 时间 特性 类别 描述 产品文档 ...
部署高可用计算集群
假设您的应用面向以下场景，也可以采用类似解决方案：分布式大数据计算。人工智能训练。解决方案 弹性伸缩可以快速交付一个计算集群，同时利用均衡分布策略自动将计算节点分散在多个可用区，并实时检测ECS实例的运行状况，确保计算集群的高...
PingCAP与阿里云计算巢联合方案深度解析：数据库软件...
PingCAP经历了短短七年时间，便实现了“从无到有，从小到大”的成长，其分布式数据库TiDB，也成为了由中国人主导的顶级开源分布式数据库项目。今年，PingCAP入选了2022 Gartner云数据库“客户之声”，获评“卓越表现者”最高分，是国内唯一...
配置HTTP触发器并使用HTTP触发
是 系统错误 FcCommonError 500 函数计算 系统错误，可重试解决。否 系统流控 FcCommonError 503 函数计算 系统流控。可用指数退避方式重试。否 如果问题还未能解决，请加入钉钉用户群（钉钉群号：11721331），联系函数计算工程师即时沟通...
历史记录
分布式模型支持拉模型，解决因为单机性能引起的木桶效应，支持动态扩容拉子任务。拉模型支持全局子任务并发度，可以进行限流。JobContext增加 wfInstanceId。客户端启动失败抛异常，堵塞JVM启动，尽早发现问题。客户端启动打印mvn依赖JAR的...
什么是 SOFAStack
SOFAStack 所有的产品技术都经过蚂蚁集团自身严苛金融场景验证，为金融交易技术在保证风险安全的同时，帮助业务需求敏捷迭代，同时满足异地容灾、低成本快速扩容的需求，解决传统集中式架构转型的困难，打造大规模高可用分布式系统架构，...
计算资源
另外分布式系统中不同节点之间可能会竞争有限的计算资源，例如某个节点过度占用了计算资源，导致其他节点无法获得足够的资源，这会导致性能下降和任务延迟。计算资源分配不均可能会导致系统性能下降、任务延迟增加、资源浪费等。常见的容错...
数据分析整体趋势
随着AWS，Azure，Alibaba，Google等云厂商的出现，云原生分布式数据仓库成为目前数据分析技术的主要解决方案，代表性云服务包括Amazon Redshift，Snowflake，Alibaba Cloud AnalyticDB，Google BigQuery等。这些云原生数据仓库技术分别起源...
- 产品推荐
- 这些文档可能帮助您