概述
分布式系统将计算任务和数据分布在多个节点上以实现更高的性能、可靠性和可扩展性，当一个节点发生故障或错误时，其他节点可以继续工作，相比于单机系统，架构本身就有较高的节点容错性。但随着服务拆分，更多组件的引入，分布式系统的复杂...
计算设置概述
设置Dataphin实例的计算引擎为Hadoop CDH5.x Hadoop CDH6.x Hadoop 全球应用较广的分布式系统基础架构，核心为HDFS和MapReduce，提供了海量数据存储与计算。全球应用较广的分布式系统基础架构，核心为HDFS和MapReduce，提供了海量数据存储...
基础术语
分布式事务 distributed transaction 事务的发起者、资源及资源管理器和事务协调者分别位于不同的分布式系统的不同节点之上。分支事务 action 一个分布式事务可能包含多个数据库本地事务，在分布式事务框架下，分支事务可能是一个分库上...
顺德农商
解决方案 通过引入阿里“飞天”云计算操作系统、分布式中间件体系 SOFAStack、分布式数据库平台 OceanBase、金融核心套件 bPaaS、mPaaS、金融数据智能平台、移动开发平台等，逐渐打造了覆盖底层 IDC 到上层移动应用在内的金融级全分布式...
概述
金融分布式架构 SOFAStack 致力于提供一整套帮助广大金融场景落地云原生、分布式架构的产品和解决方案，而其中的应用 PaaS 平台，融合金融科技多年在大规模分布式系统和容器平台的实践经验，使用户在专注于业务价值的同时，提升研发效率和...
组件中心
微服务平台 提供实现经典 SDK 模式和 ServiceMesh 两种微服务模式所需的各种组件，致力于帮助企业快速构建高可扩展、高性能、低成本、轻量无侵入的分布式系统。分布式事务 蚂蚁集团自主研发的金融级分布式事务中间件，用来保障在大规模分布...
分布式事务问题
数据访问代理是否支持分布式事务 数据访问代理支持与分布式事务的集成使用。版本要求：数据访问代理 V2.9.5 或更高版本 分布式事务 V2.5.2 或更高版本 具体配置信息请参考 分布式事务>开发指南>依赖与配置项。在数据访问代理 V2.9.5 之前的...
基础术语
SOFATracer SOFATracer 是一个用于分布式系统调用跟踪的组件，通过统一的 traceId 将调用链路中的各种网络调用情况以日志的方式记录下来，以达到透视化网络调用的目的。这些日志可用于故障的快速发现，服务治理等。TraceID TraceId 指的是 ...
常见问题
本文主要介绍在操作分布式事务过程中的常见问题。SOFAStack 是否可以部署在虚拟机、物理机上？可以，SOFAStack 部署支持物理机、虚机机 VM。SOFAStack 当前是否只支持阿里云飞天 ACK？SOFAStack 部署支持多云异构、目前支持华为云、开源 ...
数据科学计算概述
MaxFrame是由阿里云自研的分布式科学计算框架，是对历史相关产品功能（PyODPS、Mars）的重大升级，在MaxCompute之上提供一套完全兼容Pandas接口的API，让用户用更为熟悉、更符合Python社群习惯的方式使用MaxCompute。本文为您介绍...
产品优势
高性能 支持秒级别调度，轻量级分布式计算可以帮助您完成准实时的大数据跑批。节约成本和提升效率 无机器和人工运维成本，接入简单，提供报警监控。安全防护 多层次安全防护，包括：支持HTTPS，VPC访问。支持用户隔离、命名空间隔离和应用...
任务管理高级配置参数说明
1 子任务单机并发数 并行计算 内存网格 网格计算 分布式模型，单台机器并发消费子任务的个数。5 子任务失败重试次数 并行计算 内存网格 网格计算 分布式模型，子任务失败自动重试的次数。0 子任务失败重试间隔 并行计算 内存网格 网格计算 ...
架构
在产品层除了提供业界标准的云原生能力外，还提供具备金融级特性的发布运维能力，比如按序的无损发布策略，针对大规模分布式系统的批量发布运维能力，内置按机房或部署单元的高可用容灾拓扑，并集成 SOFAStack 的实时监控能力。您可通过...
应用场景
可视化管理：在分布式系统中，面对爆发式增长的应用数量和服务器数量，提供图形化的集中式管理平台，简单易用，学习成本低。多数据中心异地多活 通过微服务产品可快速构建高可扩展、高性能的金融级分布式核心系统，拥有弹性扩容和异地多活...
任务管理高级配置参数说明
1 子任务单机并发数 并行计算 内存网格 网格计算 分布式模型，单台机器并发消费子任务的个数。5 子任务失败重试次数 并行计算 内存网格 网格计算 分布式模型，子任务失败自动重试的次数。0 子任务失败重试间隔 并行计算 内存网格 网格计算 ...
应用场景
可视化管理 在分布式系统中，面对爆发式增长的应用数量和服务器数量，提供图形化的集中式管理平台，简单易用，学习成本低。多数据中心异地多活 通过微服务产品可快速构建高可扩展、高性能的金融级分布式核心系统，拥有弹性扩容和异地多活的...
PolarDB-X适用场景
另外，具有公有云、专有云、DBStack和软件版多种部署形态、完善的交付和服务团队，已经帮助百余家企业完成商业数据库替换、核心数据库系统分布式改造、分布式数据库技术培训与架构咨询等多项任务。混合负载访问 场景描述 互联网业务的实时...
Pandas API支持
MaxFrame提供了兼容Pandas的API接口，您可以用类似于Pandas的方式来操作MaxCompute中的数据，同时利用MaxCompute强大的分布式计算能力，简化您在大数据环境下的数据处理工作，本文为您介绍Pandas API的支持情况。当前MaxFrame支持的API详情...
任务管理高级配置参数说明
1 子任务单机并发数 并行计算 内存网格 网格计算 分布式模型，单台机器并发消费子任务的个数。5 子任务失败重试次数 并行计算 内存网格 网格计算 分布式模型，子任务失败自动重试的次数。0 子任务失败重试间隔 并行计算 内存网格 网格计算 ...
产品功能
分布式计算 提供简单、易用的分布式编程模型，支持进行大数据批处理。单机 随机挑选一台机器执行。更多信息，请参见 单机。广播 所有机器同时执行且等待全部结束。更多信息，请参见 广播。Map模型 类似于Hadoop MapReduce里的Map。只要实现...
产品功能
分布式计算 提供简单、易用的分布式编程模型，可以进行大数据跑批。单机：随机挑选一台机器执行。详情请参见 单机。广播：所有机器同时执行且等待全部结束。详情请参见 广播。Map模型：类似于Hadoop MapReduce里的Map。只要实现一个Map方法...
产品优势
高性能 支持秒级别调度，轻量级分布式计算可以帮助您完成准实时的大数据跑批。免运维、低成本 无机器和人工运维成本且接入简单。基础版成本是开源自建的三分之一；专业版集成了短信电话报警、日志服务、链路追踪、监控大盘等，无需额外费用...
Map模型
基于MapJobProcessor，调用Map方法，即可实现大数据分布式跑批的能力。注意事项 SchedulerX不保证子任务一定执行一次，在特殊条件下会failover，可能会导致子任务重复执行，需要业务方自己实现幂等。SchedulerX使用的是Hessian序列化框架，...
MapReduce模型
10 子任务全局并发数（仅适用于拉模型）并行计算 内存网格 网格计算 分布式拉模型支持全局子任务并发数，可以进行限流。1,000 发送500条消息的Demo示例（适用于MapReduce模型）@Component public class TestMapReduceJobProcessor extends ...
应用场景
消息队列作为分布式系统中的重要组件，可以很好的应对这些场景。下文以支付转账为场景说明消息队列如何实现以下功能：异步解耦 分布式事务的数据一致性 削峰填谷 异步解耦 传统处理方式 最常见的一个场景是支付转账成功后，需要生成交易...
计算抵扣包和存储抵扣包
MaxCompute提供了两种资源抵扣包：计算抵扣包和存储抵扣包，抵扣您使用MaxCompute实例时产生的计算和存储用量，增加计算和存储按量计费模式使用的灵活性。本文为您介绍计算抵扣包和存储抵扣包的使用注意事项、价格、规格优惠等信息。计算...
中间件产品总览
提供高可用消息云服务 任务调度 提供分布式任务调度框架 提供自动化任务调度服务 分布式事务 金融级分布式事务中间件 支持跨数据库、跨服务以及混合分布式事务 数据访问代理 通过 MySQL 协议与 RDS\OceanBase 通信 通过触发 DDL 任务管理...
网商银行
客户价值 网商银行信息系统建设依托于蚂蚁集团成熟的、完全“自主可控”的技术体系，结合自身轻资产、交易型、平台化的运营思路，完成了基于分布式云计算的架构建设。提高了系统吞吐能力、资源供给效率以及系统可靠性，做到了 7x24x365 的...
产品架构
图计算服务（GraphCompute）一站式图计算解决方案，通过高性能的分布式图计算引擎，提供万亿数据规模下搜推、实时风控、复杂图关系的查询和分析。结合阿里巴巴在电商、安全和社交等多个行业领域的积累，为全球企业及开发者提供图技术服务
应用场景
对于传统企业的服务化转型来说，使用分布式框架不是银弹，在解决了传统的单块架构系统随着业务需求的快速变化而面临的挑战后，分布式架构也为研发和运维增加了更大的复杂度和管理成本，基于分布式框架来进行架构改造的应用和业务通常会面临...
2022年
分布式系统不可避免会产生小文件，比如SQL或其他分布式引擎的计算结果、Tunnel数据采集。合并小文件可以达到优化系统性能的目的。本文为您介绍如何在MaxCompute中合并小文件。合并小文件 2022年11月更新记录 时间 特性 类别 描述 产品文档 ...
典型客户案例
完成云平台 PaaS 层建设，构建分布式系统上下游生态，实现分布式云原生架构体系 实现分布式云原生架构体系，需要从技术规范、基础设施、生产力工具、组织流程等各个方面进行持续革新：需要一个面向分布式架构的开发平台和运行平台，结合...
数据分析整体趋势
云原生分布式：无论是OLTP还是OLAP，如今单机数据已无法满足企业业务和数据快速增长的需求，分布式数据库成为主流，同时数据库市场未来主要在云上（"Gartner:The Future of the DBMS Market Is Cloud")，云原生架构与特性成为云数据库的...
技术面临的挑战与革新
存储计算分离是近年来分布式系统设计架构的潮流，从2001年开始Google的GFS开创先河地开始使用了普通X86服务器和硬盘搭建了大规模的存储，虽然受限于当时网络的传输速度，和机器间的带宽，还是需要耦合计算和存储节点的分布。但是随着底层...
附录：SOFAStack 产品目录
同时满足异地容灾、低成本快速扩容的需求，能够解决传统集中式架构转型的困难，并通过打造大规模高可用分布式系统架构，来支撑金融业务创新。SOFAStack 由四大领域模块组成：分布式中间件、运维管理（应用 PaaS）、高阶运维保障、研发效能...
基本概念
链路追踪 为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑及应用依赖分析等工具，可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈，提高微服务时代下的开发诊断效率。更多信息，请参见 链路追踪简介。
四川农信
可扩展性强，处理效率高，容错能力强，总体拥有成本低，是分布式系统的重要特点，能够有效的解决传统架构的性能瓶颈，并满足金融级的高可靠性要求“竖井”现象，资源不共享，部署周期长，难以满足新业务快速上线的要求。快速响应能力受限 ...
应用场景
问题分析与快速定位 在分布式场景下，服务调用错综复杂，问题分析与定位非常困难，分布式链路跟踪系统能迅速定位到有问题的服务，协助快速解决问题节点。完整的应用调用拓扑关系：自动发现该服务的历史调用，以及对所有中间件的调用，绘制...
什么是 SOFAStack
SOFAStack 所有的产品技术都经过蚂蚁集团自身严苛金融场景验证，为金融交易技术在保证风险安全的同时，帮助业务需求敏捷迭代，同时满足异地容灾、低成本快速扩容的需求，解决传统集中式架构转型的困难，打造大规模高可用分布式系统架构，...
产品概述
PolarDB分布式版产品架构 PolarDB分布式版 采用了基于计算存储分离的Share Nothing系统架构，该架构使用户可以根据业务需要进行分层容量规划，实现大规模扩展。核心组件 元数据服务（Global Meta Service，GMS），主要提供分布式的元数据，...
- 产品推荐
- 这些文档可能帮助您