产品体系
SOFAStack 产品家族 SOFAStack 源于自蚂蚁内部沉淀十多年的金融级分布式中间件技术体系，吸收了支付宝自创立以来在关键金融交易系统锤炼出来的架构实践。SOFAStack 所有的产品技术均经过蚂蚁集团自身严苛的金融场景验证，为金融交易技术...
源为PolarDB-X的功能规范和约束说明
由于 PolarDB分布式版 自身不提供Binlog以及其他的一些限制，在业务设计、运维变更、数据质量以及业务开发时，会受到如下规范的约束，请您在实际使用中注意。概览 业务设计规范 数据库架构规范 运维变更规范 数据质量风险声明 业务开发的...
技术架构
PolarDB-X 的架构继承了DRDS和X-DB技术的稳定性，结合了PolarDB的云原生技术，融入了NewSQL对于分布式数据一致性的能力，为用户提供新的 云原生+分布式 的产品体验。整体架构 PolarDB-X 的整体架构如下：核心组件 元数据服务（Global Meta ...
多语言版本分片模型
动态分片：主要场景是分布式处理未知数据量的数据，例如一张大表在不停变更，需要分布式跑批。主流的框架为SchedulerX提供的MapReduce模型，目前还没有对外开源。功能特性 多语言版本分片模型还具有以下特性。兼容elastic-job的静态分片...
名词解释
XID XID，即 GTS 分布式事务的全局事务 ID，GTS 服务会为每一个分布式事务生成一个全局唯一的分布式事务 ID。由于其全局唯一性，我们可以通过 GTS 日志中的 XID 帮助排查问题。BranchId BranchId，即 GTS 分布式事务的分支事务 ID，它是...
产品相关问题
分布式调度：提高系统的可用性、伸缩性，且调度与业务的分离，让研发更专注业务逻辑的开发。多种任务类型：简单任务，集群任务，消息任务，流式任务，满足不同场景需求。丰富的管理功能：包括定时触发、事件触发、手动触发、优雅停止、断点...
应用场景
全面消除偶发问题引发的风险 依托于限流、降级、熔断、隔离等能力，可以在出现偶发的流量洪峰和依赖服务出现异常时，有效地限流保护、削峰填谷、隔离故障、降级保护。低成本实现微服务敏捷开发 依托于开发环境隔离能力，可以在不增加物理...
附录：SOFAStack 产品目录
数据访问代理 数据访问代理（Open Database Proxy，简称 ODP）能够解决海量请求下的数据访问瓶颈和数据库的容灾问题，提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务，为海量数据访问提供低消耗、高性能、高可用的轻量级解决...
基本概念
单个Shard是由三节点的副本集组成，保证单个分片的高可用性，用户可以根据自己的应用性能及存储要求，购买多个Shard来扩展读写性能及存储空间，实现一个分布式数据库系统。ConfigServer 配置服务器，存储所有数据库元信息（路由、分片）的...
概述
分布式（线性扩展）传统分布式数据库，业界常见基于Paxos/Raft的多副本机制构建列存，但OLTP和OLAP各自的查询场景会有不同的诉求，对资源的依赖程度也不同，不同副本之间强一致分区策略/扩缩容机制，使得TP和AP的线性扩容能力容易相互制约...
基于MySQL 5.7的分布式事务
本文描述的分布式事务针对MySQL版本≥5.7，并且 PolarDB-X 1.0 版本≥5.3.4的用户。基本原理 对于MySQL 5.7及更高版本，PolarDB-X 1.0 默认基于XA事务协议进行分布式事务。如果不满足版本要求，请您移步 基于MySQL 5.6的分布式事务。如何...
应用场景
问题分析与快速定位 在分布式场景下，服务调用错综复杂，问题分析与定位非常困难，分布式链路跟踪系统能迅速定位到有问题的服务，协助快速解决问题节点。完整的应用调用拓扑关系：自动发现该服务的历史调用，以及对所有中间件的调用，绘制...
基本概念
ClickHouse集群（Cluster）在物理构成上，ClickHouse集群是由多个ClickHouse Server实例组成的分布式数据库。这些ClickHouse Server根据购买规格的不同而可能包含1个或多个副本（Replica）、1个或多个分片（Shard）。在逻辑构成上，一个...
什么是企业级分布式应用服务EDAS
快鱼服饰FASTFISH 借助EDAS搭建起业内一个成熟的分布式业务系统，帮助快鱼解决原有多套系统之间商品、渠道等数据不一致等问题，保障系统的快速迭代和敏捷开发，降低研发周期及成本。微服务架构下，很好地支持海量数据及应用的并发，系统...
基于TairString实现高性能分布式锁
如果丢失的数据跟分布式锁有关，则会导致锁的机制出现问题，从而引起业务异常。下文介绍三种保障一致性的方法。使用 红锁（RedLock）红锁是Redis作者提出的一致性解决方案。红锁的本质是一个概率问题：如果一个主从架构的Redis在高可用切换...
多语言版本分片模型
动态分片：主要场景是分布式处理未知数据量的数据，例如一张大表在不停变更，需要分布式跑批。主流的框架为SchedulerX提供的MapReduce模型，暂时还没有对外开源。功能特性 多语言版本分片模型还具有以下特性。兼容elastic-job的静态分片...
使用ossimport迁移数据
ossimport支持将任意地域的本地存储数据、第三方存储数据、对象存储OSS数据迁移至任意地域的OSS中。本文介绍如何使用ossimport将数据从第三方存储迁移到OSS。背景信息 某用户的数据存储于腾讯云COS广州（华南）区域，数据大小约500TB。现...
应用场景
分布式技术能力 提供金融级分布式框架和金融级分布式数据库，支持多租户，支持海量用户的高业务并发场景。提供大数据和人工智能的中台能力建设，支持分布式金融核心系统的异地多活架构。金融级云原生应用 说明 满足金融业务发展和严苛场景...
Multi-Master关键技术介绍
本文对Multi-Master架构的关键技术点进行介绍，包括分布式事务处理、全局死锁处理、DDL支持、分布式表锁支持、集群容错和高可用能力。分布式事务管理 AnalyticDB PostgreSQL版 分布式事务 AnalyticDB PostgreSQL版 通过二阶段提交协议（2PC...
产品架构
Storage Disaggregation（存储计算分离架构）存储和Shared Storage类似，有一个分布式的共享存储集群，计算层处理数据的模式和Shared Nothing类似，数据是分片的，每个Shard只处理自己所在分片的数据，每个计算节点还可以有本地缓存。...
数据科学计算概述
MaxFrame是由阿里云自研的分布式科学计算框架，是对历史相关产品功能（PyODPS、Mars）的重大升级，在MaxCompute之上提供一套完全兼容Pandas接口的API，让用户用更为熟悉、更符合Python社群习惯的方式使用MaxCompute。本文为您介绍...
什么是 SOFATracer
SOFATracer 是蚂蚁金服基于 OpenTracing 规范开发的分布式链路跟踪系统，其核心理念就是通过一个全局的 TraceId 将分布在各个服务节点上的同一次请求串联起来。通过统一的 TraceId 将调用链路中的各种网络调用情况以日志的方式记录下来，...
计费项概述
RMS 提供应用监控、自定义监控、基础资源监控、分布式链路和告警通知等能力。本文介绍 RMS 的计费资源项以及各资源的计费方式。计费项目 RMS 计费资源项如下表所示：计费项 说明 计费方式 应用实例 RMS 自动对应用实例部署所在的 ECS 进行...
应用场景
与传统架构不同，云消息队列 Kafka 版 以及Storm、Samza、Spark等数据处理引擎的出现，就是为了更好地解决这类数据在处理过程中遇到的问题，数据处理模型能实现在数据流动的过程中对数据进行实时地捕捉和处理，并根据业务需求进行计算分析...
强弱依赖治理概述
强弱依赖治理的应用 强弱依赖治理主要可以被应用到以下场景：系统改造验收：对于分布式系统，至少在运行态中，不会因为依赖的系统后台出现故障，引起当前应用出现系统级可用性的故障，例如进程挂掉、频繁FullGC、负载飙高等，何时何地都应...
流式数据通道概述
MaxCompute流式数据通道服务功能点如下：提供流式语义API：通过流式服务的API可以方便地开发出分布式数据同步服务。支持自动创建分区：解决数据同步服务并发创建分区导致的并发抢锁问题。支持增量数据异步聚合（Merge）：提升数据存储效率...
Multi-Master基础架构
通常情况下，数据库实例中只有Main Master在工作，Standby Master节点作为高可用备份，当Main Master节点出现故障时，Standby Master才会切换成Main Master进行工作。随着业务的发展，例如实时数仓和HTAP场景需求的增加，Single-Master的...
分布式序列
数据访问代理提供了生成分布式环境下的分布式唯一序列（Sequence）的能力，该序列有全局唯一、全局递增的特性，常用于分库分表下的主键、业务主键生成的场景。重要 数据访问代理分布式序列功能是基于数据库实现，如果需要使用该功能，需要...
集群容灾能力
数据容灾 在Hadoop分布式文件系统（HDFS）中，每一个文件的数据均是分块存储的，每一个数据块保存有多个副本（默认为3），并且尽量保证这些数据块副本分布在不同的机架之上。一般情况下，HDFS的副本系数是3，存放策略是将一个副本存放在...
HDFS概述
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景...
产品优势
变更管控与保障 针对金融级场景下大规模分布式系统的特点，提供了丰富的发布策略以满足不同的场景，如：分组发布、Beta 发布、灰度发布等，帮助传统架构平滑过渡，适应金融技术风险保障需求，实现大规模金融级运维场景下的容器服务落地。...
名词解释
术语 说明 cassandra 云数据库Cassandra版是在线可靠的NoSQL分布式数据库服务，支持类SQL语法CQL，支持多地多活，提供了安全、容灾、监控、备份恢复等企业级能力。CQL CQL（Cassandra Query Language）是cassandra中提供的一种类SQL查询...
发展历程
MaxCompute以单集群三万以上节点通过中国信通院分布式批处理平台（大规模）测试评审认证。MaxCompute通过全国首批大数据平台稳定性认证，被证明为韧性型系统。深度参与和推动全球大数据领域标准化建设 MaxCompute代表阿里巴巴计算平台，...
算子
Aggregation AnalyticDB MySQL版 是一个分布式数据库，支持多节点并行完成聚合操作（更多关于聚合和分组聚合的信息，请参见 分组聚合查询优化）。Aggregation算子通过 sum()、count()、avg()等函数对数据进行聚合或分组聚合操作。...
产品架构
流引擎 LindormStream 是面向流式数据处理的引擎，提供了流式数据的存储和轻计算功能，兼容Kafka API和Flink SQL，帮助业务基于Lindorm快速构建基于流式数据的处理和应用。LindormStream内部包含流存储、流计算两大组件，通过两者的一体化...
查询流程和执行计划
Executor节点将数据处理的最终结果返回到客户端，或者写入 AnalyticDB MySQL版 集群的内部表以及其它外部存储系统（如OSS）中。执行计划相关概念 了解以下概念能帮助您更好地分析 AnalyticDB MySQL版 的执行计划（即物理执行计划）：Stage ...
PyODPS概述
提交到MaxCompute分布式执行（推荐）推荐您合理利用PyODPS提供的分布式DataFrame功能，将主要的计算提交到MaxCompute分布式执行而不是在PyODPS客户端节点下载处理，这是正确使用PyODPS的关键。推荐使用PyODPS DataFrame接口来完成数据处理...
ClickHouse
背景信息 ClickHouse是一个用于联机分析（OLAP）的列式数据库管理系统，详情请参见 什么是ClickHouse。ClickHouse连接器支持的信息如下.类别 详情 支持类型 仅支持结果表 运行模式 批模式和流模式 数据格式 暂不适用 特有监控指标 ...
应用场景
多数据中心异地多活 通过微服务产品可快速构建高可扩展、高性能的金融级分布式核心系统，拥有弹性扩容和异地多活的能力，实现技术安全自主可控，突破业务发展瓶颈，并减少开发及运维成本。实现轻型银行，助力业务快速发展和持续创新。异地...
Stage级别诊断结果
如果不广播小表，那么会出现如下图的执行流程：假设上图中的表 Tsmall 在 b 字段上存在严重数据倾斜，那么当表 Tbig 以 a 字段均匀地分布在 AnalyticDB MySQL版 的存储节点上时，对 Tbig 表的重分布会存在处理时间长尾，而且在下游Stage...
- 产品推荐
- 这些文档可能帮助您