名词解释
两阶段提交协议 两阶段提交协议（Two-Phase Commit protocol，2PC）是分布式事务的处理协议。XID XID，即 GTS 分布式事务的全局事务 ID，GTS 服务会为每一个分布式事务生成一个全局唯一的分布式事务 ID。由于其全局唯一性，我们可以通过 ...
专业版公测（2022年01月26日）
融合大数据DataWorks任务 在实际业务场景中业务处理往往依赖前置数据准备，目前在分布式任务调度平台上可进行DataWorks任务数据处理与业务数据处理任务依赖编排定时调度。更多信息，请参见 DataWorks任务。如何升级为专业版 操作步骤 ...
常见问题
可以，分布式事务已经打通了 SOFABoot、Dubbo、消息队列、数据访问代理、RDS、MySQL、Oracle、OceanBase 之间的事务。服务 A 调用服务 B，服务 A 上加了分布式事务并开启事务注解，服务 B 没有注解，那么 A 和 B 是否在同一个分布式事务中...
什么是分布式任务调度SchedulerX
分布式任务调度SchedulerX是阿里巴巴自研的分布式任务调度平台，兼容开源XXL-JOB、ElasticJob、Spring Schedule，K8s Job，支持Cron定时、一次性任务、可视化工作流任务编排和分布式跑批，具有高可用、可观测、可运维和低延时等能力。...
多语言版本分片模型
动态分片：主要场景是分布式处理未知数据量的数据，例如一张大表在不停变更，需要分布式跑批。主流的框架为SchedulerX提供的MapReduce模型，目前还没有对外开源。功能特性 多语言版本分片模型还具有以下特性。兼容elastic-job的静态分片...
企业版产品系列
一写多读 PolarDB 采用分布式集群架构，一个 集群版 集群包含一个主节点和最多15个只读节点（可以只包含一个主节点），多个数据库节点构成数据库引擎层。主节点处理读写请求，只读节点仅处理读请求。主节点和只读节点之间采用Active-Active...
产品架构
Storage Disaggregation（存储计算分离架构）存储和Shared Storage类似，有一个分布式的共享存储集群，计算层处理数据的模式和Shared Nothing类似，数据是分片的，每个Shard只处理自己所在分片的数据，每个计算节点还可以有本地缓存。...
概述
分布式事务可以与服务框架（SOFABoot、Spring Cloud、Dubbo 等）、数据源（数据访问代理、RDS、MySQL、OceanBase 等）、消息队列等蚂蚁集团中间件产品配合使用，轻松实现服务链路级事务、跨库事务、消息事务及各种组合。分布式事务主要涉及...
产品优势
数据访问代理的主要优势如下：分布式：数据读写存储集群化，不受单机限制，业务使用无连接数限制。弹性：数据服务可升降配，数据存储扁平化 scale-up（纵向扩展）和 scale-out（横向扩展），读写分离线性提升读能力。高性能：分库分表经典...
附录：SOFAStack 产品目录
分布式事务支持 数据访问代理结合中间件分布式事务套件，可以支持分布式事务，保证分布式数据库数据一致性。应用场景 海量数据读写 提供灵活的数据拆分机制，代码侵入性低，可以非常方便地实现数据的水平拆分与扩容，从而解决数据库单机...
引擎简介
Lindorm 核心能力实现的数据库内 高性能、低成本、稳定可靠 的分布式计算服务，满足用户在 云原生多模数据库 Lindorm 支撑场景下的数据生产、交互式分析、机器学习和图计算等场景中的计算需求，支持对海量数据的高并发处理。Lindorm计算...
什么是企业级分布式应用服务EDAS
权限管理概述 分布式任务调度 分布式任务调度SchedulerX是阿里巴巴基于Akka架构自研的新一代分布式任务调度平台，提供定时调度、调度任务编排和分布式批量处理等功能。您可以为EDAS中部署的应用接入SchedulerX，以完成应用的分布式任务调度...
事务与Read/Write Concern
MongoDB 4.2版本支持了分布式事务（分片事务），可以跨多个分片执行多个集合的不同文档事务操作。在MongoDB中，对于对单个文档的操作，系统始终保证其原子性。由于MongoDB文档结构的灵活性，业务侧总是可以使用嵌入式文档和数组结构来构造...
产品功能
标记成功 任务失败，如果后台将数据处理修正，重新执行又需要几个小时，可以直接将任务标记为成功。停止任务 实现JobProcessor的kill()接口，您就可以在前端停止正在运行的任务，甚至子任务。重刷数据 任务具有数据时间，也必然需要重刷...
查询执行模式
相比较于全内存计算的 Interactive 模式，Batch 模式可以对查询的任务进行分批执行，每个子任务在内存不足的情况下，自适应地将内存数据换出到磁盘，降低数据计算的成本，提升数据处理的容量上限。Interactive模式 AnalyticDB MySQL 接收到...
多语言版本分片模型
动态分片：主要场景是分布式处理未知数据量的数据，例如一张大表在不停变更，需要分布式跑批。主流的框架为SchedulerX提供的MapReduce模型，暂时还没有对外开源。功能特性 多语言版本分片模型还具有以下特性。兼容elastic-job的静态分片...
分布式链路概述
分布式链路（原 SOFAStack 中间件中的 概述）会逐步融合到业务智能可观测服务中，实现监控和链路分析一体化，方便用户对问题进行跟踪定位，对应用性能、调用链路进行实时分析。背景信息 分布式链路是面向分布式架构、微服务（比如 Spring ...
参与者接入模式
使用分布式事务涉及两个核心角色：发起方：指的是开启分布式事务的应用系统。参与者：指的是提供分支事务的应用系统。同一个应用系统可能兼具发起方和参与方两个角色。分布式事务目前提供了三种参与者接入模式：TCC 模式、FMT 模式 与 Saga...
概述
分布式（线性扩展）传统分布式数据库，业界常见基于Paxos/Raft的多副本机制构建列存，但OLTP和OLAP各自的查询场景会有不同的诉求，对资源的依赖程度也不同，不同副本之间强一致分区策略/扩缩容机制，使得TP和AP的线性扩容能力容易相互制约...
验证分析型查询请求能力
OceanBase 数据库采用了分布式架构，将数据分片存储在不同的节点上，通过数据分片和任务分片实现了数据和计算的并行处理。在OceanBase 中，每个节点都可以独立地执行任务，并且可以通过高速的网络互相通信，实现数据的交互和同步。PARALLEL...
人保健康
借助蚂蚁集团的金融级分布式架构 SOFAStack、金融级分布式数据库 OceanBase、金融级 PaaS 平台等能力，人保健康构建起对标行业水平的新一代互联网保险云核心业务系统。客户价值 人保健康新一代互联网保险云核心业务系统支持业务高并发需求...
PyODPS概述
提交到MaxCompute分布式执行（推荐）推荐您合理利用PyODPS提供的分布式DataFrame功能，将主要的计算提交到MaxCompute分布式执行而不是在PyODPS客户端节点下载处理，这是正确使用PyODPS的关键。推荐使用PyODPS DataFrame接口来完成数据处理...
功能特性
相对于中国很多分布式数据库采用的通过两种不同的计算引擎，甚至两套数据库系统去分别支持 OLTP 和 OLAP 的方式具有巨大优势。多租户 OceanBase 数据库采用了单集群多租户设计，天然支持云数据库架构，支持公有云、私有云、混合云等多种...
2024年
03-26 新增Pandas API 新说明 MaxFrame提供了兼容Pandas的API接口，您可以用类似于Pandas的方式来操作MaxCompute中的数据，同时利用MaxCompute强大的分布式计算能力，简化您在大数据环境下的数据处理工作。Pandas API支持 2024-03-26 新增...
Multi-Master关键技术介绍
本文对Multi-Master架构的关键技术点进行介绍，包括分布式事务处理、全局死锁处理、DDL支持、分布式表锁支持、集群容错和高可用能力。分布式事务管理 AnalyticDB PostgreSQL版 分布式事务 AnalyticDB PostgreSQL版 通过二阶段提交协议（2PC...
基本概念
ClickHouse集群（Cluster）在物理构成上，ClickHouse集群是由多个ClickHouse Server实例组成的分布式数据库。这些ClickHouse Server根据购买规格的不同而可能包含1个或多个副本（Replica）、1个或多个分片（Shard）。在逻辑构成上，一个...
数据科学计算概述
为满足用户基于MaxCompute进行大规模数据处理、分析、挖掘及模型训练的需求，MaxCompute提供了一套Python开发生态，让用户通过统一的Python编程接口一站式、高效地完成数据处理、加工及挖掘工作。发展路径 MaxCompute提供的Python开发生态...
AUTO模式数据库与DRDS模式数据库
可以让您便捷地享受到分布式数据库的透明式分布、弹性伸缩和分区管理等诸多红利。PolarDB-X 5.4.13版本之前的数据库称为DRDS模式的数据库。这种模式的数据库不支持自动分区，创建表时需使用DRDS专用的分库分表语法，指定分库分表键，否则...
应用场景
对于传统企业的服务化转型来说，使用分布式框架不是银弹，在解决了传统的单块架构系统随着业务需求的快速变化而面临的挑战后，分布式架构也为研发和运维增加了更大的复杂度和管理成本，基于分布式框架来进行架构改造的应用和业务通常会面临...
什么是云原生数据库PolarDB分布式版
集中式和分布式一体化 PolarDB-X 全面构建集中式和分布式一体化的架构能力（简称“集分一体”），兼具分布式数据库的扩展性和集中式数据库的功能和单机性能，两种形态可以无缝切换。在集分一体化数据库中，数据节点被独立出来作为集中式...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
典型场景
ETL离线数据处理 面对复杂SQL优化和海量数据大规模聚合分析等挑战，云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势：支持标准SQL、OLAP窗口函数和存储过程。ORCA分布式SQL优化器，复杂查询免调优。MPP多节点全并行计算，PB级数据...
离线同步并发和限流之间的关系
如果您对于同步性能有比较高的诉求可以使用分布式模式，另外分布式模式也可以使用机器的碎片资源，对资源利用率友好。限制和最佳实践：分布式执行模式下，配置较大任务并发度可能会对您的数据存储产生较大的访问压力，请评估数据存储的访问...
流式数据通道概述
MaxCompute流式数据通道服务功能点如下：提供流式语义API：通过流式服务的API可以方便地开发出分布式数据同步服务。支持自动创建分区：解决数据同步服务并发创建分区导致的并发抢锁问题。支持增量数据异步聚合（Merge）：提升数据存储效率...
实现原理
CeresDB 是蚂蚁自研的时序数据库，时序引擎是一种存储和管理时间序列数据的分布式数据库，为时间序列提供高性能读写、预处理计算、可视化查询等功能。产品层 产品层（应用名为 monitorprod）承载了 RMS 的所有页面以及用户交互、配置逻辑，...
SOFAStack 总体经济影响报告
应用开发效率提升80%使用蚂蚁SOFAStack后，受访企业开发人员不仅无需了解分布式中间件的复杂细节以及花费大量精力处理业务逻辑，而且可以借助微服务架构的商用化支持加速业务逻辑的微服务化与复用，持续集成和持续交付能力简化了应用开发...
常见问题
如何处理分布式DDL报错：longer than distributed_ddl_task_timeout(=xxx)seconds？如何处理语法报错：set global on cluster default？有什么BI工具推荐？有什么数据查询IDE工具推荐？数据存储 如何查看每张表所占的磁盘空间？如何查看冷...
表结构设计
写入时容易发生倾斜影响写入性能，且多数查询通常是限定了日期或者时间段，如：查询最近一天或者一个月的数据，可能会导致要查询的数据只存在于一个节点上，无法充分利用分布式数据库中所有节点的处理能力。日期、时间类型的字段建议作为二...
OceanBase 4.x 简介
更多规格选择 OceanBase 数据库 4.x 版本提供更多规格选择，最小支持 4C16G 小规格单机部署，支持客户业务从小到大的全生命周期，在云上可以满足小微客户的诉求，降低分布式数据库的使用门槛。4.x 版本兼容 MySQL 8.0，支持更多的 SQL MODE...
如何创建秒级调度任务
秒级任务适合对实时性要求比较高的业务，例如不停做轮询的准实时业务，通过内存网格和秒级调度，可以让您不停地处理海量的数据。本文将以一个实例介绍如何创建秒级调度任务。SchedulerX的秒级别任务属于定时调度类型，适用于简单Java任务、...
- 产品推荐
- 这些文档可能帮助您