事务与Read/Write Concern
分布式事务里仅支持3种Read Concern级别，分别为"local"、"majority"、"snapshot。因果一致性会话里，必须使用"majority"级别的Read Concern。最佳实践 对于分布式事务，只需设置事务的Read Concern，无需设置事务里每个操作 不需要为事务...
PolarDB-X历史
DRDS的商业化成功，标志着阿里巴巴分布式数据库技术完成了从内部孵化到市场化运营的阶段性转变，以及从分布式数据库中间件到分布式数据库系统实质性跨越。PolarDB-X 1.0阶段 关键字：架构与品牌升级；国计民生项目 2018~2019年，DRDS凭借...
新建 PolarDB-X 2.0 数据源
背景信息 云原生数据库 PolarDB 分布式版（简称 PolarDB-X）是由阿里巴巴自主研发的云原生分布式数据库，为您提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。详情请参见 什么是云原生数据库 PolarDB 分布式版。前提条件...
行业趋势与背景
在这种需求下，大规模分布式事务型数据库成为解决分布式系统数据存储、管理的主要方向。PolarDB-X 技术发展 产品前言 PolarDB-X 是由阿里巴巴自主研发的云原生分布式数据库，融合分布式SQL引擎DRDS与分布式自研存储X-DB，基于云原生一体化...
南京银行
解决方案 2017 年，南京银行引入蚂蚁集团金融级分布式交易架构能力——分布式架构 SOFAStack、分布式数据库 OceanBase，以及大数据平台能力，构建新的互联网金融核心，并于同年 11 月上线互联网金融平台“鑫云+”。客户价值 新平台开创“1+...
应用场景
下文以支付转账为场景说明消息队列如何实现以下功能：异步解耦 分布式事务的数据一致性 削峰填谷 异步解耦 传统处理方式 最常见的一个场景是支付转账成功后，需要生成交易双方的账单，并更新用户权益，发送用户通知。传统的做法有以下两种...
数据重排
因为 ORDER BY 是全局排序，对计算性能的开销较大，而且集中在单个Reduce上排序并不能起到分布式处理的效果，所以可以通过 DISTRIBUTE BY+SORT BY 和 CLUSTER BY 两种方式来进行数据重排。注意事项 进行数据重排会占用和消耗计算资源，如果...
应用场景
同时，OceanBase 数据库的分区表方案也可以使得用户完全无需关注数据的分布细节，轻松支持跨分区的分布式事务、多分区的关联，真正实现“透明”访问分布式数据库。会员系统的多维度查询 会员系统在很多企业中也都是存在的，系统中保存了很...
常见问题
如果您使用的是数据访问代理中的分布式事务，因为数据访问代理和分布式事务已经深度集成，部署时是不需要任何依赖的，仅需一行事务开启 SQL 语句就能开启事务。如果您是基于 SDK 方式使用分布式事务，就需要在引入的分布式事务 SDK 的 pom....
产品优势
兼容性保障 分布式事务是一个抽象的基于 Service 层的概念，与底层事务实现无关，也就是说在分布式事务的范围内，无论是关系型数据库 MySQL、Oracle，还是 KV 存储 MemCache，或是列存数据库 HBase，只要将对它们的操作包装成分布式事务的...
影响查询性能的因素
数据分布特征 由于使用了分布式数据处理架构，AnalyticDB MySQL版 具备将一条查询分解到多个节点上并行执行的能力。但 AnalyticDB MySQL版 能否充分利用多节点来并行处理查询，还取决于数据在存储节点上的分布特征。如果数据能够均匀分布在...
移除分布式实例
分布式实例不支持直接释放，若您需要释放闲置的 云原生内存数据库Tair 分布式实例资源，您可以移除或释放分布式实例下各子实例，以节省资源。注意事项 在移除或释放实例的过程中，分布式实例中未被操作的实例可正常访问，不会发生闪断。...
移除分布式实例
分布式实例不支持直接释放，若您需要释放闲置的 云原生内存数据库Tair 分布式实例资源，您可以移除或释放分布式实例下各子实例，以节省资源。注意事项 在移除或释放实例的过程中，分布式实例中未被操作的实例可正常访问，不会发生闪断。...
离线同步能力说明
分布式执行任务 部分数据源支持分布式执行任务，分布式执行模式可以将您的任务切片分散到多台执行节点上并发执行，进而做到同步速度随执行集群规模做水平扩展，突破单机执行瓶颈。如果您对于同步性能有比较高的诉求可以使用分布式模式。...
产品架构
时序引擎 LindormTSDB 是面向海量时序数据设计的分布式时序引擎，兼容开源OpenTSDB等标准接口，其基于时序数据特点和查询方式，采用Timerange+hash结合的分区算法，时序专向优化的LSM架构和文件结构，支持海量时序数据的低成本存储、预降...
典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...
产品概述
产品简介 PolarDB-X 1.0 是由阿里巴巴自主研发的PolarDB分布式版数据库，融合分布式SQL引擎与分布式自研存储X-DB，基于云原生一体化架构设计，可支撑千万级并发规模及百PB级海量存储。专注解决海量数据存储、超高并发吞吐、大表瓶颈以及...
数据导入性能优化
建议打开 分布式处理能力，以取得更好的同步性能。常见问题及解决方法 当客户端导入压力不足时，会导致集群CPU使用率、磁盘IO使用率及写入响应时间处于较低水位。数据库服务器端虽然能够及时消费客户端发送的数据，但由于总发送量较小，...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
数据导入性能优化
建议打开 分布式处理能力，以取得更好的同步性能。常见问题及解决方法 当客户端导入压力不足时，会导致集群CPU使用率、磁盘IO使用率及写入响应时间处于较低水位。数据库服务器端虽然能够及时消费客户端发送的数据，但由于总发送量较小，...
应用场景
提供大数据和人工智能的中台能力建设，支持分布式金融核心系统的异地多活架构。金融级云原生应用 说明 满足金融业务发展和严苛场景考验，让云计算更懂金融。蚂蚁集团自主研发的金融级分布式架构平台，专注为金融用户提供全栈式的基础架构...
计算设置概述
Apache Flink Apache Flink是一个分布式处理引擎，用于对无界和有界数据流进行有状态计算。Fusioninsight Flink Fusioninsight Flink 是一种基于Apache Flink的流式处理引擎，可以实现高速数据流的实时计算和分析。Blink独享版 Blink是阿里...
附录：SOFAStack 产品目录
任务调度 任务调度（Task Scheduler，简称 TS）提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化地对金融企业不同业务系统的任务进行统一的调度和全方位的监控运维管理。产品架构 产品优势 支持集群任务...
数据分析整体趋势
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...
企业版产品系列
共享分布式存储（PolarStore）多个计算节点共享一份数据，而不是每个计算节点都存储一份数据，极大降低了用户的存储成本。基于分布式块存储和文件系统，存储容量可以在线平滑扩展，不会受到单个数据库服务器的存储容量限制，可应对上百TB...
公共节点
资源类型 节点类型 描述 离线类型 MaxCompute SQL MaxCompute SQL节点采用类似SQL的语法，适用于海量数据（TB级）但实时性要求不高的分布式处理场景，具体操作，请参见 新建MaxCompute SQL类型的公共节点。MaxCompute MR MaxCompute MR节点...
PyODPS概述
PyODPS提供了 to_pandas 接口，可以直接将MaxCompute数据转化成Pandas DataFrame数据结构，但这个接口只应该被用于获取小规模数据做本地开发调试使用，而不是用来大规模处理数据，因为使用这个接口会触发下载行为，将位于MaxCompute中的...
分布式链路概述
Trace ID 代表唯一一次请求的 ID，此 ID 一般由集群中第一个处理请求的系统产生，并在分布式调用下通过网络传递到下一个被请求系统。Span 代表本次请求的完整信息，包括调用是否成功、调用类型、调用耗时等。其中最核心是 Span ID，代表了...
如何对JSON类型进行高效分析
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
数据科学计算概述
MaxFrame是由阿里云自研的分布式科学计算框架，是对历史相关产品功能（PyODPS、Mars）的重大升级，在MaxCompute之上提供一套完全兼容Pandas接口的API，让用户用更为熟悉、更符合Python社群习惯的方式使用MaxCompute。本文为您介绍...
SOFAStack 总体经济影响报告
应用开发效率提升80%使用蚂蚁SOFAStack后，受访企业开发人员不仅无需了解分布式中间件的复杂细节以及花费大量精力处理业务逻辑，而且可以借助微服务架构的商用化支持加速业务逻辑的微服务化与复用，持续集成和持续交付能力简化了应用开发...
产品架构
共享分布式存储 多个计算节点共享一份数据，而不是每个计算节点都存储一份数据，极大降低了用户的存储成本。基于全新打造的分布式块存储（Distributed Storage）和文件系统（Distributed Filesystem），存储容量可以在线平滑扩展，不会受到...
产品架构
共享分布式存储 多个计算节点共享一份数据，而不是每个计算节点都存储一份数据，极大降低了用户的存储成本。基于全新打造的分布式块存储（Distributed Storage）和文件系统（Distributed Filesystem），存储容量可以在线平滑扩展，不会受到...
概述
SOFAStack 消息队列（SOFAStack MQ，简称 SOFAMQ）是基于 Apache RocketMQ 构建的分布式消息中间件，并与金融分布式架构 SOFAStack 深度集成，为分布式应用系统提供异步解耦和削峰填谷的能力，支持事务消息、顺序消息、定时消息等多种消息...
查询执行模式
在 Interactive 模式下，一个查询的所有分布式执行任务会被同时调度执行，每个任务完全基于内存进行计算，数据以流水线的方式在上下游任务之间进行流转。适用场景：适用于对延迟敏感的实时分析查询。Batch模式 在 Batch 模式下，执行引擎会...
产品优势
高性能 支持秒级别调度，轻量级分布式计算可以帮助您完成准实时的大数据跑批。免运维、低成本 无机器和人工运维成本且接入简单。基础版成本是开源自建的三分之一；专业版集成了短信电话报警、日志服务、链路追踪、监控大盘等，无需额外费用...
TCC 模式接入
数据可见性控制：当一笔分布式事务正在处理中，此时如果有查询，则需要兼容未处理完的中间数据的可见性。一般通过文案展示告诉用户中间数据的存在，例如告诉用户当前冻结的金额有多少。隔离性控制：对于状态类数据，需要提供隔离性控制来...
参与者接入模式
使用分布式事务涉及两个核心角色：发起方：指的是开启分布式事务的应用系统。参与者：指的是提供分支事务的应用系统。同一个应用系统可能兼具发起方和参与方两个角色。分布式事务目前提供了三种参与者接入模式：TCC 模式、FMT 模式 与 Saga...
应用场景
对于传统企业的服务化转型来说，使用分布式框架不是银弹，在解决了传统的单块架构系统随着业务需求的快速变化而面临的挑战后，分布式架构也为研发和运维增加了更大的复杂度和管理成本，基于分布式框架来进行架构改造的应用和业务通常会面临...
X-Engine简介
这两个问题虽然可以通过扩展数据库节点的分布式方案解决，但是堆机器不是一个高效的手段，我们更想用技术的手段将数据库性价比提升，实现以少量资源换取性能大幅提高的目的。传统数据库架构的性能已经被仔细的研究过，数据库领域的泰斗，...
- 产品推荐
- 这些文档可能帮助您