强一致分布式事务
任意时间点的数据恢复（PITR，point-in-time recovery）都可以快速将时间戳转化为分布式的中心授时，在备份恢复中按数据的版本可见性进行处理，同时 PolarDB-X 结合分布式的多节点并行来全面提升备份恢复的效率。具体特性请参见 数据备份与...
产品概述
什么是PolarDB PolarDB 是阿里巴巴自研的新一代云原生数据库，在计算存储分离架构下，利用了软硬件结合的优势，为用户提供具备极致弹性、高性能、海量存储、安全可靠的数据库服务。100%兼容MySQL和PostgreSQL生态，高度兼容Oracle语法。...
2021年
2021-10-29 全部地域 Lindorm外部表（云原生多模数据库）MCQA（MaxCompute Query Acceleration）查询缓存机制商业化发布 对于每个MCQA查询作业，MaxCompute会在内部创建临时数据集来缓存查询结果。使用相同查询的时候会优先使用缓存的结果...
StarRocks概述
StarRocks采用分布式架构：对数据表进行水平划分并以多副本存储。集群规模可以灵活伸缩，支持10 PB级别的数据分析。支持MPP框架，并行加速计算。支持多副本，具有弹性容错能力。说明 本文部分内容来源于开源StarRocks的 什么是StarRocks。...
PolarDB PostgreSQL版架构介绍
加速比 TPC-H性能：和传统MPP数仓对比 分布式执行加速索引创建 分布式并行执行加速多模：时空数据库 传统数据库的问题 随着用户业务数据量越来越大，业务越来越复杂，传统数据库系统面临巨大挑战，例如：存储空间无法超过单机上限。...
应用场景
然而在大流量场景下，为了高可用和可扩展性，业务通常选择向微服务的分布式架构方向演进。在这样的架构中提供多步骤事务性的保证通常需要引入队列和数据库来持久化消息以及展现流程状态，这类系统的开发和运维会给业务方带来额外的成本和...
数据科学计算概述
MaxFrame是由阿里云自研的分布式科学计算框架，是对历史相关产品功能（PyODPS、Mars）的重大升级，在MaxCompute之上提供一套完全兼容Pandas接口的API，让用户用更为熟悉、更符合Python社群习惯的方式使用MaxCompute。本文为您介绍...
序言
共建金融级云原生分布式架构 基于蚂蚁集团向云原生技术架构演进中积累的十多年实践经验，对于上述金融级 IT 系统在迈向云原生架构的过程中面对的挑战，我们总结了以下几点应对策略：从经典 IT 架构迈向金融级云原生架构的转型过程中，我们...
HBase存算一体转存算分离
EMR-HBase存算分离架构下，需要通过JindoData实现分布式缓存加速，因此必须部署JindoData服务。配置JindoData。新增Jindodata服务后，需要进行以下配置才能生效，请修改Hadoop-Common组件 core-site.xml 配置文件的配置项。参数 说明 fs....
概述
结合PolarDB分布式架构，列存索引支持智能路由和MPP查询加速技术。计算层会精确识别出TP和AP的流量，并智能地将TP和AP流量分别路由到不同的存储介质上，同时确保在AP链路上默认开启MPP并行查询技术扫描列存索引，从而提升查询分析的能力。...
JindoData版本说明
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。本文为您介绍JindoData各版本支持的功能。背景信息 JindoData是原阿里云EMR SmartData组件...
数据分析整体趋势
随着Google等互联网企业崛起，以Hadoop为代表的基于传统x86服务器集群的大数据技术迅速发展，同时开源分布式数据库如Greenplum等也成为相应替代方案，为广大中小企业，尤其是互联网行业大大降低了数据分析的技术和成本门槛，还有分布式技术...
概述
分布式链路跟踪系统（Distributed System Tracing，简称 DST）是面向分布式架构、微服务（Spring Cloud、SOFAStack、Service Mesh 等）架构等云原生架构的一种具有应用可观察性（Observability）的金融级解决方案。通过 DST，运维人员、...
附录：SOFAStack 产品目录
分布式链路跟踪 分布式链路跟踪（Distributed System Tracing，简称 DST）是一款面向分布式架构、微服务架构和云原生架构的应用可观察性的金融级解决方案，帮助用户厘清应用间复杂的调用关系，迅速定位故障或者缓慢节点。产品架构 产品优势...
南京银行
解决方案 2017 年，南京银行引入蚂蚁集团金融级分布式交易架构能力——分布式架构 SOFAStack、分布式数据库 OceanBase，以及大数据平台能力，构建新的互联网金融核心，并于同年 11 月上线互联网金融平台“鑫云+”。客户价值 新平台开创“1+...
概述
SOFAStack 提供了一套用于快速构建金融级分布式架构的中间件，是在严苛的金融场景里锤炼出来的最佳实践。要使用 SOFA 中间件，例如微服务或消息队列，推荐使用 SOFABoot 框架进行开发。SOFABoot SOFABoot 是蚂蚁科技基于 Spring Boot 自研...
计算设置概述
设置Dataphin实例的计算引擎为Hadoop CDH5.x Hadoop CDH6.x Hadoop 全球应用较广的分布式系统基础架构，核心为HDFS和MapReduce，提供了海量数据存储与计算。全球应用较广的分布式系统基础架构，核心为HDFS和MapReduce，提供了海量数据存储...
混合负载HTAP
全局一致性读 传统读写分离架构下，数据复制的延迟可能带来的数据写后读（read-after-write）不一致问题。PolarDB-X 中，对于路由给只读实例的查询，默认开启全局一致性读能力，确保业务不会读到过期的数据，向主实例写入成功后能在只读库...
四川农信
这将是银行业共同面对的技术挑战，而分布式架构和云计算技术已经成为业内公认的解决方案。可扩展性强，处理效率高，容错能力强，总体拥有成本低，是分布式系统的重要特点，能够有效的解决传统架构的性能瓶颈，并满足金融级的高可靠性要求...
典型客户案例
新平台建立在金融分布式架构 SOFAStack 和分布式数据库 OceanBase 之上，从系统建设、研发模式、运维管控等方面全面实现分布式架构转型升级。至今，“鑫云+”已服务多家银行的上百万用户，平均每个客户的放款时间只需 1 秒，日处理订单量...
功能特性
分布式事务（Distributed Transaction-eXtended，简称 DTX）是蚂蚁集团自主研发的金融级分布式事务中间件，支持跨数据库、跨服务以及混合的方式处理分布式应用，具备多种接入模式和金融级配套功能，本文将主要介绍分布式事务的功能特性。...
HDFS概述
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景...
PolarDB PostgreSQL版：ePQ架构详解
基于 PolarDB PostgreSQL版 的存储计算分离架构，推出了分布式ePQ执行引擎，提供了跨机并行执行、弹性计算、弹性扩展的保证，使得 PolarDB PostgreSQL版 初步具备了HTAP的能力。其优势如下：一体化存储：毫秒级数据新鲜度。TP/AP共享一套...
整体架构
BSP模式，通过DAG进行任务切分，分批调度，满足有限资源下大数据量计算，支持计算数据落盘。羲和计算引擎提供自动切换能力，即当查询使用MPP模式无法在一定耗时内完成时，系统会自动切换为BSP模式进行执行。湖仓版新增的开源Spark计算引擎...
分布式链路概述
背景信息 分布式链路是面向分布式架构、微服务（比如 Spring Cloud、SOFAStack、Service Mesh）架构等云原生架构，提供应用可观测性的一种金融级解决方案。帮助运维人员、开发人员和架构师轻松应对复杂的大规模微服务架构下的应用及服务...
PolarDB PostgreSQL版：ePQ架构详解
基于 PolarDB PostgreSQL版（兼容Oracle）的存储计算分离架构，推出了分布式ePQ执行引擎，提供了跨机并行执行、弹性计算、弹性扩展的保证，使得 PolarDB PostgreSQL版（兼容Oracle）初步具备了HTAP的能力。其优势如下：一体化存储：毫秒级...
什么是高可用管理平台
高可用管理平台（High Availability Service，HAS）是基于蚂蚁多年技术风险防控理论和实践而衍生出的产品，是蚂蚁分布式架构 SOFAStack 的重要组成部分。高可用管理平台覆盖了应用运行风险事件事前、事中、事后的全流程管理。事前：通过...
产品优势
分布式链路跟踪 面向分布式架构、微服务架构和云原生架构的应用可观察性的金融级解决方案，帮助您快速发现并准确定位应用全生命周期的性能问题，具有全链路追踪、简单易用、扩展性强等特点。数据访问代理 提供水平拆分、平滑扩缩容、读写...
技术架构
PolarDB PostgreSQL版（兼容Oracle）采用Shared Everything架构，利用分布式共享存储实现存储和计算的分离。计算节点与存储节点分离的架构设计给 PolarDB PostgreSQL版（兼容Oracle）带来了实时的水平扩展能力。由于单个数据库实例的计算...
持续架构优化
微服务模式通过分布式架构将应用水平扩展和冗余部署，从根本上解决了单体应用在拓展性和稳定性上存在的先天架构缺陷。通过应用微服务化以后，应用中不同生命周期的模块将可以分离出来分别进行业务迭代，避免迭代频繁模块被慢速模块拖慢，...
JindoFS介绍和使用
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
组件中心
中间件 分布式链路跟踪 一款实时监控并管理企业应用性能和故障的云服务，其提供数字化性能管理解决方案，帮助企业在分布式架构下快速发现并准确定位应用全生命周期的性能问题。任务调度 提供分布式任务调度框架，实现任务的分布式处理，并...
功能特性
云数据库MongoDB版（ApsaraDB for MongoDB）完全兼容MongoDB协议，基于飞天分布式系统和高可靠存储引擎，提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。本文介绍云数据库MongoDB版的功能特性。架构灵活 云数据库...
产品功能
分布式架构，单节点故障业务不受影响 云数据库Memcache版采用分布式集群架构，每个节点均由双机热备架构组成，具备自动容灾及故障迁移能力。多种规格可适配不同的业务压力，数据库性能支持无限扩展。支持数据持久化及备份恢复策略，有效的...
使用JindoFS加速OSS文件访问
背景信息 Fluid是一个开源的Kubernetes原生的分布式数据集编排和加速引擎，主要服务于云原生场景下的数据密集型应用，例如大数据应用和AI应用等。有关Fluid的更多介绍，请参见 数据加速Fluid概述。JindoRuntime来源于阿里云EMR团队JindoFS...
基本概念
针对金融级场景下大规模分布式系统的特点，提供了丰富的发布策略以满足不同的场景，帮助传统架构平滑过渡，适应金融技术风险保障需求，实现大规模金融级运维场景下的容器服务落地。ALB 负载均衡（Ant Financial Load Balancer，ALB）是将...
Impala概述
优点 为了避免延迟，Impala没有使用MapReduce，而是使用分布式查询引擎直接访问数据，该引擎与RDBMS中的查询引擎相似，其性能比Hive快了几个数量级，具体取决于查询和配置的类型。Impala相对于Hadoop上SQL查询，优点如下：由于在数据节点上...
行业趋势与背景
一方面，随着x86技术日趋成熟，稳定性与小型机的差距不断缩小，另一方面，MySQL采用轻量化线程模型并具备高并发的支持能力，其生态逐步完善，因此新方案采用了基于Sharding技术+开源MySQL的分布式架构（TDDL+AliSQL），这代产品的特征是以...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
背景信息 Hadoop生态的优势是处理大规模数据集，但是其缺点也很明显，就是当用于交互式分析时，查询时延会比较长。而Elasticsearch擅长于交互式分析，对于很多查询类型，特别是对于Ad-hoc查询（即席查询），可以达到秒级。ES-Hadoop的推出...
容量规划
块存储（EBS）是基于分布式存储架构的云盘和基于物理机本地硬盘的本地盘产品。可以根据业务需求自定义云盘的预配置性能以及性能突发的能力。不同的规格和类型的存储具有不同的IOPS和吞吐量上限，客户可以根据业务需求灵活自定义选择。数据...
- 产品推荐
- 这些文档可能帮助您