江西农信
江西农信日前携手蚂蚁集团，使用最前沿的云原生技术，实现了传统业务系统从集中式技术架构下移，并平滑迁移上云，为整体核心系统进行分布式架构升级和演进探索积累了坚实的技术基础。客户需求 过去多年，江西农信基于传统 ESB...
产品架构
分布式文件系统 LDFS（Lindorm DFS，也称为Lindorm文件引擎）是面向云基础存储设施设计、兼容HDFS协议的分布式存储系统，并同时支持运行在本地盘环境，以满足部分大客户的需求，向多模引擎和外部计算系统提供统一的、与环境无关的标准接口...
技术架构
存储节点（Data Node，DN），主要提供数据存储引擎，基于多数派Paxos共识协议提供高可靠存储、分布式事务的MVCC多版本存储，另外提供计算下推能力满足分布式的计算下推要求（比如Project/Filter/Join/Agg等下推计算），可支持本地盘和共享...
基础术语
OceanBase OceanBase 是阿里巴巴与蚂蚁科技独立自主研发的一款分布式关系数据库产品，融合传统关系数据库和分布式系统的优势，具备高可用、高性能、高可扩展性，在功能上兼容 MySQL 等特点，在通用硬件上提供金融级高可用的数据库服务。...
方案分析
在开源方案中，通常会在选择了关系型数据库作为存储系统的基础上，选择开源Redis，这样既能覆盖上述的几个特征，还能保证Feed流系统正常运行起来，但是也会带来一些其他问题：表格存储 Redis 存储成本 磁盘性数据库，费用比内存性的要低几...
NVMe协议介绍
分布式缓存加速 NVMe共享云盘具备很高的性能、IOPS和吞吐，可以为其他中低速的存储系统提供性能加速能力。例如数据湖场景，数据湖通常基于OSS搭建，可同时被多个客户端访问，同时具备很高的顺序读吞吐、和追加写吞吐能力，但是其顺序读写...
高压缩引擎（X-Engine）介绍
PolarDB 借助于共享分布式存储服务，实现了存储容量在线平滑扩容，同时计算资源和存储资源间采用高速网络互联，并通过RDMA协议进行数据传输，使I/O性能不再成为瓶颈。集成到 PolarDB 的X-Engine引擎同样获得了这些技术优势。如下技术创新将...
关键技术竞争力
异构兼容标准管控 SOFA Mesh 提供平台无关、语言无关、轻量无侵入特性的云原生方案，实现了传统应用平滑上云，支持异构系统之间的互联互通，传统应用向分布式架构平滑升级，提供了既支持基于 ESB 的传统 SOA 架构又支持 Spring Cloud 和 ...
基本概念
分布式链路跟踪 EDAS鹰眼监控系统能够分析分布式系统的每一次系统调用、消息发送和数据库访问，从而精准发现系统的瓶颈和隐患。分布式任务管理 SchedulerX 是阿里巴巴中间件团队开发的一款分布式任务调度产品。用户在应用中依赖SchedulerX-...
基本概念
文件存储NAS使用架构 文件存储NAS是一个可共享访问、弹性扩展、高可靠、高性能的分布式文件系统。可支持上千台弹性计算ECS、容器服务ACK等计算节点共享访问，您无需修改应用程序，即可迁移业务系统上云。计算节点和NAS各模块的关系如下图所...
产品优势
高可用和高可靠保障，数据安全可靠 共享分布式存储的设计，彻底解决了主从（Master-Slave）异步复制所带来的备库数据非强一致的缺陷，使得整个数据库集群在应对任何单点故障时，可以保证数据零丢失。多可用区架构，在多个可用区内都有数据...
概述
分布式系统将计算任务和数据分布在多个节点上以实现更高的性能、可靠性和可扩展性，当一个节点发生故障或错误时，其他节点可以继续工作，相比于单机系统，架构本身就有较高的节点容错性。但随着服务拆分，更多组件的引入，分布式系统的复杂...
产品优势
高可用和高可靠保障，数据安全可靠 共享分布式存储的设计，彻底解决了主从（Master-Slave）异步复制所带来的备库数据非强一致的缺陷，使得整个数据库集群在应对任何单点故障时，可以保证数据零丢失。多可用区架构，在多个可用区内都有数据...
故障演练
故障隶属于单机或是分布式系统之一，分布式故障包含单机故障。对于单机或同机型的故障，以系统为视角，故障可能是当前进程内的故障，比如：如FullGC，CPU飙高；进程外的故障，比如其他进程突然抢占了内存，导致当前系统异常等。对于大多数...
云盘存储卷概述
您可以在 ACK Serverless集群 中使用阿里云云盘存储卷，本文主要介绍云盘存储卷的功能介绍、存储规格、适用场景、注意事项以及计费说明。功能介绍 云盘是阿里云为云服务器ECS提供的数据块级别的块存储产品，具有低时延、高性能、持久性、高...
什么是故障演练
模拟依赖的分布式存储不可用，验证系统的容错能力；模拟调度节点不可用，测试调度任务是否自动迁移到可用节点；模拟主备节点故障，测试主备切换是否正常。验证监控告警的时效性 通过对系统注入故障，验证监控指标是否准确，监控维度是否...
2022年
企业级分布式批处理方案 1.4.2，2022-03-07 变更类型 功能描述 相关文档 新增 分布式任务调度系统SchedulerX 2.0的日志服务，您不需要修改一行代码，只需要增加一个Log4j或Logback的配置，即可在控制台看到每次任务调度（包括分布式任务）...
设计方案
容错 容错是指在分布式系统中，系统出现故障时，通过设计和实现可靠的机制和策略，使系统能够自动检测、排除或者纠正错误，保证系统能够正常运行，从而提高系统的可靠性和稳定性。容量 容量是在一定时间内，系统能够处理的最大工作量或数据...
归档存储服务等级协议
服务功能 归档存储适用于非结构化数据的长时间归档存储，底层采用分布式存储机制。归档存储存储的单个文件最大可支持40TB，文件类型和个数默认不设限制。归档存储服务的所有具体功能请详见阿里云在官网上提供的详细说明文档、技术文档及...
表设计
主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀，避免热点。假设数据分布不均匀，会出现以下问题：数据写入和读取能力受限于单个分区的能力，或者是单机能力，存在...
客户案例
OceanBase 兼容 MySQL5.6 版本大部分功能，完全覆盖报表业务的需求，报表业务可以像使用 MySQL 那样去使用 OceanBase，不需要业务做过多的逻辑改造，同时作为分布式关系数据库，还能够提供复杂的跨多结点的分布式 JOIN 能力，以及并行的...
设计原则
冗余存储：通过使用冗余存储技术，如磁盘阵列、分布式文件系统等，将数据复制到多个存储设备上。这样可以确保一台设备故障时，数据仍然可用；容灾计划：制定容灾计划，包括灾难恢复策略、应急响应流程和恢复时间目标（RTO）等。容灾计划...
迁移开源HDFS的数据到文件存储 HDFS 版
文件存储 HDFS 版 可以帮助您实现将开源HDFS的数据迁移到云上，并允许您在云上就像在Hadoop分布式文件系统中管理和访问数据。准备工作 开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。...
本地盘最佳实践
但云盘采用分布式三副本机制，能防止意外硬件故障导致的数据不可用。如果应用没有多节点数据冗余架构，强烈建议您选择云盘。最佳实践 选型 对于大数据、重型数据库应用，带本地盘的实例（例如i2、d1等）在成本、存储访问时延上有着较大的...
流计算实现细节
了解对接Structured Streaming的微批模式的过程，以及表格存储对接Spark Structured Streaming的详细接入流程。背景信息 在对接Spark Structured Streaming的微批模式时，以Spark DataSource v1接口为例说明过程。调用GetOffset方法获取...
HDFS概述
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景...
聚合支付：Ping+
历史存量数据存在RDS MySQL之上，希望迁移后的分布式数据库语法兼容MySQL，迁移成本低。技术选型 主动在阿里云了解到 PolarDB-X。此前对比过开源产品Mycat。Mycat前期人力成高、后期需要部署维护，问题解决成本高、时间长。PolarDB-X 商务...
概述
文件存储HDFS版 文件存储HDFS版（Apsara File Storage for HDFS）是一款面向阿里云ECS实例及容器服务等计算资源的文件存储服务，满足以Hadoop为代表的分布式计算业务类型对分布式存储性能、容量和可靠性的多方面要求。表格存储 表格存储...
功能特性
数据存储 功能集 功能 功能描述 ...基本概念 客户端 加速客户端 阿里云NAS提供的加速客户端为应用提供了接近本地文件系统的小文件操作性能和计算端分布式缓存能力，可在不增加成本的情况下明显的提高容器计算速度。创建CNFS管理NAS文件系统
使用NAS静态存储卷
NAS存储卷是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。本文介绍如何使用阿里云NAS静态存储卷，以及如何实现持久化存储与共享存储。前提条件 已创建 ACK Serverless集群。具体操作，请参见 创建ACK Serverless集群。已...
现代IM系统中的消息系统—架构
IM系统在互联网初期即存在，其基础技术架构在这十几年的发展中更新迭代多次，从早期的CS、P2P架构，到现在后台已经演变为一个复杂的分布式系统，涉及移动端、网络通信、协议、安全、存储和搜索等技术的方方面面。IM系统中最核心的部分是...
概述
消息队列 SOFAStack 消息队列是基于 Apache RocketMQ 构建的分布式消息中间件，并与金融分布式架构 SOFAStack 深度集成，为分布式应用系统提供异步解耦和削峰填谷的能力，支持事务消息、顺序消息、定时消息等多种消息类型，并具备高可靠、...
通过NFS使用NAS静态存储卷
NAS是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。本文介绍如何使用阿里云NAS静态存储卷，及如何实现持久化存储与共享存储。前提条件 已创建Kubernetes集群。具体操作，请参见 创建Kubernetes托管版集群。已创建NAS文件...
企业版产品系列
产品架构 多主集群（库表）的架构图如下：集群中所有的数据文件都存放在共享分布式存储（PolarStore）中，各个RW节点通过分布式文件系统（PolarFileSystem）共享底层存储（PolarStore）中的数据文件。用户可以通过集群地址访问整个集群，...
文件存储CPFS
数据持久性和服务可用性 文件存储CPFS的数据持久化存储于阿里云自研的盘古分布式存储系统，支持多份数据拷贝，可以提供99.999999999%（11个9）的数据可靠性。文件存储CPFS的所有节点均为高可用设计。实现集群内秒级别的故障检测，并由CPFS...
使用ossimport迁移数据
迁移方案 使用分布式模式将第三方存储迁移至OSS的过程如下：说明 在ECS上搭建ossimport分布式环境后，ossimport从腾讯云COS广州（华南）区域下载数据到ECS华东1（杭州），建议使用外网。使用ossimport从ECS华东1（杭州）将数据上传到OSS...
概述
SOFAStack 消息队列（SOFAStack MQ，简称 SOFAMQ）是基于 Apache RocketMQ 构建的分布式消息中间件，并与金融分布式架构 SOFAStack 深度集成，为分布式应用系统提供异步解耦和削峰填谷的能力，支持事务消息、顺序消息、定时消息等多种消息...
技术架构
PolarFS是中国内地面向DB应用设计的采用了全用户空间I/O栈的低延迟高性能分布式存储系统（参见VLDB 2018 上的文章 PolarFS:An Ultra-low Latency and Failure Resilient Distributed FileSystem for Shared Storage Cloud Database），其...
概述
数据访问代理是蚂蚁金融科技自主研发的金融级分布式数据库中间件，用于解决海量请求下数据访问的瓶颈及数据库的容灾问题，提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务。十年来专注于为海量数据访问提供低消耗、高性能、高...
什么是云原生数据库PolarDB分布式版
高性能强一致分布式事务，PolarDB-X 采用自研的X-Paxos协议保证数据存储在故障切换过程中RPO=0的基础上，使用TSO策略和分布式的MVCC能力保证了分布式事务的隔离性和一致性。分布式线性扩展，PolarDB-X 基于一致性Hash的分区策略有效地进行...
- 产品推荐
- 这些文档可能帮助您