产品功能
分布式计算 提供简单、易用的分布式编程模型，可以进行大数据跑批。单机：随机挑选一台机器执行。详情请参见 单机。广播：所有机器同时执行且等待全部结束。详情请参见 广播。Map模型：类似于Hadoop MapReduce里的Map。只要实现一个Map方法...
应用场景
对于传统企业的服务化转型来说，使用分布式框架不是银弹，在解决了传统的单块架构系统随着业务需求的快速变化而面临的挑战后，分布式架构也为研发和运维增加了更大的复杂度和管理成本，基于分布式框架来进行架构改造的应用和业务通常会面临...
客户案例
DataWorks在多个行业中均有典型的案例落地，帮助多个行业的企业解决数据痛点，挖掘数据价值，本文为您介绍典型行业中已落地的客户案例。新零售行业：大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型，拥抱新零售，...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，...在混合云架构下，机密数据在专有云内完成，云端的大规模数据的计算则通过MaxCompute完成，定位数据的播发在公共云上完成。
数据湖集群
E-MapReduce（简称EMR）新版控制台提供了数据湖集群，一个更灵活、可靠，以及高效的大数据计算集群。同时，您可以基于该集群轻松构建一个可扩展的数据管道。本文为您介绍数据湖集群支持的特性，以及与旧版Hadoop集群之间的差异。数据湖集群...
使用Fluid加速OSS文件访问
Fluid是一个开源的Kubernetes原生的分布式数据集编排和加速引擎，主要服务于云原生场景下的数据密集型应用，例如大数据应用、AI应用等。JindoRuntime来源于阿里云EMR团队JindoFS，是基于C++实现的支撑Dataset数据管理和缓存的执行引擎，...
产品优势
采用分布式架构，可以让业务在出现热点后，进行拆分、扩容，以应对流量激增。但如果是由于物理资源不够，或者数据层瓶颈，仅采用应用层的分布式就不够了。如何做到从上至下有一套完整的体系，从接入层到应用层最后到数据层进行规整，可以...
PolarDB并行查询
PQ1.0 最早发布的并行查询能力，其基本的思路是计算的下推，将尽可能多的计算分发到多个worker上并行完成，这样像IO这样的重操作就可以同时进行，但和一般的share-nothing分布式数据库不同，由于底层共享存储，PolarDB 并行中对于数据的分...
合作伙伴及开源生态
战略合作伙伴 蚂蚁集团除了与众多行内 ISV 进行合作外，还与众多的金融机构达成了战略合作协议，在场景、技术上进行深度合作，特别是在金融科技、分布式架构上与各金融机构进行联合创新，形成金融科技开放生态。目前，蚂蚁集团对外开放的...
技术原理
分布式事务 分布式事务通常使用二阶段提交来保证事务的原子性（Atomicity）和一致性（Consistency）。二阶段事务会将事务分为以下两个阶段：准备（PREPARE）阶段：在PREPARE阶段，数据节点会准备好所有事务提交所需的资源（例如加锁、写...
概述
金融分布式架构 SOFAStack 致力于提供一整套帮助广大金融场景落地云原生、分布式架构的产品和解决方案，而其中的应用 PaaS 平台，融合金融科技多年在大规模分布式系统和容器平台的实践经验，使用户在专注于业务价值的同时，提升研发效率和...
功能特性
分布式任务调度框架 提供多种任务类型满足不同场景需求，进行可靠的自动化任务调度。简单任务 最基本的任务类型，适用于业务逻辑简单的场景。单个简单任务对应一个 handler，支持任务分片及分步：当需要并发执行并且不关注资源利用率时，...
SmartData常见问题
JindoFS是阿里云开源大数据E-MapReduce产品提供的一套Hadoop文件系统，主要对Hadoop和Spark大数据生态系统使用阿里云OSS提供多层次的封装支持和优化。基础功能提供适配OSS和支持访问，您可以直接使用JindoFS SDK；标准功能针对OSS提供分布...
关键技术竞争力
异构兼容标准管控 SOFA Mesh 提供平台无关、语言无关、轻量无侵入特性的云原生方案，实现了传统应用平滑上云，支持异构系统之间的互联互通，传统应用向分布式架构平滑升级，提供了既支持基于 ESB 的传统 SOA 架构又支持 Spring Cloud 和 ...
功能架构
分布式链路 分布式链路帮助运维人员、开发人员和架构师看清楚复杂的大规模微服务架构下的应用及服务之间的复杂调用关系、性能指标、出错信息与关联日志，从而实现故障根因分析、服务治理、应用开发调试、性能管理、性能调优、架构管控、...
产品架构
SQL计算：对于SQL查询的处理，BE节点首先将SQL语句按照语义规划成逻辑执行单元，然后再根据数据的分布情况拆分成具体的物理执行单元。这些物理执行单元直接在指定的BE节点上执行，实现了数据计算的本地化，避免了不必要的数据传输和复制，...
企业版产品系列
产品架构 多主集群（库表）的架构图如下：集群中所有的数据文件都存放在共享分布式存储（PolarStore）中，各个RW节点通过分布式文件系统（PolarFileSystem）共享底层存储（PolarStore）中的数据文件。用户可以通过集群地址访问整个集群，...
功能特性
数据访问代理兼容 MySQL 协议和语法，支持分库分表、平滑扩容、服务升降配、透明读写分离和分布式事务等特性，具备分布式数据库全生命周期的运维管控能力。分库分表 支持 RDS、OceanBase、MySQL 的分库分表。在创建分布式数据库后，只需...
MaxFrame概述
MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算，同时可直接使用MaxCompute计算资源及数据接口，与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。...
产品优势
高可靠 通过分布式架构、数据三备份、消息At-least-once delivery、Failover和定期轮检等手段，保证任务调度和运行的高可靠。高性能 支持秒级别调度，轻量级分布式计算可以帮助您完成准实时的大数据跑批。节约成本和提升效率 无机器和人工...
产品概述
产品简介 PolarDB-X 1.0 是由阿里巴巴自主研发的PolarDB分布式版数据库，融合分布式SQL引擎与分布式自研存储X-DB，基于云原生一体化架构设计，可支撑千万级并发规模及百PB级海量存储。专注解决海量数据存储、超高并发吞吐、大表瓶颈以及...
参与者接入模式
使用分布式事务涉及两个核心角色：发起方：指的是开启分布式事务的应用系统。参与者：指的是提供分支事务的应用系统。同一个应用系统可能兼具发起方和参与方两个角色。分布式事务目前提供了三种参与者接入模式：TCC 模式、FMT 模式 与 Saga...
Hadoop集群迁移至DataLake集群
背景信息 E-MapReduce（简称EMR）新版控制台是EMR发布的下一代云原生开源大数据平台，为用户提供全新平台体验、全新开发平台、全新资源形态和全新分析场景。新版控制台的功能特点，详情请参见 EMR新版控制台上线公告。EMR on ECS作为EMR...
基础术语
术语 说明 应用 泛指用于组成业务系统的应用，可以为单体应用也可以为基于分布式框架构成的微服务应用。应用拓扑 拓扑是对应用间调用关系和依赖关系的可视化展示。SOFATracer SOFATracer 是一个用于分布式系统调用跟踪的组件，通过统一的 ...
快速入门
部署成功后，您就可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。前提条件 已开通 文件存储 HDFS 版 服务。具体操作，请参见 开通文件存储HDFS版服务。已购买ECS实例。更多信息，请参见 选购ECS...
PolarDB-X历史
DRDS的商业化成功，标志着阿里巴巴分布式数据库技术完成了从内部孵化到市场化运营的阶段性转变，以及从分布式数据库中间件到分布式数据库系统实质性跨越。PolarDB-X 1.0阶段 关键字：架构与品牌升级；国计民生项目 2018~2019年，DRDS凭借...
概述
SOFAStack 消息队列（SOFAStack MQ，简称 SOFAMQ）是基于 Apache RocketMQ 构建的分布式消息中间件，并与金融分布式架构 SOFAStack 深度集成，为分布式应用系统提供异步解耦和削峰填谷的能力，支持事务消息、顺序消息、定时消息等多种消息...
分布式序列
数据访问代理提供了生成分布式环境下的分布式唯一序列（Sequence）的能力，该序列有全局唯一、全局递增的特性，常用于分库分表下的主键、业务主键生成的场景。重要 数据访问代理分布式序列功能是基于数据库实现，如果需要使用该功能，需要...
网商银行
完善的分布式架构辅助支撑平台。高度互联网化的研发运维体系。这三方面共同构筑了网商银行“分布式云生态”的架构体系，为未来的架构可持续演进奠定了坚实的基础。客户价值 网商银行信息系统建设依托于蚂蚁集团成熟的、完全“自主可控”的...
适用场景
按应用类型选择 PolarDB-X 1.0 产品在高并发、分布式事务、复杂SQL优化、并行计算等方面都有比较好的用户沉淀和技术发展，适用于如下场景：对超高并发和大规模数据存储有较高要求的互联网在线事务类业务场景。传统企业级应用因业务发展导致...
典型场景
大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。...
产品架构
分布式链路跟踪产品总体架构如下图所示：Trace 数据采集通道 目前支持 3 种数据的采集通道，分别是阿里云底座的 SLS 通道，Antstack 底座的 ALS 通道，以及应用主动上报的通道。前两种是基于 Trace 日志收集的方式，后一种是 Trace 数据...
产品架构
时序引擎 LindormTSDB 是面向海量时序数据设计的分布式时序引擎，兼容开源OpenTSDB等标准接口，其基于时序数据特点和查询方式，采用Timerange+hash结合的分区算法，时序专向优化的LSM架构和文件结构，支持海量时序数据的低成本存储、预降...
通过HDFS Shell连接并使用文件引擎
HDFS Shell是Hadoop分布式文件系统（HDFS）提供的命令行工具。Lindorm文件引擎100%兼容HDFS协议，您可以通过HDFS Shell工具交互式管理文件引擎中存储的文件，例如文件查询、文件删除、文件权限管理和修改文件名称等。本文介绍通过HDFS ...
产品架构
产品架构图 一写多读 PolarDB 采用分布式集群架构，一个 集群版 集群包含一个主节点和最多15个只读节点（至少一个，用于保障高可用）。主节点处理读写请求，只读节点仅处理读请求。主节点和只读节点之间采用Active-Active的Failover方式，...
产品优势
高可用和高可靠保障，数据安全可靠 共享分布式存储的设计，彻底解决了主从（Master-Slave）异步复制所带来的备库数据非强一致的缺陷，使得整个数据库集群在应对任何单点故障时，可以保证数据零丢失。多可用区架构，在多个可用区内都有数据...
产品架构
产品架构图 一写多读 PolarDB 采用分布式集群架构，一个 集群版 集群包含一个主节点和最多15个只读节点（至少一个，用于保障高可用）。主节点处理读写请求，只读节点仅处理读请求。主节点和只读节点之间采用Active-Active的Failover方式，...
浙商证券
解决方案 浙商证券联合恒生电子、阿里云、蚂蚁集团共商分布式架构实现的技术路径，在此全新架构基础上建设的互联网用户中心业务系统。用户中心可以为集团公司范围内的客户信息使用和管理提供支撑，提升客户信息使用价值，夯实数据与系统...
迁移开源HDFS的数据到文件存储 HDFS 版
文件存储 HDFS 版 可以帮助您实现将开源HDFS的数据迁移到云上，并允许您在云上就像在Hadoop分布式文件系统中管理和访问数据。准备工作 开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。...
产品概述
云原生数据仓库 AnalyticDB PostgreSQL 版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。云原生数据仓库 AnalyticDB PostgreSQL 版 基于开源项目Greenplum构建，由阿里云深度扩展，兼容ANSI SQL 2003，兼容...
- 产品推荐
- 这些文档可能帮助您