应用场景
数据处理 在很多领域，如股市走向分析、气象数据测控、网站用户行为分析，由于数据产生快、实时性强且量大，您很难统一采集这些数据并将其入库存储后再做处理，这便导致传统的数据处理架构不能满足需求。与传统架构不同，云消息队列 Kafka ...
功能特性
分布式事务（Distributed Transaction-eXtended，简称 DTX）是蚂蚁集团自主研发的金融级分布式事务中间件，支持跨数据库、跨服务以及混合的方式处理分布式应用，具备多种接入模式和金融级配套功能，本文将主要介绍分布式事务的功能特性。...
产品架构
Storage Disaggregation（存储计算分离架构）存储和Shared Storage类似，有一个分布式的共享存储集群，计算层处理数据的模式和Shared Nothing类似，数据是分片的，每个Shard只处理自己所在分片的数据，每个计算节点还可以有本地缓存。...
流式数据通道概述
MaxCompute流式数据通道服务功能点如下：提供流式语义API：通过流式服务的API可以方便地开发出分布式数据同步服务。支持自动创建分区：解决数据同步服务并发创建分区导致的并发抢锁问题。支持增量数据异步聚合（Merge）：提升数据存储效率...
产品优势
政务系统需要对缴费信息进行一致性处理，SOFAStack 的分布式事务产品可以保证关联信息同步修改，跨系统信息及时同步。跨地域信息即刻同步 当前各地域政府机关往往有自己的数据库，人员流动、企业信息备案，都最初在本地进行登记备案。信息...
应用场景
SOA 和分布式事务 提供跨库、跨服务的分布式事务支持，实现业务链路级别的分布式事务。开发简单，只需要在客户端声明一个注解，用以界定事务边界。业务链路：为服务链调用提供一致性保证。多框架兼容：目前兼容 Spring Cloud、Dubbo 和 HSF...
实现原理
CeresDB 是蚂蚁自研的时序数据库，时序引擎是一种存储和管理时间序列数据的分布式数据库，为时间序列提供高性能读写、预处理计算、可视化查询等功能。产品层 产品层（应用名为 monitorprod）承载了 RMS 的所有页面以及用户交互、配置逻辑，...
企业版产品系列
基于分布式块存储和文件系统，存储容量可以在线平滑扩展，不会受到单个数据库服务器的存储容量限制，可应对上百TB级别的数据规模。计算与存储分离 采用计算与存储分离的架构，满足公共云计算环境下根据业务发展弹性扩展集群的刚性需求。...
Multi-Master基础架构
对于查询场景，部分查询的最后阶段会在Master节点上进行最终的数据处理，需要消耗一定的CPU以及内存资源。对于写入场景，大量的实时插入、更新、删除的需要高性能保证。同时并发连接数很大的情况Single-Master结构也较难处理。虽然以上问题...
2023年
本文为您介绍了MaxCompute 2023年内容更新的最新动态，基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更，提升项目开发效率。MaxCompute的重要功能发布记录请参见 产品重大更新。2023年12月更新记录 时间 特性 类别 ...
品牌升级
分布式关系型数据库服务DRDS目前已品牌升级至云原生分布式数据库 PolarDB-X。PolarDB-X 融合分布式SQL引擎与分布式自研存储X-DB，专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及...
创建同步任务
开启：分布式执行模式可以将您的任务切片分散到多台执行节点上并发执行，进而做到同步速度随执行集群规模做水平扩展，突破单机执行瓶颈。未开启：配置的并发数据仅仅是单机上的进程并发，无法利用多机联合计算。如果您对于同步性能有比较...
什么是数据传输服务DTS
PolarDB-X：PolarDB-X 是阿里巴巴致力于解决单机数据库服务瓶颈问题而自主研发推出的分布式数据库产品。PolarDB-X 高度兼容MySQL协议和语法，支持自动化水平拆分、在线平滑扩缩容、弹性扩展、透明读写分离，具备数据库全生命周期运维管控...
部署数据库
系统提供了一个完整的软件开发工具Developer2000，包括交互式应用程序生成器、报表打印软件、字处理软件以及集中式数据字典，用户可以利用这些工具生成自己的应用程序。Oracle以二维表的形式表示数据，并提供了结构化查询语言（SQL），可...
Join优化
Shuffle Join 当进行Hash Join时，可以通过Join列计算S表和R表相应数据的哈希值，把相同哈希值的数据被分发到分布式系统中的同一个节点，利用分布式系统加速Join查询。它的网络开销是 T(S)+T(R)，但它只能支持Hash Join，因为它根据Join的...
产品功能
标记成功：任务失败，如果后台把数据处理修正了，重新执行又需要几个小时，可以直接将任务标记为成功。停止调度任务：实现JobProcessor的 kill()接口，您就可以在前端停止正在运行的任务，甚至子任务。数据偏移时间 SchedulerX可以处理有...
概述
Apache Druid是一个分布式内存实时分析系统，用于解决如何在大规模数据集下快速的、交互式的查询和分析问题。基本特点 Apache Druid具有如下特点：支持亚秒级的交互式查询。例如，多维过滤、Ad-hoc的属性分组和快速聚合数据。支持实时的...
向量检索版介绍
向量检索版简介 OpenSearch-向量检索版是阿里巴巴自主研发的大规模分布式搜索引擎，支持了淘宝、天猫、菜鸟、优酷乃至海外电商在内整个集团的搜索业务，同时也支撑了阿里云上的开放搜索业务。OpenSearch-向量检索版经过多年的发展，在满足...
云原生分布式数据库 PolarDB-X系统权限策略参考
本文描述云原生分布式数据库 PolarDB-X支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云...
高可靠能力
在每次系统升级、割接前都可以快速做一次备份，极大的保障了业务数据的安全，在游戏等行业深受欢迎。无锁备份 整个数据库的备份过程，通过存储层的一致性快照，对上层的数据库无感知，也不需要对数据库加锁。不影响业务使用，效率更高，...
购买数据访问代理实例
数据访问代理是蚂蚁金融科技自主研发的金融级分布式数据库中间件，用于解决海量请求下数据访问的瓶颈及数据库的容灾问题。提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务。使用本产品前，您需要购买一个数据访问代理实例。操作...
通过脚本模式配置离线同步任务
分布式执行模式可以将您的任务切片分散到多台执行节点上并发执行，进而做到同步速度随执行集群规模做水平扩展，突破单机执行瓶颈。null：不开启分布式处理能力。配置的并发数据仅仅是单机上的进程并发，无法利用多机联合计算。重要 如果独...
数据上云工具
Flume（DataHub通道系列）Apache Flume是一个分布式的、可靠的、可用的系统，可高效地从不同的数据源中收集、聚合和移动海量日志数据到集中式数据存储系统，支持多种Source和Sink插件。Apache Flume的DataHub Sink插件可以将日志数据实时...
Kafka实时ETL同步至Hologres
目前提供5种数据处理方式，您可根据需要做顺序编排，在任务运行时会按照编排的数据处理先后顺序执行数据处理，5种数据处理方式包括：数据脱敏、字符串替换、数据过滤、JSON解析 和 字段编辑与赋值。每完成一个数据处理节点配置，可以单击右...
召回引擎版介绍
Processor在增量流程中是一个常驻的分布式服务，可以通过配置调节Processor的并发度来提高数据处理能力。Processor中支持配置多个数据处理插件，目前还未对外开放，如果有需求可以联系我们。Builder Builder将处理之后的文档构建成索引。...
什么是全局事务服务GTS
可以与RDS、MySQL、PostgreSQL等数据源，Spring Cloud、Dubbo、HSF及其他RPC框架，MQ消息队列等中间件产品配合使用，轻松实现分布式数据库事务、多库事务、消息事务、服务链路级事务及各种组合。为什么需要全局事务服务 一个完整的业务往往...
LTS（原BDS）服务介绍
核心能力 云原生分布式：LTS是一个基于ECS部署的分布式系统，具备良好的水平扩展能力，用户可以按需进行资源配置 简单易用：LTS支持一键配置数据迁移、导入、订阅、归档等任务。比如数据迁移任务，用户只需要选择源端、目的端和需要同步的...
应用场景
下文先以用户注册为场景说明 云消息队列 RocketMQ 版 如何实现以下功能：异步解耦 分布式事务的数据一致性 消息的顺序收发 最后，再以电商的秒杀场景和价格同步场景分别说明 云消息队列 RocketMQ 版 所实现的削峰填谷和大规模机器的缓存...
库表
AnalyticDB MySQL 是分布式数据库，数据需要根据分布字段均匀地分布在各个后台节点才能保证尽可能高的利用资源。分布字段选择不合理，会导致写入时存在热点，降低写入性能。分区字段合理性。AnalyticDB MySQL 后台以分区为粒度进行数据存储...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
应用场景
如果交易服务使用数据访问代理来分库分表，虽然数据访问代理本身不支持分布式事务，但是分布式事务可以轻松和数据访问代理集成，使得数据访问代理具备分布式事务的处理能力，解决分库分表后的跨库分布式事务问题。跨服务的分布式事务 例如...
基本概念
该系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法等，结合 云原生多模数据库 Lindorm 宽表引擎强大的分布式存储能力以及DAL Spark分析平台，可以广泛应用于空间或时空存储、查询、分析和数据挖掘场景...
PolarDB PostgreSQL版架构介绍
还具有时空、向量、搜索、图谱等多模创新特性，可以满足企业对数据处理日新月异的新需求。PolarDB PostgreSQL版（兼容Oracle）支持多种部署形态：存储计算分离部署、X-Paxos三节点部署以及本地盘部署。本文通过以下几个方面介绍 PolarDB ...
关键技术竞争力
异构兼容标准管控 SOFA Mesh 提供平台无关、语言无关、轻量无侵入特性的云原生方案，实现了传统应用平滑上云，支持异构系统之间的互联互通，传统应用向分布式架构平滑升级，提供了既支持基于 ESB 的传统 SOA 架构又支持 Spring Cloud 和 ...
PolarDB PostgreSQL版：ePQ架构详解
PxScan算子将shared-storage的数据映射为shared-nothing的数据，通过Worker之间的协调，将目标表划分为多个虚拟分区数据块，每个Worker扫描各自的虚拟分区数据块，从而实现了跨机分布式并行扫描。PxScan算子扫描出来的数据会通过Shuffle算...
PolarDB PostgreSQL版：ePQ架构详解
PxScan算子将shared-storage的数据映射为shared-nothing的数据，通过Worker之间的协调，将目标表划分为多个虚拟分区数据块，每个Worker扫描各自的虚拟分区数据块，从而实现了跨机分布式并行扫描。PxScan算子扫描出来的数据会通过Shuffle算...
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
产品概述
承载大量用户核心在线业务，横跨互联网、金融支付、教育、通信、公共事业等多行业，是阿里巴巴集团内部所有在线核心业务及众多阿里云客户业务接入分布式数据库的事实标准。产品特点 稳定 对于绝大部分应用而言，关系型数据库所承担的职责是...
LTS（原BDS）服务介绍
核心能力 云原生分布式：LTS是一个基于ECS部署的分布式系统，具备良好的水平扩展能力，用户可以按需进行资源配置。简单易用：LTS支持一键配置数据迁移、导入、订阅、归档等任务。比如数据迁移任务，用户只需要选择源端、目的端和需要同步的...
序言
我们把这套金融级云原生的分布式架构解决方案，称之为 SOFAStack™（Scalable Open Financial Architecture Stack），源于自蚂蚁内部沉淀十多年的金融级分布式中间件技术体系，吸收了支付宝自创立以来在关键金融交易系统锤炼出来的架构实践...
- 产品推荐
- 这些文档可能帮助您