多语言版本分片模型
动态分片：主要场景是分布式处理未知数据量的数据，例如一张大表在不停变更，需要分布式跑批。主流的框架为SchedulerX提供的MapReduce模型，暂时还没有对外开源。功能特性 多语言版本分片模型还具有以下特性。兼容elastic-job的静态分片...
应用场景
分布式事务可应用在多个涉及数据库操作的领域，尤其在金融领域可以做到全场景的覆盖与落地验证，包括：支付与转账、账务：对于吞吐量有很高的要求 金融与理财：往往涉及的金额较大，所以对于产品的稳定性要求非常高 保险与监管报送：参与方...
产品概述
产品简介 PolarDB-X 1.0 是由阿里巴巴自主研发的PolarDB分布式版数据库，融合分布式SQL引擎与分布式自研存储X-DB，基于云原生一体化架构设计，可支撑千万级并发规模及百PB级海量存储。专注解决海量数据存储、超高并发吞吐、大表瓶颈以及...
应用场景
提供大数据和人工智能的中台能力建设，支持分布式金融核心系统的异地多活架构。金融级云原生应用 说明 满足金融业务发展和严苛场景考验，让云计算更懂金融。蚂蚁集团自主研发的金融级分布式架构平台，专注为金融用户提供全栈式的基础架构...
产品优势
高性能 支持秒级别调度，轻量级分布式计算可以帮助您完成准实时的大数据跑批。免运维、低成本 无机器和人工运维成本且接入简单。基础版成本是开源自建的三分之一；专业版集成了短信电话报警、日志服务、链路追踪、监控大盘等，无需额外费用...
AUTO模式数据库与DRDS模式数据库
AUTO模式数据库与DRDS模式数据库主要功能对比：功能项 AUTO模式数据库 DRDS模式数据库 透明分布式 默认主键分区 支持。若建表时不指定分区定义，将自动按主键进行分区。不支持。默认全局二级索引 支持。索引不指定分区列时，将自动索引列...
开启CNFS NAS计算端分布式缓存
CNFS文件存储计算端分布式缓存可提供多链接访问、元数据缓存、分布式数据缓存等加速能力，并提供端侧性能监控、QoS能力。本文介绍如何在ACK集群中开启CNFS NAS计算端分布式缓存，并通过分布式缓存功能加速读取数据。索引 前提条件 分布式...
分布式序列
数据访问代理提供了生成分布式环境下的分布式唯一序列（Sequence）的能力，该序列有全局唯一、全局递增的特性，常用于分库分表下的主键、业务主键生成的场景。重要 数据访问代理分布式序列功能是基于数据库实现，如果需要使用该功能，需要...
支持的云服务
MaxCompute和DataWorks提供完善的ETL、数据分析、数据地图、数据治理和数据仓库管理能力，并支持SQL、MapReduce、Graph等多种经典的分布式计算模型，能够更快速地解决用户海量数据计算问题，有效降低企业成本，保障数据安全。更多DataWorks...
实现原理
CeresDB 是蚂蚁自研的时序数据库，时序引擎是一种存储和管理时间序列数据的分布式数据库，为时间序列提供高性能读写、预处理计算、可视化查询等功能。产品层 产品层（应用名为 monitorprod）承载了 RMS 的所有页面以及用户交互、配置逻辑，...
新增数据同步任务
本文以 RDS 数据源到分布式搜索服务（云搜 ZSearch）的实时同步为例，介绍如何新增数据同步任务。操作步骤 进入数据同步服务控制台，在左侧导航栏中，选择 数据同步任务。单击 添加任务，选择 RDS 数据源同步到分布式搜索服务 的场景。开始...
PolarDB-X适用场景
目前，PolarDB-X 具备从单机到分布式的平滑演进能力，支持动态通过DDL将一张大表动态调整为分布式的分区表，结合分布式事务、以及兼容MySQL binlog的数据回流，可完成单机到分布式的快速改造。数据库国产化替换 场景描述 信息系统国产化是...
企业版产品系列
共享分布式存储（PolarStore）多个计算节点共享一份数据，而不是每个计算节点都存储一份数据，极大降低了用户的存储成本。基于分布式块存储和文件系统，存储容量可以在线平滑扩展，不会受到单个数据库服务器的存储容量限制，可应对上百TB...
产品概述
PolarDB分布式版 MySQL Share Nothing，分布式 公共云、专有云企业版、DBStack MySQL生态下的大规模数据、超高并发应用 PolarDB MySQL版和PolarDB PostgreSQL版 产品架构 PolarDB MySQL版 和PolarDB PostgreSQL版均为计算存储分离、共享...
Cassandra数据建模
分布式层面主要依靠一致性Hash算法把数据分布在整个集群中，单机主要实现了基于LSM-Tree的引擎。集群中的每个节点将整个Hash范围均匀地分担，每个节点即当做proxy节点，接受client的请求，也负责集群的Primary key range的数据。依赖集群的...
品牌升级
PolarDB-X 融合分布式SQL引擎与分布式自研存储X-DB，专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双十一及阿里云各行业客户业务的考验。此次品牌升级，存量DRDS实例不受影响，可正常续费...
羲和分析计算引擎
比如：利用数据分布，直接进行基于特定数据的计算，避免分布式系统中数据和命令流交互的开销。利用数据存储的能力，下推谓词、聚合等计算，实现近存储的计算加速。利用数据模型中的范式依赖，数据数值类型等进行查询执行算法优化。
概述
Apache Druid是一个分布式内存实时分析系统，用于解决如何在大规模数据集下快速的、交互式的查询和分析问题。基本特点 Apache Druid具有如下特点：支持亚秒级的交互式查询。例如，多维过滤、Ad-hoc的属性分组和快速聚合数据。支持实时的...
什么是MaxCompute
MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型，您可以不必关心分布式计算和维护细节，便可轻松完成大数据分析。MaxCompute适用于100 GB以上规模的存储及计算需求，最大可达EB级别，并且MaxCompute已经在阿里巴巴...
概述
数据访问代理是蚂蚁金融科技自主研发的金融级分布式数据库中间件，用于解决海量请求下数据访问的瓶颈及数据库的容灾问题，提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务。十年来专注于为海量数据访问提供低消耗、高性能、高...
如何重刷数据
登录 分布式任务调度平台。在 任务管理 页面，单击目标任务 操作 列下的 更多，然后单击 重刷任务。在 重刷任务 面板，设置 起止日期 和 数据时间，单击 确定。起止日期：指定重刷的日期区间。数据时间：指定重刷日期区间内的重刷时间。...
如何重刷数据
登录 分布式任务调度平台。在 任务管理 页面，单击目标任务 操作 列下的 更多，然后单击 重刷任务。在 重刷任务 面板，设置 起止日期 和 数据时间，单击 确定。起止日期：指定重刷的日期区间。数据时间：指定重刷日期区间内的重刷时间。...
产品优势
高可用和高可靠保障，数据安全可靠 共享分布式存储的设计，彻底解决了主从（Master-Slave）异步复制所带来的备库数据非强一致的缺陷，使得整个数据库集群在应对任何单点故障时，可以保证数据零丢失。多可用区架构，在多个可用区内都有数据...
数据上云场景
Sqoop执行时，会在原来的Hadoop集群上执行MR作业，可以分布式地将数据传输到MaxCompute上，详情请参见 Sqoop工具的介绍。MMA利用Meta Carrier连接您的Hive Metastore服务，获取Hive Metadata，并利用这些数据生成用于创建MaxCompute表和...
数据服务集群
特性介绍 Apache HBase是具有高可靠性、高性能、列存储、可伸缩、实时读写的开源NoSQL分布式系统。特别适用于需要实时读写随机访问超大规模数据集的场景。Apache HBase和Apache Hadoop生态系统无缝集成，并且可以和Apache Phoenix搭配使用...
流式数据通道概述
流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-per-second）场景下的性能瓶颈。本文为您介绍如何使用流式数据通道服务。功能介绍 MaxCompute流式数据通道服务已商业化且不计费，您可以...
产品优势
高可用和高可靠保障，数据安全可靠 共享分布式存储的设计，彻底解决了主从（Master-Slave）异步复制所带来的备库数据非强一致的缺陷，使得整个数据库集群在应对任何单点故障时，可以保证数据零丢失。多可用区架构，在多个可用区内都有数据...
概述
数据访问代理 SOFAStack 数据访问代理是金融级分布式数据库中间件，用于解决海量请求下数据访问的瓶颈及数据库的容灾问题，提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务。数据访问代理兼容 MySQL 协议和语法，支持分库分表、...
技术面临的挑战与革新
在Proxy的协同下，甚至可以做到节点切换对应用无感知 传统分布式架构与存储计算分离架构对比 分布式数据库其实已经有了不短的历史，早期的分布式数据库，在整体架构上可以分为share nothing和share disk两大类。share disk通过扩展底层的...
概述
负责数据分布式路由、计算及动态调度，负责分布式事务2PC协调、全局二级索引维护等，同时提供SQL限流、三权分立等企业级特性。存储节点（Data Node，DN）负责数据的持久化（面向行存数据），基于多数派Paxos协议提供数据高可靠、强一致保障...
产品架构
共享分布式存储 多个计算节点共享一份数据，而不是每个计算节点都存储一份数据，极大降低了用户的存储成本。基于全新打造的分布式块存储（Distributed Storage）和文件系统（Distributed Filesystem），存储容量可以在线平滑扩展，不会受到...
产品架构
共享分布式存储 多个计算节点共享一份数据，而不是每个计算节点都存储一份数据，极大降低了用户的存储成本。基于全新打造的分布式块存储（Distributed Storage）和文件系统（Distributed Filesystem），存储容量可以在线平滑扩展，不会受到...
工作流调度
使用限制 当前只有Java任务支持数据传输，分布式Java任务请使用MapReduce模型进行数据传输。使用 指南 具体操作，请参见 流程管理。工作流上下游数据传递 SchedulerX提供工作流任务编排，同时支持任务上下游的数据传递。返回执行结果/*@...
如何通过工作流进行上下游数据传递
背景信息 当前只有简单Java任务支持数据传递，分布式Java任务请使用MapReduce模型进行数据传递，详情请参见 MapReduce模型。操作步骤 在三个应用中分别实现任务调度类JobProcessor A、JobProcessor B和JobProcessor C。JobProcessor A@...
离线同步并发和限流之间的关系
限制和最佳实践：分布式执行模式下，配置较大任务并发度可能会对您的数据存储产生较大的访问压力，请评估数据存储的访问负载。如果您的独享资源组机器台数为1，不建议使用分布式执行模式，因为执行进程仍然分布在一台Worker节点上，无法...
工作流调度
使用限制 当前只有Java任务支持数据传输，分布式Java任务请使用MapReduce模型进行数据传输。使用 指南 具体操作，请参见 流程管理。工作流上下游数据传递 SchedulerX提供工作流任务编排，同时支持任务上下游的数据传递。返回执行结果/*@...
OceanBase 4.x 简介
更多规格选择 OceanBase 数据库 4.x 版本提供更多规格选择，最小支持 4C16G 小规格单机部署，支持客户业务从小到大的全生命周期，在云上可以满足小微客户的诉求，降低分布式数据库的使用门槛。4.x 版本兼容 MySQL 8.0，支持更多的 SQL MODE...
索引优化
但是在类似与 AnalyticDB PostgreSQL版 这样的分布式数据库中，应该谨慎的选择索引的使用。在大部分场景下，AnalyticDB PostgreSQL版 更适合快速的顺序扫描，或者结合稀疏索引来进行减少数据的I/O操作。AnalyticDB PostgreSQL版 会将数据...
适用场景
按应用类型选择 PolarDB-X 1.0 产品在高并发、分布式事务、复杂SQL优化、并行计算等方面都有比较好的用户沉淀和技术发展，适用于如下场景：对超高并发和大规模数据存储有较高要求的互联网在线事务类业务场景。传统企业级应用因业务发展导致...
开通SchedulerX
背景信息 阿里云分布式任务调度SchedulerX已于2021年09月01日正式商业化。操作步骤 登录 分布式任务调度平台。首次使用并登录分布式任务调度平台，在弹出的对话框中单击 开通。在 分布式任务管理 页面，单击 立即购买。在 确认订单 页面 ...
- 产品推荐
- 这些文档可能帮助您