外部表概述
背景信息 MaxCompute SQL作为分布式数据处理的主要入口，可实现EB级别离线数据的快速处理和存储。随着大数据业务的不断扩展，新的数据使用场景在不断产生，MaxCompute计算框架也在不断演化。MaxCompute原来主要面对内部特殊格式数据的强大...
应用场景
访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
DescribeDrdsDB
调用DescribeDrdsDB接口查询PolarDB-X数据库详情。请求参数 参数名 类型 是否必须 说明 Action String 是 系统规定参数，取值：DescribeDrdsDB。DbName String 是 分布式数据库的名称。...指定的实例上不存在指定的分布式数据库 404
概述
PolarDB-X 是兼容MySQL生态的分布式数据库，能够提供与MySQL binlog格式完全兼容的变更日志，并提供完全兼容MySQL的binlog dump协议，该binlog在 PolarDB-X 中被命名为 全局binlog。所谓全局binlog，是相对于 PolarDB-X 每个DN节点上的部分...
互联网服务：小打卡
客户价值 客户当前圈子打卡日记业务有10亿以上数据，每年有亿级增量，基于 PolarDB-X+RDS的分布式数据库解决方案提供了海量数据存储和数据存储扩展能力，解决了10亿级数据在单机数据库的存储瓶颈。小打卡上有几百万活跃用户，业务发展较快...
可用性与可靠性
主备多副本与云盘三副本 AnalyticDB PostgreSQL版 是基于MPP架构的分布式数据库，对于所有的分布式系统来说，在通过分布式来增强性能的同时，也带来了节点故障率增高的问题，通常分布式系统会通过多副本的方式来保证系统在某些节点异常情况...
自媒体：易撰
解决方案 通过 PolarDB-X+RDS的分布式数据库架构承载数据获取端高并发写。通过 PolarDB-X+PolarDB承载大范围时间查询业务场景。通过PolarDB海量存储能力承载5 TB~10 TB级的数据存储场景。通过PolarDB满足客户复杂大范围数据查询的诉求同时...
新零售：特步
解决方案 通过 PolarDB-X+RDS的分布式数据库解决方案支撑O2O全渠道业务中台系统上线，通过垂直拆分剥离各业务中心，使不同类型的业务数据可以存储在不同的RDS上，确保资源和访问隔离，从物理上使整个数据库架构具备了扩展性。通过这套架构...
历史记录
广播分片模型：广播任务可以通过JobContext获取 shardingNum 和 sharingId，通过自己机器的index进行数据分布式处理。分片模型增强：JobContext可以从 shardingNum 获取所有分片数量。1.2.7，2021-4-28 新特性 新增开关，可以关闭的...
应用场景
跨服务的分布式事务 例如，支付宝核心链路上的三个服务为：交易、支付、账务。当用户发起一笔交易时：首先访问交易服务，创建交易订单。然后交易服务调用支付服务为该交易创建支付订单，执行收款动作。最后支付服务调用账务服务记录账户...
优化建议
分布式数据库的高性能依赖于底层数据库的高性能，而对底层数据库性能来说，建立需要的索引是重要的环节；确保语句能正确使用到索引，例如查询条件能被索引完全覆盖到，保证分区键上有索引等；查询尽量在单机完成，最为简单的方式就是在分区...
常见问题
本文介绍 PolarDB-X 集中分布式一体化...A：PolarDB-X 支持 IMPORT DATABASE 的语法，会将集中式的数据对象自动转换成分布式形态的数据对象，基于 PolarDB-X 透明分布式的能力，升级到分布式形态的企业版后仍兼容原来集中式数据库的使用方式。
物流行业：PolarDB分布式版助力韵达“客户管家”全面...
海量数据怎么存 按监管要求，我们需要保存数年的数据，面临日增千万的数据量，在任何一个数据库哪怕是分布式数据库内，也是一个极大的挑战，即便我们的DBA可以定期地人肉备份，清理。绝大部分数据库也不能及时地回收空间，需要DBA额外的...
企业版和标准版的区别
面向集分一体化架构，PolarDB-X 兼具分布式数据库的扩展性和集中式数据库的功能和单机性能，两种形态可以无缝切换。在集分一体化数据库中，数据节点被独立出来作为集中式形态，完全兼容单机数据库形态。当业务增长到需要分布式扩展的时候，...
购买数据访问代理实例
数据访问代理是蚂蚁金融科技自主研发的金融级分布式数据库中间件，用于解决海量请求下数据访问的瓶颈及数据库的容灾问题。提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务。使用本产品前，您需要购买一个数据访问代理实例。操作...
产品概述
承载大量用户核心在线业务，横跨互联网、金融支付、教育、通信、公共事业等多行业，是阿里巴巴集团内部所有在线核心业务及众多阿里云客户业务接入分布式数据库的事实标准。产品特点 稳定 对于绝大部分应用而言，关系型数据库所承担的职责是...
最佳实践
适用场景 需要对接分布式数据库的用户的应用场景总是多种多样的。PolarDB-X 2.0 结合新老应用的库表使用、SQL复杂情况以及对性能吞吐的要求，将用户的应用场景大体上划分为四种典型类型，如下表所示：应用类型 示例 总体概况 SQL 特点 大量...
技术原理
面相集分一体化架构，PolarDB-X 兼具分布式数据库的扩展性和集中式数据库的功能和单机性能，两种形态可以无缝切换。在集分一体化数据库中，数据节点被独立出来作为集中式形态，完全兼容单机数据库形态。当业务增长到需要分布式扩展的时候，...
概述
执行层：类似于MySQL的Server层，自研xRPC Server可以对接 PolarDB-X 企业版的分布式查询。同时为完全兼容MySQL，也提供兼容MySQL Server的SQL执行能力，对接存储层的事务系统来提供数据操作。PolarDB-X 利用分布式技术全面优化集中式，...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
源为PolarDB-X的功能规范和约束说明
由于 PolarDB分布式版 自身不提供Binlog以及其他的一些限制，在业务设计、运维变更、数据质量以及业务开发时，会受到如下规范的约束，请您在实际使用中注意。概览 业务设计规范 数据库架构规范 运维变更规范 数据质量风险声明 业务开发的...
源为PolarDB-X的功能规范和约束说明
由于 PolarDB分布式版 自身不提供Binlog以及其他的一些限制，在业务设计、运维变更、数据质量以及业务开发时，会受到如下规范的约束，请您在实际使用中注意。概览 业务设计规范 数据库架构规范 运维变更规范 数据质量风险声明 业务开发的...
事务引擎介绍
高性能事务引擎（TokuDB）是HybridDB for MySQL提供的一种侧重于OLTP的实例规格，这种规格基于自主研发的高性能行式存储引擎，能够对同一份数据进行OLTP和OLAP处理，实现数据的即席分析（Ad Hoc）。HybridDB for MySQL事务引擎高度兼容...
功能特性
混合分布式事务 在一个大规模的分布式应用环境下，除了常见的微服务、数据库资源之外，还会涉及到消息队列、缓存等系统资源的使用。同时，依然需要保证这些资源间访问的数据的一致性。分布式事务支持在同一个分布式事务中引入数据库、服务...
名词解释
术语 说明 cassandra 云数据库Cassandra版是在线可靠的NoSQL分布式数据库服务，支持类SQL语法CQL，支持多地多活，提供了安全、容灾、监控、备份恢复等企业级能力。CQL CQL（Cassandra Query Language）是cassandra中提供的一种类SQL查询...
行业趋势与背景
基于这些技术探索和沉淀，我们开始思考基于云架构的分布式数据库应该是什么样的形态。从用户角度来看，需要满足用户使用云的一些期望，比如用户的数据库数据永远不会丢，即使主机异常宕机，这里需要有数据强一致以及高可用容灾等能力；比如...
云数据源Alibaba PolarDB分布式版
请登录 云原生分布式数据库控制台，获取数据库地址。例：xxxxxxxxxxxxxxxxxxxxxx.drds.aliyuncs.com 请参见 查看数据库信息。端口 数据库的对应的端口号。用户名和密码 数据库对应的用户名和密码。请确保该用户名具备数据库中表的create、...
引擎简介
云原生多模数据库 Lindorm 流引擎面向实时数据处理场景，支持使用标准的SQL及熟悉的数据库概念完成一站式的实时数据处理，适用于车联网、物联网和互联网中常见的ETL、实时异常检测和实时报表统计等场景。本文介绍Lindorm流引擎的应用场景和...
技术面临的挑战与革新
在Proxy的协同下，甚至可以做到节点切换对应用无感知 传统分布式架构与存储计算分离架构对比 分布式数据库其实已经有了不短的历史，早期的分布式数据库，在整体架构上可以分为share nothing和share disk两大类。share disk通过扩展底层的...
影响查询性能的因素
节点数量 AnalyticDB MySQL版 使用了分布式数据处理架构，一条查询会被分解成多个Stage在不同的节点上并行执行。所以如果集群中的节点数量越多，AnalyticDB MySQL版 处理查询的能力也会越强。您可以根据实际的业务需求来决定集群节点的购买...
技术架构
PolarDB-X 1.0 的架构继承了DRDS和X-DB技术的稳定性，结合了PolarDB的云原生技术，融入了NewSQL对于分布式数据一致性的能力，为用户提供新的“云原生+分布式”的产品体验。整体架构 PolarDB-X 1.0 由计算层实例与存储层私有定制RDS实例组成...
MaxFrame概述
使用场景 MaxCompute MaxFrame使用场景如下：熟悉Python开发生态，需要开箱即用的Python开发环境，并快速进行数据科学、大规模数据处理及交互式数据探索等开发。处理数据量大、处理逻辑复杂，需要基于MaxCompute海量数据及弹性计算资源、...
源为PolarDB-X的任务配置方案
方案对比 对比项 方案一 方案二 性能 拆分成多个DTS任务，性能成倍增长，可承载大规模的 PolarDB分布式版 数据写入，仅配置一个以 PolarDB分布式版 为源的DTS任务，当业务系统写入源实例数据量较大时，会存在性能瓶颈。稳定性 稳定性较强。...
源为PolarDB-X的任务配置方案
方案对比 对比项 方案一 方案二 性能 拆分成多个DTS任务，性能成倍增长，可承载大规模的 PolarDB分布式版 数据写入，仅配置一个以 PolarDB分布式版 为源的DTS任务，当业务系统写入源实例数据量较大时，会存在性能瓶颈。稳定性 稳定性较强。...
验证分析型查询请求能力
OceanBase 数据库采用了分布式架构，将数据分片存储在不同的节点上，通过数据分片和任务分片实现了数据和计算的并行处理。在OceanBase 中，每个节点都可以独立地执行任务，并且可以通过高速的网络互相通信，实现数据的交互和同步。PARALLEL...
分布式任务调度 SchedulerX
SchedulerX是阿里巴巴自研的基于Akka架构的分布式任务调度平台，兼容开源XXL-JOB、ElasticJob、K8s Job、Spring Schedule，支持Cron定时、一次性任务、任务编排、分布式数据处理，具备高可用、可视化、可运维、低延时等能力。
产品功能
分布式计算 提供简单、易用的分布式编程模型，支持进行大数据批处理。单机 随机挑选一台机器执行。更多信息，请参见 单机。广播 所有机器同时执行且等待全部结束。更多信息，请参见 广播。Map模型 类似于Hadoop MapReduce里的Map。只要实现...
2024年
03-26 新增Pandas API 新说明 MaxFrame提供了兼容Pandas的API接口，您可以用类似于Pandas的方式来操作MaxCompute中的数据，同时利用MaxCompute强大的分布式计算能力，简化您在大数据环境下的数据处理工作。Pandas API支持 2024-03-26 新增...
概述
任务调度 SOFAStack 任务调度提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化地对金融企业不同业务系统的任务进行统一调度和全方位监控运维管理，达到所有任务有序、高效运行的目的，极大降低开发和运...
未来规划
云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台服务器和虚拟机，带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用，实现按需按量...
- 产品推荐
- 这些文档可能帮助您