创建集群
Flink：是一个在有界或无界数据流上进行有状态计算分布式处理的计算引擎。Flink on Ack基于EMR on Ack底座与社区Flink Kubernetes Operator 1.0.1版本开发，默认使用Flink官方团队推出的企业版内核，旨在为用户提供开箱即用的Flink on K8s...
应用场景
访问频度极高业务 如社交网络、电子商务、游戏、广告等。...实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作流程。
MaxFrame概述
更完善的算子支持 MaxFrame完全兼容Pandas接口且自动进行分布式处理，在保证强大数据处理能力的同时，大幅提高数据处理规模及计算效率。使用场景 MaxCompute MaxFrame使用场景如下：熟悉Python开发生态，需要开箱即用的Python开发环境，并...
多语言版本分片模型
动态分片：主要场景是分布式处理未知数据量的数据，例如一张大表在不停变更，需要分布式跑批。主流的框架为SchedulerX提供的MapReduce模型，目前还没有对外开源。功能特性 多语言版本分片模型还具有以下特性。兼容elastic-job的静态分片...
多语言版本分片模型
动态分片：主要场景是分布式处理未知数据量的数据，例如一张大表在不停变更，需要分布式跑批。主流的框架为SchedulerX提供的MapReduce模型，暂时还没有对外开源。功能特性 多语言版本分片模型还具有以下特性。兼容elastic-job的静态分片...
产品功能
只要实现一个Map方法，简单几行代码就可以将海量数据分布式到多台机器上执行。更多信息，请参见 Map模型。MapReduce模型 MapReduce模型是Map模型的扩展，废弃了postProcess方法，新增了Reduce接口。所有子任务完成后会执行Reduce方法，可以...
DeleteDrdsDB
该接口只是提交了删除数据库的任务，接入方需要依据DescribeDrds接口（查询数据库信息的接口）的返回结果来判断分布式数据库是否删除成功。请求参数 参数名 类型 是否必须 描述 Action String 是 系统规定参数，取值：DeleteDrdsDB。DbName...
可用性与可靠性
主备多副本与云盘三副本 AnalyticDB PostgreSQL版 是基于MPP架构的分布式数据库，对于所有的分布式系统来说，在通过分布式来增强性能的同时，也带来了节点故障率增高的问题，通常分布式系统会通过多副本的方式来保证系统在某些节点异常情况...
DescribeDrdsDB
DbName String 是 分布式数据库的名称。DrdsInstanceId String 是 PolarDB-X实例ID。返回值 参数名 类型 描述 DbName String 数据库名称。Status String 0-建库中 1-正常 2-建库失败 3-删除中 4-删除失败 5-迁移中 6-迁移失败 CreateTime ...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
Pandas API支持
MaxFrame提供了兼容Pandas的API接口，您可以用类似于Pandas的方式来操作MaxCompute中的数据，同时利用MaxCompute强大的分布式计算能力，简化您在大数据环境下的数据处理工作，本文为您介绍Pandas API的支持情况。当前MaxFrame支持的API详情...
源为PolarDB-X的任务配置方案
方案对比 对比项 方案一 方案二 性能 拆分成多个DTS任务，性能成倍增长，可承载大规模的 PolarDB分布式版 数据写入，仅配置一个以 PolarDB分布式版 为源的DTS任务，当业务系统写入源实例数据量较大时，会存在性能瓶颈。稳定性 稳定性较强。...
源为PolarDB-X的任务配置方案
方案对比 对比项 方案一 方案二 性能 拆分成多个DTS任务，性能成倍增长，可承载大规模的 PolarDB分布式版 数据写入，仅配置一个以 PolarDB分布式版 为源的DTS任务，当业务系统写入源实例数据量较大时，会存在性能瓶颈。稳定性 稳定性较强。...
网商银行
业务挑战 网商银行将普惠金融作为自身的使命，目标是利用互联网的技术、数据和渠道创新，构筑“分布式云生态”的架构体系，为未来的架构可持续演进奠定基础，帮助解决小微企业融资难融资贵、农村金融服务匮乏等问题，促进实体经济发展。...
2024年
03-26 新增Pandas API 新说明 MaxFrame提供了兼容Pandas的API接口，您可以用类似于Pandas的方式来操作MaxCompute中的数据，同时利用MaxCompute强大的分布式计算能力，简化您在大数据环境下的数据处理工作。Pandas API支持 2024-03-26 新增...
如何支持超大事务
在分布式数据库中，超大事务一般满足以下条件中的一个或多个：事务修改的数据涉及多个分片；事务修改的数据量比较大；事务执行的SQL语句比较多。下面通过以下场景的测试，以这三个维度为切入点，介绍 PolarDB-X 对超大事务的支持情况。测试...
产品优势
无锁备份 利用底层分布式存储的快照技术，只需分钟级别即可完成对上TB数据量大小的数据库的备份，且整个备份过程不需要加锁，效率更高，影响更小。开始使用PolarDB PolarDB MySQL版快速入门 PolarDB PostgreSQL版快速入门 PolarDB ...
产品概述
高兼容 PolarDB分布式版 主要兼容MySQL，包括SQL、函数类型等，技术上引入全局时间授时服务，提供全局一致性的分布式事务能力，通过TSO+2PC提供数据库完整的ACID能力，满足分布式下的Read-Committed/Repeatable-Read的隔离级别。同时在分布...
产品优势
无锁备份 利用底层分布式存储的快照技术，只需分钟级别即可完成对上TB数据量大小的数据库的备份，且整个备份过程不需要加锁，效率更高，影响更小。跨机并行查询 支持跨机并行查询计算引擎，多个节点跨机并行执行SQL，充分发挥所有计算节点...
支持的云服务
表格存储 表格存储是构建在阿里云飞天分布式系统之上的分布式NoSQL数据存储服务，MaxCompute 2.0支持直接通过外部表方式访问表格存储中的表数据并进行处理，详情请参见 Tablestore外部表。更多表格存储信息，请参见 表格存储。对象存储OSS ...
公交出行：启迪公交
解决方案 启迪公交采用 PolarDB-X 分布式数据库方案构建了全部业务系统，既支持海量大数据的处理能力，又支持高并发、高可用和很强的弹性伸缩能力。票务管理工作台通过用户检录数据，实时同步到阿里云AnalyticDB分析型数据库，分析出实时...
概述
负责数据分布式路由、计算及动态调度，负责分布式事务2PC协调、全局二级索引维护等，同时提供SQL限流、三权分立等企业级特性。存储节点（Data Node，DN）负责数据的持久化（面向行存数据），基于多数派Paxos协议提供数据高可靠、强一致保障...
技术面临的挑战与革新
分布式事务与集中式事务的优劣 事务处理是数据库保证ACID语义的核心功能，因为数据库系统需要处理大量的并发事务，为了保证并发事务能够尽可能高效的并发执行而又互不干扰，发展出若干种技术，比如多版本并发处理(MVCC)，乐观并发处理(OCC)...
验证分析型查询请求能力
OceanBase 数据库采用了分布式架构，将数据分片存储在不同的节点上，通过数据分片和任务分片实现了数据和计算的并行处理。在OceanBase 中，每个节点都可以独立地执行任务，并且可以通过高速的网络互相通信，实现数据的交互和同步。PARALLEL...
分布式训练加速TorchAcc概述
PAI-TorchAcc（Torch Accelerator）是基于PyTorch的训练加速框架，通过GraphCapture技术将PyTorch动态图转换为静态执行图，然后进一步基于计算图完成分布式优化、计算优化，从而提高PyTorch模型训练的效率，使其更加易于使用。技术简介 ...
使用ossimport迁移数据
对于大规模的数据迁移，请使用分布式模式。此需求需要使用ossimport分布式配置进行数据迁移。说明 您也可以使用在线迁移服务进行数据的迁移，迁移过程更加简单，详情请参见 在线迁移服务。准备工作 开通OSS，并创建华东1（杭州）地域的存储...
购买数据访问代理实例
数据访问代理是蚂蚁金融科技自主研发的金融级分布式数据库中间件，用于解决海量请求下数据访问的瓶颈及数据库的容灾问题。提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务。使用本产品前，您需要购买一个数据访问代理实例。操作...
四川农信
PaaS 层建设，构建分布式系统上下游生态，实现分布式云原生架构体系 实现分布式云原生架构体系，需要从技术规范、基础设施、生产力工具、组织流程等各个方面进行持续革新：建立一个面向分布式架构的开发平台和运行平台，结合分布式数据库、...
典型客户案例
完成云平台 PaaS 层建设，构建分布式系统上下游生态，实现分布式云原生架构体系 实现分布式云原生架构体系，需要从技术规范、基础设施、生产力工具、组织流程等各个方面进行持续革新：需要一个面向分布式架构的开发平台和运行平台，结合...
算子级别诊断结果
表扫描数据量倾斜 问题 AnalyticDB MySQL版 是分布式执行架构，大表的数据一般需要指定分布字段，数据写入时根据分布字段分散到不同的存储节点上。如果分布字段的值分布不均匀，那么数据存储在各个节点上时也会不均匀，最终导致数据读取时...
未来规划
云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台服务器和虚拟机，带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用，实现按需按量...
名词解释
术语 说明 cassandra 云数据库Cassandra版是在线可靠的NoSQL分布式数据库服务，支持类SQL语法CQL，支持多地多活，提供了安全、容灾、监控、备份恢复等企业级能力。CQL CQL（Cassandra Query Language）是cassandra中提供的一种类SQL查询...
概述
任务调度 TS（Task Scheduler）提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化对金融企业不同业务系统的任务进行统一的调度和全方位监控运维管理，达到所有任务有序、高效运行的目的，极大降低开发和...
产品优势
任务调度 提供分布式任务调度框架，实现任务的分布式处理、统一的任务调度和全方位监控运维管理，达到所有任务有序、高效运行的目的，极大降低开发和运维的成本。分布式链路跟踪 面向分布式架构、微服务架构和云原生架构的应用可观察性的...
E-MapReduce弹性低成本离线大数据分析
离线大数据分析概述 主流的三大分布式计算框架系统分别为Hadoop、Spark和Storm：Hadoop可以运用在很多商业应用系统，可以轻松集成结构化、半结构化以及非结构化数据集。Spark采用了内存计算，允许数据载入内存作反复查询，融合数据仓库、流...
概述
任务调度 SOFAStack 任务调度提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化地对金融企业不同业务系统的任务进行统一调度和全方位监控运维管理，达到所有任务有序、高效运行的目的，极大降低开发和运...
典型场景
ETL离线数据处理 面对复杂SQL优化和海量数据大规模聚合分析等挑战，云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势：支持标准SQL、OLAP窗口函数和存储过程。ORCA分布式SQL优化器，复杂查询免调优。MPP多节点全并行计算，PB级数据...
组件中心
任务调度 提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化地对金融企业不同业务系统的任务进行统一的调度和全方位的监控运维管理。消息队列 在蚂蚁集团关键链路中历经十年实战打磨，是一款具备高可靠、...
PolarDB-X适用场景
目前，PolarDB-X 具备从单机到分布式的平滑演进能力，支持动态通过DDL将一张大表动态调整为分布式的分区表，结合分布式事务、以及兼容MySQL binlog的数据回流，可完成单机到分布式的快速改造。数据库国产化替换 场景描述 信息系统国产化是...
应用场景
同时，OceanBase 数据库的分区表方案也可以使得用户完全无需关注数据的分布细节，轻松支持跨分区的分布式事务、多分区的关联，真正实现“透明”访问分布式数据库。会员系统的多维度查询 会员系统在很多企业中也都是存在的，系统中保存了很...
- 产品推荐
- 这些文档可能帮助您