什么是MaxCompute
MaxCompute还为您提供完善的数据导入方案以及多种经典的分布式计算模型，您可以不必关心分布式计算和维护细节，便可轻松完成大数据分析。MaxCompute适用于100 GB以上规模的存储及计算需求，最大可达EB级别，并且MaxCompute已经在阿里巴巴...
概述
使用说明 Mars是一个基于张量的统一分布式计算框架。Mars能利用并行和分布式技术，为Python数据科学栈加速，包括 Numpy、Pandas 和 Scikit-learn。Mars常用接口如下：Mars Tensor 接口 和Numpy保持一致，且支持大规模高维数组。示例代码...
功能特性
计算 MaxCompute向用户提供了多种经典的分布式计算模型，提供TB、PB、EB级数据计算能力，能够更快速的解决用户海量数据计算问题，有效降低企业成本。功能集 功能 功能描述 参考文档 SQL开发 DDL语句 DDL语句 DDL DML操作 DML操作 DML操作 ...
四川农信
建立一个面向分布式架构的开发平台和运行平台，结合分布式数据库、分布式缓存、微服务框架、服务管理和发布流程等方面做统一的集成和接口封装，支持分布式应用的开发和管理，降低了分布式应用项目的开发成本。实施 Devops 体系支持分布式...
典型客户案例
需要一个面向分布式架构的开发平台和运行平台，结合分布式数据库、分布式缓存、微服务框架、服务管理和发布流程等方面做统一的集成和接口封装，支持分布式应用的开发和管理，为了降低分布式应用项目的开发成本。实施 Devops 体系支持分布式...
任务管理高级配置参数说明
1 子任务单机并发数 并行计算 内存网格 网格计算 分布式模型，单台机器并发消费子任务的个数。5 子任务失败重试次数 并行计算 内存网格 网格计算 分布式模型，子任务失败自动重试的次数。0 子任务失败重试间隔 并行计算 内存网格 网格计算 ...
任务管理高级配置参数说明
1 子任务单机并发数 并行计算 内存网格 网格计算 分布式模型，单台机器并发消费子任务的个数。5 子任务失败重试次数 并行计算 内存网格 网格计算 分布式模型，子任务失败自动重试的次数。0 子任务失败重试间隔 并行计算 内存网格 网格计算 ...
AI加速概述
TorchAcc（模型训练加速框架）支持数据并行训练，优化计算和通信overlap，提升分布式训练效果。支持AMP训练加速。支持自动显存优化等。EPL（大规模分布式训练框架）支持数据并行，算子拆分流水并行。支持自动并行策略，得到最优分布式训练...
任务管理高级配置参数说明
1 子任务单机并发数 并行计算 内存网格 网格计算 分布式模型，单台机器并发消费子任务的个数。5 子任务失败重试次数 并行计算 内存网格 网格计算 分布式模型，子任务失败自动重试的次数。0 子任务失败重试间隔 并行计算 内存网格 网格计算 ...
Pandas API支持
MaxFrame提供了兼容Pandas的API接口，您可以用类似于Pandas的方式来操作MaxCompute中的数据，同时利用MaxCompute强大的分布式计算能力，简化您在大数据环境下的数据处理工作，本文为您介绍Pandas API的支持情况。当前MaxFrame支持的API详情...
PolarDB PostgreSQL版：ePQ架构详解
相较于单机并行，分布式ePQ并行充分利用了所有RO节点的计算资源和底层共享存储的I/O带宽，从根本上解决了前文提及的HTAP诸多挑战。在TPC-H的22条SQL中，有3条SQL加速了60多倍，19条SQL加速了10多倍，平均加速23倍。如图所示：测试弹性扩展...
2019年
本文介绍了SchedulerX产品在2019年发布涉及的新增功能...支持单机执行、广播执行、并行计算、内存网格、网格计算。支持Map和MapReduce分布式编程模型。支持任务实例级别和子任务级别的失败自动重试（默认不重试）。支持数据时间和重刷数据。无
什么是分布式任务调度SchedulerX
分布式任务调度SchedulerX是阿里巴巴基于Akka架构自研的新一代分布式任务调度平台，提供定时调度、调度任务编排和分布式批量处理等功能。您可以在控制台配置、管理您的定时调度任务、查询任务执行记录和运行日志，还可以通过工作流进行任务...
功能特性
数据访问代理兼容 MySQL 协议和语法，支持分库分表、平滑扩容、服务升降配、透明读写分离和分布式事务等特性，具备分布式数据库全生命周期的运维管控能力。分库分表 支持 RDS、OceanBase、MySQL 的分库分表。在创建分布式数据库后，只需...
什么是分布式任务调度SchedulerX
分布式任务调度SchedulerX是阿里巴巴自研的分布式任务调度平台，兼容开源XXL-JOB、ElasticJob、Spring Schedule，K8s Job，支持Cron定时、一次性任务、可视化工作流任务编排和分布式跑批，具有高可用、可观测、可运维和低延时等能力。...
概述
任务调度 SOFAStack 任务调度提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化地对金融企业不同业务系统的任务进行统一调度和全方位监控运维管理，达到所有任务有序、高效运行的目的，极大降低开发和运...
概述
数据访问代理兼容 MySQL 协议和语法，支持分库分表、平滑扩容、服务升降配、透明读写分离和分布式事务等特性，具备分布式数据库全生命周期的运维管控能力。数据访问代理主要应用场景在大规模在线数据操作上，通过贴合业务的拆分方式，将...
依赖与配置项
基于 Spring 框架 在 Spring 框架中，您需要依次添加 Spring 依赖和分布式事务依赖。添加 Spring 依赖 分布式事务依赖 Spring 4 框架，需要在应用中引入 Spring JAR 包，您可以在应用中添加如下 Spring Maven 依赖：!spring boot and ...
常见问题
如果您使用的是数据访问代理中的分布式事务，因为数据访问代理和分布式事务已经深度集成，部署时是不需要任何依赖的，仅需一行事务开启 SQL 语句就能开启事务。如果您是基于 SDK 方式使用分布式事务，就需要在引入的分布式事务 SDK 的 pom....
适用场景
按应用类型选择 PolarDB-X 1.0 产品在高并发、分布式事务、复杂SQL优化、并行计算等方面都有比较好的用户沉淀和技术发展，适用于如下场景：对超高并发和大规模数据存储有较高要求的互联网在线事务类业务场景。传统企业级应用因业务发展导致...
什么是蚂蚁链分布式身份服务 DIS
蚂蚁链分布式身份服务 DIS（Decentralized Identity Service），是一种基于区块链的身份管理方案，提供实体身份的创建、验证和管理等一整套功能，实现更规范化地管理和保护实体数据，同时保证信息流转的真实性和效率，解决了跨机构的身份...
产品体系
分布式中间件 蚂蚁分布式中间件（SOFA）的产品发展路径，一直秉承着引领和拥抱业界先进标准和实践的理念，同时亦能满足传统金融架构的平滑迁移和融合适配，以稳妥应对业务升级变更，并积极应对金融交易系统所面临的服务和数据扩展性、事务...
并行查询Hint语法
对于名称为win的窗口函数，通过串行方式计算-对于其他窗口函数，通过在partition by key上分布做并行计算 并行Order by 通过 PQ_ORDERBY 指定排序操作的执行方式：/*+PQ_ORDERBY(strategy)*/其中参数说明如下所示：参数 说明 strategy 数据...
跨机并行查询
结合 PolarDB PostgreSQL版（兼容Oracle）存储计算分离的架构，可以做到弹性扩展：当算力不够时，可以弹性地增加只读节点，新增的只读节点加入分布式的并行计算中，而不需数据重新分片（Reshard）。不会出现数据倾斜问题。关于更多跨机并行...
优势
实时监控利用文件传输、流式计算、分布式文件存储、时序数据存储，数据可视化、数据建模等技术，提供实时、智能、可定制、多视角、全方位的监控体系。其主要优势有：全方位实时监控 提供资源、应用、业务等各种视角的监控能力，关键指标秒...
产品功能
分布式计算 提供简单、易用的分布式编程模型，可以进行大数据跑批。单机：随机挑选一台机器执行。详情请参见 单机。广播：所有机器同时执行且等待全部结束。详情请参见 广播。Map模型：类似于Hadoop MapReduce里的Map。只要实现一个Map方法...
概述
分布式（线性扩展）传统分布式数据库，业界常见基于Paxos/Raft的多副本机制构建列存，但OLTP和OLAP各自的查询场景会有不同的诉求，对资源的依赖程度也不同，不同副本之间强一致分区策略/扩缩容机制，使得TP和AP的线性扩容能力容易相互制约...
高性能能力
HTAP跨节点并行执行能力 PolarDB PostgreSQL版（兼容Oracle）支持分析型查询，通过分布式并行计算技术，多个RO点并行执行SQL查询，充分发挥共享存储层的高IO吞吐能力，以及RO点的CPU和memory资源。能在一份TP数据上实时执行分析型查询，而...
任务管理
10 子任务全局并发数（仅适用于拉模型）并行计算 内存网格 网格计算 分布式拉模型支持全局子任务并发数，可以进行限流。1,000 在 定时配置 配置向导页，设置定时参数和高级配置参数，然后单击 下一步。定时参数说明如下：配置项 说明 时间...
任务管理
10 子任务全局并发数（仅适用于拉模型）并行计算 内存网格 网格计算 分布式拉模型支持全局子任务并发数，可以进行限流。1,000 在 定时配置 配置向导页，设置定时参数和高级配置参数，然后单击 下一步。定时参数说明如下：配置项 说明 时间...
PolarDB-X适用场景
产品能力 PolarDB-X 基于并行计算和弹性扩展能力，可实现对在线数据做实时报表分析；同时引入智能读写分离、只读副本做分析，保障OLTP和OLAP访问的隔离性的同时，提供统一访问入口，自动选择查询执行引擎。使用一份数据完成两种类型访问，...
产品概述
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
概述
结合 PolarDB PostgreSQL版（兼容Oracle）存储计算分离的架构，可以做到弹性扩展：当算力不够时，可以弹性地增加只读节点，新增的只读节点加入分布式的并行计算中，而不需数据重新分片（Reshard）。不会出现数据倾斜问题。使用场景 日常...
概述
结合 PolarDB PostgreSQL版（兼容Oracle）存储计算分离的架构，可以做到弹性扩展：当算力不够时，可以弹性地增加只读节点，新增的只读节点加入分布式的并行计算中，而不需数据重新分片（Reshard）。不会出现数据倾斜问题。使用场景 日常...
名词解释
下表列出了 AnalyticDB PostgreSQL 所涉及到的基本概念：名词 解释 MPP Massively Parallel Processing，一种分布式 Shared Nothing 计算架构，支持多个无共享的节点，执行全并行计算，计算性能随节点增加而线性提升。AnalyticDB for ...
PolarDB PostgreSQL版架构介绍
同时，PolarDB PostgreSQL版 具有大规模并行计算能力，可以应对OLTP与OLAP混合负载。还具有时空、向量、搜索、图谱等多模创新特性，可以满足企业对数据处理日新月异的新需求。PolarDB PostgreSQL版 支持多种部署形态：存储计算分离部署、X-...
概述
PolarDB MySQL版 8.0.2版本除了支持原有的单机并行查询，又将线性加速能力提升了一个等级，引入了多节点分布式并行计算能力，即多机并行查询。基于代价将执行计划优化为更灵活的并行执行计划，改进了单机并行查询可能存在的Leader单点瓶颈...
技术面临的挑战与革新
share nothing架构的分布式数据库，每一个节点拥有独立的计算和存储资源，每一个节点都有各自的计算引擎和存储引擎，计算存储绑定。这种类型的架构好处显而易见，数据Sharding的方式让数据存取以及处理可以并行化，计算存储本地化最大化...
数据科学计算概述
Mars则是一个基于张量的统一分布式计算框架，实现了Numpy大约70%的接口，并进行了分布式化，不仅大幅减少了分布式科学计算代码的编写难度，同时在性能上也有大幅提升。Mars核心功能如下：兼容及分布式化（2019年1月正式开源）：支持将Numpy...
Map模型
10 子任务全局并发数（仅适用于拉模型）并行计算 内存网格 网格计算 分布式拉模型支持全局子任务并发数，可以进行限流。1,000 发送50条消息的Demo示例（适用于Map模型）@Component public class TestMapJobProcessor extends ...
- 产品推荐
- 这些文档可能帮助您