MaxFrame概述
MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算，同时可直接使用MaxCompute计算资源及数据接口，与MaxCompute Notebook、镜像管理等功能共同构成了MaxCompute完整的Python开发生态。...
2024年
2024-03-27 全部地域 镜像管理 MaxCompute分布式计算框架MaxFrame发布 MaxFrame是由阿里云自研的分布式计算框架，支持Python编程接口、兼容Pandas接口且自动进行分布式计算，同时可直接使用MaxCompute计算资源及数据接口，与MaxCompute ...
什么是持续交付
可编排 在分布式计算中，组件灵活可编排，可以支持各种规模的动态部署与服务。通过检测容器状态，分析整体数据和资源状况，合理分配和支持不同业务、不同规模的产品服务，实现高效的持续交付。多样化 多平台支撑，支持多种分支策略，支持...
2024年
操作审计事件数据迁移至MaxCompute 2024-03-26 新增Pandas API 新说明 MaxFrame提供了兼容Pandas的API接口，您可以用类似于Pandas的方式来操作MaxCompute中的数据，同时利用MaxCompute强大的分布式计算能力，简化您在大数据环境下的数据...
引擎简介
Lindorm计算引擎是一款基于 云原生多模数据库 Lindorm 核心能力实现的数据库内 高性能、低成本、稳定可靠 的分布式计算服务，满足用户在 云原生多模数据库 Lindorm 支撑场景下的数据生产、交互式分析、机器学习和图计算等场景中的计算需求...
产品优势
高性能 支持秒级别调度，轻量级分布式计算可以帮助您完成准实时的大数据跑批。节约成本和提升效率 无机器和人工运维成本，接入简单，提供报警监控。安全防护 多层次安全防护，包括：支持HTTPS，VPC访问。支持用户隔离、命名空间隔离和应用...
Pandas API支持
MaxFrame提供了兼容Pandas的API接口，您可以用类似于Pandas的方式来操作MaxCompute中的数据，同时利用MaxCompute强大的分布式计算能力，简化您在大数据环境下的数据处理工作，本文为您介绍Pandas API的支持情况。当前MaxFrame支持的API详情...
常见问题
运维管理 容器应用服务常见问题 经典应用服务常见问题 中间件 SOFABoot 常见问题 微服务常见问题 微服务故障排查之 DRM 微服务故障排查之限流 微服务故障排查之 RPC 服务网格-故障排查 消息队列常见问题 任务调度常见问题 分布式链路跟踪...
网商银行
业务挑战 网商银行将普惠金融作为自身的使命，目标是利用互联网的技术、数据和渠道创新，构筑“分布式云生态”的架构体系，为未来的架构可持续演进奠定基础，帮助解决小微企业融资难融资贵、农村金融服务匮乏等问题，促进实体经济发展。...
参考：渐进式计算
渐进式计算（Progressive Computing）是处于传统的流计算和批处理之间的一种计算方式，具有高资源利用率和低延迟的优势。本文为您介绍渐进式计算的基础配置、作业调优配置以及使用示例。背景信息 渐进式计算能够处理增量数据并维护中间结果...
产品优势
高性能 支持秒级别调度，轻量级分布式计算可以帮助您完成准实时的大数据跑批。免运维、低成本 无机器和人工运维成本且接入简单。基础版成本是开源自建的三分之一；专业版集成了短信电话报警、日志服务、链路追踪、监控大盘等，无需额外费用...
产品相关问题
解决大规模分布式任务统一调度的问题，助力企业能够更加迅速地满足业务需求。典型的应用场景包括金融行业结息处理、日切处理、余额缓冲记账、政务数据批处理等。任务调度支持哪些任务类型？任务调度支持的基本任务类型包括：简单任务、集群...
ACK One概述
分布式云容器平台 ACK One（Distributed Cloud Container Platform for Kubernetes）是阿里云面向混合云、多集群、分布式计算、容灾等场景推出的企业级云原生平台。ACK One 可以连接并管理您任何地域、任何基础设施上的Kubernetes集群，并...
功能特性
分布式事务（Distributed Transaction-eXtended，简称 DTX）是蚂蚁集团自主研发的金融级分布式事务中间件，支持跨数据库、跨服务以及混合的方式处理分布式应用，具备多种接入模式和金融级配套功能，本文将主要介绍分布式事务的功能特性。...
优势
实时监控利用文件传输、流式计算、分布式文件存储、时序数据存储，数据可视化、数据建模等技术，提供实时、智能、可定制、多视角、全方位的监控体系。其主要优势有：全方位实时监控 提供资源、应用、业务等各种视角的监控能力，关键指标秒...
查询执行模式
Interactive模式 AnalyticDB MySQL 接收到用户查询后，会对查询进行解析，由优化器生成执行计划，执行引擎接收到执行计划后，会生成对应的分布式执行任务，这些分布式执行任务会根据执行计划描述的逻辑进行计算。执行引擎负责调度、管理...
应用场景
对于传统企业的服务化转型来说，使用分布式框架不是银弹，在解决了传统的单块架构系统随着业务需求的快速变化而面临的挑战后，分布式架构也为研发和运维增加了更大的复杂度和管理成本，基于分布式框架来进行架构改造的应用和业务通常会面临...
源为PolarDB-X的任务配置方案
但是由于直接使用 PolarDB分布式版 作为源实例配置DTS任务，当该实例下挂载的RDS MySQL数量超过2个时，可能会产生性能瓶颈，稳定性风险，最终可能会对业务造成影响。为了更好保障任务的性能和稳定性，DTS建议您在配置时，根据 PolarDB分布...
产品概述
产品简介 PolarDB-X 1.0 是由阿里巴巴自主研发的PolarDB分布式版数据库，融合分布式SQL引擎与分布式自研存储X-DB，基于云原生一体化架构设计，可支撑千万级并发规模及百PB级海量存储。专注解决海量数据存储、超高并发吞吐、大表瓶颈以及...
产品优势
采用分布式架构，可以让业务在出现热点后，进行拆分、扩容，以应对流量激增。但如果是由于物理资源不够，或者数据层瓶颈，仅采用应用层的分布式就不够了。如何做到从上至下有一套完整的体系，从接入层到应用层最后到数据层进行规整，可以...
分布式序列问题
分布式序列是否全局唯一 单库单表的分布式序列可以保证生成的序列 ID 全局唯一。分库分表的分布式序列仅保证单个分片的序列 ID 唯一，如果需要确保分库分表的分布式序列全局唯一，可以在序列 ID 中拼接分库分表位，以此保证全局唯一。分布...
技术原理
PolarDB-X优化器会基于代价估计将请求区分为TP与AP负载，其中AP查询会被进一步改写为分布式执行计划，发往只读实例进行计算，避免它对主实例的TP查询造成影响。MySQL生态兼容 PolarDB-X将兼容MySQL以及周边生态作为核心设计目标之一。本文...
概述
存储节点（Data Node，DN）负责数据的持久化（面向行存数据），基于多数派Paxos协议提供数据高可靠、强一致保障，同时通过MVCC维护分布式事务的可见性，另外提供计算下推能力，以满足分布式的计算下推要求（例如Project/Filter/Join/Agg等...
概述
分布式链路跟踪具备以下特点：全链追踪：能够深入应用，服务，数据库，消息，捕获性能异常，识别出现故障的组件及服务。易于使用：可以与 SOFAStack 上的应用进行无缝对接，用户的业务代码无需任何修改即可轻松接入，实现性能可视化与问题...
概述
SOFAStack 提供了一套用于快速构建金融级分布式架构的中间件，是在严苛的金融场景里锤炼出来的最佳实践。要使用 SOFA 中间件，例如微服务或消息队列，推荐使用 SOFABoot 框架进行开发。SOFABoot SOFABoot 是蚂蚁科技基于 Spring Boot 自研...
产品架构
图计算服务（GraphCompute）一站式图计算解决方案，通过高性能的分布式图计算引擎，提供万亿数据规模下搜推、实时风控、复杂图关系的查询和分析。结合阿里巴巴在电商、安全和社交等多个行业领域的积累，为全球企业及开发者提供图技术服务
数据科学计算概述
Mars则是一个基于张量的统一分布式计算框架，实现了Numpy大约70%的接口，并进行了分布式化，不仅大幅减少了分布式科学计算代码的编写难度，同时在性能上也有大幅提升。Mars核心功能如下：兼容及分布式化（2019年1月正式开源）：支持将Numpy...
常见问题
本文主要介绍在操作分布式事务过程中的常见问题。SOFAStack 是否可以部署在虚拟机、物理机上？可以，SOFAStack 部署支持物理机、虚机机 VM。SOFAStack 当前是否只支持阿里云飞天 ACK？SOFAStack 部署支持多云异构、目前支持华为云、开源 ...
四川农信
完成云平台 PaaS 层建设，构建分布式系统上下游生态，实现分布式云原生架构体系 实现分布式云原生架构体系，需要从技术规范、基础设施、生产力工具、组织流程等各个方面进行持续革新：建立一个面向分布式架构的开发平台和运行平台，结合...
2022年
分布式系统不可避免会产生小文件，比如SQL或其他分布式引擎的计算结果、Tunnel数据采集。合并小文件可以达到优化系统性能的目的。本文为您介绍如何在MaxCompute中合并小文件。合并小文件 2022年11月更新记录 时间 特性 类别 描述 产品文档 ...
任务管理高级配置参数说明
1 子任务单机并发数 并行计算 内存网格 网格计算 分布式模型，单台机器并发消费子任务的个数。5 子任务失败重试次数 并行计算 内存网格 网格计算 分布式模型，子任务失败自动重试的次数。0 子任务失败重试间隔 并行计算 内存网格 网格计算 ...
典型客户案例
完成云平台 PaaS 层建设，构建分布式系统上下游生态，实现分布式云原生架构体系 实现分布式云原生架构体系，需要从技术规范、基础设施、生产力工具、组织流程等各个方面进行持续革新：需要一个面向分布式架构的开发平台和运行平台，结合...
10 分钟本地试用公有云分布式事务
本节介绍如何快速本地试用公有云分布式事务服务。操作步骤 开通分布式事务服务。说明 如果已开通服务，可以忽略这一步。如果没有账号，可使用支付宝扫描登录。登录 分布式事务产品 页面。在 开通 DTX 分布式事务体验版 页面，单击 确认开通...
分布式链路概述
分布式链路（原 SOFAStack 中间件中的 概述）会逐步融合到业务智能可观测服务中，实现监控和链路分析一体化，方便用户对问题进行跟踪定位，对应用性能、调用链路进行实时分析。背景信息 分布式链路是面向分布式架构、微服务（比如 Spring ...
任务管理高级配置参数说明
1 子任务单机并发数 并行计算 内存网格 网格计算 分布式模型，单台机器并发消费子任务的个数。5 子任务失败重试次数 并行计算 内存网格 网格计算 分布式模型，子任务失败自动重试的次数。0 子任务失败重试间隔 并行计算 内存网格 网格计算 ...
发起方配置
跨服务 FMT 参与者服务订阅 基于 SOFARPC 发布的服务订阅<sofa:reference id="dataServiceSofaRpc" interface=com.xxx.DataService" ><sofa:binding.tr/>基于 Dubbo 发布的服务订阅开启分布式事务 为需要开启分布式事务的接口增加分布式事务...
产品概述
什么是批量计算 批量计算（BatchCompute）是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模，系统自动完成资源管理、作业调度和数据加载，并按实际使用量计费。通俗的讲，就是您可以提交一个任意的...
常见问题
本文汇总了分布式链路跟踪服务（DST）在使用过程中的一些常见问题及对应的解决方案。应用正常运行却无法在控制台被展示 多维查询没有结果，或者搜索链路为空 如何配置 tracer，以便按照小时分割 trace 日志？RPC Tracer 打印不出 rpc-...
产品架构
Storage Disaggregation（存储计算分离架构）存储和Shared Storage类似，有一个分布式的共享存储集群，计算层处理数据的模式和Shared Nothing类似，数据是分片的，每个Shard只处理自己所在分片的数据，每个计算节点还可以有本地缓存。...
概述
使用说明 Mars是一个基于张量的统一分布式计算框架。Mars能利用并行和分布式技术，为Python数据科学栈加速，包括 Numpy、Pandas 和 Scikit-learn。Mars常用接口如下：Mars Tensor 接口 和Numpy保持一致，且支持大规模高维数组。示例代码...
- 产品推荐
- 这些文档可能帮助您