分布式训练加速TorchAcc概述

PAI-TorchAcc(Torch Accelerator)是基于PyTorch的训练加速框架,通过GraphCapture技术将PyTorch动态图转换为静态执行图,然后进一步基于计算图完成分布式优化、计算优化,从而提高PyTorch模型训练的效率,使其更加易于使用。技术简介 ...

概述

高性能 通过分布式以及优化的底层架构、支持多层调度模式可进行无限拆分,多线程并行处理,显著提升大数据量的批任务处理的性能。可视化集中式管理 通过简易操作的可视化集中式管理平台可对上万个任务节点进行集中化管理,简化运维管理操作...

产品概述

尤其在异地长距离传输上,基于Batching&Pipelining进行网络优化来提升性能。高兼容 PolarDB分布式版 主要兼容MySQL,包括SQL、函数类型等,技术上引入全局时间授时服务,提供全局一致性的分布式事务能力,通过TSO+2PC提供数据库完整的ACID...

什么是蚂蚁链分布式身份服务 DIS

蚂蚁链分布式身份服务 DIS(Decentralized Identity Service),是一种基于区块链的身份管理方案,提供实体身份的创建、验证和管理等一整套功能,实现更规范化地管理和保护实体数据,同时保证信息流转的真实性和效率,解决了跨机构的身份...

什么是AI分布式训练通信优化库AIACC-ACSpeed

ACSpeed在AI框架层、集合算法层和网络层上分别实现了与开源主流分布式框架的充分兼容,并实现了软硬件结合的全面优化。ACSpeed的组件架构图如下所示:架构层 说明 AI框架层 在AI框架层,ACSpeed通过 aiacc-c10d-plugin 实现了PyTorch框架的...

技术面临的挑战与革新

在过去网络IO还是一大瓶颈的年代,分布式系统设计以及优化的一大原则就是尽量使得计算存储本地化,避免昂贵的网络开销。然而share nothing架构对于跨分片的数据访问不是很友好,比如事务,比如全局索引,实现起来十分复杂,效率也要打上...

慢日志

慢日志优化 登录 PolarDB分布式版控制台。在页面左上角选择目标实例所在地域。在 实例列表 页,单击 PolarDB-X 2.0 页签。找到目标实例,单击实例ID。在左侧导航栏中,单击 诊断与优化>慢日志。在下方慢日志统计页签中查看慢SQL模板列表,...

概述

分布式事务 DTX(Distributed Transaction-eXtended)是蚂蚁集团自主研发的金融级分布式事务中间件,用来保障在大规模分布式环境下业务活动的最终一致性。在蚂蚁集团内部被广泛地应用于交易、转账、红包等核心资金链路,服务于亿级用户的...

基础术语

发起方 initiator 分布式事务的发起方负责启动分布式事务,通过调用参与者的服务,将参与者纳入到分布式事务当中,并决定整个分布式事务是提交还是回滚。一个分布式事务有且只能有一个发起方。参与者 participant 参与者提供分支事务服务。...

分布式链路概述

Trace ID 代表唯一一次请求的 ID,此 ID 一般由集群中第一个处理请求的系统产生,并在分布式调用下通过网络传递到下一个被请求系统。Span 代表本次请求的完整信息,包括调用是否成功、调用类型、调用耗时等。其中最核心是 Span ID,代表了...

开通SchedulerX

背景信息 阿里云分布式任务调度SchedulerX已于2021年09月01日正式商业化。操作步骤 登录 分布式任务调度平台。首次使用并登录分布式任务调度平台,在弹出的对话框中单击 开通。在 分布式任务管理 页面,单击 立即购买。在 确认订单 页面 ...

开通服务

本节介绍如何开通分布式事务服务。前提条件 已注册阿里云账号,并完成实名认证。操作步骤 开通 SOFAStack 产品服务。使用阿里云账号登录 阿里云官网。在上方菜单栏选择 产品与服务>中间件>金融分布式架构 SOFAStack。在 SOFAStack 产品主页...

功能特性

数据访问代理兼容 MySQL 协议和语法,支持分库分表、平滑扩容、服务升降配、透明读写分离和分布式事务等特性,具备分布式数据库全生命周期的运维管控能力。分库分表 支持 RDS、OceanBase、MySQL 的分库分表。在创建分布式数据库后,只需...

应用场景

分布式事务可应用在多个涉及数据库操作的领域,尤其在金融领域可以做到全场景的覆盖与落地验证,包括:支付与转账、账务:对于吞吐量有很高的要求 金融与理财:往往涉及的金额较大,所以对于产品的稳定性要求非常高 保险与监管报送:参与方...

什么是分布式任务调度SchedulerX

分布式任务调度SchedulerX是阿里巴巴基于Akka架构自研的新一代分布式任务调度平台,提供定时调度、调度任务编排和分布式批量处理等功能。您可以在控制台配置、管理您的定时调度任务、查询任务执行记录和运行日志,还可以通过工作流进行任务...

分布式序列问题

分布式序列是否全局唯一 单库单表的分布式序列可以保证生成的序列 ID 全局唯一。分库分表的分布式序列仅保证单个分片的序列 ID 唯一,如果需要确保分库分表的分布式序列全局唯一,可以在序列 ID 中拼接分库分表位,以此保证全局唯一。分布...

分布式事务问题

数据访问代理是否支持分布式事务 数据访问代理支持与分布式事务的集成使用。版本要求:数据访问代理 V2.9.5 或更高版本 分布式事务 V2.5.2 或更高版本 具体配置信息请参考 分布式事务>开发指南>依赖与配置项。在数据访问代理 V2.9.5 之前的...

什么是AI通信加速库Deepnccl

Deepnccl通过底层Deepytorch实现了PyTorch框架的充分兼容和无感分布式训练性能优化,增加融合优化等额外调优手段。说明 如需了解Deepytorch的更多信息,请参见 什么是AI加速器Deepytorch。Deepnccl通信加速 接口层 在接口层,通过...

什么是分布式任务调度SchedulerX

分布式任务调度SchedulerX是阿里巴巴自研的分布式任务调度平台,兼容开源XXL-JOB、ElasticJob、Spring Schedule,K8s Job,支持Cron定时、一次性任务、可视化工作流任务编排和分布式跑批,具有高可用、可观测、可运维和低延时等能力。...

产品优势

微服务产品在蚂蚁集团内部已支撑数万个节点规模的分布式应用架构,具有高可用性、高可扩展性、高性能、高时效性、稳定可靠等核心优势,并提供丰富的功能来帮助用户简化分布式系统的管理,让业务开发人员可以专注于业务逻辑实现,提升研发...

开通SchedulerX

背景信息 阿里云分布式任务调度SchedulerX于2021年09月01日正式商业化。对于公测期间创建的实例,如果2021年09月01日00:00:00前没有释放,那么我们将默认您所创建的集群采用按量付费模式开始收费。操作步骤 首次使用并登录分布式任务调度...

技术架构

架构演进理念 当前,分布式领域有3大技术方向:Sharding技术,NewSQL原生分布式技术,云原生DB技术。每种分布式都有其独特的优势和特点。PolarDB-X 1.0 的架构继承了DRDS和X-DB技术的稳定性,结合了PolarDB的云原生技术,融入了NewSQL对于...

产品优势

分布式中间件 蚂蚁分布式中间件的产品发展路径,一直秉承引领和拥抱业界先进标准和实践,同时亦能满足传统金融架构的平滑迁移、融合适配,以稳妥应对业务升级变更,并积极应对金融交易系统所面临的服务和数据扩展性、事务一致性、秒级容灾...

组件中心

中间件 分布式链路跟踪 一款实时监控并管理企业应用性能和故障的云服务,其提供数字化性能管理解决方案,帮助企业在分布式架构下快速发现并准确定位应用全生命周期的性能问题。任务调度 提供分布式任务调度框架,实现任务的分布式处理,并...

分布式任务调度平台(SchedulerX)服务等级协议

本文介绍分布式任务调度平台(SchedulerX)的服务等级协议。关于服务等级协议,请参见 分布式任务调度平台(SchedulerX)服务等级协议。

分布式任务调度平台(SchedulerX)服务等级协议

本文介绍分布式任务调度平台(SchedulerX)的服务等级协议。关于服务等级协议,请参见 分布式任务调度平台(SchedulerX)服务等级协议。

依赖与配置项

分布式事务不仅支持 SOFABoot 框架,也支持纯 Spring 的应用场景。本文将分别介绍针对不同的服务框架所要预先完成的依赖与配置项操作。无论是事务发起方还是参与者均需要完成本文的依赖与配置项操作。环境要求 必须使用 JDK 1.7 或以上版本...

金融云分布式任务调度平台(SchedulerX)服务等级协议

本文介绍金融云分布式任务调度平台(SchedulerX)的服务等级协议。关于服务等级协议,请参见 金融云分布式任务调度平台(SchedulerX)服务等级协议。

产品优势

作为行业领先的区块链数字身份管理服务,蚂蚁链分布式身份服务 DIS 具备以下优势:分布式 基于区块链构建分布式数字身份系统,摆脱了对单一中心企业的依赖,抵御故障和篡改。各生态参与方平权参与,易于生态合作。身份自主控制 打通用户...

金融云分布式任务调度平台(SchedulerX)服务等级协议

本文介绍金融云分布式任务调度平台(SchedulerX)的服务等级协议。关于服务等级协议,请参见 金融云分布式任务调度平台(SchedulerX)服务等级协议。

产品优势

兼容性保障 分布式事务是一个抽象的基于 Service 层的概念,与底层事务实现无关,也就是说在分布式事务的范围内,无论是关系型数据库 MySQL、Oracle,还是 KV 存储 MemCache,或是列存数据库 HBase,只要将对它们的操作包装成分布式事务的...

10 分钟本地试用公有云分布式事务

本节介绍如何快速本地试用公有云分布式事务服务。操作步骤 开通分布式事务服务。说明 如果已开通服务,可以忽略这一步。如果没有账号,可使用支付宝扫描登录。登录 分布式事务产品 页面。在 开通 DTX 分布式事务体验版 页面,单击 确认开通...

常见问题

如何接入 DIS?目前,蚂蚁链分布式身份服务 DIS 仅支持 API 接入。企业如何接入 DIS?我们提供标准的接入文档供您参考。首先,您需要 开通蚂蚁区块链分布式身份服务,然后参考 快速开始 说明接入 DIS。

概述

数据访问代理是蚂蚁金融科技自主研发的金融级分布式数据库中间件,用于解决海量请求下数据访问的瓶颈及数据库的容灾问题,提供水平拆分、平滑扩缩容、读写分离的在线分布式数据库服务。十年来专注于为海量数据访问提供低消耗、高性能、高...

发起方配置

跨服务 FMT 参与者服务订阅 基于 SOFARPC 发布的服务订阅<sofa:reference id="dataServiceSofaRpc" interface=com.xxx.DataService" ><sofa:binding.tr/>基于 Dubbo 发布的服务订阅开启分布式事务 为需要开启分布式事务的接口增加分布式事务...

常见问题

运维管理 容器应用服务常见问题 经典应用服务常见问题 中间件 SOFABoot 常见问题 微服务常见问题 微服务故障排查之 DRM 微服务故障排查之限流 微服务故障排查之 RPC 服务网格-故障排查 消息队列常见问题 任务调度常见问题 分布式链路跟踪...

开通流程

本文将向您介绍如何开通蚂蚁链分布式身份服务 DIS。操作步骤:前往DIS产品官网页面,点击 立即购买 进入 DIS 的购买页面。在购买页面,选择需要的资源包套餐规格。资源包规格详情参见 计费方式。在订单确认页面,认真阅读并同意《蚂蚁区块...

下载示例代码

为快速进行分布式事务工程的本地开发,您可以单击此处下载分布式事务的 示例工程。该示例代码包提供了以下示例工程:account-demo-local:TCC 模式调用本地服务 account-demo-remote:TCC 模式调用远程服务 account-demo-saga:SAGA 模式 ...

基础版商业化公告(2021年07月30日)

为提供更优质的服务,阿里云分布式任务调度SchedulerX将于2021年09月01日正式商业化。对于公测期间创建的实例,如果2021年09月01日00:00:00前没有释放,那么我们将默认您所创建的集群采用按量付费模式开始收费。开通商用实例 分布式任务...

产品体系

SOFAStack 产品家族 SOFAStack 源于自蚂蚁内部沉淀十多年的金融级分布式中间件技术体系,吸收了支付宝自创立以来在关键金融交易系统锤炼出来的架构实践。SOFAStack 所有的产品技术均经过蚂蚁集团自身严苛的金融场景验证,为金融交易技术...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
负载均衡 共享流量包 弹性公网IP 云企业网 短信服务 人工智能平台 PAI
新人特惠 爆款特惠 最新活动 免费试用