开源项目

AI开源项目
大数据开源项目
GraphLearn-for-PyTorch
GraphLearn-for-PyTorch(GLT)是一个用于PyTorch的图形学习库,它使分布式GNN训练和推理简单高效。它利用 GPU 的强大功能可加速图形采样,并利用 UVA 来减少 折点和边要素的转换和复制。
TePDist
TePDist是阿里云PAI团队自研的基于HLO IR层的全自动分布式深度学习系统,它不仅仅是一个分布式Compiler,还拥有自己的分布式Runtime,有效地解决了深度学习模型并行策略的自动搜索与分布式策略实施问题。
EasyNLP
EasyNLP 是 PyTorch 中易于使用的 NLP 开发和应用工具包,它采用可扩展的分布式训练策略构建,并支持适用于各种 NLP 应用的一整套 NLP 算法。集成了知识蒸馏和few-shot learning,用于落地大型预训练模型。
EasyCV
EasyCV是阿里巴巴开源的基于Pytorch,以自监督学习和Transformer技术为核心的 all-in-one 视觉算法建模工具。EasyCV在阿里巴巴集团内支撑了搜索、淘系、优酷、飞猪等多个BU业务,同时也在阿里云上服务了若干企业客户。
EasyRec
EasyRec实现了先进的深度学习模型,用于常见的推荐任务,在模型、调参、性能优化等方面具有显著的优势。
Easy Reinforcement Learning
基于tensorflow引擎搭建的深度强化学习算法库,支持大规模分布式训练的actor-learner架构,具备轻量化,模块化等特点,经过阿里集团多业务场景打磨。
EasyTransfer
EasyTransfer致力于让自然语言处理场景的迁移学习开发与部署更加简单,降低NLP的预训练和知识迁移的门槛。
Alink
基于Flink的机器学习算法平台,提供丰富的算法组件。2017年研发,2019年开源,去年Flink社区将机器学习作为重点领域,我们将Alink贡献到Flink,成为FlinkML。
Graph-Learn
Graph-Learn是面向大规模图神经网络的研发和应用而设计的分布式框架。 从大规模图训练实际问题出发,提炼抽象了一套适合于常见图神经网络模型的编程范式。
BladeDISC
BladeDISC 是针对机器学习工作负载的端到端动态形状编译器项目,是阿里巴巴PAI-Blade的关键组件之一 。该项目基于MLIR,与 mlir-hlo项目高度相关。
DeepRec
DeepRec是阿里巴巴集团统一的稀疏模型场景训练引擎,支持了主搜索、首猜、定向广告、直通车广告等核心业务,支撑千亿特征、万亿样本超大规模稀疏训练。
EPL(Easy Parallel Library)
EPL(Easy Parallel Library) 是统一多种并行策略的、灵活易用的自研分布式深度学习训练框架。
HybridBackend
HybridBackend是阿里云机器学习平台PAI自研的、面向稀疏模型训练的高性能同步训练框架系统,核心能力是大幅提升GPU集群单位成本下的训练吞吐性能。
Proxima Bilin Engine
Proxima 是阿里巴巴达摩院系统 AI 实验室自研的向量检索内核。核心能力广泛应用于阿里巴巴和蚂蚁集团众多业务,如淘宝搜索和推荐、优酷视频搜索等。