了解全部阿里云AI&大数据开源项目，点击链接https://www.aliyun.com/activity/bigdata/opensource_bigdata__ai

----------------------------------------------------------------

2023年

4月新开源项目，邀您加入

1.TePDist

简介：TePDist是阿里云PAI团队自研的基于HLO IR层的全自动分布式深度学习系统，它不仅仅是一个分布式Compiler，还拥有自己的分布式Runtime，有效地解决了深度学习模型并行策略的自动搜索与分布式策略实施问题。

Github地址：https://github.com/alibaba/TePDist

2022年

5月新开源项目，邀您加入

1.HybridBackend

简介：HybridBackend是阿里云机器学习平台PAI自研的、面向稀疏模型训练的高性能同步训练框架系统，核心能力是大幅提升GPU集群单位成本下的训练吞吐性能。

Github地址：GitHub - alibaba/HybridBackend

4月新开源项目，邀您加入

1.EasyNLP

简介：EasyNLP 是 PyTorch 中易于使用的 NLP 开发和应用工具包，于 2021 年在阿里巴巴内部首次发布。它采用可扩展的分布式训练策略构建，并支持适用于各种 NLP 应用的一整套 NLP 算法。EasyNLP 集成了知识蒸馏和few-shot learning，用于落地大型预训练模型，并为实际应用提供模型训练、推理和部署的统一框架。

Github地址：https://github.com/alibaba/EasyNLPhttps:P

2.EasyCV

简介：EasyCV是阿里巴巴开源的基于Pytorch，以自监督学习和Transformer技术为核心的 all-in-one 视觉算法建模工具。EasyCV在阿里巴巴集团内支撑了搜索、淘系、优酷、飞猪等多个BU业务，同时也在阿里云上服务了若干企业客户。

Github地址：https://github.com/alibaba/EasyCVhttps:/

3月新开源项目，邀您加入

1、DeepRec

简介：DeepRec是阿里巴巴集团统一的稀疏模型场景训练引擎，支持了主搜索、首猜、定向广告、直通车广告等核心业务，支撑千亿特征、万亿样本超大规模稀疏训练。

Github地址：https://github.com/alibaba/DeepRec

2、BladeDISC

简介：BladeDISC 是针对机器学习工作负载的端到端动态形状编译器项目，是阿里巴巴PAI-Blade的关键组件之一 。该项目基于MLIR，与 mlir-hlo项目高度相关。

Github地址：https://github.com/alibaba/BladeDISC

3、EPL(Easy Parallel Library)

简介：EPL(Easy Parallel Library) 是统一多种并行策略的、灵活易用的自研分布式深度学习训练框架。

Github地址：https://github.com/alibaba/easyparallellibrary

4、云原生大数据运维平台SREWorks

简介：SREWorks 作为阿里云大数据SRE团队对SRE理念的工程实践，专注于以应用为中心的一站式“云原生”、“数智化”运维 SaaS 管理套件，提供企业应用&资源管理及运维开发两大核心能力，帮助企业实现云原生应用&资源的交付运维。

Github地址：https://github.com/alibaba/sreworks

全部AI开源项目

1.BladeDISC

简介：BladeDISC 是针对机器学习工作负载的端到端动态形状编译器项目，是阿里巴巴PAI-Blade的关键组件之一 。该项目基于MLIR，与 mlir-hlo项目高度相关。

Github地址：https://github.com/alibaba/BladeDISC

2.Graph-Learn

简介：Graph-Learn是面向大规模图神经网络的研发和应用而设计的分布式框架。 从大规模图训练实际问题出发，提炼抽象了一套适合于常见图神经网络模型的编程范式。

Github地址：https://github.com/alibaba/graph-learn

3.DeepRec

简介：DeepRec是阿里巴巴集团统一的稀疏模型场景训练引擎，支持了主搜索、首猜、定向广告、直通车广告等核心业务，支撑千亿特征、万亿样本超大规模稀疏训练。

Github地址：https://github.com/alibaba/DeepRec

4.Proxima Bilin Engine

简介：Proxima 是阿里巴巴达摩院系统 AI 实验室自研的向量检索内核。核心能力广泛应用于阿里巴巴和蚂蚁集团众多业务，如淘宝搜索和推荐、优酷视频搜索等。

Github地址：https://github.com/alibaba/proximabilin

5.EasyRec

简介：EasyRec实现了先进的深度学习模型，用于常见的推荐任务，在模型、调参、性能优化等方面具有显著的优势。

Github地址：https://github.com/alibaba/EasyRec

6.Easy Reinforcement Learning

简介：基于tensorflow引擎搭建的深度强化学习算法库，支持大规模分布式训练的actor-learner架构，具备轻量化，模块化等特点，经过阿里集团多业务场景打磨。

Github地址：https://github.com/alibaba/EasyRL

7.EasyTransfer

简介：EasyTransfer致力于让自然语言处理场景的迁移学习开发与部署更加简单，降低NLP的预训练和知识迁移的门槛。

Github地址：https://github.com/alibaba/EasyTransfer

8.Alink

简介：基于Flink的机器学习算法平台，提供丰富的算法组件。2017年研发，2019年开源，去年Flink社区将机器学习作为重点领域，我们将Alink贡献到Flink，成为FlinkML。

Github地址：https://github.com/alibaba/Alink

9.EPL(Easy Parallel Library)

简介：EPL(Easy Parallel Library) 是统一多种并行策略的、灵活易用的自研分布式深度学习训练框架。

Github地址：https://github.com/alibaba/easyparallellibrary

10.EasyNLP

简介：EasyNLP 是 PyTorch 中易于使用的 NLP 开发和应用工具包，于 2021 年在阿里巴巴内部首次发布。它采用可扩展的分布式训练策略构建，并支持适用于各种 NLP 应用的一整套 NLP 算法。EasyNLP 集成了知识蒸馏和few-shot learning，用于落地大型预训练模型，并为实际应用提供模型训练、推理和部署的统一框架。

Github地址：https://github.com/alibaba/EasyNLPhttps:P

11.EasyCV

简介：EasyCV是阿里巴巴开源的基于Pytorch，以自监督学习和Transformer技术为核心的 all-in-one 视觉算法建模工具。EasyCV在阿里巴巴集团内支撑了搜索、淘系、优酷、飞猪等多个BU业务，同时也在阿里云上服务了若干企业客户。

Github地址：https://github.com/alibaba/EasyCVhttp

12.HybridBackend

简介：HybridBackend是阿里云机器学习平台PAI自研的、面向稀疏模型训练的高性能同步训练框架系统，核心能力是大幅提升GPU集群单位成本下的训练吞吐性能。

Github地址：GitHub - alibaba/HybridBackend

13.TePDist

简介：TePDist是阿里云PAI团队自研的基于HLO IR层的全自动分布式深度学习系统，它不仅仅是一个分布式Compiler，还拥有自己的分布式Runtime，有效地解决了深度学习模型并行策略的自动搜索与分布式策略实施问题。

Github地址：https://github.com/alibaba/TePDist

全部大数据开源项目

1.Apache Flink

简介：Apache Flink是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。能在所有常见集群环境中运行，以内存速度和任意规模进行计算。

Github地址：https://github.com/apache/flink

2.Flink CDC

简介：Flink CDC Connectors 是Apache Flink的一组源连接器，使用变更数据捕获 (CDC) 从不同的数据库中获取变更。

Github地址：https://github.com/ververica/flink-cdc-connectors

3.flink-extended/dl-on-flink

简介：Deep Learning on Flink 旨在整合 Flink 和深度学习框架（例如 TensorFlow、PyTorch 等），以在 Flink 集群上实现分布式深度学习训练和推理。

Github地址：https://github.com/flink-extended/dl-on-flink

4.Flink Remote Shuffle

简介：本项目通过采用存储和计算分离的架构，实现了Flink批量数据处理的远程 shuffle 服务。

Github地址：https://github.com/flink-extended/flink-remote-shuffle

5.flink-extended/clink

简介：Clink 是一个提供 API 和基础设施的库，以促进可在 C++ 和 Java 运行时中使用的可并行特征工程运算符的开发。

Github地址：https://github.com/flink-extended/clink

6.apache/flink-ml

简介：Flink ML 是一个提供机器学习 (ML) API 和基础设施的库，可简化ML管道的构建。用户可以使用标准ML API实现ML算法，构建用于训练和推理作业的ML管道。

Github地址：https://github.com/apache/flink-ml

7.EMR remote shuffle service

简介：Aliyun Remote Shuffle Service（RSS）致力于提高不同map-reduce引擎的效率和弹性。RSS 为 shuffle 数据提供了一种弹性、高效的管理服务。

Github地址：https://github.com/alibaba/RemoteShuffleService

8.云原生大数据运维平台SREWorks

简介：SREWorks 作为阿里云大数据SRE团队对SRE理念的工程实践，专注于以应用为中心的一站式“云原生”、“数智化”运维 SaaS 管理套件，提供企业应用&资源管理及运维开发两大核心能力，帮助企业实现云原生应用&资源的交付运维。

Github地址：https://github.com/alibaba/sreworks