机器学习工具、平台汇总

本文涉及的产品
交互式建模 PAI-DSW,每月250计算时 3个月
模型训练 PAI-DLC,100CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 1. 平台和系统TensorFlow — TensorFlow 是谷歌的第二代机器学习系统,内建深度学习的扩展支持,任何能够用计算流图形来表达的计算,都可以使用 TensorFlowPaddlePaddle — 百度研发的深度学习平台,具有易用,高效,灵活和可伸缩等特点,为百度内部多项产品提供深度学习算法支持Apache SINGA — SINGA 是基于大型数据集训练,大型深度学习模块的常规分布式学习平台。

1. 平台和系统

  • TensorFlow — TensorFlow 是谷歌的第二代机器学习系统,内建深度学习的扩展支持,任何能够用计算流图形来表达的计算,都可以使用 TensorFlow
  • PaddlePaddle — 百度研发的深度学习平台,具有易用,高效,灵活和可伸缩等特点,为百度内部多项产品提供深度学习算法支持
  • Apache SINGA — SINGA 是基于大型数据集训练,大型深度学习模块的常规分布式学习平台。SINGA 支持各种流行的深度学习模块
  • Scikit Flow — TensorFlow 的简化接口,模仿 Scikit 学习,用户可在预测分析和数据挖掘中使用
  • VELES — 分布式深度学习应用系统,用户只需要提供参数,剩下的都可以交给 VELES。VELES 是三星开发的另一个 TensorFlow
  • SpeeDO — 为通用硬件设计的并行深度学习系统。SpeeDO 不需要特殊的 I/O 硬件,支持 CPU/GPU 集群,可以很方便地在各种云端环境上部署,如 AWS、Google GCE、Microsoft Azure 等等

框架

  • Torchnet — Facebook 为加快 A.I 研究而开源的深度学习框架
  • LightGBM — 微软开源的一个实现 GBDT 算法的框架,支持高效率的并行训练。旨在解决 GBDT 在海量数据遇到的问题,让 GBDT 可以更好更快地用于工业实践
  • Guagua — Hadoop 迭代式计算框架 Guagua 是 PayPal 的一个开源机器学习框架 Shifu 的子项目,主要解决模型训练的分布式问题
  • Chainer — Chainer 在深度学习的理论算法和实际应用之间架起一座桥梁,深度学习的灵活框架
  • Shifu — 基于 Hadoop 的快速和可伸缩的机器学习框架
  • KeystoneML — 用 Scala 编写的框架,旨在简化构造大规模、端到端的机器学习管道,基于 Apache Spark 构建
  • LightNet — 轻量级,多功能,完全基于 Matlab 的深度学习框架。目的是为深度学习研究提供一个易于理解、易于使用和高效的计算平台
  • DeepLearningKit — 针对 iOS、OS X 和 tvOS 的开源深度学习框架
  • GoLearn — GoLearn 是一款 Go 语言实现的机器学习框架
  • YCML — 使用 Objective-C 编写的机器学习框架,也支持 Swift

工具包和库

  • DMTK — 微软开源的分布式机器学习工具包,包括 DMTK 分布式机器学习框架、用于训练主题模型的 LightLDA以及分布式词向量
  • CNTK — 微软开源的用于语音识别的深度学习工具包,借助 GPU 的能力,该工具包的效率相当高
  • DSSTNE — 亚马逊开源的深度学习工具,能同时支持两个图形处理器(GPU)参与运算,主要用作智能搜索和推荐
    Scikit-learn — Python 的机器学习项目,简洁、高效的算法库,提供一系列的监督学习和无监督学习的算法,用于数据挖掘和数据分析。SciKit-learn 几乎覆盖了机器学习的所有主流算法
  • Deeplearning4j — 为 Java 和 Scala 编写的首个商业级开源分布式深度学习库,为商业环境所设计,以即插即用为目标,通过更多预设的使用,避免太多配置,让非研究人员也能够进行快速的原型制作
  • MXNet — 轻量级且灵活高效的深度学习库,允许使用混合符号编程和命令式编程
  • CaffeOnSpark — 雅虎开源的基于 Hadoop/Spark 的分布式深度学习包
  • BigDL — 英特尔开源的基于 Apache Spark 的分布式深度学习库,支持高性能大数据分析
  • Swift AI — 高性能的人工智能和机器学习库,完全用 Swift 编写,目前支持 iOS 和 OS X,包括一组人工智能和机器学习的通用工具
  • Gorgonia — Go 机器学习库,用于撰写和评估多维数组的数学公式。与 Theano 和 TensorFlow 理念相似,支持 GPU/CUDA,支持分布式计算
  • Shark C++ — 快速、模块化、功能丰富的开源 C++ 机器学习库,提供了各种机器学习相关技术,比如线性/非线性优化、基于内核学习算法、神经网络等
  • MLPACK — C++ 的机器学习库,亮点在于其扩展性、高速性和易用性。旨在让新用户通过简单、一致的 API 使用机器学习,同时为专业用户提供 C++ 的高性能和最大灵活性
  • smile — 包含各种现有的机器学习算法的 Java 库。例如邻接表和矩阵图算法、基于 Swing 的可视化库等
  • PredictionIO — 开源的机器学习服务器,开发工程师和数据分析师可以使用它构建智能应用程序,还可以做一些预测功能,比如个性化推荐、发现内容等
  • Aerosolve — 支撑 Airbnb 定价建议系统的机器学习引擎
  • Vowpal Wabbit — 机器学习系统,它利用诸如在线,散列,减少,缩减,学习,搜索,主动和交互式学习等技术推动机器学习技术的前沿发展
  • Apache SystemML — SystemML 是灵活的、可伸缩机器学习 (ML) 语言,使用 Java 编写。它提供自动优化功能,通过数据和集群特性保证高效和可伸缩。SystemML 可在 MapReduce 或者 Spark 环境中运行
相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
目录
相关文章
|
2月前
|
机器学习/深度学习 测试技术
阿里云入选Gartner数据科学和机器学习平台挑战者象限
Gartner® 正式发布了《数据科学与机器学习平台魔力象限》报告(Magic Quadrant™ for Data Science and Machine Learning Platforms),阿里云成为唯一一家入选该报告的中国厂商,被评为“挑战者”(Challengers)。
|
1月前
|
机器学习/深度学习 人工智能 监控
AutoTrain:Hugging Face 开源的无代码模型训练平台
AutoTrain 是 Hugging Face 推出的开源无代码模型训练平台,旨在简化最先进模型的训练过程。用户无需编写代码,只需上传数据即可创建、微调和部署自己的 AI 模型。AutoTrain 支持多种机器学习任务,并提供自动化最佳实践,包括超参数调整、模型验证和分布式训练。
123 4
AutoTrain:Hugging Face 开源的无代码模型训练平台
|
5月前
|
机器学习/深度学习 人工智能 Shell
人工智能平台PAI操作报错合集之在分布式训练过程中遇到报错,是什么原因
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
1月前
|
机器学习/深度学习 Python
机器学习中评估模型性能的重要工具——混淆矩阵和ROC曲线。混淆矩阵通过真正例、假正例等指标展示模型预测情况
本文介绍了机器学习中评估模型性能的重要工具——混淆矩阵和ROC曲线。混淆矩阵通过真正例、假正例等指标展示模型预测情况,而ROC曲线则通过假正率和真正率评估二分类模型性能。文章还提供了Python中的具体实现示例,展示了如何计算和使用这两种工具来评估模型。
57 8
|
5月前
|
机器学习/深度学习 人工智能 数据处理
人工智能平台PAI操作报错合集之任务重启后出现模型拆分报错,该怎么办
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
2月前
|
机器学习/深度学习 并行计算 数据挖掘
R语言是一种强大的统计分析工具,广泛应用于数据分析和机器学习领域
【10月更文挑战第21天】R语言是一种强大的统计分析工具,广泛应用于数据分析和机器学习领域。本文将介绍R语言中的一些高级编程技巧,包括函数式编程、向量化运算、字符串处理、循环和条件语句、异常处理和性能优化等方面,以帮助读者更好地掌握R语言的编程技巧,提高数据分析的效率。
62 2
|
2月前
|
机器学习/深度学习 人工智能 算法
机器学习【教育领域及其平台搭建】
机器学习【教育领域及其平台搭建】
64 7
|
5月前
|
数据采集 人工智能 自然语言处理
阿里云百炼平台深度体验:智能问答与模型训练的创新之旅
在人工智能的浪潮中,阿里云百炼平台以其强大的大模型开发能力,为企业和个人开发者提供了一站式的解决方案。本文将从知识检索应用搭建、模型训练调优以及流程管理功能三个角度,全面评测阿里云百炼平台的实际使用体验。
344 3
|
4月前
|
机器学习/深度学习 人工智能 Linux
【机器学习】Dify:AI智能体开发平台版本升级
【机器学习】Dify:AI智能体开发平台版本升级
290 0
|
5月前
|
机器学习/深度学习 人工智能 分布式计算
人工智能平台PAI操作报错合集之引用github.com/alibaba/pairec包时报错,该如何解决
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。