AI平台-MLFlow【全栈AI平台】

简介: MLFlow:An open source platform for the machine learning lifecycle.

1 MLFlow简介

image
mlFlow是一个支持机器学习生命周期的框架。这意味着它拥有在训练和运行期间监控模型的组件、存储模型的能力,在生产代码中加载模型以及创建管道。
该框架引入了3个不同的功能:
1. MlFlow追踪
追踪可能是框架最有趣的功能。它允许您围绕模型创建广泛的日志记录框架。您可以定义自定义指标,以便在运行后可以将输出与先前的运行进行比较。
2. MlFlow项目
此功能允许您根据需要创建管道。此功能使用自己的模板来定义您希望如何在云环境中运行模型。由于大多数公司都有办法在生产环境中运行代码,因此您可能不太关心此功能。
3. MlFlow模型
最后我们有模型功能。 mlFlow Model是包装机器学习模型的标准格式,可以在各种下游工具中进行使用 - 例如,通过REST API实时提供服务或在Apache Spark上进行批量推理。

理论完成:时间到了

那么这个理论总是很好,但是现在是时候进行更多的实践。首先,我们需要在实际启动之前启动mlFlow服务器。为了做到这一点,我创建了一个docker容器,以便于部署。

2. MLflow:全新的开源机器学习平台

MLflow 从现有 ML 平台中得到灵感,在设计上拥有以下两项开放理念:

  • 开放的交互界面
    MLflow 被设计成支持所有 ML 库、算法、部署工具和语言,它围绕 REST API 和可以从多种工具中应用的简单数据格式(如将模型看作 lambda 函数 )建立,而不是仅支持少量内建功能。这带来一个立竿见影的好处:可以轻易将 MLflow 加入现有代码中,同时,在组内分享可执行的使用任意 ML 库的代码也变得简单。
  • 开源
    MLflow 是一个开源项目,用户和工具库开发者能对其进行扩展。另外,如果你希望开源自己的代码,得益于 MLflow 的开放格式,在组织间共享工作流步骤和模型十分简单。

3. 参考资料

  1. https://databricks.com/blog/2018/06/05/introducing-mlflow-an-open-source-machine-learning-platform.html?utm_source=tuicool&utm_medium=referral
  2. 官网:https://www.mlflow.org/
目录
相关文章
|
2月前
|
人工智能 运维 监控
首个云上 AI 原生全栈可观测平台来了!
9月21日,2024 云栖大会,阿里云发布全新的 AI 原生全栈可观测平台,首次实现云上 AI 大模型从训练到推理再到应用的全链路实时观测、告警与诊断。
153 11
|
17天前
|
存储 人工智能 文字识别
利用AI能力平台实现档案馆纸质文件的智能化数字处理
在传统档案馆中,纸质文件管理面临诸多挑战。AI能力平台利用OCR技术,通过图像扫描、预处理、边界检测、文字与图片分离、文字识别及结果存储等步骤,实现高效数字化转型,大幅提升档案处理效率和准确性。
|
15天前
|
机器学习/深度学习 人工智能 自然语言处理
探索AI驱动的个性化学习平台构建###
【10月更文挑战第29天】 本文将深入探讨如何利用人工智能技术,特别是机器学习与大数据分析,构建一个能够提供高度个性化学习体验的在线平台。我们将分析当前在线教育的挑战,提出通过智能算法实现内容定制、学习路径优化及实时反馈机制的技术方案,以期为不同背景和需求的学习者创造更加高效、互动的学习环境。 ###
38 3
|
16天前
|
机器学习/深度学习 人工智能 自然语言处理
医疗行业的语音识别技术解析:AI多模态能力平台的应用与架构
AI多模态能力平台通过语音识别技术,实现实时转录医患对话,自动生成结构化数据,提高医疗效率。平台具备强大的环境降噪、语音分离及自然语言处理能力,支持与医院系统无缝集成,广泛应用于门诊记录、多学科会诊和急诊场景,显著提升工作效率和数据准确性。
|
23天前
|
SQL 人工智能 DataWorks
DataWorks:新一代 Data+AI 数据开发与数据治理平台演进
本文介绍了阿里云 DataWorks 在 DA 数智大会 2024 上的最新进展,包括新一代智能数据开发平台 DataWorks Data Studio、全新升级的 DataWorks Copilot 智能助手、数据资产治理、全面云原生转型以及更开放的开发者体验。这些更新旨在提升数据开发和治理的效率,助力企业实现数据价值最大化和智能化转型。
184 5
|
2月前
|
存储 人工智能 运维
重磅!阿里云可观测产品家族全新升级,AI +数据双驱动,打造全栈可观测体系
近日,阿里云可观测产品家族正式发布云监控 2.0,隶属产品日志服务 SLS、云监控 CMS、应用实时监控服务 ARMS 迎来重磅升级。
366 18
|
2月前
|
人工智能 JSON 数据格式
RAG+Agent人工智能平台:RAGflow实现GraphRA知识库问答,打造极致多模态问答与AI编排流体验
【9月更文挑战第6天】RAG+Agent人工智能平台:RAGflow实现GraphRA知识库问答,打造极致多模态问答与AI编排流体验
RAG+Agent人工智能平台:RAGflow实现GraphRA知识库问答,打造极致多模态问答与AI编排流体验
|
1月前
|
人工智能 Docker 容器
一、轻松部署的大模型开发平台dify.ai
一、轻松部署的大模型开发平台dify.ai
103 0
|
2月前
|
人工智能 分布式计算 大数据
AI Native平台,跨越AI应用从创新到生产的鸿沟
2024年是AI应用的元年,以大模型为中心的 AI Native 应用大爆发正在从理想变成现实。云计算带来的应用创新潮,经历了虚拟机时代和云原生时代,正在全面拥抱以大模型为核心的 AI Native 阶段,推动大数据与AI的工作流前所未有地紧密结合。领先大模型、高效的AI计算平台和统一的大数据平台是 AI Native 应用广泛落地背后不可获缺的要素。 9月20日,2024云栖大会上,阿里云副总裁、阿里云计算平台事业部负责人汪军华宣布大数据AI平台全面升级,为 AI Native 应用大爆发提供坚实的平台支撑。
|
3月前
|
人工智能 Anolis
展示全栈式AI平台,探讨软硬件技术!英特尔分论坛议程来啦 | 2024 龙蜥大会
英特尔分论坛将依托英特尔云到端的全面产品组合,围绕至强可扩展处理器、AI 加速器、以及 oneAPI、OpenVINO 等软硬件技术展开探讨。
展示全栈式AI平台,探讨软硬件技术!英特尔分论坛议程来啦 | 2024 龙蜥大会