2022了你还不会『低代码』?数据科学也能玩转Low-Code啦! ⛵

本文涉及的产品
交互式建模 PAI-DSW,每月250计算时 3个月
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 2022了你还不知道“低代码”?一起看看数据分析、机器学习、深度学习领域最受欢迎的 Python 低代码工具:D-Tale、AutoViz、Lux、Pandas-Profiling、PyCaret、PyTorch Lightning、Hugging Face Transformers。

💡 作者: 韩信子@ ShowMeAI
📘 数据分析实战系列https://www.showmeai.tech/tutorials/40
📘 机器学习实战系列https://www.showmeai.tech/tutorials/41
📘 本文地址https://www.showmeai.tech/article-detail/286
📢 声明:版权所有,转载请联系平台与作者并注明出处
📢 收藏 ShowMeAI查看更多精彩内容

低代码开发,顾名思义,指的是软件开发过程中只需要编写少量代码就够了。与传统开发方式相比,低代码大幅减少了编写代码的工作量,这使其具备了更快的速度、更短的开发时间与更低的成本。

无代码 / 低代码机器学习平台(和库)的兴起,加速了代码开发速度。借助于这些平台和框架,数据科学家们在繁重的探索研究和大量的编程任务之间,取得更好的平衡。

在本篇内容中,ShowMeAI 给大家总结了最值得学习&使用 Python 低代码机器学习库,覆盖数据科学最热门的几大方向——数据分析&简单挖掘机器学习深度学习

📌 数据分析&简单挖掘

💡 D-Tale

D-Tale 是一个易于使用的低代码 Python 库,通过将 Flask 编写的后端与 React 编写的前端相结合,与 Jupyter Notebook 无缝集成,可以查看和分析 Pandas 形态的数据,包括 DataFrame、Series、MultiIndex、DatetimeIndex 和 RangeIndex。

D-Tale 是 SAS 到 Python 转换的产物,最初是基于 SAS 的 perl 脚本包装器,现在是基于 Pandas 数据结构的轻量级 Web 客户端。

大家可以在D-Tale的官方 📘Github 查看它的详细教程和用法,也可以前往 📘在线平台 操作体验。

💡 AutoViz

对于低代码探索式数据分析任务,AutoViz 是 Python 中另一个不错的选择。在功能方面,它只需编写一行代码即可使用 AutoViz 完成任何数据集的自动可视化。

AutoViz 能够结合任务确定哪些特征是最重要的,然后通过仅使用那些自动选择的元素来绘制和呈现信息。而且AutoViz速度极快,可视化可以在几秒钟内完成。

大家可以查看官方 📘AutoViz 示例 Jupyter Notebook 进行学习。

💡 Lux

Lux 工具库是一个非常自动的数据分析可视化工具。无需做太多的数据预处理,它会自动根据数据生成一系列候选图表,根据实际需要从中做选择即可。这大大减少了制作图表所需的时间以及数据预处理工作量。

大家可以通过 Lux 的官方 📘GitHub 页面了解更多用法细节。

💡 Pandas-Profiling

pandas-profiling 库自动针对 pandas DataFrame 格式的数据生成数据分析报告。

最终的结果以交互式 HTML 报告呈现,包含以下信息:

  • 类型推断:字段列的类型
  • 要点:类型、唯一值、缺失值
  • 分位数统计:包括最小值、Q1、中位数、Q3、最大值、范围、四分位间距
  • 描述性统计:包括均值、众数、标准差、总和、中值绝对差、变异系数、峰度、偏度等
  • 直方图:分类和数字
  • 相关性:Spearman、Pearson 和 Kendall 矩阵
  • 缺失值:矩阵、计数、热图和缺失值的树状图
  • 文本分析:了解文本数据的类别(大写、空格)、脚本(拉丁文、西里尔文)和块(ASCII)
  • 文件和图像分析:提取文件大小、创建日期和尺寸,并扫描截断的图像或包含 EXIF 信息的图像

大家可以在 pandas-profiling 的项目 📘GitHub 页面获取详细使用方法。

📌 机器学习

💡 PyCaret

PyCaret 是 Python 中的一个开源、低代码机器学习库,可自动执行机器学习工作流。它也是一个端到端的机器学习和模型管理工具,可以成倍地加快实验周期,提升工作开发效率。

与其他开源机器学习库相比,PyCaret 有着明显的低代码特质,可仅用几行代码完成原本需要数百行代码完成的工作,尤其是对于密集的实验迭代过程可以大大提速。PyCaret 本质上是围绕多个机器学习库和框架封装而成,包括大家熟悉的 Scikit-Learn、XGBoost、LightGBM、CatBoost、spaCy、Optuna、Hyperopt 和 Ray 等。

大家可以通过 Pycaret 的 📘官方文档,📘官方GitHub,📘官方教程 了解更多使用细节。

📌 深度学习

💡 PyTorch Lightning

PyTorch Lightning 是一个应用在深度学习/神经网络的 Python 低代码库,为 PyTorch 提供高级接口。

它具备高性能和轻量级的架构,以一种将研究与工程分离的方式来构建 PyTorch 代码,使深度学习实验更容易理解和重复。借助它能轻松构建分布式硬件上的可扩展深度学习模型。

官网介绍说,PyTorch Lightning 的设计是为了让大家可以将更多的时间花在研究上,而不是花在工程上。大家可以通过 PyTorch Lightning 的 📘官方网站 了解更多使用细节。

💡 Hugging Face Transformers

Hugging Face Transformers 是 Hugging Face 的开源深度学习工具库。借助 Transformers,大家可以非常方便快速地下载最先进的预训练模型,应用在自己的场景中,或者基于自己的数据做再训练。

因为官方提供的大量预训练模型,我们可以减少计算费用(因为无需从头训练)。丰富的模型覆盖多种数据类型和业务源,包括:

  • 文本:对文本进行分类、信息抽取、问答系统、机器翻译、摘要生成,文本生成(覆盖 100 多种语言)
  • 图像:图像分类、目标检测和图像分割
  • 音频:语音识别和音频分类

PyTorch、TensorFlow 和 JAX 是三个最著名的深度学习库,transformers 的对这三个框架都支持得很好,甚至可以在一个框架中用三行代码训练模型,在另一个框架中加载模型并进行推理。

大家可以通过 Hugging Face Transformers 的 📘官方网站 和 📘GitHub 了解更多使用细节。

参考资料

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
目录
相关文章
|
6月前
|
SQL 机器学习/深度学习 数据挖掘
云端数据科学平台Deepnote,相当于云上的Jupyter Note
云端数据科学平台Deepnote,相当于云上的Jupyter Note
209 0
|
17天前
|
人工智能 数据可视化 程序员
史上最全盘点:一文告诉你低代码(Low-Code)是什么?为什么要用?
在后疫情时代,低代码(Low-Code)+ 人工智能(AI)的组合被认为是加速社会数字化转型的重要技术。低代码通过可视化和模型驱动的理念,结合云原生和多端体验技术,显著提升了开发效率和灵活性。它不仅让专业开发者受益,还使业务人员成为“平民开发者”,弥补了专业人才缺口。此外,低代码平台能够快速响应市场变化,帮助企业构建各种应用,如四川某制造企业仅用一个月就搭建出一套内部协作和生产监控系统。结合AI的能力,低代码平台还能实现智能化的建议和优化,进一步提升用户体验和开发速度。
|
1月前
|
数据可视化 小程序 API
什么是低代码(Low-Code)?我们需要低代码吗?
低代码是一种通过可视化界面和配置化方式减少手写代码工作量的软件开发技术和工具模式,适合专业开发者及非技术人员快速创建应用。本文基于作者六年实践经验,深入浅出地讲解低代码的核心价值、应用场景及其对企业、开发团队和个人开发者的意义,并推荐了织信Informat、宜搭、爱速搭等十款主流低代码平台,帮助读者快速了解和选择合适的工具。全文干货满满,建议收藏。
|
2月前
|
监控 Devops Docker
如何在DevOps中更好地使用python
如何在DevOps中更好地使用python
77 7
|
3月前
|
弹性计算 监控 JavaScript
【颠覆传统!】云效Flow——让你的CI/CD流程如虎添翼,轻松驾驭高效稳定的自动化部署之旅!
【8月更文挑战第8天】现代软件开发中,持续集成(CI)与持续部署(CD)至关重要。我最近使用了“云效Flow”,一款专为高效稳定的CI/CD流程设计的工具。它支持多种语言与框架,并易于集成第三方服务。只需注册并创建项目,平台便提供新手引导。以Node.js项目为例,代码托管在GitHub上后,在云效Flow中设置流水线,通过YAML自定义构建与测试步骤。代码提交后,构建自动执行。部署环节可利用内置策略,如一键发布到阿里云ECS,并支持蓝绿部署确保平滑切换。此外,云效Flow还具备监控与告警功能。总之,云效Flow简化了CI/CD流程,提高了开发效率与软件质量,适合各种规模的团队使用。
86 2
|
6月前
|
敏捷开发 测试技术 持续交付
Python 的软件开发实践:解释什么是敏捷开发和持续集成(Continuous Integration)?
Python 的软件开发实践:解释什么是敏捷开发和持续集成(Continuous Integration)?
63 0
|
数据可视化 安全 数据库
低代码(Low code)开发平台源码
组件和模块库: 低代码平台通常附带了丰富的组件库和预构建模块,用于处理常见的任务和功能,如用户界面设计、数据库集成、用户认证、数据可视化等。开发者可以在应用中选择适当的组件和模块,然后通过配置来定义其行为。
303 0
|
缓存 Go
关于Gen Z Travel(Z时代)项目系统开发技术方案(成熟技术)
关于Gen Z Travel(Z时代)项目系统开发技术方案(成熟技术)
127 0
|
缓存 前端开发 搜索推荐
VueAdminWork 与 低代码 的一次相遇,是惊喜与感动,低代码框架:Admin Work Plus正式开源
VueAdminWork 与 低代码 的一次相遇,是惊喜与感动,低代码框架:Admin Work Plus正式开源
VueAdminWork 与 低代码 的一次相遇,是惊喜与感动,低代码框架:Admin Work Plus正式开源
|
XML JSON Kubernetes
如果您对 DevOps 感兴趣,为什么需要学习 Go
如果您对 DevOps 感兴趣,为什么需要学习 Go