开源机器学习平台 Alink 1.1.1 在易用性上有哪些优化?

简介: 本文将详解介绍 Alink 1.1.1 版本中的新增功能及修复内容,并分享 Alink 1.1.1 在易用性方面的小技巧。

2019年11月28日,在 Flink Forward Asia 大会上,机器学习算法平台 Alink 宣布开源,成为众多开发者关注的焦点。今年2月,Alink 1.10 发布,对 Flink 1.10 和 Flink 1.9 提供了支持。近期 Alink 团队持续发力,发布了最新的 Alink 1.1.1 版本,不仅开发了新功能,还对部分已有功能进行了增强和完善。

本文将详解介绍 Alink 1.1.1 版本中的新增功能及修复内容,并分享 Alink 1.1.1 在易用性方面的小技巧。

版本更新下载及 Github 送 Star
https://github.com/alibaba/Alink

Alink 1.1.1 Release Note 概览

Alink 1.1.1 增强功能和新功能:

  • 数据列参数的检验和提示
  • 枚举类型参数的检验和提示
  • 优化 Alink 批式组件与 Python Dataframe 之间数据转换的速度
  • 当 useRemoveEnv 时自动检测 localIp
  • 新增组件,将 CSV、JSON 和 KV 格式的字符串解析为多列
  • 新增组件 WindowGroupByStreamOp,简化流式数据的窗口分组操作
  • Tokenizer 支持多个空格的字符串拆分
  • 添加 FTRL 示例

Alink 1.1.1 修复和完善:

  • 修复 dill 版本冲突
  • 修复 HasVectorSize 别名错误
  • 修复使用 collect 方法时出现 mysqlsource 错误

了解更多 Alink 1.1.1 feature:
https://github.com/alibaba/Alink/releases

Alink 1.1.1 在易用性方面的小技巧

在使用 Alink 算法时,经常遇到一些枚举类型的参数,譬如:对于卡方特征选择器 ChiSqSelector,其参数 SelectorType 可以填写 NumTopFeatures、Percentil、FPR 等,是枚举类型,但是我们在写脚本的时候,可能会记错,譬如,我们输入了“aaa”,脚本代码如下:

1.jpg

在之前的 Alink 版本,会显示如下信息:

v2-dcbbf616e50f727340fd6c264da59cd9_r.jpg

SelectorType 输出错误的值 AAA,异常信息不明显,没有指出是哪个参数写错了。

在 1.1.1 版本优化之后, 异常信息中会有哪个参数填写错误,和值可能是什么。

v2-ddf2c2d35d0c4f19d919e7a1d6875837_r.jpg

如果使用 Java 编辑器,建议使用枚举类型作为参数的方法,编辑器的自动提示进行选择。

v2-b8b0a17c47d8a42edef8e219cb1e1587_r.jpg

我们在使用算法组件的时候还经常遇到这种情况,算法中会有些列名参数,我们也有输入错误的可能,如下图所示,将 text 列名写为 text1。

v2-54e477d77c3f62f7736aaea31f7549af_r.jpg

在 1.1.1 版本里,不仅抛出哪列不存在,也会提示最可能的列名,帮助用户做判断。

v2-148d0774a36a2ecac457ac10cfac1701_r.jpg

以上分享希望对你有所帮助,了解更多 Alink 上手实践文章,后续公众号将分享更多 Alink 技术干货,欢迎大家持续关注!

目录
相关文章
|
存储 人工智能 大数据
AI开发新范式,PAI模型构建平台升级发布
本次分享由阿里云智能集团产品专家高慧玲主讲,聚焦AI开发新范式及PAI模型构建平台的升级。分享分为四个部分,围绕“人人可用”和“面向生产”两大核心理念展开。通过降低AI工程化门槛、提供一站式全链路服务,PAI平台致力于帮助企业和开发者更高效地实现AI应用。案例展示中,介绍了多模态模型微调在文旅场景的应用,展示了如何快速复现并利用AI解决实际问题。最终目标是让AI技术更普及,赋能各行业,推动社会进步。
|
11月前
|
机器学习/深度学习 SQL 运维
数据库出问题还靠猜?教你一招用机器学习优化运维,稳得一批!
数据库出问题还靠猜?教你一招用机器学习优化运维,稳得一批!
521 4
|
11月前
|
机器学习/深度学习 分布式计算 Java
Java 大视界 -- Java 大数据机器学习模型在遥感图像土地利用分类中的优化与应用(199)
本文探讨了Java大数据与机器学习模型在遥感图像土地利用分类中的优化与应用。面对传统方法效率低、精度差的问题,结合Hadoop、Spark与深度学习框架,实现了高效、精准的分类。通过实际案例展示了Java在数据处理、模型融合与参数调优中的强大能力,推动遥感图像分类迈向新高度。
|
11月前
|
机器学习/深度学习 存储 Java
Java 大视界 -- Java 大数据机器学习模型在游戏用户行为分析与游戏平衡优化中的应用(190)
本文探讨了Java大数据与机器学习模型在游戏用户行为分析及游戏平衡优化中的应用。通过数据采集、预处理与聚类分析,开发者可深入洞察玩家行为特征,构建个性化运营策略。同时,利用回归模型优化游戏数值与付费机制,提升游戏公平性与用户体验。
|
机器学习/深度学习 存储 Kubernetes
【重磅发布】AllData数据中台核心功能:机器学习算法平台
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
|
机器学习/深度学习 人工智能 算法
机器学习算法的优化与改进:提升模型性能的策略与方法
机器学习算法的优化与改进:提升模型性能的策略与方法
2610 13
机器学习算法的优化与改进:提升模型性能的策略与方法
|
机器学习/深度学习 人工智能 监控
AutoTrain:Hugging Face 开源的无代码模型训练平台
AutoTrain 是 Hugging Face 推出的开源无代码模型训练平台,旨在简化最先进模型的训练过程。用户无需编写代码,只需上传数据即可创建、微调和部署自己的 AI 模型。AutoTrain 支持多种机器学习任务,并提供自动化最佳实践,包括超参数调整、模型验证和分布式训练。
1698 4
AutoTrain:Hugging Face 开源的无代码模型训练平台
PAI-Rec推荐平台对于实时特征有三个层次
PAI-Rec推荐平台针对实时特征有三个处理层次:1) 离线模拟反推历史请求时刻的实时特征;2) FeatureStore记录增量更新的实时特征,模型特征导出样本准确性达99%;3) 通过callback回调接口记录请求时刻的特征。各层次确保了实时特征的准确性和时效性。
783 0
|
算法
PAI下面的gbdt、xgboost、ps-smart 算法如何优化?
设置gbdt 、xgboost等算法的样本和特征的采样率
696 2
|
机器学习/深度学习 存储 运维
分布式机器学习系统:设计原理、优化策略与实践经验
本文详细探讨了分布式机器学习系统的发展现状与挑战,重点分析了数据并行、模型并行等核心训练范式,以及参数服务器、优化器等关键组件的设计与实现。文章还深入讨论了混合精度训练、梯度累积、ZeRO优化器等高级特性,旨在提供一套全面的技术解决方案,以应对超大规模模型训练中的计算、存储及通信挑战。
933 4

热门文章

最新文章