🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。
✨杭州奥零数据科技官网:http://www.aolingdata.com
✨AllData开源项目:https://github.com/alldatacenter/alldata
✨AllData官方文档:https://alldata-document.readthedocs.io
✨AllData社区文档:https://docs.qq.com/doc/DVHlkSEtvVXVCdEFo
「 AllData数据中台 - 主页 」
用户需要通过浏览器访问AllData数据中台的Web界面
「 机器学习算法平台 - 功能亮点 」
Cube-Studio是一个强大的机器学习算法平台,集成了数据处理、模型训练、自动调参、模型部署等功能。机器学习算法平台提供丰富的算法库和可视化工具,支持分布式计算,助力用户高效完成机器学习项目,加速AI应用的开发与落地。
「 机器学习算法平台 - 功能描述 」
- 机器学习算法平台基于开源项目Cube-Studio建设。
- Cube-Studio是开源云原生一站式机器学习/深度学习AI平台,包含可视化机器学习模型开发、项目空间管理、数据资产管理、在线开发管理、模型训练中心、服务化管理。
- Cube-Studio支持大数据平台对接,notebook在线开发,拖拉拽任务流pipeline编排,超参搜索,支持模型一键开发、推理、微调。
- 开源项目地址:https://github.com/tencentmusic/cube-studio
「 机器学习算法平台 - 模块功能汇总 」
「 机器学习算法平台 - 功能点展示 」
01.环境准备
硬件要求:
服务器:建议 16 核 CPU、32GB 内存以上,磁盘空间不低于 500GB。
GPU 支持:若需 GPU 加速,需配置 NVIDIA GPU,并安装对应驱动和 CUDA 工具包。
02.软件依赖
操作系统:Ubuntu 20.04+ 或 CentOS 7+。
Docker:版本 >= 19.03。
Kubernetes:版本 1.18+,推荐使用 kubeadm 或 RKE 部署。
存储:支持 Ceph、NFS 或本地存储。
03存储与网络
存储:单机环境可挂载本地磁盘,集群环境建议使用 Ceph 或 NFS,并配置 StorageClass。
网络:确保 Kubernetes 集群网络与外部网络互通,配置 Ingress Controller(如 Nginx)以支持外部访问。
机器学习中心
新建流水线
决策树训练部署
项目空间-项目分组
添加项目分组
添加分组详情
修改项目分组
项目空间-模版分类
添加模版分组
模版分组详情
修改模版分组
项目空间-安全设置
添加用户
用户详情
修改用户
项目空间-日志列表
数据资产-数据探索-sqllab
任务详情
数据资产-元数据-库表
添加库表
库表详情
修改库表
数据资产-元数据-指标
添加指标
指标详情
修改指标
数据资产-元数据-维表
添加维表
数据资产-媒体数据-数据集
添加数据集
数据集详情
修改数据集
导出数据
在线开发-镜像仓库
添加仓库
仓库详情
修改仓库
在线开发-镜像构建
在线开发-镜像管理
添加镜像
镜像详情
修改镜像
在线开发-代码开发-notebook
添加notebook
在线开发-数据开发-任务ETL
添加任务流
任务流详情
修改任务流
在线开发-数据开发-任务管理
模型训练-任务模版
添加任务模版
任务模版详情
修改任务模版
模型训练-任务流
添加任务流
任务流详情
修改任务流
模型训练-任务流-定时调度
模型训练-任务流-运行实例
模型训练-Automl-超参搜索
添加nni超参搜索
nni超参搜索详情
修改nni超参搜索
服务化-整体资源
服务化-内部服务
添加云原生服务
云原生服务详情
修改元原生服务
服务化-模型服务-模型管理
添加模型
模型详情
修改模型
服务化-模型服务-推理服务
添加推理服务
推理服务详情
修改推理服务
「 机器学习算法平台 - 注意事项 」
01. 镜像管理
使用私有镜像仓库(如 Harbor)存储 Cube-Studio 及相关依赖镜像,避免镜像拉取失败。
02. 多租户隔离
配置 Kubernetes Namespaces 和 Resource Quotas,实现租户间资源隔离。
03.版本兼容性
确保 Cube-Studio 版本与 Kubernetes、Docker 版本兼容,避免 API 不兼容问题。
04文档与支持
参考官方文档(GitHub)和社区资源,及时获取更新和补丁。以确保 Cube-Studio 平台高效、稳定运行,满足企业级机器学习任务需求。