Pai-Megatron-Patch：围绕Megatron-Core打造大模型训练加速生态
Pai-Megatron-Patch（https://github.com/alibaba/Pai-Megatron-Patch）是阿里云人工智能平台PAI研发的围绕Nvidia MegatronLM的大模型开发配套工具，旨在帮助开发者快速上手大模型，完成大模型（LLM）相关的高效分布式训练，有监督指令微调，下游任务评估等大模型开发链路。最近一年来，我们持续打磨Pai-Megatron-Patch的性能和扩展功能，围绕Megatron-Core（以下简称MCore）进一步打造大模型训练加速技术生态，推出更多的的训练加速、显存优化特性。
【玩转数据系列五】农业贷款发放预测
很多农民因为缺乏资金，在每年耕种前会向相关机构申请贷款来购买种地需要的物资，等丰收之后偿还。农业贷款发放问题是一个典型的数据挖掘问题。贷款发放人通过往年的数据，包括贷款人的年收入、种植的作物种类、历史借贷信息等特征来构建经验模型，通过这个模型来预测受贷人的还款能力。
【玩转数据系列十三】机器学习算法基于信用卡消费记录做信用评分
机器学习算法基于信用卡消费记录做信用评分
背景
如果你是做互联网金融的，那么一定听说过评分卡。评分卡是信用风险评估领域常用的建模方法，评分卡并不简单对应于某一种机器学习算法，而是一种通用的建模框架，将原始数据通过分箱后进行特征工程变换，继而应用于线性模型进行建模的一种方法。
基于Megatron-Core的稀疏大模型训练工具：阿里云MoE大模型最佳实践
随着大模型技术的不断发展，模型结构和参数量级快速演化。大模型技术的应用层出不穷。大模型展现惊人效果，但训练和推理成本高，一直是巨大挑战。模型稀疏化能降低计算和存储消耗。近期以Mixtral为代表的MoE（多专家混合）大模型证明了稀疏MoE技术能大幅降低计算量、提升推理速度，模型效果甚至超过同规模稠密模型。阿里云PAI和NVIDIA团队深入合作，基于Megatron-Core MoE框架，解决了MoE大模型训练落地时会遇到的可拓展性、易用性、功能性以及收敛精度等核心问题，在下游任务上取得了很好的模型效果。
图解机器学习 | 支持向量机模型详解
SVM是机器学习领域非常知名的模型。本文讲解SVM的最大间隔分类器、模型原理、核函数与核技巧等重要知识点，并附上线性核函数、多项式核函数和高斯核函数的Python代码实践。
