# 人工智能平台 PAI #
0
关注
3877内容
【ACL2024】基于长尾检索知识增强的大语言模型
近日，阿里云人工智能平台PAI与阿里集团安全部内容安全算法团队、华东师范大学何晓丰教授团队合作，在自然语言处理顶级会议ACL2024上发表论文《On the Role of Long-tail Knowledge in Retrieval Augmented Large Language Models》，论文主题为长尾知识检索增强的大语言模型。通过将问题识别为普通可回答和长尾两种性质，让大模型针对性的对长尾问题进行检索文档增强。对于普通可回答的用户提问可以直接通过大模型回答，而不需要进行文档检索增强，从而能增强大模型处理不同类型用户提问的效率。
TAG：BladeLLM 的纯异步推理架构
近期，大模型推理社区（vLLM，SGLang 等）普遍开始关注框架运行时开销，提出了多步调度、异步输出处理、独立 API Server 进程等工作，来分摊或掩盖部分开销。
在我们的实际业务场景中，也观察到高额的框架开销严重限制了系统吞吐，特别是在高并发（>1k）场景下，运行时开销已经接近或高于 GPU 运行时间，导致资源严重浪费和性能下降。为此，BladeLLM 设计并实现了基于 Python 的纯异步 LLM 推理架构 -- TAG (Totally Asynchronous Generator) ，以最大程度提高 GPU 利用率，提升引擎性能。
|
阿里云机器学习平台PAI使用简明教程(一)
阿里云机器学习平台是构建在阿里云MaxCompute（原ODPS）计算平台之上，集数据处理、建模、离线预测、在线预测为一体的机器学习平台。很多用户在初次使用PAI过程中因为对平台比较陌生，总是会遇到这样或那样的困惑。本文以通用的机器学习流程为指导，结合PAI平台逐一介绍数据准备、模型搭建与训练、模型部署与调用，将目前PAI平台的主要操作流程做一个梳理。
本文的主要目的是做PAI平台使用流程的演示，所以算法上选择最简单的线性回归算法，便于用户的理解和操作。
阿里开源 支持10万亿模型的自研分布式训练框架EPL(Easy Parallel Library)
最近阿里云机器学习PAI平台和达摩院智能计算实验室一起发布“低碳版”巨模型M6-10T，模型参数已经从万亿跃迁到10万亿，规模远超业界此前发布的万亿级模型，成为当前全球最大的AI预训练模型。同时做到了业内极致的低碳高效，使用512 GPU在10天内即训练出具有可用水平的10万亿模型。
“创新大师杯”全球AI极客挑战赛征文活动
“创新大师杯”全球AI极客挑战赛征文活动开始了！
最高增强至1440p，阿里云发布端侧实时超分工具，低成本实现高画质
近日，阿里云机器学习PAI团队发布一键端侧超分工具，可实现在设备和网络带宽不变的情况下，将移动端视频分辨率提升1倍，最高可增强至1440p，将大幅提升终端用户的观看体验，该技术目前已在优酷、夸克、UC浏览器等多个APP中广泛应用。
ICCV 2023 ｜ 当尺度感知调制遇上Transformer，会碰撞出怎样的火花？
近年来，基于Transformer和CNN的视觉基础模型取得巨大成功。有许多研究进一步地将Transformer结构与CNN架构结合，设计出了更为高效的hybrid CNN-Transformer Network，但它们的精度仍然不尽如意。本文介绍了一种新的基础模型SMT（Scale-Aware Modulation Transformer），它以更低的参数量（params）和计算量（flops）取得了大幅性能的提升。
妙笔生词是AI音乐创作业内自动写原创歌词的软件
妙笔生词智能写歌词软件，能软件助你轻松谱写多样化风格的歌词，流行、民谣、摇滚、中国风、儿歌，应有尽有。按需押韵，接龙续写，甚至能仿写喜爱歌曲。支持中文、英文、粤语、日语四种语言
免费试用