人工智能平台PAI

阿里云的人工智能平台PAI，作为一站式的机器学习和深度学习平台，对DPO算法提供了全面的技术支持。无论是开发者还是企业客户，都可以通过PAI-QuickStart轻松实现大语言模型的DPO对齐微调。本文以阿里云最近推出的开源大型语言模型Qwen2（通义千问2）系列为例，介绍如何在PAI-QuickStart实现Qwen2的DPO算法对齐微调。

阿里云的人工智能平台PAI，作为一站式的机器学习和深度学习平台，对Qwen2模型系列提供了全面的技术支持。无论是开发者还是企业客户，都可以通过PAI-QuickStart轻松实现Qwen2系列模型的微调、评测和快速部署。

EasyAnimate是人工智能平台PAI自主研发的DiT-based视频生成框架，它提供了完整的高清长视频生成解决方案，包括视频数据预处理、VAE训练、DiT训练、模型推理和模型评测等。可以使用EasyAnimate进行任意风格视频模型的训练和推理，还可以在预训练模型的基础上，通过少量图片的LoRA微调来改变生成视频的风格。

阿里云机器学习平台PAI开发的Pytorch训练加速框架PAI-TorchAcc已接入最新开源的大语言模型 OLMo。在保证模型效果和易用性的前提下，PAI-TorchAcc相对 PyTorch 性能在 OLMo 1B 上加速比达到 1.64X，在 OLMo 7B 上加速比达到 1.52X。本文分析了 PAI-TorchAcc 的性能收益来源。

随着人工智能和大数据技术的发展，互联网算法在内容推荐、用户画像等领域日益重要，但也带来了安全风险和合规挑战。国家互联网信息办公室为此发布了《互联网算法备案管理规定》，要求具有舆论属性或社会动员能力的互联网信息服务提供者进行算法备案，以确保算法透明性和合规性，维护网络健康秩序。唯安创远AI合规专家将解析备案的必要性、流程及其对企业的影响，帮助企业顺利完成备案。

本次教程介绍了如何使用 PAI 和 LLaMA Factory 框架，基于全参方法微调 Qwen2-VL模型，使其能够进行文旅领域知识问答，同时通过人工测试验证了微调的效果。

本文根据2024云栖大会实录整理而成，演讲信息如下： 演讲人：林伟 | 阿里云智能集团研究员、阿里云人工智能平台 PAI 负责人；黄博远｜阿里云智能集团资深产品专家、阿里云人工智能平台 PAI 产品负责人 活动：2024 云栖大会 - AI Infra 核心技术专场、人工智能平台 PAI 年度发布专场

Pai-Megatron-Patch（https://github.com/alibaba/Pai-Megatron-Patch）是阿里云人工智能平台PAI研发的围绕Nvidia MegatronLM的大模型开发配套工具，旨在帮助开发者快速上手大模型，完成大模型（LLM）相关的高效分布式训练，有监督指令微调，下游任务评估等大模型开发链路。最近一年来，我们持续打磨Pai-Megatron-Patch的性能和扩展功能，围绕Megatron-Core（以下简称MCore）进一步打造大模型训练加速技术生态，推出更多的的训练加速、显存优化特性。

近期，大模型推理社区（vLLM，SGLang 等）普遍开始关注框架运行时开销，提出了多步调度、异步输出处理、独立 API Server 进程等工作，来分摊或掩盖部分开销。 在我们的实际业务场景中，也观察到高额的框架开销严重限制了系统吞吐，特别是在高并发（>1k）场景下，运行时开销已经接近或高于 GPU 运行时间，导致资源严重浪费和性能下降。为此，BladeLLM 设计并实现了基于 Python 的纯异步 LLM 推理架构 -- TAG (Totally Asynchronous Generator) ，以最大程度提高 GPU 利用率，提升引擎性能。

本文将深入探讨 NanoFlow 的关键思路和核心技术，分析 NanoFlow 与 阿里云人工智能平台 PAI 在实际工作中应用的潜力。

2024年是AI应用的元年，以大模型为中心的 AI Native 应用大爆发正在从理想变成现实。云计算带来的应用创新潮，经历了虚拟机时代和云原生时代，正在全面拥抱以大模型为核心的 AI Native 阶段，推动大数据与AI的工作流前所未有地紧密结合。领先大模型、高效的AI计算平台和统一的大数据平台是 AI Native 应用广泛落地背后不可获缺的要素。 9月20日，2024云栖大会上，阿里云副总裁、阿里云计算平台事业部负责人汪军华宣布大数据AI平台全面升级，为 AI Native 应用大爆发提供坚实的平台支撑。

在云栖大会上，通过PAI Artlab的ComfyUI，轻松生成个性化数字影像。只需几个简单步骤，即可将你的肖像融入大会经典场景，创造独特回忆。快来加入我们，让PAI Artlab为你的云栖之行增添一抹亮色！

本方案以通义千问2（Qwen2）大语言模型为基础，为您介绍大语言模型数据增强和蒸馏解决方案的完整开发流程。

PAI-ChatLearn现已全面开源，助力用户快速、高效的Alignment训练体验。借助ChatLearn，用户可全身心投入于模型设计与效果优化，无需分心于底层技术细节。ChatLearn将承担起资源调度、数据传输、参数同步、分布式运行管理以及确保系统高效稳定运作的重任，为用户提供一站式解决方案。

阿里云计算平台大数据基础工程技术团队主导，与浙江大学合作的论文《Cluster-Wide Task Slowdown Detection in Cloud System》被数据挖掘领域顶会ACM SIGKDD2024接收。论文从新的视角分析云计算平台集群健康状态，实现了基于神经网络的集群作业整体变慢异常定向检测，与SOTA异常检测算法相比平均提升F1 score 5.3%。

文叙述的 Big Data for AI 最佳实践，基于阿里云人工智能平台PAI、MaxCompute自研分布式计算框架MaxFrame、Data-Juicer等产品和工具，实现了大模型数据采集、清洗、增强及合成大模型数据的全链路，解决企业级大模型开发应用场景的数据处理难题。

阿里云计算平台大数据基础工程技术团队主导，与浙江大学合作的论文《Cluster-Wide Task Slowdown Detection in Cloud System》被数据挖掘领域顶会ACM SIGKDD2024接收

【8月更文挑战第8天】借助PAI-EAS一键部署ChatGLM，并应用LangChain集成外部数据

2024年5月，关于推荐模型自动编译优化的论文《RECom: A Compiler Approach to Accelerate Recommendation Model Inference with Massive Embedding Columns》在系统领域顶会ASPLOS 2024上中选并进行了展示，并被授予了Distinguished Artifact Award 荣誉，以表彰RECom的易用性与结果的可复现性。

生成式AI（GenAI）革新了企业架构，催生新数据集成模式与最佳实践。借助Apache Kafka与Apache Flink，企业能高效处理大规模实时数据，连接各类数据库与分析平台。Kafka作为核心组件，支持GenAI应用如服务台自动化、聊天机器人及内容审核。结合大型语言模型（LLM）、检索增强生成（RAG）与向量数据库，Kafka与Flink共同打造强大数据流处理能力，克服GenAI挑战，如昂贵训练成本、数据时效性与准确性。通过语义搜索与RAG设计模式，确保LLM生成内容可靠无误。

【8月更文挑战第5天】基于PAI-QuickStart搭建一站式模型训练服务体验

近日，阿里云人工智能平台PAI与集团安全部内容安全算法团队、华东师范大学何晓丰教授团队合作，在自然语言处理顶级会议ACL2024上发表论文《DAFNet: Dynamic Auxiliary Fusion for Sequential Model Editing in Large Language Models》。

近日，阿里云人工智能平台PAI与阿里集团安全部内容安全算法团队、华东师范大学何晓丰教授团队合作，在自然语言处理顶级会议ACL2024上发表论文《On the Role of Long-tail Knowledge in Retrieval Augmented Large Language Models》，论文主题为长尾知识检索增强的大语言模型。通过将问题识别为普通可回答和长尾两种性质，让大模型针对性的对长尾问题进行检索文档增强。对于普通可回答的用户提问可以直接通过大模型回答，而不需要进行文档检索增强，从而能增强大模型处理不同类型用户提问的效率。

【8月更文挑战第2天】一键打造你的定制化AIGC文生图工具

卷积神经网络（CNN）作为人工智能领域的一颗璀璨明珠，在计算机视觉中发挥着核心作用。CNN的发展历程展现了从生物学灵感到技术创新的转变，历经LeNet-5至AlexNet、VGGNet、ResNet等里程碑式的进步。其独特结构包括卷积层、池化层及全连接层，能够层层递进地提取特征并作出决策。CNN不仅在图像分类、目标检测等领域表现卓越，还在人脸识别、医学影像分析等方面展现出巨大潜力。尽管存在局限性，如对序列数据处理能力有限及解释性问题，但通过引入注意力机制、自监督学习等方法，CNN将持续演进，引领人工智能技术走向更加精彩的未来。

LLaMA Factory是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过Web UI界面零代码微调大模型，目前已经成为开源社区内最受欢迎的微调框架，GitHub星标超过2万。本次活动基于Meta AI开源的Llama-3 8B模型，使用PAI平台及LLaMA Factory训练框架完成模型的中文化与角色扮演微调和评估，搭建专属“ AI 诸葛亮”问答机器人，7×24小时为你出谋划策！

阿里云人工智能平台PAI与华南理工大学金连文教授团队合作，在自然语言处理顶级会议 ACL 2024 上发表论文《DiffChat: Learning to Chat with Text-to-Image Synthesis Models for Interactive Image Creation. ACL 2024》。

本文根据7月24日飞天发布时刻产品发布会、7月5日DataFunCon2024·北京站：大数据·大模型.双核时代实录整理而成

近期，阿里云人工智能平台PAI的多篇论文在ACL2024上入选。论文成果是阿里云与阿里集团安全部、华南理工大学金连文教授团队、华东师范大学何晓丰教授团队共同研发。ACL（国际计算语言学年会）是人工智能自然语言处理领域的顶级国际会议，聚焦于自然语言处理技术在各个应用场景的学术研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新，在学术和工业界都有巨大的影响力。此次入选标志着阿里云人工智能平台PAI在自然语言处理和多模态算法、算法框架能力方面研究获得了学术界认可。

自计算机科学诞生，人工智能始终是探索焦点。历经逻辑推理、专家系统至深度学习时代，AI在图像、语音识别等领域取得突破。未来，AI将在医疗、教育、交通等领域发挥更大作用，如辅助精准医疗、个性化教学及解决交通问题。同时，AI还将促进跨界融合创新，与物联网、云计算结合，推动智能家居、智慧城市的发展，并使机器人、无人机更智能化。面对伦理、隐私等挑战，需确保技术惠及人类，共同创造美好未来。

为了向在赛场上的奥运健儿传递最真挚的鼓舞与喝彩，我们特此发起一场别开生面的“创意海报设计挑战”！在 Artlab 平台 ComfyUI 工具中，选择你心中的奥运项目，定制一张专属于你的奥运会加油海报！

浅谈AIGC的应用场景

人工智能 (AI) 的发展历程从20世纪50年代起步，历经初始探索、早期发展、专家系统兴起、机器学习崛起直至深度学习革命。1950年图灵测试提出，1956年达特茅斯会议标志着AI研究开端。60-70年代AI虽取得初步成果但仍遭遇困境。80年代专家系统如MYCIN展现AI应用潜力。90年代机器学习突飞猛进，1997年深蓝战胜国际象棋冠军。21世纪以来，深度学习技术革新了AI，在图像、语音识别等领域取得重大成就。尽管AI已广泛应用，但仍面临数据隐私、伦理等挑战。未来AI将加强人机协作、增强学习与情感智能，并在医疗、教育等领域发挥更大作用。

阿里云PAI-Stable Diffusion开源代码浅析之所有api的入参如何看

阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。

阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。

阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。

阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。

阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。

阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。

阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。

阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。

阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。

阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。

阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。

阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。

阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。

阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。

阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。

阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台，旨在降低AI开发门槛，加速创新，助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务，共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述，涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。