从零开始下载torch+cu（无痛版）
这篇文章提供了一个详细的无痛版教程，指导如何从零开始下载并配置支持CUDA的PyTorch GPU版本，包括查看Cuda版本、在官网检索下载包名、下载指定的torch、torchvision、torchaudio库，并在深度学习环境中安装和测试是否成功。
【AI系统】GPU 架构与 CUDA 关系
本文介绍了英伟达GPU硬件基础概念，重点解析了A100 GPU架构中的GPC、TPC、SM等组件及其功能。接着深入讲解了CUDA并行计算平台和编程模型，特别是CUDA线程层次结构。最后，文章探讨了如何根据CUDA核心数量、核心频率等因素计算GPU的算力峰值，这对于评估大模型训练的算力需求至关重要。
无所不谈,百无禁忌,Win11本地部署无内容审查中文大语言模型CausalLM-14B
目前流行的开源大语言模型大抵都会有内容审查机制，这并非是新鲜事，因为之前chat-gpt就曾经被“玩”坏过，如果没有内容审查，恶意用户可能通过精心设计的输入（prompt）来操纵LLM执行不当行为。内容审查可以帮助识别和过滤这些潜在的攻击，确保LLM按照既定的安全策略和道德标准运行。
但我们今天讨论的是无内容审查机制的大模型，在中文领域公开的模型中，能力相对比较强的有阿里的 Qwen-14B 和清华的 ChatGLM3-6B。
而今天的主角，CausalLM-14B则是在Qwen-14B基础上使用了 Qwen-14B 的部分权重，并且加入一些其他的中文数据集，最终炼制了一个无内容审核的
使用FP8加速PyTorch训练的两种方法总结
在PyTorch中，FP8数据类型用于高效训练和推理，旨在减少内存占用和加快计算速度。虽然官方尚未全面支持，但在2.2版本中引入了`torch.float8_e4m3fn`和`torch.float8_e5m2`。文章通过示例展示了如何利用FP8优化Vision Transformer模型，使用Transformer Engine库提升性能，并探讨了PyTorch原生FP8支持的初步使用方法。实验表明，结合TE和FP8，训练速度可提升3倍，性能有显著增强，特别是在NVIDIA GPU上。然而，PyTorch的FP8支持仍处于试验阶段，可能带来不稳定性。
您的智能测试助理来了！蚂蚁TestAgent开源，快来体验！
TestAgent 旨在构建测试领域的“智能体”，融合大模型和质量领域工程化技术，促进质量技术代系升级。我们期望和社区成员一起合作，打造创新的测试领域解决方案，构建24小时在线的测试助理服务，让测试如丝般顺滑。
很高兴地宣布，我们在国内首次开源了测试行业大模型及工具——TestAgent。本次版本包含了性能最强的7B测试领域大模型，以及配套的本地模型快速发布和体验工程化框架，欢迎体验和关注！
