Transformer 时代的语言模型:大规模语言模型的发展脉络与技术演化
本文系统梳理大语言模型技术演进脉络:从Transformer与Attention机制奠基,到BERT/GPT的范式分野;从提示工程、RLHF对齐优化,到LLaMA开源引爆生态;再到LoRA微调、FlashAttention加速、RAG增强、MCP协议互联、Skills技能封装,直至Openclaw桌面级GUI智能体。覆盖模型架构、训练优化、推理加速、应用落地全链条。
Infiniband/以太网,算力组网布线方案
本文详解SuperPOD构建:以32台DGX H100/H200为单元(SU),采用叶脊(Spine-Leaf)网络架构,通过多模光纤/DAC短距连接服务器与叶交换机,单模光纤长距连接叶与脊交换机;支持点对点与结构化布线,提升扩展性、管理效率与运维灵活性。(239字)
你的GPU正在“等米下锅”:RDMA如何修出一条绕过CPU的高速公路?
本文深度解析现代集群网络的底层革命:从冯·诺依曼瓶颈出发,剖析RDMA如何通过零拷贝、内核旁路与硬件卸载突破TCP/IP桎梏;直击其易用性差、连接爆炸、内存注册昂贵等痛点;并揭示Mooncake(面向LLM KV Cache的张量传输引擎)与Infinistore(万卡级分布式KV底座)如何以内存池化、拓扑感知、RC/UD混合等架构创新, bridging hardware power and software simplicity。
基于颜色衰减先验的图像去雾MATLAB实现
基于颜色衰减先验(Color Attenuation Prior, CAP)的图像去雾MATLAB程序。该算法通过分析图像中亮度和饱和度的关系来估计雾的浓度,从而实现高效的图像去雾