类目筛选
2024-05-15
1131
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
1,131
2024-06-12
60872
突破大表瓶颈｜小鹏汽车使用PolarDB实现百亿级表高频更新和实时分析
PolarDB已经成为小鹏汽车应对TB级别大表标注、分析查询的"利器"。
60,872
2024-08-21
393
谈谈优雅的钩子--bpftrace
bpftrace是一个内核跟踪工具，简单来说就是在函数上挂个钩子，挂上钩子后就可以将函数的入参和返回值取出来再放入程序进行二次编程，最终能让程序按照我们的意图来对函数进行观测。
393
2024-11-01
965
Serverless GPU：助力 AI 推理加速
近年来，AI 技术发展迅猛，企业纷纷寻求将 AI 能力转化为商业价值，然而，在部署 AI 模型推理服务时，却遭遇成本高昂、弹性不足及运维复杂等挑战。本文将探讨云原生 Serverless GPU 如何从根本上解决这些问题，以实现 AI 技术的高效落地。
965
2024-11-04
1330
就3步，用通义灵码写一个数字华容道小游戏
Hey，小伙伴！你是不是总是下定了学习编程的决心，但又因为枯燥、困难打起了退堂鼓？今天让我们跟着通义灵码边玩边练，只需要简单的几句话，就可以打造一款经典的数字华容道小游戏，即使没有代码基础也能快速上手，也许在这个过程中，你不经意间就掌握了一些编程知识。让我们开始吧！
1,330
2024-11-26
616
Apache Dubbo 正式发布 HTTP/3 版本 RPC 协议，弱网效率提升 6 倍
在 Apache Dubbo 3.3.0 版本之后，官方推出了全新升级的 Triple X 协议，全面支持 HTTP/1、HTTP/2 和 HTTP/3 协议。本文将围绕 Triple 协议对 HTTP/3 的支持进行详细阐述，包括其设计目标、实际应用案例、性能测试结果以及源码架构分析等内容。
616