类目筛选
2025-02-20
746
破解 vLLM + DeepSeek 规模化部署的“不可能三角”
vLLM 是一种便捷的大型语言模型（LLM）推理服务，旨在简化个人和企业用户对复杂模型的使用。通过 vLLM，用户可以轻松发起推理请求，享受高效、稳定的 LLM 服务。针对大规模部署 vLLM 的挑战，如大模型参数量、高效推理能力和上下文理解等，阿里云函数计算（FC）提供了 GPU 预留实例闲置计费功能，优化了性能、成本和稳定性之间的平衡。此外，FC 支持简便的部署流程和多种应用集成方式，帮助企业快速上线并管理 vLLM 服务。总结来说，vLLM 结合 FC 的解决方案为企业提供了强大的技术支持和灵活的部署选项，满足不同业务需求。
746
2024-05-15
123429
提升团队工程交付能力，从“看见”工程活动和研发模式开始
本文从统一工程交付的概念模型开始，介绍了如何将应用交付的模式显式地定义出来，并通过工具平台落地。
123,429
2024-05-15
1184
vLLM部署Yuan2.0：高吞吐、更便捷
vLLM是UC Berkeley开源的大语言模型高速推理框架，其内存管理核心——PagedAttention、内置的加速算法如Continues Batching等，一方面可以提升Yuan2.0模型推理部署时的内存使用效率，另一方面可以大幅提升在实时应用场景下Yuan2.0的吞吐量。
1,184
2024-05-15
93900
使用KMS为MSE-Nacos敏感配置加密的最佳实践
本文主要介绍通过KMS密钥管理服务产生的密钥对敏感的AK等数据进行加密之后可以有效解决泄漏带来的安全风险问题，其次通过KMS凭据托管的能力直接将MSE的主AK进行有效管理，保障全链路无AK的业务体验，真正做到安全、可控。
93,900
2024-05-15
1506
使用阿里云KMS产品针对 Springboot 接口参数加密解密功能
针对Springboot里面使用开源工具使用加解密，替换成阿里云KMS产品进行加解密；
1,506
2024-08-22
1256
阿里云百炼应用实践系列-10分钟在企业微信中集成一个 AI 助手
在阿里云平台上，您只需十分钟，无需任何编码，即可在企业微信上为您的组织集成一个具备大模型能力的AI助手。此助手可24小时响应用户咨询，解答各类问题，尤其擅长处理私域问题，从而成为您企业的专属助手，有效提升用户体验及业务竞争力。
1,256