官方博客-第16页-阿里云开发者社区

  • 2024-05-15
    102409

    大语言模型推理提速,TensorRT-LLM 高性能推理实践

    大型语言模型(Large language models,LLM)是基于大量数据进行预训练的超大型深度学习模型,本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。

    102,409
  • 2024-05-15
    55685

    Higress 全新 Wasm 运行时,性能大幅提升

    本文介绍 Higress 将 Wasm 插件的运行时从 V8 切换到 WebAssembly Micro Runtime (WAMR) 的最新进展。

  • 2024-09-25
    736

    新场景、新能力,AI-native 时代的可观测革新

    借助 AI-native 可观测解决方案,阿里云为用户提供开箱即用的覆盖大模型应用、大模型到基础设施的全链路实时观测、告警与诊断能力,帮助企业在复杂的数字化转型过程中更有效地确保资源的高效利用与业务的持续成功。

  • 2024-11-22
    1304

    Spring Cloud+Nacos+KMS 动态配置最佳实践

    本文讲述了 Spring Cloud 应用中结合 Nacos 实现了运行期配置动态更新的功能,以及在此基础上结合 KMS 在不改动代码的情况下对应用使用的敏感配置进行保护,解决将配置迁移到 Nacos 中可能存在的数据安全顾虑,并对其底层工作原理做了简单介绍。

    1,304
  • 2024-12-06
    1304

    【阅读十分钟,百分百成功】——通过大模型实现对客服回答的质量评估

    本文章基于业务实践,总结有关客服质检场景的解决方案和处理经验,为相似场景提供可行的借鉴方法。

    1,304
  • 2025-02-06
    458

    详解智能编码在前端研发的创新应用

    接下来,人与智能体的交互将变得更为紧密,比如 N 年以后是否可以逐渐过渡。这个逐渐过渡的过程实际上是温和的,从依赖人类到依赖超大规模算力的转变,可能会取代我们的一些职责。这不仅仅是简单的叠加关系。对于AI和超大规模算力,这是否意味着我们可以大幅度提升软件质量,是否可以缩短研发周期并提高效率,还有创造出更优质的软件并持续发展,这无疑是肯定的。

    458
  • 2025-02-21
    806

    基于虚拟服务配置的渐进式迁移实践:Istio集群至ASM集群的平滑切换

    本文介绍了从Istio+k8s环境迁移到阿里云ASM+ACK环境的渐进式方法,通过配置虚拟服务和入口服务实现新老集群间的服务调用与流量转发,确保业务连续性与平滑迁移

    806
  • 2025-03-21
    1081

    AI 推理场景的痛点和解决方案

    一个典型的推理场景面临的问题可以概括为限流、负载均衡、异步化、数据管理、索引增强 5 个场景。通过云数据库 Tair 丰富的数据结构可以支撑这些场景,解决相关问题,本文我们会针对每个场景逐一说明。

    1,081
  • 1
    ...
    15
    16
    17
    ...
    64
    到第