为增强对 Python 应用，特别是 Python LLM 应用的可观测性，阿里云推出了 Python 探针，旨在解决 LLM 应用落地难、难落地等问题。助力企业落地 LLM。本文将从阿里云 Python 探针的接入步骤、产品能力、兼容性等方面展开介绍。并提供一个简单的 LLM 应用例子，方便测试。
10 月 21 日—11 月 29 日，三步轻松完成体验，即可获得精美电脑包，（活动期间每个工作日限量 30 个，先到先得）参与活动官网邀请挑战，更有罗马仕充电宝、帆布袋等好礼相送。
通过阿里云云原生 API 网关在国泰落地，目前国泰所有访问大模型的流量均通过阿里云云原生 API 网关进行代理，在日均消耗近亿 Token 的同时，做到了对每个请求都进行敏感信息过滤，不论是输入大模型的内容还是由大模型产生的内容都进行了全面审计，大大降低使用大模型的数据安全风险。通过网关的 AI 插件，国泰产险做到了每个 Token 都知道是谁在用，用在哪个场景，给后续分析和成本管控提供了坚实的数据支撑。
对于众多开发者而言，Serverless 架构的核心优势在于其能够无缝集成多种云产品与组件，从而使得开发者可以更加专注于核心业务逻辑和创新。此外，Serverless 架构还提供了按量付费的灵活计费模式，进一步降低了资源成本。使用云应用开发平台 CAP，在 AI 领域，企业就可以专注于模型训练、算法优化等关键任务，让 AI 应用的开发、部署以及全生命周期的管理更加简单。可以预见 Serverless 技术将催生一系列创新且有趣的应用，而这些应用将不断拓展 AI 技术的边界。
阿里云云消息队列 Kafka 版 Serverless 系列凭借其卓越的弹性能力，为道旅科技提供了灵活高效的数据流处理解决方案。无论是应对突发流量还是规划长期资源需求，该方案均能帮助企业实现资源动态调整和成本优化，同时保障业务的高可用性和连续性。
在大部分基于 Envoy 实现的网关里，都存在这样一个问题，当开启 http2 时，客户端访问会出现偶发的 404，并且可以从日志注意到这些 404 的请求，:authority 头里的域名和 SNI 里的域名不一致。且在使用泛域名证书，且配置了多个域名的路由的情况下，这个问题特别容易出现。
目前阿里云 ARMS 已经基于 LLM 大模型实现了单链路智能诊断，综合调用链、方法栈、异常堆栈、SQL、指标等多模态数据，结合链路诊断领域专家经验，有效识别单次请求的错慢根因，并给出相应的优化建议。