为增强对 Python 应用，特别是 Python LLM 应用的可观测性，阿里云推出了 Python 探针，旨在解决 LLM 应用落地难、难落地等问题。助力企业落地 LLM。本文将从阿里云 Python 探针的接入步骤、产品能力、兼容性等方面展开介绍。并提供一个简单的 LLM 应用例子，方便测试。
通过阿里云云原生 API 网关在国泰落地，目前国泰所有访问大模型的流量均通过阿里云云原生 API 网关进行代理，在日均消耗近亿 Token 的同时，做到了对每个请求都进行敏感信息过滤，不论是输入大模型的内容还是由大模型产生的内容都进行了全面审计，大大降低使用大模型的数据安全风险。通过网关的 AI 插件，国泰产险做到了每个 Token 都知道是谁在用，用在哪个场景，给后续分析和成本管控提供了坚实的数据支撑。
近期，我们欣喜地宣布 Nacos 3.0 的第一个版本 Nacos 3.0-ALPHA 已经发布。Nacos 3.0 的目标是在 2.0 的基础上，进一步优化安全性、易用性和标准化。同时，我们将引入更多功能，帮助用户在分布式协调、AI 大模型、云原生等多种场景中更好地使用 Nacos，以提升其广泛适应性。
目前阿里云 ARMS 已经基于 LLM 大模型实现了单链路智能诊断，综合调用链、方法栈、异常堆栈、SQL、指标等多模态数据，结合链路诊断领域专家经验，有效识别单次请求的错慢根因，并给出相应的优化建议。
将 Qwen2.5 模型部署于函数计算 FC，用户能依据业务需求调整资源配置，有效应对高并发场景，并通过优化资源配置，如调整实例规格、多 GPU 部署和模型量化来提升推理速度。此外，函数计算支持多样化 GPU 计费模式（按需计费、阶梯定价、极速模式），可根据业务需求调整，在面对高频请求和大规模数据处理时，能够显著降低综合成本。
监控运维是一个体系化的工作，完善这个体系非一日之功。但是我们的业务不可一日无监控“裸奔”，在阿里云怎么样快速低成本的建立第一道资源监控的护城河？开箱即用的云监控，将会是你进入阿里云的第一个可靠的小伙伴。
在 2024 年春节前夕，修正电商事业部面临了前所未有的技术挑战，修正将参与春晚的全民健康好礼派发的活动，且在央视及各大平台进行广告投放，预计流量激增至 16 亿，系统需要承载保底 5 万 QPS，目标 10 万 QPS。修正技术团队迫切需要升级 APP 架构以应对即将到来的超高并发场景。这一挑战不仅是对技术的考验，更是对修正品牌实力的一次展示。为了应对这次巨大的技术挑战，修正技术团队选择与阿里云云原生团队合作，进行 APP 架构的升级。
