通过阿里云云原生 API 网关在国泰落地，目前国泰所有访问大模型的流量均通过阿里云云原生 API 网关进行代理，在日均消耗近亿 Token 的同时，做到了对每个请求都进行敏感信息过滤，不论是输入大模型的内容还是由大模型产生的内容都进行了全面审计，大大降低使用大模型的数据安全风险。通过网关的 AI 插件，国泰产险做到了每个 Token 都知道是谁在用，用在哪个场景，给后续分析和成本管控提供了坚实的数据支撑。
本文介绍了对象存储（OSS）在AI业务中的应用与实践。内容涵盖四个方面：1) 对象存储作为AI数据基石，因其低成本和高弹性成为云上数据存储首选；2) AI场景下的对象存储实践方案，包括数据获取、预处理、训练及推理阶段的具体使用方法；3) 国内主要区域的默认吞吐量提升至100Gbps，优化了大数据量下的带宽需求；4) 常用工具介绍，如OSSutil、ossfs、Python SDK等，帮助用户高效管理数据。重点讲解了OSS在AI训练和推理中的性能优化措施，以及不同工具的特点和应用场景。
在业务场景中，日志数据可能存储在日志服务 Project 的不同 Logstore/MetricStore 中或不同地域的 Project 中。日志服务的数据集（StoreView）功能支持跨地域、跨 Store 联合查询和分析，让用户基于数据集就能高效便捷地查询分析全地域的数据，真正做到数据分析不受地域边界的限制。
本⽂对 Prompt 的使用方式进行了简单介绍，让大家了解到 Prompt 对于 LLM 的重要性。并尝试在 Prompt 中结合用户 Geo IP 信息，实现 LLM 的个性化回复，提升问答的准确度。