通过阿里云云原生 API 网关在国泰落地，目前国泰所有访问大模型的流量均通过阿里云云原生 API 网关进行代理，在日均消耗近亿 Token 的同时，做到了对每个请求都进行敏感信息过滤，不论是输入大模型的内容还是由大模型产生的内容都进行了全面审计，大大降低使用大模型的数据安全风险。通过网关的 AI 插件，国泰产险做到了每个 Token 都知道是谁在用，用在哪个场景，给后续分析和成本管控提供了坚实的数据支撑。
本方案利用函数计算的无服务器架构，您可以在函数计算控制台选择魔搭（ModelScope）开源大模型应用模板；同时，我们将利用文件存储 NAS ，为应用服务所需的大模型和相关文件提供一个安全的存储环境；最终通过访问提供的域名进行模型的调用与验证。仅需三步，即可玩转目前热门 AI 大模型。