AI应用最初是一个典型Java程序,它可能使用Spring这样的技术,因为我们需要一个框架确保程序的各个组件能够被正确加载,需要MVC来保证REST API被正确的Controller处理。AI应用部署在Tomcat容器中,运行在云主机上,7 x 24小时运行,我们提供不间断的服务。在夜里12点到早晨8点,几乎没有用户使用,但我们还得让它待在那里,防止深夜偶尔使用的用户得到一个503错误而误会AI服务不稳定。我们为购买的云主机付钱,尽管一半的时间它的CPU使用率几乎为0,但没有公共云是按CPU使用率计费的,不工作的时间也得付钱。我们必须关心Auto-Scaling Group的配置,如何准确的配置Auto-Scaling策略是一个技术活,需要长期的经验积累,在早期我们不得不多部署一些空闲的云主机以保证服务不会因Auto-Scaling的配置不当而拥塞。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。