目前计划搭建一个能处理6000+TPS的数据采集和分析系统,平均秒入库数据量大概3000条据(单条数据4k),数据保留一周,主要业务是入库和集可数据报表查询,请问大牛我应该怎么搭建此业务系统。
1、需要采用什么技术、数据库、中间件。
2、保证业务可用,造价成本要求合理的情况下,需要什么物理资源、什么配置服务器,数量几台?
数据采集建议使用flume,支持文件、tcp等多个场景的采集。
服务端数据中转使用消息中间件,如kafka。可搭建kafka机器,规模在5台虚拟机(4C8G)
数据存储分析建议使用es,可搭建es集群,规模在10台虚拟机(8C32G)。
预计可支持1w条/秒。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。