随着大数据平台型产品方向的深入应用实践和Docker开源社区的逐渐成熟,业界有不少的大数据研发团队开始拥抱Docker。简单来说,Docker会让Hadoop平台部署更加简单快捷、让研发和测试团队集成交付更加敏捷高效、让产线环境的运维更加有质量保障。
基于 Docker 可以实现 CaaS(Containers as a Service)微服务架构,一般一个应用程序会提供多个服务,包括内部服务和外部服务,将所有的服务单独用容器包装起来,分别部署和运行,这样简化了整个应用程序维护的复杂度,同时解耦了模块之间的耦合性,便于不同模块单独开发和维护升级。
在时下被称作一个大数据的时代,云计算显得越发重要起来,而Docker技术的越发成熟,则将标志着大数据时代即将进入一个高速成熟期,我们认为Docker接下来的方向就是,只要不停的让客户使用或者维护IT系统越来越简单,永远只需要关心自己的业务,而不必费心其他的东西。
在此基础上,我们搭建出了基于Docker一键部署整个大数据平台及其他微服务的架构,提供分布式文件系统存储、离线和实时分布式计算、分布式数据库、数据仓库、RDBMS和日志的数据采集引擎,结构化数据和非结构化数据的数据分析引擎,数据可视化、分布式一致性服务,关系型和非关系型数据库……
并且可以对平台内的所有服务进行实时监控,平台内包含服务有:Hadoop、HBase、Hive、Pig、Sqoop、Flume、Zookeeper、Oracle、Mysql、Redis、Kafka、Storm、Spark、Prometheus、Grafana等,满足生产环境所需要的全分布式加高可用性,避免了主从结构单点故障的问题,让小白也能有自己的大数据平台!