Autodesk基于Mesos和Kafka的通用事件系统架构
本文讲的是Autodesk基于Mesos和Kafka的通用事件系统架构,【编者的话】我非常喜欢这篇博客,因为它揭示了许多简单架构模块—例如:Mesos、Kafka、RabbitMQ、Akka、Splunk、Librato和EC2可以整合起来来解决实际问题。而且一个小团队就可以获得非常令人惊讶的成就。
大数据全体系年终总结
到年底了,想着总结下所有知识点好了~今年应用的知识点还是很多的~
Hadoop生态圈:
1、文件存储当然是选择Hadoop的分布式文件系统HDFS,当然因为硬件的告诉发展,已经出现了内存分布式系统Tachyon,不论是Hadoop的MapReduce,Spark的内存计算、hive的MapReuduce分布式查询等等都可以集成在上面,然后通过定时器再写入HDFS,以保证计算的效率,但是毕竟还没有完全成熟。