资讯
两家大数据先驱Cloudera和Hortonworks今天宣布了它们所谓的相对平等的合并,声称将把两家公司合并成一家年收入达7.2亿美元的新实体。
万维网之父 Tim Berners-Lee 爵士对今天的中心化 Web 非常不满,他想要拯救互联网,方法是重新去中心化。他正式宣布了新的开源去中心化平台 Solid ,源代码发布在 GitHub 上:https://github.com/solid。
Cloudera和Hortonworks合并的这项交易意味着Hadoop市场再也维持不了两大竞争对手。多年来,Hadoop一直就是大数据的代名词,但市场和客户需求已然发生了变化,本文分析了几个大趋势如何共同推动了这个变化。
假期期间有个公司上市了,首日大涨,市值接近50亿美元,又掀起了一波造富运动,这个公司就是Elastic。作为后端的程序员,如果没有听说过Elastic及其产品Elasticsearch,实在是太out了,快来了解一下吧。
技术
Fink和Spark Streaming是目前比较主流的实时计算引擎,为了深入了解它们之间的差异,各自存在的优势和劣势,评估实时处理性能,找到其性能瓶颈并对其进行优化,我们对这两个引擎做了一系列的测试,希望为后续实时计算框架选择、性能调优提供数据参考。
本文翻译自《Streaming System》最后一章《The Evolution of Large-Scale Data Processing》,简要回顾了大数据系统发展的历史轨迹,重点讨论了流处理系统。行文轻松活泼,内容通俗易懂,不妨一读。
对于搭建大数据平台和数据湖,通常而言是作为ETL的基础,广泛地采集各种数据源存储到Hadoop,来进行数据挖掘和分析。Uber新开源的Marmaray项目除了数据采集外,还包括数据分发,将Hadoop数据湖中的数据同步到各个在线存储系统,满足在线处理对性能和质量的更高要求。
近日,由 Apache Flink 创始人创立的 data Artisans 宣布开源 Streaming Ledger——一项激动人心的新技术,为基于流式架构的应用程序带来了串行化 ACID 事务支持。在这篇文章中,我们将解释为什么串行化 ACID 事务对于现代企业来说是一个巨大的挑战、data Artisans 如何找到解决方案以及如何将这项技术用于流式应用程序。
近年来Tensorflow和Kubernetes在AI和云计算领域都是异彩纷呈,火热得可以,放在一起又怎么样呢?本文是一篇关于Kuberflow:Kubernetes+Tensorflow入门级的介绍,了解一下?