回顾 | Apache Flink Meetup ·上海站(附PPT下载链接)
9 月 7 日,Apache Flink Meetup 上海站,上海的同学再次演绎了站无虚席的爆满场面。现场来自阿里巴巴、intel、趣头条的技术专家们分享了 Zeppelin 中玩转 Flink 与 Hive、趣头条的应用实践、Flink 性能优化、TensorFlow 与 Flink 的应用实践等众多干货内容,并有 Demo 演示环节。
Flume1.8用户手册中文版的翻译终于在今天完成了
今天刚刚终于把Flume1.8的用户手册翻译完了,稍后再审阅核对一遍应该就算告一段落了,刚准备翻译的时候最新的版本是1.8,如今Flume1.9都已经发布了,不过不用担心Flume版本的变化并不大,应该说整个1.x版本都差不多,新版本只不过是在往上面加一些新的组件和一些bug修复。
Hive语言手册-ORC
Hive语言手册-ORC
LanguageManual ORC
ORC File Format
Version
Introduced in Hive version 0.11.0.
Optimized Row Columnar(ORC)文件格式提供了存储Hive数据的高效方法。
使用EMR-Flume同步Kafka数据到HDFS
Flume是一个分布式、可靠和高效的数据汇聚系统,其source、channel和sink的结构设计,不仅实现了数据生产者与消费者的解耦,还提供了数据缓冲的功能。一个比较通用的使用场景是使用Flume将Kafka的数据按照时间分区同步至HDFS,进行实时的流式分析或离线统计。