Flink实战(五) - DataStream API编程
1 概述
Flink中的DataStream程序是实现数据流转换的常规程序(例如,过滤,更新状态,定义窗口,聚合)。
最初从各种源(例如,消息队列,套接字流,文件)创建数据流。
结果通过接收器返回,接收器可以例如将数据写入文件或标准输出(例如命令行终端)。
Spark学习之键值对(pair RDD)操作(3)
Spark学习之键值对(pair RDD)操作(3)
1. 我们通常从一个RDD中提取某些字段(如代表事件时间、用户ID或者其他标识符的字段),并使用这些字段为pair RDD操作中的键。
2. 创建pair RDD
1)读取本身就是键值对的数据
2)一个普通的RDD通过map()转为pair RDD,传递的函数需要返回键值对。
Python中使用第一个单词作为
Spark Streaming
1. Spark Streaming介绍
Spark Streaming 是Spark核心API的一个扩展,可以实现高吞吐量的、具备容错机制的实时流数据的处理。
groovy 简介(基于JVM的脚本语言)
groovy ,[ˈgru:vi ] ,adj. 绝妙的 流行的;
groovy是一个基于JVM的脚本语言,可以与java很好地结合、混用。
很好的介绍性文章:http://www.ibm.com/developerworks/cn/education/java/j-groovy/j-groovy.html
1.JVM脚本语言三巨头
可参照:http://www.ibm.com/
大数据Scala系列之文件以及正则表达式
大数据Scala系列之文件以及正则表达式1 读取行导入scala.io.Source后,即可引用Source中的方法读取文件信息。
import scala.io.Sourceobject FileDemo extends App{ val source = Source.