Spark Streaming和Flink的Word Count对比
准备:
nccat for windows/linux 都可以 通过 TCP 套接字连接,从流数据中创建了一个 Spark DStream/ Flink DataSream, 然后进行处理,
时间窗口大小为10s 因为 示例需要, 所以 需要下载一个netcat, 来构造流的输入。
【大数据】SparkSql连接查询中的谓词下推处理(一)
SparkSql 是架构在 Spark 计算框架之上的分布式 Sql 引擎,使用 DataFrame 和 DataSet 承载结构化和半结构化数据来实现数据复杂查询处理,提供的 DSL可以直接使用 scala 语言完成 Sql 查询,同时也使用 thriftserver 提供服务化的 Sql 查询功能。
Neo4j导入数据的几种方法
create语句
CREATE (a:Person {name: '张三', sex: '男'})
如利用create批量写入,这里我使用的是scala+spark,代码如下:
object Neo4jConnect {
def main(args: Array[String]).