史上最快! 10小时大数据入门实战(九)- 前沿技术拓展Spark,Flink,Beam-阿里云开发者社区

开发者社区> javaedge> 正文

史上最快! 10小时大数据入门实战(九)- 前沿技术拓展Spark,Flink,Beam

简介: spark Spark 开发语言及运行模式介绍 Scala安装 下载 Scala ...
+关注继续查看
img_54f3ab1bd96d4bda54ea1d68c0fc091b.png

img_f1411d0b805929220394cb3584bcb809.png

spark

img_a0c02128d6165392e1fdf0c6b3feacc6.png

img_36414a82f9be7f5e924206eb392405b2.png

img_8c9d9961ccb0e42397fb164930390f7d.png

img_72cdf516fd84447c898129d55ea649b9.png

img_b2608e4a2c905ce3d4bcee509db1a658.png

img_8086400e1264cec173ada8565a00f8b3.png

img_93452893b7a67d2e3fe036654e4c5c70.png

Spark 开发语言及运行模式介绍

img_4977a11deb910c23a13183f14a7e4b87.png

img_78a2bb37a5f6c880ad3d54097cd16f0d.png

Scala安装

img_24529867fbf29bd75ea365ff80e0e00e.png
下载 Scala

img_4032393bd9339350606f71d2da1c6cc7.png
配置到系统环境变量

img_8522936af61ad949dbf00997440ab3d9.png
配置成功

Spark环境搭建及 wordCount 案例实现

img_350b21be0cbebf46657c10d96759b4b8.png
下载 spark

img_ba69e0528186da0e9bfd1e7b6066150e.png
解压编译

img_8e10ae085d49fcc2ff40c9528dc083ce.png
spark-shell可执行程序

如何提交应用程序


img_d7d2ffa3a8060218d2c99b64f7e15729.png

开启2个即可
img_bc7fac50576918cd2dcdd6c34d4438a1.png

img_f465eac7d6eaca56807fb4901c7e9c9e.png
./spark-shell --master local[2]

读取输出文件内容


img_ee17204732f22e375e1c2e5710f46cf4.png

img_a5d790c7565b5d37dbdf32d3419a4c43.png

img_e34279f3ade4c35c6f1b7c04ba2dad77.png
3行数据

按空格拆分
img_2e4afc545cc0beca8024367fc20b8fd5.png

为每个单词赋1,表出现频率
img_043619d1f1e3cddecbefd0ccb449426c.png
a.map(word => (word,1))

统计
img_bfd72d5c31e592e72b9018aa5a5e59c7.png

以上操作其实通过一条方法链即可完成!!!


img_e5d3e2c95c83a379609f47d441a0e8a4.png
sc.textFile("file:///Volumes/doc/data/hello.txt").flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_).collect

GUI 管理界面
img_d1e31664a596cd06aeeb0fbbcc7227ce.png
访问该地址即可

img_4ab05f691fb4b7d86876855c66e1061f.png
http://localhost:4040

Flink 概述

使用 Flink 完成 wordcount 统计

Flink 环境部署

img_d4b7ac59623079e32822db50f3af03f9.png
下载

img_4a7a476c5552a94b85d658977e753738.png
下载镜像到本地

img_1cd772918ff39af3d6e2dafcc880c1f2.png
解压

查看官网指南


img_452dd1628804436409d064052fda0137.png

启动本地的一个 flink
img_205871dbe44775b702eb7159eed01c3e.png

img_1f61ef46f48c4e9584e2a7fb4c105ee4.png

img_dd2fdf998e2b589ee5eaa1098b5ba8fe.png
浏览器访问:http://localhost:8081/

使用方法


img_b22ec8d04a51575d444bb7047a2fcae0.png

Beam 概述

将 wordCount的 Beam 程序以多种不同 Runner运行

Java 版本快速入门指南


img_d9448f7cacd2cb6190f1f3c67e5a9412.png

img_f174a31291f4a7ecb1326b3a9a8f5e1b.png

img_b7f5f14cdd65d8aaaf024c1861457cd0.png
maven 命令执行成功

img_87a6ac7d9d0e28daa92b0fb7f3c12298.png
运行命令

img_1322ba198eaf5d95a9e0e55d79aa7e45.png

img_950c8f4512164662647a9ec80213ddb8.png
生成文件

img_4ec74149560979ccf34e29a066aa84d8.png
查询结果

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
重磅下载 | 玩转HBase和Lindorm 大数据入门和实战
本书系统性地介绍了HBase和Lindorm的整体架构、理论知识,及在多种场景下的实战经验,绝对是本年度最全最精的大数据入门和实战秘籍。
31257 0
Apache Flink 在实时金融数据湖的应用
本文由中原银行大数据平台研发工程师白学余分享,主要介绍实时金融数据湖在中原银行的应用。
1976 0
《React Native移动开发实战》一一2.2 Git版本控制工具
本节书摘来自华章出版社《React Native移动开发实战》一 书中的第2章,第2.2节,作者:袁林 著 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1763 0
从 0 到 1 通过 Flink + Tablestore 进行大数据处理与分析
阿里云实时计算Flink版是一套基于 Apache Flink 构建的⼀站式实时大数据分析平台。在大数据场景下,实时计算 Flink 可提供端到端亚秒级实时数据流批处理能力。表格存储 Tablestore (又名 OTS)是阿里云自研的多模型结构化数据存储,可提供海量结构化数据的存储、查询分析服务。表格存储的双引擎架构支持千万TPS和毫秒级延迟的服务能力,可作为大数据计算的极佳上下游存储。
337 0
+关注
javaedge
关注公众号:JavaEdge,后台回复面试,领取更多大厂求职资源。曾在百度、携程、华为等大厂搬砖,专注Java生态各种中间件原理、框架源码、微服务、中台等架构设计及落地实战,只生产硬核干货!
2315
文章
1
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载