Spark1.0.0发布一个多月了，那么它有多少行代码（Line of Code, LOC）？
注：代码统计未包含测试，sample。
Spark技术内幕：一个图搞定Spark到底有多少行代码
2014-06-30
2606
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
目录
相关文章
|
消息中间件
分布式计算
大数据
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装（图文解释 超详细）
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装（图文解释 超详细）
780
0
0
|
SQL
分布式计算
大数据
|
分布式计算
Hadoop
大数据
大数据技术与Python：结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性，阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce，Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop，可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop，以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
966
1
2
|
SQL
分布式计算
数据库
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战（附源码）
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战（附源码）
591
0
0
|
分布式计算
大数据
Apache
【大数据技术】流数据、流计算、Spark Streaming、DStream的讲解（图文解释 超详细）
【大数据技术】流数据、流计算、Spark Streaming、DStream的讲解（图文解释 超详细）
599
0
0
|
7月前
|
存储
分布式计算
Hadoop
|
11月前
|
存储
分布式计算
Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代，数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件，通过HDFS存储数据和Spark进行高效计算，实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践，包括数据存储、处理、安全和可视化等方面，展示了它们在实际应用中的协同效应。
451
2
2
|
11月前
|
存储
分布式计算
Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用，通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理，确保高可靠性和容错性；Spark则凭借其高性能和丰富的API，进行深度分析和机器学习，实现高效的批处理和实时处理。
400
1
1
|
分布式计算
大数据
Spark
Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享
《Spark大数据处理：技术、应用与性能优化》深入浅出介绍Spark核心，涵盖部署、实战与性能调优，适合初学者。作者基于微软和IBM经验，解析Spark工作机制，探讨BDAS生态，提供实践案例，助力快速掌握。书中亦讨论性能优化策略。[PDF下载链接](https://zhangfeidezhu.com/?p=347)。
308
1
1
|
分布式计算
Java
Apache
Apache Spark Streaming技术深度解析
【9月更文挑战第4天】Apache Spark Streaming是Apache Spark生态系统中用于处理实时数据流的一个重要组件。它将输入数据分成小批次（micro-batch），然后利用Spark的批处理引擎进行处理，从而结合了批处理和流处理的优点。这种处理方式使得Spark Streaming既能够保持高吞吐量，又能够处理实时数据流。
206
0
0
热门文章
最新文章
1
Hadoop大数据平台实战(05)：深入Spark Cluster集群模式YARN vs Mesos vs Standalone vs K8s
2
开源大数据技术专场（上午）:Spark、HBase、JStorm应用与实践
3
查看spark是否有僵尸进程，有的话，先杀掉。可以使用下面命令
4
spark CTAS union all （union all的个数很多）导致超过spark.driver.maxResultSize配置（1G）
5
spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解（java、python、r和scala）之Basic包下的SparkPi.scala（图文详解）
6
spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解（java、python、r和scala）之Basic包下的JavaPageRank.java（图文详解）
7
Spark集群环境搭建（standalone模式）
8
[Spark][Python][RDD][DataFrame]从 RDD 构造 DataFrame 例子
9
Spark stage提交
10
Spark源码分析之Spark Shell（上）
1
解释 Spark 与数据序列化格式的互操作性
253
2
如何使用分区和合并来优化 Spark 作业？
234
3
Spark中广播变量
467
4
解释 Spark 中窄转换和宽转换之间的区别
147
5
如何处理 Spark 中的倾斜数据？
589
6
如何在 Spark 中持久保存数据，有哪些不同的存储级别可用？
507
7
解释 Spark 中的惰性求值概念及其重要性
397
8
如何使用 Spark SQL 从 DataFrame 查询数据？
555
9
Spark RDD 中的 map 和 flatMap 转换有什么区别？
808
10
什么是 Apache Spark，为什么它用于数据处理？
318