Spark1.0.0发布一个多月了，那么它有多少行代码（Line of Code, LOC）？
注：代码统计未包含测试，sample。
Spark技术内幕：一个图搞定Spark到底有多少行代码
2014-06-30
2529
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
目录
相关文章
|
4月前
|
分布式计算
Hadoop
大数据
大数据技术与Python：结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性，阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce，Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop，可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop，以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
681
1
2
|
4月前
|
消息中间件
分布式计算
大数据
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装（图文解释 超详细）
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装（图文解释 超详细）
199
0
0
|
4月前
|
SQL
分布式计算
大数据
|
4月前
|
SQL
分布式计算
数据库
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战（附源码）
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战（附源码）
190
0
0
|
4月前
|
SQL
分布式计算
大数据
【大数据技术Hadoop+Spark】Spark SQL、DataFrame、Dataset的讲解及操作演示（图文解释）
【大数据技术Hadoop+Spark】Spark SQL、DataFrame、Dataset的讲解及操作演示（图文解释）
131
0
0
|
4月前
|
分布式计算
大数据
Scala
【大数据技术Hadoop+Spark】Spark RDD创建、操作及词频统计、倒排索引实战（超详细 附源码）
【大数据技术Hadoop+Spark】Spark RDD创建、操作及词频统计、倒排索引实战（超详细 附源码）
192
1
1
|
4月前
|
分布式计算
大数据
Apache
【大数据技术】流数据、流计算、Spark Streaming、DStream的讲解（图文解释 超详细）
【大数据技术】流数据、流计算、Spark Streaming、DStream的讲解（图文解释 超详细）
105
0
0
|
8天前
|
分布式计算
Java
Apache
Apache Spark Streaming技术深度解析
【9月更文挑战第4天】Apache Spark Streaming是Apache Spark生态系统中用于处理实时数据流的一个重要组件。它将输入数据分成小批次（micro-batch），然后利用Spark的批处理引擎进行处理，从而结合了批处理和流处理的优点。这种处理方式使得Spark Streaming既能够保持高吞吐量，又能够处理实时数据流。
27
0
0
|
2月前
|
分布式计算
大数据
Spark
Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享
《Spark大数据处理：技术、应用与性能优化》深入浅出介绍Spark核心，涵盖部署、实战与性能调优，适合初学者。作者基于微软和IBM经验，解析Spark工作机制，探讨BDAS生态，提供实践案例，助力快速掌握。书中亦讨论性能优化策略。[PDF下载链接](https://zhangfeidezhu.com/?p=347)。
93
1
1
|
3月前
|
分布式计算
Hadoop
大数据
大数据技术：Hadoop与Spark的对比
【6月更文挑战第15天】**Hadoop与Spark对比摘要**
Hadoop是分布式系统基础架构，擅长处理大规模批处理任务，依赖HDFS和MapReduce，具有高可靠性和生态多样性。Spark是快速数据处理引擎，侧重内存计算，提供多语言接口，支持机器学习和流处理，处理速度远超Hadoop，适合实时分析和交互式查询。两者在资源占用和生态系统上有差异，适用于不同应用场景。选择时需依据具体需求。
176
1
2
热门文章
最新文章
1
Spark-理解RDD
2
Spark Core概念学习系列之Spark Core（十四）
3
附录A Spark2.1核心工具类Utils
4
[Spark][Python]Mapping Single Rows to Multiple Pairs
5
Spark-ML-01-小试spark分析离线商品信息
6
spark集群配置
7
Spark-神奇的共享变量
8
Spark shuffle详细过程
9
跟我一起数据挖掘（22）——spark入门
10
重磅解读：基于Occlum和BigDL构建端到端的安全分布式Spark大数据分析方案
1
数据处理的艺术：EMR Serverless Spark实践及应用体验
14737
2
DataWorks产品使用合集之ODPS Spark找不到自己的stdout，该如何解决
41
3
DataWorks产品使用合集之spark任务如何跨空间取表数据
27
4
深度解密Spark性能优化之道
43
5
技术好文：Spark机器学习笔记一
29
6
EMR Serverless Spark PySpark流任务体验报告
7166
7
Serverless Spark计算服务
38
8
MaxCompute操作报错合集之在Spark访问OSS时出现证书错误的问题，该如何解决
52
9
MaxCompute操作报错合集之使用spark.sql执行rename分区操作，遇到任务报错退出的情况，该怎么办
38
10
MaxCompute操作报错合集之spark客户端执行时，报错，该怎么办
32