Spark1.0.0公布一个多月，有多少行代码就（Line of Code, LOC）？
注意：代码统计不包括测试，sample。
版权声明：本文博客原创文章，博客，未经同意，不得转载。
本文转自mfrbuaa博客园博客，原文链接：http://www.cnblogs.com/mfrbuaa/p/4751067.html，如需转载请自行联系原作者
Spark里面：获取图Spark有多少行代码
2017-11-22
1056
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
目录
相关文章
|
7月前
|
分布式计算
API
Spark
Spark学习--day05、SparkCore电商网站实操、SparkCore-工程代码
Spark学习--day05、SparkCore电商网站实操、SparkCore-工程代码
128
11
11
|
1月前
|
分布式计算
Java
开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景，随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码，发现使用的`nativeBooster.saveModel`方法不支持OSS路径，而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令，帮助用户顺利迁移模型存储路径。
65
1
1
|
2月前
|
存储
缓存
分布式计算
大数据-89 Spark 集群 RDD 编程-高阶 编写代码、RDD依赖关系、RDD持久化/缓存
大数据-89 Spark 集群 RDD 编程-高阶 编写代码、RDD依赖关系、RDD持久化/缓存
46
4
4
|
2月前
|
消息中间件
分布式计算
Kafka
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
大数据-102 Spark Streaming Kafka ReceiveApproach DirectApproach 附带Producer、DStream代码案例
58
0
0
|
7月前
|
分布式计算
算法
数据挖掘
|
7月前
|
分布式计算
大数据
Linux
|
SQL
分布式计算
Java
|
分布式计算
大数据
Spark
|
分布式计算
大数据
数据处理
|
分布式计算
Java
大数据
热门文章
最新文章
1
[Spark][Python]Spark Python 索引页
2
Spark Master启动源码分析
3
Spark-spark streaming
4
Spark PruneDependency 依赖关系 RangePartitioner
5
spark1.4加载mysql数据 创建Dataframe及join操作连接方法问题
6
Spark为什么只有在调用action时才会触发任务执行呢（附算子优化和使用示例）？
7
10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
8
【Flink】Flink跟Spark Streaming的区别？
9
Spark本地环境搭建（local模式）
10
利用闪存优化在Cosco基础上的Spark Shuffle
1
DAG（有向无环图）在Spark中的应用
460
2
scala-spark中的groupby、like等的用法
246
3
spark执行sql的原理是什么
134
4
容器服务Kubernetes版产品使用合集之怎么实现把 spark 跑在k8s
91
5
spark用于分析数据并将数据保存到数据库中是
75
6
数据分享|Python、Spark SQL、MapReduce决策树、回归对车祸发生率影响因素可视化分析
95
7
如何解决Spark在深度学习中的资源消耗问题？
91
8
Spark在深度学习中的优缺点是什么？
255
9
使用Spark进行机器学习
79
10
Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
140