AI 助理
备案控制台
开发者社区 华章出版社 文章 正文

《循序渐进学Spark》一1.7　本章小结

2017-05-02 1160
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

本节书摘来自华章出版社《循序渐进学Spark》一书中的第1章，第1.7节，作者 小象学院　杨　磊，更多章节内容可以访问云栖社区“华章计算机”公众号查看。


1.7　本章小结

本章着重描述了Spark的生态及架构，使读者对Spark的平台体系有初步的了解。进而描述了如何在Linux平台上构建Spark集群，帮助读者构建自己的Spark平台。最后又着重描述了如何搭建Spark开发环境，有助于读者对Spark开发工具进行一定了解，并独立搭建开发环境。

 

 

 

文章标签：
Linux
分布式计算
Spark
关键词：
apache spark循序渐进
华章计算机
目录
相关文章
华章计算机
|
分布式计算 调度 Spark
《循序渐进学Spark 》导读
华章计算机
2084 0
华章计算机
|
存储 分布式计算 资源调度
《循序渐进学Spark 》Spark 编程模型
华章计算机
4190 0
华章计算机
|
存储 分布式计算 大数据
《循序渐进学Spark 》Spark 编程模型
华章计算机
2344 0
华章计算机
|
SQL 存储 分布式计算
《循序渐进学Spark》一导读
华章计算机
2121 0
华章计算机
|
分布式计算 Java 调度
《循序渐进学Spark》一第3章
华章计算机
1592 0
华章计算机
|
存储 分布式计算 大数据
《循序渐进学Spark》一第2章
华章计算机
1697 0
华章计算机
|
存储 SQL 分布式计算
《循序渐进学Spark》一第1章
华章计算机
2566 0
大熊计算机
|
5月前
|
人工智能 分布式计算 大数据
大数据≠大样本：基于Spark的特征降维实战（提升10倍训练效率）
本文探讨了大数据场景下降维的核心问题与解决方案，重点分析了“维度灾难”对模型性能的影响及特征冗余的陷阱。通过数学证明与实际案例，揭示高维空间中样本稀疏性问题，并提出基于Spark的分布式降维技术选型与优化策略。文章详细展示了PCA在亿级用户画像中的应用，包括数据准备、核心实现与效果评估，同时深入探讨了协方差矩阵计算与特征值分解的并行优化方法。此外，还介绍了动态维度调整、非线性特征处理及降维与其他AI技术的协同效应，为生产环境提供了最佳实践指南。最终总结出降维的本质与工程实践原则，展望未来发展方向。
大熊计算机
307 0
Echo_Wish
|
8月前
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
Echo_Wish
400 79
郑小健
|
分布式计算 大数据 Apache
ClickHouse与大数据生态集成：Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代，能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统，ClickHouse 在大数据分析领域展现出了卓越的能力。然而，为了充分利用ClickHouse的优势，将其与现有的大数据处理框架（如Apache Spark和Apache Flink）进行集成变得尤为重要。本文将从我个人的角度出发，探讨如何通过这些技术的结合，实现对大规模数据的实时处理和分析。
郑小健
870 2
ClickHouse与大数据生态集成：Spark & Flink 实战

华章出版社

热门文章

最新文章

  • 1
    Hadoop大数据平台实战(05)：深入Spark Cluster集群模式YARN vs Mesos vs Standalone vs K8s
  • 2
    阿里巴巴瑾谦/沐远：云HBaseSQL及分析——Phoenix&Spark
  • 3
    【译】使用Spark SQL 运行大规模基因组工作流
  • 4
    云栖社区2019年1月技术活动：PG， Java，Spark等30+场预告【持续更新】
  • 5
    【Spark Summit East 2017】使用Spark进行时间序列分析
  • 6
    钉钉群直播【Spark Relational Cache 原理和实践】
  • 7
    数据处理平台架构中的SMACK组合：Spark、Mesos、Akka、Cassandra以及Kafka
  • 8
    【全网详解】从0到1搭建双十一实时交易数据展示平台——Spark+Kafka构建实时分析系统
  • 9
    spark on k8s的动态资源分配和external shuffle Service以及任务的队列资源管理
  • 10
    入门 spark
  • 1
    Spark3.3.0源码编译补充篇-抓狂的证书问题
    124
  • 2
    Spark性能优化之SparkUI
    389
  • 3
    利用SparkLauncher实现Spark Cluster模式下的远端交互
    363
  • 4
    Spark3.x的Cache能不能让我在2022好好睡觉
    119
  • 5
    Spark 3.0 中的屏障执行模式_Spark的MPI时代来了
    126
  • 6
    Spark性能优化指南—思路梳理
    534
  • 7
    肝Spark源码的若干骚操作
    125
  • 8
    Spark的几种去重的原理分析
    391
  • 9
    Spark开发实用技巧-从入门到爱不释手
    151
  • 10
    Spark 编译出现 InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty
    461

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    阿里云弹性公网IP线路类型【BGP(多线)_精品】是什么意思？