文章标签：
分布式计算
Spark
索引
关键词：
apache spark自定义
apache spark Hadoop
apache spark partitioner
自定义hadoop
自定义apache spark
相关文章
Echo_Wish
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
Echo_Wish
619 79
武子康
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
武子康
845 6
武子康
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
武子康
408 2
武子康
|
消息中间件 存储 分布式计算
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
武子康
375 0
土木林森
|
存储 分布式计算 Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代，数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件，通过HDFS存储数据和Spark进行高效计算，实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践，包括数据存储、处理、安全和可视化等方面，展示了它们在实际应用中的协同效应。
土木林森
675 2
土木林森
|
存储 分布式计算 Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用，通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理，确保高可靠性和容错性；Spark则凭借其高性能和丰富的API，进行深度分析和机器学习，实现高效的批处理和实时处理。
土木林森
576 1
武子康
|
缓存 分布式计算 大数据
大数据-90 Spark 集群 RDD 编程-高阶 RDD容错机制、RDD的分区、自定义分区器（Scala编写）、RDD创建方式（一）
大数据-90 Spark 集群 RDD 编程-高阶 RDD容错机制、RDD的分区、自定义分区器（Scala编写）、RDD创建方式（一）
武子康
296 0
武子康
|
分布式计算 算法 大数据
大数据-90 Spark 集群 RDD 编程-高阶 RDD容错机制、RDD的分区、自定义分区器（Scala编写）、RDD创建方式（二）
大数据-90 Spark 集群 RDD 编程-高阶 RDD容错机制、RDD的分区、自定义分区器（Scala编写）、RDD创建方式（二）
武子康
276 0
郑小健
|
存储 分布式计算 资源调度
Hadoop生态系统概览：从HDFS到Spark
【8月更文第28天】Hadoop是一个开源软件框架，用于分布式存储和处理大规模数据集。它由多个组件构成，旨在提供高可靠性、高可扩展性和成本效益的数据处理解决方案。本文将介绍Hadoop的核心组件，包括HDFS、MapReduce、YARN，并探讨它们如何与现代大数据处理工具如Spark集成。
郑小健
1212 0
jianz123
|
分布式计算 Hadoop 大数据
大数据处理框架在零售业的应用：Apache Hadoop与Apache Spark
【8月更文挑战第20天】Apache Hadoop和Apache Spark为处理海量零售户数据提供了强大的支持
jianz123
395 0

热门文章

最新文章

  • 1
    开源大数据技术专场（上午）:Spark、HBase、JStorm应用与实践
  • 2
    欢迎加入Spark中国社区
  • 3
    Spark SQL性能优化
  • 4
    Spark SQL玩起来
  • 5
    阿里巴巴瑾谦/沐远：云HBaseSQL及分析——Phoenix&Spark
  • 6
    【译】使用Spark SQL 运行大规模基因组工作流
  • 7
    EMR Spark Relational Cache的执行计划重写
  • 8
    云栖社区2019年1月技术活动：PG， Java，Spark等30+场预告【持续更新】
  • 9
    Spark Connector Reader 原理与实践
  • 10
    Spark的错误处理与调试技巧
  • 1
    Ubuntu22.04下搭建Hadoop3.3.6+Hbase2.5.6+Phoenix5.1.3开发环境的指南
    781
  • 2
    CentOS中构建高可用Hadoop 3集群
    385
  • 3
    “Hadoop整不明白，数据分析就白搭？”——教你用Hadoop撸清大数据处理那点事
    543
  • 4
    Hadoop生态系统：从小白到老司机的入门指南
    552
  • 5
    从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
    619
  • 6
    Dataphin功能Tips系列（41）-Hadoop集群管理
    330
  • 7
    【赵渝强老师】史上最详细：Hadoop HDFS的体系架构
    1480
  • 8
    从Excel到Hadoop：数据规模的进化之路
    316
  • 9
    MPP 架构与 Hadoop 架构技术选型指南
    1532
  • 10
    基于Java的Hadoop文件处理系统：高效分布式数据解析与存储
    497
    • 相关商品

    相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据Hadoop快速入门
  • Hadoop快速入门
  • Hadoop企业优化及扩展案例
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • 《构建Hadoop生态批流一体的实时数仓》
  • 零基础实现hadoop 迁移 MaxCompute 之 数据
  • CIO 指南:如何在SAP软件架构中使用Hadoop

    • 相关实验场景

    更多
  • 搭建Hadoop环境
    • 下一篇
    PHP：将本地文件上传到阿里云OSS存储