阿里云 > 开发者平台 > J > 基于spark大数据处理系统
相关搜索：
分布式数据处理系统出现异常怎么办 数据处理系统出现异常怎么办 数据处理系统故障原因 遥测数据处理故障原因 分布式数据处理系统错误如何解决 遥测数据处理系统故障排除
  • 关于

    基于spark大数据处理系统

    的搜索结果

  • 《Spark核心技术与高级应用》——1.1节什么是Spark

    本节书摘来自华章社区《Spark核心技术与高级应用》一书中的第1章，第1.1节什么是Spark，作者于俊　向海　代其锋　马海平，更多章节内容可以访问云栖社区“华章社区”公众号查看 1.1　什么是Spark说起大数据，很多人会想起Doug Cutting以自己儿子玩具小象命名的开源项目Hadoop。...

    文章 华章计算机 2017-05-02 1026浏览量

  • Spark通识

    在说Spark之前，笔者在这里向对Spark感兴趣的小伙伴们建议，想要了解、学习、使用好Spark，Spark的官网是一个很好的工具，几乎能满足你大部分需求。 同时，建议学习一下scala语言，主要基于两点：1.Spark是scala语言编写的，要想学好Spark必须研读分析它的源码，当然其他技术...

    文章 bigdatalearnshare 2020-06-26 225浏览量

  • Spark 概念学习系列之Apache Spark是什么？（一）

    简单地说，        Spark是发源于美国加州大学伯克利分校AMPLab的大数据分析平台，它立足于内存计算，从多迭代批量处理出发，兼顾数据仓库、 流处理和图计算等多种计算范式，是大数据系 统领域的全栈计算平台。       Spark是基于内存计算的大数据并行计算框架。 Spark基于内存计...

    文章 技术小哥哥 2017-11-27 1003浏览量

  • Quick BI 数据可视化分析平台

    2020年入选全球Gartner ABI魔力象限，为中国首个且唯一入选BI产品

    广告

  • 《Spark大数据分析实战》——导读

    本节书摘来自华章社区《Spark大数据分析实战》一书中的目录，作者高彦杰　倪亚宇，更多章节内容可以访问云栖社区“华章社区”公众号查看 目　　录 前　言第1章 Spark简介 1.1 初识Spark 1.2 Spark生态系统BDAS 1.3 Spark架构与运...

    文章 华章计算机 2017-05-02 1519浏览量

  • 《Spark大数据处理：技术、应用与性能优化》——第1章 Spark　简　介1.1　Spark是什么

    本节书摘来自华章计算机《Spark大数据处理：技术、应用与性能优化》一书中的第1章，第1.1节,作者:高彦杰 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 第1章 Spark　简　介 本章主要介绍Spark大数据计算框架、架构、计算模型和数据管理策略及Spark在工业界的应用。围绕Sp...

    文章 华章计算机 2017-07-03 1322浏览量

  • 《Spark大数据分析实战》——1.2节Spark生态系统BDAS

    本节书摘来自华章社区《Spark大数据分析实战》一书中的第1章，第1.2节Spark生态系统BDAS，作者高彦杰　倪亚宇，更多章节内容可以访问云栖社区“华章社区”公众号查看 1.2　Spark生态系统BDAS目前，Spark已经发展成为包含众多子项目的大数据计算平台。BDAS是伯克利大学提出的基于...

    文章 华章计算机 2017-05-02 1290浏览量

  • 继续支持开源，IBM新型主机平台能够更好支持Spark

    IBM公司近日宣布推出基于Apache Spark的新型z/OS平台，以帮助企业使用IBM大型主机更加方便、快捷地访问和分析数据。此举将给数据科学家和开发人员创造新的机会，帮助他们对系统丰富的数据集进行高级分析，以实现实时洞察。Apache Spark是一种开源的分析框架，IBM此次推出的基于Sp...

    文章 青衫无名 2017-07-03 975浏览量

  • 《循序渐进学Spark》一第1章

    本节书摘来自华章出版社《循序渐进学Spark》一书中的第1章，第1.1节，作者   小象学院　杨　磊 更多章节内容可以访问云栖社区“华章计算机”公众号查看。  第1章 Spark架构与集群环境 本章首先介绍Spark大数据处理框架的基本概念，然后介绍Spark生态系统的主要组成部分，包括Spar...

    文章 华章计算机 2017-05-02 2203浏览量

  • 《Spark大数据处理：技术、应用与性能优化》——1.2　Spark生态系统BDAS

    本节书摘来自华章计算机《Spark大数据处理：技术、应用与性能优化》一书中的第1章，第1.2节,作者:高彦杰 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.2　Spark生态系统BDAS 目前，Spark已经发展成为包含众多子项目的大数据计算平台。伯克利将Spark的整个生态系统称为...

    文章 华章计算机 2017-07-03 1312浏览量

  • Hadoop，HBase，Storm，Spark到底是什么？

    Hadoop，HBase，Storm，Spark到底是什么？ Hadoop=HDFS+Hive+Pig+... HDFS: 存储系统MapReduce：计算系统Hive：提供给SQL开发人员（通过HiveQL）的MapReduce，基于Hadoop的数据仓库框架Pig：基于Hadoop的语言开发的...

    文章 杨振平 2014-12-09 793浏览量

  • 基于HBase和Spark构建企业级数据处理平台

    摘要：在中国HBase技术社区第十届Meetup杭州站上，阿里云数据库技术专家李伟为大家分享了如何基于当下流行的HBase和Spark体系构建企业级数据处理平台，并且针对于一些具体落地场景进行了介绍。 演讲嘉宾简介：李伟（花名：沐远），阿里云数据库技术专家。专注于大数据分布式计算和数据库领域，具有...

    文章 hbase小能手 2019-04-01 6624浏览量

  • Apache Spark有哪些局限性

    Apache Spark是行业中流行和广泛使用的大数据工具之一。Apache Spark已成为业界的热门话题，并且如今非常流行。但工业正在转移朝向apache flink。 Apache Spark简介 Apache Spark是为快速计算而设计的开源，闪电般快速的集群计算框架。Apache Sp...

    文章 奈学教育技术分享 2020-06-11 147浏览量

  • 《Spark大数据分析实战》——第3章BDAS简介

    本节书摘来自华章社区《Spark大数据分析实战》一书中的第3章BDAS简介，作者高彦杰　倪亚宇，更多章节内容可以访问云栖社区“华章社区”公众号查看 第3章BDAS简介提到Spark不得不说伯克利大学AMPLab开发的BDAS（Berkeley Data Analytics Stack）数据分析的软...

    文章 华章计算机 2017-05-02 1258浏览量

  • 《Spark大数据分析实战》——1.1节初识Spark

    本节书摘来自华章社区《Spark大数据分析实战》一书中的第1章，第1.1节初识Spark，作者高彦杰　倪亚宇，更多章节内容可以访问云栖社区“华章社区”公众号查看 1.1　初识SparkSpark是基于内存计算的大数据并行计算框架，因为它基于内存计算，所以提高了在大数据环境下数据处理的实时性，同时保...

    文章 华章计算机 2017-05-02 1527浏览量

  • 和封神一起“深挖”Spark

    2016云栖大会·北京峰会于8月9号在国家会议中心拉开帷幕，在云栖社区开发者技术专场中，来自阿里云技术专家曹龙（封神）为在场的听众带来《Deep dive into Spark》精彩分享。 关于分享者 曹龙，花名封神，专注在大数据领域，6年分布式引擎研发经验。先后研发上万台Hadoop、ODPS集...

    文章 云学习小组 2016-08-24 9871浏览量

  • spark 运维实战 简介

     Spark 大数据计算框架、架构、计算模型和数据管理策略及 Spark 在工业界的应用。围绕 Spark 的 BDAS 项目及其子项目进行了简要介绍。目前，Spark 生态系统已经发展成为一个包含多个子项目的集合，其中包含 SparkSQL、Spark Streaming、GraphX、 MLl...

    文章 吴梦涵 1970-01-01 1007浏览量

  • spark 运维实战 简介

     Spark 大数据计算框架、架构、计算模型和数据管理策略及 Spark 在工业界的应用。围绕 Spark 的 BDAS 项目及其子项目进行了简要介绍。目前，Spark 生态系统已经发展成为一个包含多个子项目的集合，其中包含 SparkSQL、Spark Streaming、GraphX、 MLl...

    文章 李世龙ing 1970-01-01 1531浏览量

  • 史上最全开源大数据工具汇总

    史上最全的开源大数据工具，非常实用，请务必收藏! 查询引擎 Phoenix Salesforce公司出品，Apache HBase之上的一个SQL中间层，完全使用Java编写 Stinger 原叫Tez，下一代Hive, Hortonworks主导开发，运行在YARN上的DAG计算框架 ...

    文章 管理贝贝 2016-02-02 5928浏览量

  • Spark 概念学习系列之Spark生态系统BDAS（五）

    　 目前，Spark已经发展成为包含众多子项目的大数据计算平台。 伯克利将Spark的整个生态系统称为伯克利数据分析栈（BDAS）。 其核心框架是Spark，同时BDAS涵盖支持结构化数据SQL查询与分析的查询引擎Spark SQL和Shark，提供机器学习功能的系统MLbase及底层的分布式机器...

    文章 技术小哥哥 2017-11-14 3338浏览量

  • 《Spark大数据分析实战》——3.5节本章小结

    本节书摘来自华章社区《Spark大数据分析实战》一书中的第3章，第3.5节本章小结，作者高彦杰　倪亚宇，更多章节内容可以访问云栖社区“华章社区”公众号查看 3.5　本章小结本章主要介绍了BDAS中广泛应用的几个数据分析组件。SQL on Spark提供在Spark上的SQL查询功能。让用户可以基于...

    文章 华章计算机 2017-05-02 822浏览量

  • Spark 概念学习系列之Spark的优点（八）

    Spark的一站式解决方案，非常之具有吸引力，毕竟啊，任何公司都想用统一的平台去处理遇到的问题，减少开发和维护的人力成本和部署平台的物力成本。 　　当然，Spark并没有以牺牲性能为代价。相反，在性能方面，Spark具有很大的优势。           　　Spark凭借以下的优点在众多的大数据分...

    文章 技术小哥哥 2017-11-02 1038浏览量

  • Spark 概念学习系列之Spark的优点（八）

    　　Spark的一站式解决方案，非常之具有吸引力，毕竟啊，任何公司都想用统一的平台去处理遇到的问题，减少开发和维护的人力成本和部署平台的物力成本。 　　当然，Spark并没有以牺牲性能为代价。相反，在性能方面，Spark具有很大的优势。           　　Spark凭借以下的优点在众多的大数...

    文章 技术小哥哥 2017-11-14 965浏览量

  • 独家 | 寻找数据统治力：比较Spark和Flink

    作者：王海涛 文章来源：微信公众号 数据派THU 翻译：张玲 校对：王雨桐 本文首先介绍了Spark和Flink的发展背景、基本架构及其设计特点，然后从数据模型、状态处理和编程模型3个角度进行比较优势和限制，最后介绍Spark和Flink的最新发展。 本篇文章属于阿里巴巴Flink系列文章之一...

    文章 初商 2019-08-27 677浏览量

  • Spark比拼Flink：下一代大数据计算引擎之争，谁主沉浮？

    下一代大数据计算引擎# 自从数据处理需求超过了传统数据库能有效处理的数据量之后，Hadoop 等各种基于 MapReduce 的海量数据处理系统应运而生。从 2004 年 Google 发表 MapReduce 论文开始，经过近 10 年的发展，基于 Hadoop 开源生态或者其它相应系统的海量...

    文章 李博 bluemind 2018-11-14 2210浏览量

  • Apache Spark机器学习.1.2　在机器学习中应用Spark计算

    1.2　在机器学习中应用Spark计算 基于RDD和内存处理的创新功能，Apache Spark真正使得分布式计算对于数据科学家和机器学习专业人员来说简便易用。Apache Spark团队表示：Apache Spark基于Mesos 集群管理器运行，使其可以与Hadoop以及其他应用共享资源。因...

    文章 华章计算机 2017-05-02 1326浏览量

  • 上：Spark VS Flink – 下一代大数据计算引擎之争，谁主沉浮？

    作者简介 王海涛，曾经在微软的 SQL Server和大数据平台组工作多年。带领团队建立了微软对内的 Spark 服务，主打 Spark Streaming。去年加入阿里实时计算部门，参与改进阿里基于 Apache Flink 的Blink 平台。 导读： 做大数据绝对躲不过的一个热门话题就是实...

    文章 Ververica 2019-04-28 1144浏览量

  • 上：Spark VS Flink – 下一代大数据计算引擎之争，谁主沉浮？

    导读： 做大数据绝对躲不过的一个热门话题就是实时流计算，而提到实时流计算，就不得不提 Spark 和 Flink。Spark 从 2014 年左右开始迅速流行，刚推出时除了在某些场景比 Hadoop MapReduce 带来几十到上百倍的性能提升外，还提出了用一个统一的引擎支持批处理、流处理、交互...

    文章 赵慧 2018-10-15 1608浏览量

  • 上：Spark VS Flink – 下一代大数据计算引擎之争，谁主沉浮？

    导读： 做大数据绝对躲不过的一个热门话题就是实时流计算，而提到实时流计算，就不得不提 Spark 和 Flink。Spark 从 2014 年左右开始迅速流行，刚推出时除了在某些场景比 Hadoop MapReduce 带来几十到上百倍的性能提升外，还提出了用一个统一的引擎支持批处理、流处理、交互...

    文章 赵慧 2018-10-15 2151浏览量

  • 《Spark大数据处理：技术、应用与性能优化》——1.5　Spark的企业级应用

    本节书摘来自华章计算机《Spark大数据处理：技术、应用与性能优化》一书中的第1章，第1.5节,作者:高彦杰 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.5　Spark的企业级应用 随着企业数据量的增长，对大数据的处理和分析已经成为企业的迫切需求。Spark作为Hadoop的替代者...

    文章 华章计算机 2017-07-03 2492浏览量

  • 《Spark大数据处理：技术、应用与性能优化》——1.4　Spark分布式架构与单机多核架构的异同

    本节书摘来自华章计算机《Spark大数据处理：技术、应用与性能优化》一书中的第1章，第1.4节,作者:高彦杰 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 1.4　Spark分布式架构与单机多核架构的异同 我们通常所说的分布式系统主要指的是分布式软件系统，它是在通信网络互连的多处理机的架...

    文章 华章计算机 2017-07-03 957浏览量

1 2 3 4 ... 49 >
写文章 提问题 去认证
在线学习 技能测试 视频直播

相关推荐

参与开发者用户调研得周边好礼

阿里巴巴镜像站改版升级上线啦！

云产品推荐

热门关键词

更多推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务