• Apache Spark机器学习.1.1 Spark概述和技术优势

    相对于MapReduce等其他大数据处理平台,Apache Spark拥有诸多优势。其中,比较突出的两项优势是快速运行和快速写入能力。Apache Spark保留了诸如可扩展性和容错能力等一些MapReduce最重要的优势,并且利用新技术对其...
    文章 2017-05-02 3059浏览量
  • Spark Summit East 2017】BigDL:Spark上的分布式...

    本讲义出自Yiheng Wang在Spark Summit East 2017上的演讲,主要介绍了使用Spark构建大数据平台的分布式的深度学习框架,其结合了“高性能计算”和“大数据”的架构,为Spark上的深度学习功能提供本地支持,演讲中还...
    文章 2017-02-19 1929浏览量
  • X-Pack Spark用户手册

    X-Pack Spark大数据平台的通用计算平台,应用非常广泛。本文主要介绍Spark相关的知识,主要包括:了解Spark,使用Spark,使用Spark过程中遇到的问题FAQ等,谨帮助用户快速的掌握Spark以及如何使用Spark。X-Pack ...
    文章 2019-06-18 3028浏览量
  • Spark Summit East 2017】Spark数据引擎

    本讲义出自Rohan Sharma在Spark Summit East 2017上的演讲,主要介绍了Netflix的大数据处理生态系统以及Spark在该平台发挥的作用,并讨论了Netflix使用的数据流以及数据管道架构以及Spark如何帮助Netflix在数据处理...
    文章 2017-02-20 1887浏览量
  • 加速企业级大数据方案落地 IBM聚力发挥Spark优势

    这一公益组织在IBM发起的“大数据大学”平台上提供免费的课程,通过开设Hadoop、Spark、R、机器学习等课程,提升大数据人才专业技能。大数据大学针对不同的学习目标配备了专门的学习路径,在全球网站和中文网站上...
    文章 2017-07-03 1400浏览量
  • Teradata扩展数据湖搭建能力

    全球领先的大数据分析服务供应商Teradata天睿公司(Teradata Corporation,纽交所:TDC)宣布旗下Think Big公司运用Apache Spark 扩展数据湖与管理服务业务。Think Big公司是Teradata天睿公司旗下全球化咨询公司,...
    文章 2017-07-03 1408浏览量
  • Spark核心技术与高级应用》——1.1节什么是Spark

    1.1.3 Spark的特点作为新一代轻量级大数据快速处理平台Spark具有以下特点:快速。Spark有先进的DAG执行引擎,支持循环数据流和内存计算;Spark程序在内存中的运行速度是Hadoop MapReduce运行速度的100倍,在磁盘...
    文章 2017-05-02 1221浏览量
  • Apache Spark中国技术交流社区历次直播回顾(持续更新...

    负责开发基于Apache Spark的深度学习框架,同时支持企业客户在大数据平台上构建端到端的深度学习应用。他是Analytics Zoo和BigDL的核心贡献者之一。3月19日【关于 JindoFS 最新的 OTS 方案分享】 简介:本次直播主要...
    文章 2019-09-19 6556浏览量
  • 和封神一起“深挖”Spark

    E-MapReduce大数据平台 演讲主要内容 大数据通常自上而下分为大数据产品、数据治理/作业生命周期、作业管理/作业流、分布式计算、分布式存储、分布式调度、硬件/机房七层。本次演讲的重点在于分布式计算层。在以时间...
    文章 2016-08-24 10464浏览量
  • Spark大数据处理:技术、应用与性能优化》——导读

    前 言Spark是发源于美国加州大学伯克利分校AMPLab的大数据分析平台,它立足于内存计算,从多迭代批量处理出发,兼顾数据仓库、流处理和图计算等多种计算范式,是大数据系统领域的全栈计算平台Spark当下已成为...
    文章 2017-07-10 1595浏览量
  • Spark的现状与未来发展

    相较于其他大数据平台或框架而言,Spark的代码库最为活跃,如下图所示: 从2013年6月到2014年6月,参与贡献的开发人员从原来的68位增长到255位,参与贡献的公司也从17家上升到50家。在这50家公司中,有来自中国的...
    文章 2016-05-04 5437浏览量
  • 基于 Spark 和 TensorFlow 的机器学习实践

    而EMR本身是一个大数据平台,平台之上拥有多种数据,比如传统的数据仓库数据、图像数据;EMR有很强的调度能力,可以很好地吊调度GPU和CPU资源;其结合机器学习算法,就可以成为一个比较好的AI平台。典型的AI开发流程...
    文章 2019-10-31 3794浏览量
  • Apache Spark有哪些局限性

    Apache Spark是行业中流行和广泛使用的大数据工具之一。Apache Spark已成为业界的热门话题,并且如今非常流行。但工业正在转移朝向apache flink。Apache Spark简介 Apache Spark是为快速计算而设计的开源,闪电般...
    文章 2020-06-11 512浏览量
  • Apache Spark中国技术交流社区历次直播回顾(持续更新...

    负责开发基于Apache Spark的深度学习框架,同时支持企业客户在大数据平台上构建端到端的深度学习应用。他是Analytics Zoo和BigDL的核心贡献者之一。3月19日【关于 JindoFS 最新的 OTS 方案分享】 ...
    文章 2019-10-09 3557浏览量
  • 限免首发|Spark 企业级实战集锦,国内Spark开发者的...

    《Apache Spark 中文实战攻略(下册)》—— 让企业大数据平台性能更优。阿里、Databricks、领英、Intel、Facebook 都在用!Spark 企业级最佳实践中文解读全收纳!想看全套电子书?没问题!点击下面链接一键下载...
    文章 2020-08-13 13006浏览量
  • 创建企业级品质数据Spark没那么简单

    大数据分析服务供应商Teradata天睿公司最近宣布旗下Think Big公司已经成功将Spark融入创建企业级品质数据湖和分析应用的开发框架。目前,客户可在搭载“通用硬件”的一般Hadoop环境中部署云端Apache Spark使用数据湖...
    文章 2017-07-03 1432浏览量
  • Spark Summit East 2017】基于SparkR的可伸缩数据...

    本讲义出自Felix Cheung在Spark Summit East 2017上的演讲,R是一个非常受欢迎的科学数据平台,而Apache Spark是一个高度可扩展的数据平台,SparkR结合了两者的优点,本讲义介绍了关于SparkR的相关内容以及Spark 2.x...
    文章 2017-02-20 1923浏览量
  • Spark大数据处理:技术、应用与性能优化》——1.5 ...

    云计算带来资源的按需分配,用户可以采用云端的虚机作为大数据分析平台的底层基础设施,在上端构建Spark集群,进行大数据分析。随着处理数据量的增加,按需扩展分析节点,增加集群的数据分析能力。1.5.2 Spark在...
    文章 2017-07-03 2687浏览量
  • 大数据分析平台Hadoop与Spark之争

    而从大数据平台而言,已有成熟的Hadoop、Cassandra、Mesos以及其他云的供应商。据预测,Spark将会在五年以后全面替代Hadoop的MapReduce。由此可见,大数据领域技术更迭十分迅速。那么,在日新月异的大数据领域,...
    文章 2017-08-17 1475浏览量
  • Hadoop学习路径

    熟悉了解开源Hadoop平台生态圈,以及第三方大数据平台,查找一些Hadoop入门介绍博客或者官网,了解: What’s Hadoop Why Hadoop exists How to Use Hadoop 1.3、Hadoop家族成员 Hadoop是一个庞大的家族,包含存储,...
    文章 2018-05-04 1605浏览量
  • Spark Summit East 2017】将HPC算法引入大数据平台

    更多精彩内容参见云栖...本讲义出自Nikolay Malitsky在Spark Summit East 2017上的演讲,主要介绍了使用轻量级源工具集开发的,基于MPI的Spark平台的扩展,扩展的背景和原理正如题目所示:将HPC算法引入大数据平台
    文章 2017-02-18 2046浏览量
  • 继续支持开源,IBM新型主机平台能够更好支持Spark

    开源功能——新平台提供了一个应用于Apache Spark、专门针对大数据设计的开源内存计算引擎。IBM也在与DataFactZ、Rocket Software和Zementis这三家公司进行合作,通过IBM z/OS平台为Apache Spark开发定制解决方案: ...
    文章 2017-07-03 1166浏览量
  • 专为国内开发者定制的Spark电子书来了!

    这次的计算平台大数据训练营会涵盖阿里云计算平台几乎所有的产品。从第一期实时计算Flink开始,到离线和实时一体化的数仓MaxCompute、Hologres。本期训练营会讲到开源大数据的全家桶——阿里云 EMR、ElasticSearch、...
    文章 2020-08-27 1080浏览量
  • 图解大数据|大数据分析挖掘框架@Spark初步

    http://www.showmeai.tech/tutorials/84本文地址:http://www.showmeai.tech/article-detail/173声明:版权所有,转载请联系平台与作者并注明出处收藏ShowMeAI查看更多精彩内容1.Spark是什么学习或做大数据开发的...
    文章 2022-04-21 72浏览量
  • 大数据慧说话:大数据带来的改变,不仅仅是一点点

    Spark),因此华为大数据平台是经过电信和金融等大企业严苛考验的平台。Hadoop&Spark是开源软件,开源软件在稳定性和性能上都有一定的缺失,华为云服务上部署的Hadoop&Spark是经过数百个项目检验过的稳定...
    文章 2017-09-04 1303浏览量
  • 大数据慧说话:大数据带来的改变,不仅仅是一点点

    Spark),因此华为大数据平台是经过电信和金融等大企业严苛考验的平台。Hadoop&Spark是开源软件,开源软件在稳定性和性能上都有一定的缺失,华为云服务上部署的Hadoop&Spark是经过数百个项目检验过的稳定...
    文章 2017-08-17 1148浏览量
  • 开源大数据周刊-第60期

    本文介绍了25个基本的大数据术语,包括算法、分析、批量处理、内存计算、数据湖、Spark、Hadoop等。技术 Spark Streaming计算模型及监控 Spark Streaming是一套优秀的实时计算框架。其良好的可扩展性、高吞吐量以及...
    文章 2017-07-13 2961浏览量
  • Spark 和 Hadoop 是朋友不是敌人

    越来越多的企业选择 Hadoop 做大数据平台,而 Spark 是运行于 Hadoop 顶层的内存处理方案。Hadoop 最大的用户 —— 包括 eBay 和雅虎 —— 都在 Hadoop 集群中运行着 Spark。Cloudera 和 Hortonworks 将 Spark 列为...
    文章 2017-08-01 909浏览量
  • 企业级全托管 Spark 大数据分析平台及案例分析

    DDI 如何解决2、Lambda 架构到批流一体架构3、Lakehouse 架构的演进4、DDI 在阿里云中产品的组合01\ 开源大数据平台客户普遍存在的痛点问题02\ Databricks 数据洞察在四大场景帮助客户提升生产效率03\ Delta Lake 的...
    文章 2021-05-24 1494浏览量
  • Spark 和 Hadoop 是朋友不是敌人

    越来越多的企业选择 Hadoop 做大数据平台,而 Spark 是运行于 Hadoop 顶层的内存处理方案。Hadoop 最大的用户 —— 包括 eBay 和雅虎 —— 都在 Hadoop 集群中运行着 Spark。Cloudera 和 Hortonworks 将 Spark 列为...
    文章 2017-06-08 1279浏览量
1 2 3 4 ... 120 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化