AI 助理
文档备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

Apache Spark Meetup China 第1期 最全资料下载

2018-12-17 2417
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 活动时间：2018年12月16日13:30-17:00 活动地点：杭州市余杭区文一西路998号未来科技城海创园4幢801C 主办单位：阿里云、袋鼠云、云栖社区 主题介绍： 主题一、Spark优化实践-13：30 - 14：30阿里云E-MapReduce-王道远介绍阿里云EMR中Spark计算引擎所包含的一系列额外优化工作，包括SmartShuffle、file skip index等。

活动时间：2018年12月16日13:30-17:00

活动地点：杭州市余杭区文一西路998号未来科技城海创园4幢801C

主办单位：阿里云、袋鼠云、云栖社区

_2018_12_18_11_24_59

主题介绍：

主题一、Spark优化实践-13：30 - 14：30
阿里云E-MapReduce-王道远
介绍阿里云EMR中Spark计算引擎所包含的一系列额外优化工作，包括SmartShuffle、file skip index等。

主题二、Spark使用对象存储的机遇和挑战-14：30 - 15：30
阿里云E-MapReduce-余根茂
介绍Spark对对象存储这种类似的访问的原理机制，以及优化的策略

主题三、基于SparkSQL的安防大数据检索分析优化外部-15：30-16：30
杭州海康威视研究院大数据技术部 - 陈国栋

介绍基于SparkSQL构建安防大数据交互式查询分析方面做的工作，有对SparkSQL的优化，也有一些我们自研模块。并希望借此为契机能够让我们的团队更加融入社区，努力服务社区。

加入Spark钉钉群，与专家共同交流

_2018_12_05_4_48_20_meitu_1

ppt链接：
https://yq.aliyun.com/download/3143
https://yq.aliyun.com/download/3144
视频链接：https://yq.aliyun.com/live/719

文章标签：
开源大数据平台 E-MapReduce
Apache
大数据
分布式计算
Spark
关键词：
Apache meetup
apache spark meetup
apache spark Apache
apache apache spark
Apache spark
社区小助手
目录
相关文章
张飞的猪
|
机器学习/深度学习 分布式计算 算法
Spark快速大数据分析PDF下载读书分享推荐
《Spark快速大数据分析》适合初学者，聚焦Spark实用技巧，同时深入核心概念。作者团队来自Databricks，书中详述Spark 3.0新特性，结合机器学习展示大数据分析。Spark是大数据分析的首选工具，本书助你驾驭这一利器。[PDF下载链接][1]。 ![Spark Book Cover][2] [1]: https://zhangfeidezhu.com/?p=345 [2]: https://i-blog.csdnimg.cn/direct/6b851489ad1944548602766ea9d62136.png#pic_center
张飞的猪
606 1
Spark快速大数据分析PDF下载读书分享推荐
云浠Cherry
|
10月前
|
人工智能 监控 数据挖掘
6/14 上海，Apache Doris x 阿里云 SelectDB AI 主题线下 Meetup 正式开启报名！
6 月 14 日，由 Apache Doris 社区、飞轮科技、阿里云联合发起的湖仓数智融合、AI 洞见未来：Apache Doris x 阿里云 SelectDB 联合 Meetup 将在上海·汇付天下总部大楼正式开启，邀您一同探索 AI 与数据分析的融合实践！
云浠Cherry
512 76
NineData
|
11月前
|
安全 Apache 数据库
【倒计时3天】NineData x Apache Doris x 阿里云联合举办数据库技术Meetup，5月24日深圳见！
5月24日，NineData联合Apache Doris与阿里云在深圳举办数据库技术Meetup。活动聚焦「数据实时分析」与「数据同步迁移」两大领域，邀请行业专家分享技术趋势、产品实践及解决方案，助力企业构建高效安全的数据管理体系。时间：14:00-17:30；地点：深圳新一代产业园2栋20楼会议室。线下名额有限（80人），速报名参与深度交流！
NineData
304 1
扬流
|
分布式计算 大数据 Apache
Apache Spark & Paimon Meetup · 北京站，助力 LakeHouse 架构生产落地
2024年11月15日13:30北京市朝阳区阿里中心-望京A座-05F，阿里云 EMR 技术团队联合 Apache Paimon 社区举办 Apache Spark & Paimon meetup，助力企业 LakeHouse 架构生产落地”线下 meetup，欢迎报名参加！
扬流
492 59
龙大吉
|
分布式计算 大数据 Apache
利用.NET进行大数据处理：Apache Spark与.NET for Apache Spark
【10月更文挑战第15天】随着大数据成为企业决策和技术创新的关键驱动力，Apache Spark作为高效的大数据处理引擎，广受青睐。然而，.NET开发者面临使用Spark的门槛。本文介绍.NET for Apache Spark，展示如何通过C#和F#等.NET语言，结合Spark的强大功能进行大数据处理，简化开发流程并提升效率。示例代码演示了读取CSV文件及统计分析的基本操作，突显了.NET for Apache Spark的易用性和强大功能。
龙大吉
458 1
张飞的猪
|
分布式计算 大数据 Spark
Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享
《Spark大数据处理：技术、应用与性能优化》深入浅出介绍Spark核心，涵盖部署、实战与性能调优，适合初学者。作者基于微软和IBM经验，解析Spark工作机制，探讨BDAS生态，提供实践案例，助力快速掌握。书中亦讨论性能优化策略。[PDF下载链接](https://zhangfeidezhu.com/?p=347)。![Spark Web UI](https://img-blog.csdnimg.cn/direct/16aaadbb4e13410f8cb2727c3786cc9e.png#pic_center)
张飞的猪
518 1
Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享
云浠Cherry
|
存储 小程序 Apache
10月26日@杭州，飞轮科技 x 阿里云举办 Apache Doris Meetup，探索保险、游戏、制造及电信领域数据仓库建设实践
10月26日，由飞轮科技与阿里云联手发起的 Apache Doris 杭州站 Meetup 即将开启！
云浠Cherry
293 0
郑小健
|
分布式计算 大数据 数据处理
Apache Spark在大数据处理中的应用
Apache Spark是大数据处理的热门工具，由AMPLab开发并捐赠给Apache软件基金会。它以内存计算和优化的执行引擎著称，提供比Hadoop更快的处理速度，支持批处理、交互式查询、流处理和机器学习。Spark架构包括Driver、Master、Worker Node和Executor，核心组件有RDD、DataFrame、Dataset、Spark SQL、Spark Streaming、MLlib和GraphX。文章通过代码示例展示了Spark在批处理、交互式查询和实时数据处理中的应用，并讨论了其优势（高性能、易用性、通用性和集成性）和挑战。【6月更文挑战第11天】
郑小健
586 6
jianz123
|
分布式计算 Hadoop 大数据
大数据处理框架在零售业的应用：Apache Hadoop与Apache Spark
【8月更文挑战第20天】Apache Hadoop和Apache Spark为处理海量零售户数据提供了强大的支持
jianz123
393 0
扬流
|
分布式计算 Serverless 数据处理
EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务
Apache Airflow 是一个强大的工作流程自动化和调度工具，它允许开发者编排、计划和监控数据管道的执行。EMR Serverless Spark 为处理大规模数据处理任务提供了一个无服务器计算环境。本文为您介绍如何通过 Apache Airflow 的 Livy Operator 实现自动化地向 EMR Serverless Spark 提交任务，以实现任务调度和执行的自动化，帮助您更有效地管理数据处理任务。
扬流
646 0
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    分布式快照算法: Chandy-Lamport
  • 2
    大模型RAG实战：从零搭建专属知识库问答助手
  • 3
    不是吧？这么好用的开源标注工具，竟然还有人不知道…
  • 4
    大模型微调技术入门：从核心概念到实战落地全攻略
  • 5
    Json实现根据商品ID请求拼多多商品详情数据方法，拼多多商品详情API接口，拼多多API接口申请指南
  • 6
    淘宝闪购基于阿里云 EMR Serverless Spark&Paimon的湖仓实践：超大规模下的特征生产&多维分析双提效
  • 7
    Apache Spark 3.0 将内置支持 GPU 调度
  • 8
    基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
  • 9
    JindoFS解析 - 云上大数据高性能数据湖存储方案
  • 10
    阿里巴巴的通义千问大模型
  • 1
    诗悦游戏基于DLF与EMR StarRocks降本38%
    185
  • 2
    基于DLF构建实时数据湖
    163
  • 3
    数仓-湖仓-湖流，人力家基于阿里云OpenLake架构演进与思考
    188
  • 4
    淘宝闪购基于阿里云 EMR Serverless Spark&Paimon的湖仓实践：超大规模下的特征生产&多维分析双提效
    320
  • 5
    有奖实践：EMR Serverless StarRocks × Serverless Spark x DLF 共探 TPC 极致性能
    522
  • 6
    大模型RAG实战：从零搭建专属知识库问答助手
    854
  • 7
    大模型微调技术入门：从核心概念到实战落地全攻略
    612
  • 8
    活动报名 | Apache Spark Meetup · 上海站，助力企业构建高效数据平台
    279
  • 9
    0 基础建站？PageAdmin CMS 10 分钟搞定，源码免费拿！
    554
  • 10
    EMR AI助手开启公测：用AI重塑大数据运维，更简单、更智能
    353

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 推荐镜像

    更多
  • apache
    • 下一篇
    阿里云重磅发布Agentic SOC，企业级AI Agent驱动的安全运营平台