AI 助理
备案控制台
开发者社区 数据库 文章 正文

HBase+Spark技术双周刊 第五期

2019-02-23 4944
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云原生数据库 PolarDB MySQL 版，通用型 2核4GB 50GB
云原生数据库 PolarDB PostgreSQL 版，标准版 2核4GB 50GB
简介： 优质博文推荐、直播往期回顾、公告栏

【点击订阅HBase+Spark技术双周刊】

500589725

优质博文推荐


2019年1月&2月云栖技术活动汇总：50+直播与Meetup资料下载
刚刚过完节日，云栖社区的线上直播和线下沙龙已经陆续展开啦，辗转之间，我们即将告别二月的寒冬，迎来三月的阳春，下面为大家汇总了一月二月份的直播和沙龙资料大全，最好的学习时机就是现在，速速收藏吧～

云HBase Spark分析引擎对接云数据库POLARDB
HBase Spark分析引擎是云数据库HBase版提供的分析引擎，其可以对接阿里云的多种数据源，同时也支持对接云数据库POLARDB。POLARDB是阿里云自研的下一代关系型云数据库，100%兼容MySQL，性能最高是MySQL的6倍。本文主要介绍HBase Spark分析引擎如何对接云数据库POLARDB。

HBase社区福利 | HBase初学者的福利来袭
HBase 有着如此多的应用，越来越多的公司都在使用它，这就导致越来越多的开发者们需要学习 HBase。中国HBase技术社区联合阿里云HBase数据库团队为大家带来了福利。阿里云HBase为我们提供了免费的HBase环境！

直播往期回顾——视频回看及PPT下载


直播视频回顾及PPT下载，请戳这里！

公告栏


阿里云云HBase技术团队愿意共同探讨HBase及其生态的问题，特进行2019 HBase Meetup 演讲者和议题征集
HBase Meetup 会议由 HBase技术社区主办，在全国各大城市举办。在过去的2018年，我们在北京、上海、杭州、深圳以及武汉等城市举办了9场 HBase Meetup 会议，来自各大公司的 HBase PMC、committer 以及 HBase 开发者共聚一堂，为大家分享了 HBase 技术解析及应用实践。 2019年，我们继续在全国举办 HBase 线下交流会。现向大家征集这几次会议的大会演讲者和议题，欢迎大家踊跃参与。

技术社群


【HBase生态+Spark社区大群】
群福利：群内每周进行群直播技术分享及问答
加入方式1：点击link申请加入
加入方式2：钉钉扫码加入
1

【点击订阅HBase+Spark技术双周刊】

文章标签：
云数据库HBase版
云原生数据库 PolarDB
分布式数据库
Hbase
关系型数据库
数据库
分布式计算
关键词：
apache spark技术
云数据库HBase版技术
apache spark hbase
云数据库HBase版spark
hbase apache spark
相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入，无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
  相关的阿里云产品：云数据库 HBase 版 面向大数据领域的一站式NoSQL服务，100%兼容开源HBase并深度扩展，支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力，是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库，是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验：数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引，您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接，领取免费ECS&RDS资源，30分钟完成数据库上云实战！https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
hbase小能手
目录
相关文章
土木林森
|
20天前
|
存储 分布式计算 Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代，数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件，通过HDFS存储数据和Spark进行高效计算，实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践，包括数据存储、处理、安全和可视化等方面，展示了它们在实际应用中的协同效应。
土木林森
71 2
土木林森
|
21天前
|
存储 分布式计算 Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用，通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理，确保高可靠性和容错性；Spark则凭借其高性能和丰富的API，进行深度分析和机器学习，实现高效的批处理和实时处理。
土木林森
59 1
喜欢猪猪
|
2月前
|
分布式计算 Java Apache
Apache Spark Streaming技术深度解析
【9月更文挑战第4天】Apache Spark Streaming是Apache Spark生态系统中用于处理实时数据流的一个重要组件。它将输入数据分成小批次（micro-batch），然后利用Spark的批处理引擎进行处理，从而结合了批处理和流处理的优点。这种处理方式使得Spark Streaming既能够保持高吞吐量，又能够处理实时数据流。
喜欢猪猪
70 0
张飞的猪
|
4月前
|
分布式计算 大数据 Spark
Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享
《Spark大数据处理：技术、应用与性能优化》深入浅出介绍Spark核心，涵盖部署、实战与性能调优，适合初学者。作者基于微软和IBM经验，解析Spark工作机制，探讨BDAS生态，提供实践案例，助力快速掌握。书中亦讨论性能优化策略。[PDF下载链接](https://zhangfeidezhu.com/?p=347)。![Spark Web UI](https://img-blog.csdnimg.cn/direct/16aaadbb4e13410f8cb2727c3786cc9e.png#pic_center)
张飞的猪
150 1
Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享
1941623231718325
|
5月前
|
分布式计算 Hadoop 大数据
大数据技术：Hadoop与Spark的对比
【6月更文挑战第15天】**Hadoop与Spark对比摘要** Hadoop是分布式系统基础架构，擅长处理大规模批处理任务，依赖HDFS和MapReduce，具有高可靠性和生态多样性。Spark是快速数据处理引擎，侧重内存计算，提供多语言接口，支持机器学习和流处理，处理速度远超Hadoop，适合实时分析和交互式查询。两者在资源占用和生态系统上有差异，适用于不同应用场景。选择时需依据具体需求。
1941623231718325
249 1
jjczqyjxgdegi
|
5月前
|
机器学习/深度学习 分布式计算 API
技术好文：Spark机器学习笔记一
技术好文：Spark机器学习笔记一
jjczqyjxgdegi
40 0
游客zn7mvnkypuy76
|
5月前
|
存储 SQL 分布式计算
技术心得记录：深入学习HBase架构原理
技术心得记录：深入学习HBase架构原理
游客zn7mvnkypuy76
86 0
hnrk7epeorhrk
|
5月前
|
存储 缓存 分布式计算
必知的技术知识：Hbase配置（伪分布式模式）
必知的技术知识：Hbase配置（伪分布式模式）
hnrk7epeorhrk
583 0
峰七（林学维）
|
分布式计算 安全 Shell
Maxcompute Spark 访问 阿里云 Hbase
引子 本来这个东西是没啥好写的，但是在帮客户解决问题的时候，发现链路太长，不能怪客户弄不出来，记录一下 需求列表 MaxCompute Spark包 (写文章时刻为版本 0.32.1, 请自行更新，本文不是文档) Spark 配置 spark.
峰七（林学维）
1204 0
Maxcompute Spark 访问 阿里云 Hbase
神巧合
|
分布式计算 Spark
spark访问hbase
import org.apache.hadoop.hbase.{HBaseConfiguration, HTableDescriptor} import org.apache.hadoop.hbase.mapreduce.TableInputFormat import org.apache.spark.rdd.NewHadoopRDD val conf = HBaseConfigurat
神巧合
1682 0

热门文章

最新文章

  • 1
    Spark Job的提交与task本地化分析（源码阅读八）
  • 2
    [Spark][Python]Spark Python 索引页
  • 3
    十二、Spark的安装与部署详情（Local模式，Standalone模式，Spank on YARN模式）
  • 4
    Spark-spark streaming
  • 5
    Spark-构建基于Spark的推荐引擎
  • 6
    Spark PruneDependency 依赖关系 RangePartitioner
  • 7
    Spark Master启动源码分析
  • 8
    spark1.4加载mysql数据 创建Dataframe及join操作连接方法问题
  • 9
    10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
  • 10
    如何查看spark与hadoop、kafka、Scala、flume、hive等兼容版本【适用于任何版本】
  • 1
    使用Spring Boot和HBase实现大数据存储
    327
  • 2
    在 HBase 中实现对图片和视频文件的高效检索
    38
  • 3
    HBase构建图片视频数据的统一存储检索
    68
  • 4
    技术心得记录：深入学习HBase架构原理
    86
  • 5
    必知的技术知识：Hbase配置（伪分布式模式）
    583
  • 6
    Spring Boot 优雅实现hbase功能
    141
  • 7
    杨校老师课堂之分布式数据库HBase的部署和基本操作
    60
  • 8
    HBase是一个开源的、分布式的、面向列的NoSQL数据库系统
    97
  • 9
    HBase基础结构
    64
  • 10
    实时计算 Flink版产品使用问题之如何进行Oracle到HBase的同步
    134

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 基于Flink+Tair搭建实时监控大屏
  • 基于EMR Serverless StarRocks一键玩转世界杯
  • 5分钟上手Flink MySQL连接器
  • 使用Flink实时发现最热Github项目
  • 基于MaxCompute的热门话题分析
    • 下一篇
    无影云桌面