HBase+SpringBoot分布式文件存储实战(二)-HBase简介与环境部署

简介: 1 HBase简介及其在大数据生态圈的位置行列表举例行 / 列式数据表,即把列放在一起列式则适合于大批量查询2 HBase数据存储模型及与关系型数据库的区别...

1 HBase简介及其在大数据生态圈的位置

img_d67d3cd4a21b8e77b5416d506c98245a.png

img_498795178fb09cc158072557fcee1c5b.png

行列表举例


img_bd59b7978901bfce7789b2b59db20273.png
行 / 列式数据表,即把列放在一起

列式则适合于大批量查询
img_37d2d63874b9d2010ce3eb8c8dbf386d.png

img_3dd8fc4105c84bb0524968e6b6f1acf2.png

img_d0f7ca3a6ec1f1bff2ddc595db04be11.png

2 HBase数据存储模型及与关系型数据库的区别

  • 分布式基础理论


    img_76404717435c8be62381a8413462a690.png

    img_e780a7bcfb2241a69fea2d2760534d9b.png
  • HBase 概念


    img_7aa7ead7870b1f4083be5627e1e745fc.png

    img_1759022012f644834381c69a016b2e8e.png

    img_a4340bd23e569db87e23156c874d8063.png

    img_0f19cf91dd1b9eef62aee6607aa2177f.png
  • HBase与传统数据库的区别


    img_da36df2f27dd4d09bf7388e6c3ec9603.png

    img_55b6a739968db65dd801d3cfd1434255.png
    存储例子

    img_326f3193246f8129908e50a3a5f61b1c.png
    HBase 存储结果

    HBase 数据模型


    img_2da255b72c45032bbe41284d319fa215.png

3 Hadoop伪分布式集群安装

img_742142b5b55503e56d22b8488afed3d7.png

img_19b69685654b17a70d956c666fe32afc.png

img_02845fc43afd3df390e69dfc7bc234a9.png
配置 hadoop.env.sh 的 Java 环境变量

img_e872fb3524be82e4e7efb13415e318c6.png

img_c94dcd8bc7d62fd3fa134befcee21cdb.png

img_6cb4502fa7e60680e82f3c486d81a1bc.png
新建一个数据存储目录

img_c7b941fd501a57d996d42cd9dfbae2b8.png
相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
3天前
|
人工智能 Kubernetes 异构计算
大道至简-基于ACK的Deepseek满血版分布式推理部署实战
本教程演示如何在ACK中多机分布式部署DeepSeek R1满血版。
|
1月前
|
SQL 分布式计算 数据处理
云产品评测|分布式Python计算服务MaxFrame | 在本地环境中使用MaxFrame + 基于MaxFrame实现大语言模型数据处理
本文基于官方文档,介绍了由浅入深的两个部分实操测试,包括在本地环境中使用MaxFrame & 基于MaxFrame实现大语言模型数据处理,对步骤有详细说明。体验下来对MaxCompute的感受是很不错的,值得尝试并使用!
48 1
|
3月前
|
存储 Java 关系型数据库
在Spring Boot中整合Seata框架实现分布式事务
可以在 Spring Boot 中成功整合 Seata 框架,实现分布式事务的管理和处理。在实际应用中,还需要根据具体的业务需求和技术架构进行进一步的优化和调整。同时,要注意处理各种可能出现的问题,以保障分布式事务的顺利执行。
214 53
|
2月前
|
缓存 NoSQL Java
Spring Boot中的分布式缓存方案
Spring Boot提供了简便的方式来集成和使用分布式缓存。通过Redis和Memcached等缓存方案,可以显著提升应用的性能和扩展性。合理配置和优化缓存策略,可以有效避免常见的缓存问题,保证系统的稳定性和高效运行。
76 3
|
4月前
|
存储 分布式计算 Hadoop
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
81 2
|
4月前
|
存储 开发框架 .NET
C#语言如何搭建分布式文件存储系统
C#语言如何搭建分布式文件存储系统
107 2
|
4月前
|
SQL NoSQL MongoDB
一款基于分布式文件存储的数据库MongoDB的介绍及基本使用教程
一款基于分布式文件存储的数据库MongoDB的介绍及基本使用教程
83 0
|
4月前
|
SQL NoSQL 安全
分布式环境的分布式锁 - Redlock方案
【10月更文挑战第2天】Redlock方案是一种分布式锁实现,通过在多个独立的Redis实例上加锁来提高容错性和可靠性。客户端需从大多数节点成功加锁且总耗时小于锁的过期时间,才能视为加锁成功。然而,该方案受到分布式专家Martin的质疑,指出其在特定异常情况下(如网络延迟、进程暂停、时钟偏移)可能导致锁失效,影响系统的正确性。Martin建议采用fencing token方案,以确保分布式锁的正确性和安全性。
78 0
|
4月前
|
存储 SQL 消息中间件
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
72 0
|
4月前
|
存储 分布式计算 监控
C# 创建一个分布式文件存储系统需要怎么设计??
C# 创建一个分布式文件存储系统需要怎么设计??
62 0