FusionInsight概述

简介: FusionInsight概述

01 引言

最近可能会用到华为的FusionInsight产品,所以预先了解下。

02 FusionInsight概述

FusionInsight官网地址https://e.huawei.com/cn/solutions/cloud-computing/big-data

2.1 数据湖

在了解FusionInsight之前,需要知道什么是数据湖

数据湖:是一个集中式存储库,允许以任意规模存储所有结构化和非结构化数据。可以按原样存储数据(无需先对数据进行结构化处理),并运行不同类型的分析 , 从控制面板和可视化到大数据处理、实时分析和机器学习,以指导做出更好的决策。

数据仓库与数据湖的对比:

特性 数据仓库 数据湖
数据 来自事务系统、运营数据库和业务线应用程序的关系数据 来自 IoT 设备、网站、移动应用程序、社交媒体和企业应用程序的非关系和关系数据
Schema 设计在数据仓库实施之前(写入型 Schema) 写入在分析时(读取型 Schema)
性价比 更快查询结果会带来较高存储成本 更快查询结果只需较低存储成本
数据质量 可作为重要事实依据的高度监管数据 任何可以或无法进行监管的数据(例如原始数据)
用户 业务分析师 数据科学家、数据开发人员和业务分析师(使用监管数据)
分析 批处理报告、BI 和可视化 机器学习、预测分析、数据发现和分析

数据湖的价值能够在更短的时间内从更多来源利用更多数据,并使用户能够以不同方式协同处理和分析数据,从而做出更好、更快的决策

2.2 FusionInsight为何物?

总结FusionInsight本质是一个分布式数据处理系统,是在Hadoop集群上又封装了一层,类似于开源的CDHHDP等大数据平台

FusionInsight数据湖解决方案(下面是官网贴出来的):

  • 作用:政务数据治理和一网通办,金融实时风控,运营商BOM三域融合,大企业智慧园区、智慧城轨、智慧机场等。支撑政企客户全量数据的实时分析、离线分析、交互查询、实时检索、多模分析、数仓集市、数据接入治理、图计算等海量数据分析场景,加速释放数据价值,助力政企客户实现一企一湖、一城一湖!
  • 内容MRS云原生数据湖、DWS云数据仓库、 DGC数据湖治理中心、 GES图引擎等云服务。

2.3 FusionInsight架构

Fusion Insight有4个子产品和1个操作运维系统:

  • Fusion Insight HD(大数据处理环境):使用的数据库是Hive和HBase
  • Fusion Insight MPPDB(并行处理关系型数据库):没有明确使用什么数据库,SQL是PostgreSql-FDW提供的,数据存储使用的HDFS
  • Fusion Insight Miner(数据分析平台):基于Fusion Insight HD
  • Fusion Insight Farmer(应用容器)
  • Fusion Insight Manager(操作运维系统)

FusionInsight学习路线图,以下贴图来自:https://www.zhihu.com/question/33570348

03 文末

FusionInsight的介绍到此为止了,其实该产品也没有看出什么亮点,实际就是Hadoop的包装,文档又不给下载,无法更进一步的去介绍了,本文完!

目录
相关文章
|
存储 SQL 缓存
带你全面了解MySQL性能调优、错误代码总结和全局参数配置
本文主要介绍当前MySQL性能优化+原理+实战,包括以下方面: MySQL遇到的的错误及解决方法 全局参数文件配置详解。
1043 0
|
存储 分布式计算 资源调度
ARM+麒麟大数据环境搭建:Hadoop
ARM+麒麟大数据环境搭建:Hadoop
3246 0
ARM+麒麟大数据环境搭建:Hadoop
|
存储 SQL 缓存
Hadoop入门(一篇就够了)
Hadoop入门(一篇就够了)
30313 4
Hadoop入门(一篇就够了)
|
SQL 分布式计算 大数据
一张图,详解大数据技术架构
一张图,详解大数据技术架构
|
6月前
|
人工智能 前端开发 JavaScript
SpringBoot实现网页消息推送的5种方法
本文详细介绍了在SpringBoot中实现网页消息推送的几种主流方案,包括短轮询、长轮询、SSE(Server-Sent Events)、WebSocket以及STOMP。每种方案各有优缺点,适用于不同的场景需求。短轮询简单易实现但效率低;长轮询提升了实时性但仍有限制;SSE适合单向通信且轻量高效;WebSocket支持全双工通信,适合高实时性要求的场景;STOMP基于WebSocket,提供更高级的消息传递功能。通过对比分析,开发者可根据业务需求、性能要求及浏览器兼容性选择最适合的技术方案,同时可结合多种技术实现优雅降级,优化用户体验。
1310 57
|
存储 关系型数据库 MySQL
MySQL引擎对决:深入解析MyISAM和InnoDB的区别
MySQL引擎对决:深入解析MyISAM和InnoDB的区别
2575 0
|
人工智能 测试技术 人机交互
深入浅出智能工作流(Agentic Workflow)|技术干货
著名AI学者、斯坦福大学教授吴恩达提出AI Agent的四种设计方式后,Agentic Workflow(智能体工作流)在全球范围内迅速走红,多个行业纷纷实践其应用,并推动了新的Agentic AI探索热潮。吴恩达总结了Agent设计的四种模式:自我反思、工具调用、规划设计及多智能体协作。前两者较普及,后两者则为智能体使用模式从单一大模型向多智能体协同配合完成业务流程的转变奠定了基础。
6602 3
|
算法 大数据 数据库
云计算与大数据平台的数据库迁移与同步
本文详细介绍了云计算与大数据平台的数据库迁移与同步的核心概念、算法原理、具体操作步骤、数学模型公式、代码实例及未来发展趋势与挑战。涵盖全量与增量迁移、一致性与异步复制等内容,旨在帮助读者全面了解并应对相关技术挑战。
392 3
|
分布式计算 数据管理 Hadoop
元数据管理平台对比预研 Atlas VS Datahub VS Openmetadata
元数据管理平台对比预研 Atlas VS Datahub VS Openmetadata
3112 57