阿里云上基于SAP HANA One的数据仓库、BI系统搭建

简介: BI系统经典架构,由数据源层、数据仓库层、数据展现层构成,数据源层提供基础数据,数据仓库层存放各种聚合数据,数据展现层按业务场景展示数据。此处的数据仓库层,采用数据分层的设计理念,相对来说实时计算复杂度要求不高的数据放到开源数据库中(如MySQL),实时计算复杂度要求高的数据放到高性能数据库中(如SAP HANA One)   BI系统经典架构 BI系统经典架构由数据源层、数据仓库层、数据展现层构成数据源层提供基础数据数据仓库层存放各种聚合数据数据展现层按业务场景展示数据。
+关注继续查看

规划

6c63352b754e6d86882972a5493f1a5eb09130a6 

BI系统经典架构)

BI系统经典架构,由数据源层、数据仓库层、数据展现层构成,数据源层提供基础数据,数据仓库层存放各种聚合数据,数据展现层按业务场景展示数据。此处的数据仓库层,采用数据分层的设计理念,相对来说实时计算复杂度要求不高的数据放到开源数据库中(如MySQL),实时计算复杂度要求高的数据放到高性能数据库中(如SAP HANA One)。

注:数据仓库层采用数据分层,主要是基于成本考虑。阿里云上的SAP HANA One 64G版,软件每月要4000多大洋,再加上ECS费用,每月就8000多啦。且HANA One64G容量,远远不够。

实现

2.1 数据源

数据分析基础数据来源,系统支持多种数据来源,包括外部数据文件(如ExcelTXTXML等),常用数据库(如OracleMySQLSQL ServerDB2等),其它JDBCODBCJNDI数据源,也支持把Hadoop HDFS中的文件作为数据源,甚至一些常用软件系统(如SAP ERPSASSalesforce)直接作为数据源。

2.2 ETL

采用开源软件Kettle作为ETL工具,从数据源抽取原始数据,做数据转换后导入数据模型。数据抽取周期,根据实际需求从几分钟到月不等。实际应用中,最短数据抽取周期我们曾经到30秒,但这种情况对数据源性能压力较大。幸好HANASDI,通过SDI建虚拟表,直接访问数据源

2.3 数据建模

直接用HANA计算视图建模,建模基础数据来自HANA One、开源聚合数据层(如MySQL)、甚至直接是业务数据表(业务数据表做读写分离,从只读表中取数)。为实现这种跨系统、跨数据库建模,采用了HANA的虚拟表功能(借助SDISDI真是个好东西)。

2.4 数据展现

数据展现平台,主要是PC端的浏览器和移动端的微信Excel方式,对云端应用来说,性能不理想PC端数据展现基于SAPUI5做专门开发:常规拖拽方式的OLAP灵活分析;保存灵活分析格式,形成固定格式的格式化主题分析;串联多个格式化主题分析,做一定扩展形成管理驾驶舱。

2.5 数据挖掘

采用经典的机器学习算法(如:DBSCANK-MeansC4.5决策树、逻辑回归、随机森林、朴素贝叶斯等),对数据进行挖掘分析。可应用的实际业务场景,包括地理位置分析、文本分析、相关性分析等。对需进行训练的监督学习,可根据实际训练需求,定制数据训练平台。

3 成果

3.1 产品示例

  • 地图应用

 86485d44aa01aaff83da5a8abb7aaf63e7037de6

  • OLAP灵活分析

 2402b771dedffe8a386b530cc267903a0c6c1828

  • 文本分析

 f6e0a22dcf07949c7cd34931092380b0676153b8

  •  格式化分析与驾驶舱


ff66096b93154c37bd5d07038566069350e93e81

 

目录
相关文章
|
10月前
|
监控 数据可视化 安全
SaaA 及案例分析-阿里云数据可视化服务 Quick BI|学习笔记
快速学习 SaaA 及案例分析-阿里云数据可视化服务 Quick BI
188 0
SaaA 及案例分析-阿里云数据可视化服务 Quick BI|学习笔记
|
10月前
|
分布式计算 BI MaxCompute
《阿里云MaxCompute & 帆软企业级BI分析》电子版地址
《阿里云MaxCompute & 帆软企业级BI分析》PPT
63 0
《阿里云MaxCompute & 帆软企业级BI分析》电子版地址
|
JavaScript NoSQL 关系型数据库
记通过使用阿里云ECS学习使用linux系统搭建论坛博客项目
我是来自江西宜春的计算机网络专业的一名大三学生,名叫yrp,目前学习完了 Java 语言、ssm、springboot、redis、kafka、elasticsearch、linux 、mysql、docker、html、css、javascript、jQuery、element-ui、Vue、nodeJs、在此期间并且制作了一个论坛项目,项目正在部署发布线上
记通过使用阿里云ECS学习使用linux系统搭建论坛博客项目
|
人工智能 文字识别 Java
阿里云高校计划视觉AI五天训练营教程-02_身份证识别系统搭建
人工智能已经普及的时代,各行各业都充斥着AI的身影。大部分人认为人工智能起点高,入门难,想要使用AI服务又无法独立完成编写,阿里云视觉平台是基于阿里巴巴视觉智能技术实践经验,面向视觉智能技术企业和开发商(含开发者),为其提供高易用、普惠的视觉API服务,帮助企业快速建立视觉智能技术的应用能力的综合性视觉AI能力平台。
703 0
|
人工智能
阿里云高校计划视觉AI五天训练营教程 Day 2 - 身份证识别系统搭建
实战讲述如何使用阿里云视觉平台API快速开发在线视觉AI平台,主要如何为如何搭建身份证识别系统,进而扩展到其他的识别系统。
阿里云高校计划视觉AI五天训练营教程 Day 2 - 身份证识别系统搭建
|
人工智能 文字识别 前端开发
阿里云高校计划视觉AI五天训练营教程 Day 2 - 身份证识别系统搭建
本篇文章是基于阿里云高校计划AI课程第二讲,身份证识别系统搭建。在阿里云视觉开放平台上已有调试功能。
224 0
阿里云高校计划视觉AI五天训练营教程 Day 2 - 身份证识别系统搭建
|
人工智能 文字识别 安全
|
人工智能 Java API
阿里云高校计划视觉AI五天训练营教程 Day 2 - 身份证识别系统搭建
阿里云高校计划视觉AI五天训练营教程 Day 2 - 身份证识别系统搭建
333 0
|
JSON 人工智能 文字识别
阿里云高校计划视觉AI五天训练营Day 2 身份证识别系统搭建
RecognizeIdentityCard可以识别二代身份证关键字段内容,关键字段包括:姓名、性别、民族、身份证号、出生日期、地址信息、有效起始时间、签发机关,同时可输出身份证区域位置和人脸位置信息。本文利用Python SDK实现了身份证识别系统搭建。
阿里云高校计划视觉AI五天训练营Day 2 身份证识别系统搭建
推荐文章
更多