云HBase全面支持金融云可用区-支持实时安全风控\金融时序\大数据量存储及高并发访问

简介: HBase已经全面支持金融云的业务,包括华东1、华东2、华南的业务。HBase是一个通用的数据库,在金融云场景下有较多的需求,本文主要分析hbase解决哪些金融场景的需求

前言

HBase已经全面支持金融云的业务,包括华东1、华东2、华南区域。HBase是一个通用的数据库,在金融云场景下有较多的需求,本文主要分析hbase解决哪些金融场景的需求

金融云实时风控

在安全风控的场景下,我们往往需求存储大量的结构化数据,主要因为越多的数据,画像风控越精准,阿里蚂蚁金融实时风控流程图如下:
image

1、数据源会产生在各个地方,以事件为中心,事件有很多的属性,比如:人物、行为、环境、时间 等,会高并发的入库操作。
2、离线分析,我们往往会对历史数据进行较高的并发分析,分析完成后。要么在线直接写入集群,要么离线导入集群中。
3、在线的风控平台 在交易发生时,会实时查询交易相关的数据,并且实时判断此笔交易的安全系数,如果有较高风险,则直接干预交易,阻止交易发生

在此场景,我们需要存储大量的风控相关的信息,并且需要离线分析数据后,再高并发的写入。另外 在线风控平台运行时,需要较低的延迟。
因为HBase高并发、高存储量,且高的入库速度, 蚂蚁金融也是在众多的数据库产品中选择了hbase。

时序类的存储

在金融场景,比如股票、证券、期货的K线图,需要大量存储数据。目前不少客户基于以下论文设计了时序类的产品。
基于HBase的金融时序数据存储系统:此篇论文设计并实现了1个基于HBase的金融时序数据的存储系统.设计了基于金融时序数据的HBase预分区策略,可解决HBase存储热点的问题;采用了行键优化策略和基于时序数据的表设计策略,可解决数据存储分散的问题;使用了提供异步处理机制的事件驱动的Netty框架所编写的中间件接收采集器发送的请求,可解决高并发事务的处理问题.实验结果表明,与HBase原生方法相比,该系统的性能在处理高并发时更好.

金融类大数据量的存储

保险数据、金融的交易数据 是海量的,目前关系型数据不能很好的支持,也不是关系型的长项目。特点是:往往存的比较多,需要在线实时访问,访问频率比较多,有明显的热度。目前HBase很好的满足此类的需求。比如,中国人寿的保单就是存在hbase之中,见:中国人寿基于HBase的企业级大数据平台:使用一个大跨表存储所有的保单,HBase宽表的实践

欢迎加入交流

阿里云HBase平台已经全面支持在金融云分钟级别开通hbase,并且在运维、内核层面保障业务的运行,欢迎试用。
https://www.aliyun.com/product/hbase?spm=5176.8142029.388261.288.JX7qnN

另外,欢迎加入阿里云云HBase技术交流群

相关文章
|
11月前
|
存储 JSON 分布式计算
数据湖,不“唬”你:这是大数据存储的新秩序!
数据湖,不“唬”你:这是大数据存储的新秩序!
247 2
|
11月前
|
存储 分布式计算 大数据
【赵渝强老师】阿里云大数据存储计算服务:MaxCompute
阿里云MaxCompute是快速、全托管的TB/PB级数据仓库解决方案,提供海量数据存储与计算服务。支持多种计算模型,适用于大规模离线数据分析,具备高安全性、低成本、易用性强等特点,助力企业高效处理大数据。
509 0
|
存储 关系型数据库 分布式数据库
【赵渝强老师】HBase的物理存储结构
本文介绍了HBase的存储结构,包括逻辑与物理存储结构。物理存储主要涉及StoreFile、HFile和HLog日志。HFile是HBase数据存储的核心格式,包含Data块、Meta块、File Info块等六部分,支持压缩以优化存储。HLog(预写日志)记录数据变更,确保数据可靠性,并在Region Server故障时用于恢复。最后,文章详细描述了HBase的写数据流程:先写入WAL日志,再写入MemStore,最终通过Flush操作将数据持久化到HFile中。
696 2
|
存储 关系型数据库 分布式数据库
【赵渝强老师】HBase的逻辑存储结构
HBase的逻辑存储结构包括命名空间、表和列族。命名空间类似关系型数据库中的数据库,用于逻辑划分和隔离数据;表以RowKey组织数据并按字典序排列,分为多个Region实现分布式存储;列族包含列且无需预先定义,由MemStore缓存写入数据,定期刷新生成Store File。文章通过视频和代码示例详细讲解了各部分的操作与功能。
459 2
|
存储 分布式计算 大数据
数据湖——大数据存储的新思维,如何打破传统束缚?
数据湖——大数据存储的新思维,如何打破传统束缚?
482 16
|
存储 算法 固态存储
大数据分区优化存储成本
大数据分区优化存储成本
471 4
|
机器学习/深度学习 数据采集 搜索推荐
大数据与金融风控:信用评估的新标准
【10月更文挑战第31天】在数字经济时代,大数据成为金融风控的重要资源,特别是在信用评估领域。本文探讨了大数据在金融风控中的应用,包括多维度数据收集、智能数据分析、动态信用评估和个性化风控策略,以及其优势与挑战,并展望了未来的发展趋势。
|
存储 监控 分布式数据库
百亿级存储架构: ElasticSearch+HBase 海量存储架构与实现
本文介绍了百亿级数据存储架构的设计与实现,重点探讨了ElasticSearch和HBase的结合使用。通过ElasticSearch实现快速检索,HBase实现海量数据存储,解决了大规模数据的高效存储与查询问题。文章详细讲解了数据统一接入、元数据管理、数据一致性及平台监控等关键模块的设计思路和技术细节,帮助读者理解和掌握构建高性能数据存储系统的方法。
百亿级存储架构: ElasticSearch+HBase 海量存储架构与实现
|
存储 算法 NoSQL
大数据-138 - ClickHouse 集群 表引擎详解3 - MergeTree 存储结构 数据标记 分区 索引 标记 压缩协同
大数据-138 - ClickHouse 集群 表引擎详解3 - MergeTree 存储结构 数据标记 分区 索引 标记 压缩协同
489 0
|
存储 消息中间件 分布式计算
大数据-137 - ClickHouse 集群 表引擎详解2 - MergeTree 存储结构 一级索引 跳数索引
大数据-137 - ClickHouse 集群 表引擎详解2 - MergeTree 存储结构 一级索引 跳数索引
327 0

热门文章

最新文章