AtomData结合阿里云分布式存储实现海量数据分析(三)

本文涉及的产品
Serverless 应用引擎 SAE,800核*时 1600GiB*时
应用实时监控服务ARMS - 应用监控,每月50GB免费额度
云原生网关 MSE Higress,422元/月
简介: AtomData结合阿里云分布式存储实现海量数据分析(三)

云原生实时数仓-AtomData结合阿里云分布式存储实现海量数据分析(三)

嘉宾信息
王博 杭州石原子科技AtomData技术负责人


AtomData结合阿里云分布式存储实现海量数据分析(三)


七、高弹性、高性能海量数据存储方案

image.png

image.png

利用分布式存储去实现拉架构,是去依托于数据库内核。数据的分布能力,首先数据库底层,是基于这种,基于数据奉献的。我们可以把一个数据,把一个逻辑数据库切分成个n个物理的片,我们可以把每个片通过一个快存储到我们的的一个一个节点上来,通过这种存储自由的挂载,可以实现类似架构,首先我们的数据索引和日志都存储在阿里云的分布式存储里面,在每次过程中,计算层计算层可以去从里这个这种的逻辑去加载,去加载底下的数据和索引文件,在计算节点中完成数据的计算。
在计算节点中,每个计算节点都有一个逻辑上的对数据权的个概念,这样,是可以保证数据有良好的缓存缓存动力的,基于这种设计,其实是可以适配,他们是换成组合以及未来要适配的总分布数度存储这种设备的。另外,在在计算节点中,我们做了高速的数据缓存,可以通过的算法实现对于分布式存储设备里面的数据,高速的数据的缓存能力,就是分布式和底下的分布式不一样,存储它,他们不一定要有很好的数据的io的技能,他们可以是比较慢速的磁盘所构成的,比如说像这种或者d盘,利用高速这缓存能力去实现数据的加速,能够实现达到这种常规的数据库甚。对于业来说,有什么样的收益?
其实对于大数据的分析来说,企业中的大多数数据都是数据,只有少量数据是热数据,这种存分类架构允许分布式存储拥有更低的这种存储制来进一步的降低诉讼成本。


八、适配阿里云分布式存储收益

image.png

通过高速的缓存来实现数据查询的加速,这种架构是可以接近和超过的,另外一块是分布式存储,可以提供更低的数据冗余度,可以去掉像常规的数据库的总副本架构,来解决副本的部署到成本高的问题和数据膨胀高的问题。另外一块是由于这种数据分布,设计使得计算厂能够实现,他们可以在逻辑上去更改数据。选择概念,只需要去做数据的重新的划分,唯一的影响就短时间内的节点单个计算效率问题。另外,这种这种架构其实可以提供更好的运维信计算节点,只需要去维护计算能力就就可以了,数据的存储节点,只需要去维护它的这个存储能力。


九、AtomData 23年路标

image.png

最后,在性能上和功能上有几个目标要实现,第一个,是要实现更好的的能力,刚刚说数据库,我们在未来要进一步的去利用分布式存储的去实现策略,可以允许整个把的调动结果存储到都不是存储里面,实现整个的更高的稳定性。另外,我们要去实现更智的技术,我们可以通过去分析用户输入历史,以及去做一些统计,能够去做更热的表达,频繁减少人种采的频率。另外,我们要进一步优化它对复杂的支持,目前,是支持框架来利用的接口去查询单表的数据。

未来,我也可以去实现多表的数据的状查询,我们在未来要去利用这协议去实现。

整个集群的发现和管理的能力,其实都是用的协议实现了管理的能力,功能上我们要进一步的利用存储的这一重组,建制和第一成本的个性去实现更大的数据规模的存储和更高存储性价比。
另外,我们要去实现这种纯日志节点,是可以代替掉某一个副本,你能够实现资源的开销,一般来说,我们都会参与存储和计算的,但是我们可以让一个文本只参与存储而不参与计算,他对于机器的硬件的需求是相对的,对于整个部署的开销会更低,我们会在前几个供应上走得更远。

比如说我们支持更多维度的这种审计,包括在加密上或在函数上会做更多的这个支持。

相关文章
|
2月前
|
设计模式 安全 Java
【分布式技术专题】「Tomcat技术专题」 探索Tomcat技术架构设计模式的奥秘(Server和Service组件原理分析)
【分布式技术专题】「Tomcat技术专题」 探索Tomcat技术架构设计模式的奥秘(Server和Service组件原理分析)
67 0
|
12天前
|
关系型数据库 分布式数据库 数据库
PolarDB,阿里云的开源分布式数据库,与微服务相结合,提供灵活扩展和高效管理解决方案。
【7月更文挑战第3天】PolarDB,阿里云的开源分布式数据库,与微服务相结合,提供灵活扩展和高效管理解决方案。通过数据分片和水平扩展支持微服务弹性,保证高可用性,且兼容MySQL协议,简化集成。示例展示了如何使用Spring Boot配置PolarDB,实现服务动态扩展。PolarDB缓解了微服务数据库挑战,加速了开发部署,为云原生应用奠定基础。
153 3
|
12天前
|
存储 关系型数据库 分布式数据库
PolarDB,阿里云的云原生分布式数据库,以其存储计算分离架构为核心,解决传统数据库的扩展性问题
【7月更文挑战第3天】PolarDB,阿里云的云原生分布式数据库,以其存储计算分离架构为核心,解决传统数据库的扩展性问题。此架构让存储层专注数据可靠性,计算层专注处理SQL,提升性能并降低运维复杂度。通过RDMA加速通信,多副本确保高可用性。资源可独立扩展,便于成本控制。动态添加计算节点以应对流量高峰,展示了其灵活性。PolarDB的开源促进了数据库技术的持续创新和发展。
216 2
|
5天前
|
设计模式 安全 NoSQL
Java面试题:结合单例模式与Java内存管理,设计一个线程安全的单例类?分析Java多线程工具类ExecutorService与Java并发工具包中的工具类,设计一个Java并发框架的分布式锁实现
Java面试题:结合单例模式与Java内存管理,设计一个线程安全的单例类?分析Java多线程工具类ExecutorService与Java并发工具包中的工具类,设计一个Java并发框架的分布式锁实现
13 0
|
14天前
|
运维 监控 Java
在大数据场景下,Elasticsearch作为分布式搜索与分析引擎,因其扩展性和易用性成为全文检索首选。
【7月更文挑战第1天】在大数据场景下,Elasticsearch作为分布式搜索与分析引擎,因其扩展性和易用性成为全文检索首选。本文讲解如何在Java中集成Elasticsearch,包括安装配置、使用RestHighLevelClient连接、创建索引和文档操作,以及全文检索查询。此外,还涉及高级查询、性能优化和故障排查,帮助开发者高效处理非结构化数据。
26 0
|
16天前
|
关系型数据库 MySQL 测试技术
《阿里云产品四月刊》—瑶池数据库微课堂|RDS MySQL 经济版 vs 自建 MySQL 性能压测与性价比分析
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
|
2月前
|
人工智能 监控 开发者
阿里云PAI发布DeepRec Extension,打造稳定高效的分布式训练,并宣布开源!
阿里云人工智能平台PAI正式发布自研的 DeepRec Extension(即 DeepRec 扩展),旨在以更低成本,更高效率进行稀疏模型的分布式训练。
|
2月前
|
Cloud Native 数据管理 关系型数据库
【阿里云云原生专栏】云原生数据管理:阿里云数据库服务的分布式实践
【5月更文挑战第21天】阿里云数据库服务在云原生时代展现优势,应对分布式数据管理挑战。PolarDB等服务保证高可用和弹性,通过多副本机制和分布式事务确保数据一致性和可靠性。示例代码展示了在阿里云数据库上进行分布式事务操作。此外,丰富的监控工具协助用户管理数据库性能,支持企业的数字化转型和业务增长。
200 1
|
2月前
|
关系型数据库 分布式数据库 数据库
【阿里云云原生专栏】云原生时代的数据库选型:阿里云RDS与PolarDB对比分析
【5月更文挑战第24天】阿里云提供RDS和PolarDB两种数据库服务。RDS是高性能的在线关系型数据库,支持MySQL等引擎,适合中小规模需求;而PolarDB是分布式数据库,具备高扩展性和性能,适用于大规模数据和高并发场景。RDS与PolarDB在架构、性能、弹性伸缩、成本等方面存在差异,开发者应根据具体需求选择。示例代码展示了如何通过CLI创建RDS和PolarDB实例。
678 0

热门文章

最新文章