AtomData结合阿里云分布式存储实现海量数据分析(三)

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
可观测可视化 Grafana 版,10个用户账号 1个月
简介: AtomData结合阿里云分布式存储实现海量数据分析(三)

云原生实时数仓-AtomData结合阿里云分布式存储实现海量数据分析(三)

嘉宾信息
王博 杭州石原子科技AtomData技术负责人


AtomData结合阿里云分布式存储实现海量数据分析(三)


七、高弹性、高性能海量数据存储方案

image.png

image.png

利用分布式存储去实现拉架构,是去依托于数据库内核。数据的分布能力,首先数据库底层,是基于这种,基于数据奉献的。我们可以把一个数据,把一个逻辑数据库切分成个n个物理的片,我们可以把每个片通过一个快存储到我们的的一个一个节点上来,通过这种存储自由的挂载,可以实现类似架构,首先我们的数据索引和日志都存储在阿里云的分布式存储里面,在每次过程中,计算层计算层可以去从里这个这种的逻辑去加载,去加载底下的数据和索引文件,在计算节点中完成数据的计算。
在计算节点中,每个计算节点都有一个逻辑上的对数据权的个概念,这样,是可以保证数据有良好的缓存缓存动力的,基于这种设计,其实是可以适配,他们是换成组合以及未来要适配的总分布数度存储这种设备的。另外,在在计算节点中,我们做了高速的数据缓存,可以通过的算法实现对于分布式存储设备里面的数据,高速的数据的缓存能力,就是分布式和底下的分布式不一样,存储它,他们不一定要有很好的数据的io的技能,他们可以是比较慢速的磁盘所构成的,比如说像这种或者d盘,利用高速这缓存能力去实现数据的加速,能够实现达到这种常规的数据库甚。对于业来说,有什么样的收益?
其实对于大数据的分析来说,企业中的大多数数据都是数据,只有少量数据是热数据,这种存分类架构允许分布式存储拥有更低的这种存储制来进一步的降低诉讼成本。


八、适配阿里云分布式存储收益

image.png

通过高速的缓存来实现数据查询的加速,这种架构是可以接近和超过的,另外一块是分布式存储,可以提供更低的数据冗余度,可以去掉像常规的数据库的总副本架构,来解决副本的部署到成本高的问题和数据膨胀高的问题。另外一块是由于这种数据分布,设计使得计算厂能够实现,他们可以在逻辑上去更改数据。选择概念,只需要去做数据的重新的划分,唯一的影响就短时间内的节点单个计算效率问题。另外,这种这种架构其实可以提供更好的运维信计算节点,只需要去维护计算能力就就可以了,数据的存储节点,只需要去维护它的这个存储能力。


九、AtomData 23年路标

image.png

最后,在性能上和功能上有几个目标要实现,第一个,是要实现更好的的能力,刚刚说数据库,我们在未来要进一步的去利用分布式存储的去实现策略,可以允许整个把的调动结果存储到都不是存储里面,实现整个的更高的稳定性。另外,我们要去实现更智的技术,我们可以通过去分析用户输入历史,以及去做一些统计,能够去做更热的表达,频繁减少人种采的频率。另外,我们要进一步优化它对复杂的支持,目前,是支持框架来利用的接口去查询单表的数据。

未来,我也可以去实现多表的数据的状查询,我们在未来要去利用这协议去实现。

整个集群的发现和管理的能力,其实都是用的协议实现了管理的能力,功能上我们要进一步的利用存储的这一重组,建制和第一成本的个性去实现更大的数据规模的存储和更高存储性价比。
另外,我们要去实现这种纯日志节点,是可以代替掉某一个副本,你能够实现资源的开销,一般来说,我们都会参与存储和计算的,但是我们可以让一个文本只参与存储而不参与计算,他对于机器的硬件的需求是相对的,对于整个部署的开销会更低,我们会在前几个供应上走得更远。

比如说我们支持更多维度的这种审计,包括在加密上或在函数上会做更多的这个支持。

相关文章
|
2月前
|
机器人
阿里云 RPA 的成本效益分析
机器人流程自动化(RPA)技术在企业数字化转型中扮演着越来越重要的角色。阿里云 RPA 作为一种高效的自动化解决方案,不仅可以提高业务效率,还可以降低运营成本。本文将对阿里云 RPA 的成本效益进行分析,帮助企业更好地评估和利用这一技术。
|
3月前
|
存储 缓存 NoSQL
【分布式】Redis与Memcache的对比分析
【1月更文挑战第25天】【分布式】Redis与Memcache的对比分析
|
30天前
|
设计模式 安全 Java
【分布式技术专题】「Tomcat技术专题」 探索Tomcat技术架构设计模式的奥秘(Server和Service组件原理分析)
【分布式技术专题】「Tomcat技术专题」 探索Tomcat技术架构设计模式的奥秘(Server和Service组件原理分析)
33 0
|
1月前
|
数据库
阿里云DTS数据迁移和数据同步的差异性分析
阿里云DTS作为一款常用的数据库表迁移工具,提供了功能非常类似的两个功能:数据迁移、数据同步。阿里云DTS产品官网对这两个功能模块进行了简单的区分: 场景1:存量数据批量迁移,建议使用数据迁移功能。 场景2:增量数据实时同步,建议使用数据同步功能。 实际上,无论是数据迁移还是数据同步,都可以做 “结构初始化”+“全量数据迁移”+“增量迁移”,因此两者功能差异并不明显。笔者在多个项目实践DTS数据迁移,在简单需求场景下,将DTS的数据迁移、数据同步进行对比和总结。
|
30天前
|
存储 Java 应用服务中间件
【分布式技术专题】「架构实践于案例分析」盘点互联网应用服务中常用分布式事务(刚性事务和柔性事务)的原理和方案
【分布式技术专题】「架构实践于案例分析」盘点互联网应用服务中常用分布式事务(刚性事务和柔性事务)的原理和方案
54 0
|
30天前
|
缓存 应用服务中间件 数据库
【分布式技术专题】「缓存解决方案」一文带领你好好认识一下企业级别的缓存技术解决方案的运作原理和开发实战(多级缓存设计分析)
【分布式技术专题】「缓存解决方案」一文带领你好好认识一下企业级别的缓存技术解决方案的运作原理和开发实战(多级缓存设计分析)
37 1
|
2月前
|
存储 运维 关系型数据库
规划阿里云RDS跨区迁移业务需求业务影响分析
规划阿里云RDS跨区迁移业务需求业务影响分析
26 4
|
3月前
|
存储 关系型数据库 分布式数据库
阿里云PolarDB解决乐麦多源数据存储性能问题
乐麦通过使用PolarDB数据库,使整个系统之间的数据查询分析更加高效
390 3
|
3月前
|
存储 NoSQL MongoDB
阿里云 Flink 原理分析与应用:深入探索 MongoDB Schema Inference
本文整理自阿里云 Flink 团队归源老师关于阿里云 Flink 原理分析与应用:深入探索 MongoDB Schema Inference 的研究。
46941 2
阿里云 Flink 原理分析与应用:深入探索 MongoDB Schema Inference
|
3月前
|
存储 Kubernetes 监控
阿里云分布式云容器平台
阿里云分布式云容器平台(ACK One)是一款面向混合云、多集群、分布式计算、容灾等场景推出的企业级云原生平台。它支持连接并管理任何地域、任何基础设施上的Kubernetes集群,提供一致的管理和社区兼容的API,支持对计算、网络、存储、安全、监控、日志、作业、应用、流量等进行统一运维管控。
49 4

热门文章

最新文章