开发者社区> 付磊-起扬> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Redis大数据应用场景

简介: 当前已经进入大数据时代,大数据技术和产品百花齐放,在各自的应用场景发挥重要作用,Redis做为高性能的键值数据库与这些技术有着千丝万缕的联系,本文将介绍如何将Redis与Hadoop、ELK等技术进行结合。
+关注继续查看

当前已经进入大数据时代,大数据技术和产品百花齐放,在各自的应用场景发挥重要作用,Redis做为高性能的键值数据库与这些技术有着千丝万缕的联系,本文将介绍如何将Redis与Hadoop、ELK等技术进行结合。

一、Redis与Hadoop

Hadoop作为大数据时代的分布式计算平台,由于其高可用性、可扩展性、高容错、低成本等特性,已经是大数据系统的标配,但是Hadoop中HDFS的存储机制使得它无法面向终端用户(例如利用用户的历史浏览记录为用户推荐新闻、商品等),所以通常是将离线计算的结果导入到面向用户的存储中(例如Redis、HBase等)。

而Hadoop支持自定义OutPutFormat,如果需要自定义的输出,只需要继承OutPutFormat,整个流程如下所示,只需要在Reduce端定义RedisOutPutFormat完成映射即可。

Redis_OutputFormat

当然也有一种不太多见的情况,就是Redis作为输入源,同样Hadoop提供了自定义的InputFormat。

Redis_InputFormat

在Redis的选用上,可以根据结果的规模决定使用Redis主从版还是集群版本。

二、Redis与ELK

ELK是ElasticSearch、Logstash、Kibana三个开源工具的组合,由于其处理方式灵活、配置简单、检索性能高效、前端界面绚丽等特性,在日志处理领域被广泛使用。

它的基本工作流如下:

  • LogStashAgent部署在各个目标机器上按照logstash的语法收集对应的数据,并发送的ElasticSearch上。
  • ElasticSearch负责存储和索引LogAgent上的数据
  • Kibana可直接与ElasticSearch交互,负责日志的可视化分析。

但是如果LogStashAgent个数太多或者索引数量较多,直接插入ElasticSearch中会使得其压力过大,所以在ElasticSearch和LogStash之间通常会设置一个缓冲,通常会选用Redis,而且ELK默认就支持Redis的集成,整个过程只需要修改配置即可完成,整个流程如下所示:

ELK

了解更多关于阿里云Redis版,请点击此处:https://www.aliyun.com/product/kvstore

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Redis AOF 持久化详解
Redis 是一种内存数据库,将数据保存在内存中,读写效率要比传统的将数据保存在磁盘上的数据库要快很多。但是一旦进程退出,Redis 的数据就会丢失。 AOF( append only file )持久化以独立日志的方式记录每次写命令,并在 Redis 重启时在重新执行 AOF 文件中的命令以达到恢复数据的目的。
1615 0
redis之持久化机制
Redis 为什么要持久化?Redis 中的数据类型都支持 push/pop、add/remove 及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,Redis 支持各种不同方式的排序。
812 0
突破Java面试(24)-Redis的持久化机制
Redis的持久化有哪几种方式?不同的持久化机制都有什么优缺点?持久化机制具体底层是如何实现的?
5112 0
面试时经常会被问到的Redis问题,持久化,存储结构,架构模式
介绍:Redis 是一个开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库,并提供多种语言的 API的非关系型数据库。 传统数据库遵循 ACID 规则。
1426 0
Redis探寻(第二话)零基础理解Redis持久化机制
写在前面:        开这个系列是希望随着自己的学习成长尝试总结一些容易有坑或理解上可能有一定难度的课题,期许其他有兴趣的同学阅读能够直观的理解并快速掌握;所以本系列主要目标读者为Redis入门或非技术同学,其他资深同学如已有一定理解,可以直接略过;该系列中任何讲解不当之处欢迎指正。 Redis本身作为一个内存KV Store,本篇暂不探讨其性能如何强
626 0
Redis客户端连接以及持久化数据(三)
0、Redis目录结构       1)Redis介绍及部署在CentOS7上(一)       2)Redis指令与数据结构(二)       3)Redis客户端连接以及持久化数据(三)       4)Redis高可用之主从复制实践(四)       5)Redis高可用之哨兵模式Sentinel配置与启动(五)       6)Redis高可用之集群配置(六)   一、介绍 上篇文章我们讲解了Redis的结构与指令,其实很简单,我也没有过多的讲解,这次我们讲解一下Redis连接客户端以及持久化方案。
962 0
高可用Redis(七):Redis持久化
1.什么是持久化 持久化就是将数据从掉电易失的内存同步到能够永久存储的设备上的过程 2.Redis为什么需要持久化 redis将数据保存在内存中,一旦Redis服务器被关闭,或者运行Redis服务的主机本身被关闭的话,储存在内存里面的数据就会丢失 如果仅仅将redis用作缓存的话,那么这种数据丢失带...
1694 0
Redis 持久化机制
版权声明:本文首发 http://asing1elife.com ,转载请注明出处。 https://blog.csdn.net/asing1elife/article/details/82876657 ...
964 0
redis基础 (三)持久化
1、什么是redis的持久化 Fork:作用是复制一个与当前进程一样的进程。新进程的所有数据(变量,环境变量,程序技术器等)数值都和原进程一致,但是是一个全新的进程,并且作为原来进程的子进程。
965 0
+关注
付磊-起扬
阿里云数据库技术专家(Redis方向)
84
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载