2016年5月15日,阿里云Redis用户交流会在阿里巴巴北京国家广告园办公区万松书院火热召开,来自各个行业的Redis技术爱好者齐聚一堂,共同交流探讨最前沿的Redis技术,分享最干货的Redis应用案例。我们邀请到了阿里云数据库产品线的各位大咖,新浪微博的资深专家,CCTV的数据库技术核心成员,高德的数据库技术专家等行业大牛为大家做精彩分享。
阿里云Redis发展历程及未来展望——阿里云数据库产品总监 何云飞(何导)
何导主要介绍了Redis项目的发展历程及本次会议的主要目的。Redis最早是由意大利作者在2008年发起,2009年推出了正式版本。随着Redis技术的发展,Redis已经从一款类cache产品,逐渐转变为企业的核心业务组件。目前,Redis易用性、可靠性、高可用、可扩展等特点已经吸引了微博、映客、甚至社保系统的部署。虽然各个企业已经将Redis作为应用系统的关键路径,但是大部分企业却没有专业的Redis DBA,同时众多Redis技术爱好者在国内也没有统一的技术交流平台进行沟通交流。本次阿里云Redis用户交流会的主要目的是建立中国的Redis技术交流圈子,推进Redis性能提升,源码贡献,技术贡献,案例贡献。相信在大家的推动下中国Redis技术会得到快速发展。
阿里云云数据库Redis架构解析——阿里云Redis技术负责人 段飞
段飞的分享主要关注2015年7月份阿里正式开放Redis商用以来,Redis采用什么样的架构来支撑用户上云,同时保证用户的业务顺利运行。
阿里云Redis云数据库主要采用了较为稳定的Redis2.8.19版本,并进行了内核优化和命令阉割,来保证业务系统安全性。整个系统采用了Master-Slave主从结构,支持AOF持久化,支持弹性扩容,自动切换,可视化资源管理,集群和Sharding等功能。
阿里云Redis数据库的架构主要分为控制流和数据流。控制流主要提供实例生产和销毁,Failover恢复,自动化运维等功能。数据流前端提供DMS可视化客户端以及Driver工具,经过ALB组件进行交互访问Redis数据库实例,Redis实例采用Agent,TCPRT,CGroup等技术进行资源管理和监控分析。
《阿里云云数据库Redis架构解析》 登陆淘宝账户获取下载链接
Redis在新浪微博的应用——新浪微博高级DBA 曹增涛
新浪微博作为最早使用Redis的用户,在Redis使用规模及场景方面有着非常丰富的经验。本次我们邀请到新浪微博负责Redis数据库的高级工程师曹增涛为大家分享Redis使用的经验。
曹增涛介绍到,目前新浪微博的日访问量都在万亿级别,存储使用数十TB,服务器部署600余台,主要使用Redis的场景有两种:一种是将Redis作为存储数据库使用,一种是将Redis作为Cache使用。在作为存储数据库的场景中,计数应用是最典型的场景,粉丝计数,转评赞计数等场景下都要使用Redis提供及时访问。Redis作为Cache使用的场景下,Redis满足Top列表,广告推荐,存在性判断等场景的需求。
Redis运维方面新浪微博有着非常丰富的经验,目前能够支持一主多从的高可用性,Slave故障摘除,Master平滑切换等功能,并且提供了可视化的运维管理界面,使得Redis数据库的运维更加简便。
Redis定制化之路——新浪微博高级工程师 刘东辉
刘东辉在新浪微博主要负责分布式缓存存储工作,本次主要分享了Redis在新浪微博的应用场景,内部机制优化,业务定制优化,cache服务化等内容。
新浪微博2010年正式引入Redis,使用Redis的场景主要包括:关系、计数、通知提醒等。主要面临的挑战就是存储性能与成本的矛盾。新浪技术工程师们通过长期的探索努力,通过多种方式解决了多种问题,例如:单机部署多个实例不同时触发持久化操作;RDB和AOF相结合的持久化方式;主从复制过程实现增量复制,减小对带宽的压力;实现动态升级,版本管理统一;定制化数据结构;冷热数据分离等。
Redis在CCTV中的应用——中视广信技术负责人 刘大伟
在互联网大潮下,众多传统行业都开始拥抱互联网,央视作为中国最大的电视媒体,也在积极的推动互联网+实践。刘大伟作为CCTV互联网方面的负责人一直在推动Redis在央视的应用,利用Redis技术解决了包括春晚红包,互动等众多复杂、高并发问题。2015年10月份CCTV正式接触阿里,11月全面推动阿里云产品使用。CCTV以台网融合为主线,重点关注演播室大屏,互联网小屏等突破口。
在央视跨年晚会中,CCTV使用了阿里云服务来满足抢红包、抽大奖、抽奖品、发祝福等业务场景。在跨年晚会中,每分钟参与评论的人次最高达到16万人/分钟,摇红包参与人次最高达到170万人/分钟,整场晚会参与互动人数最高达280万人/分钟。通过分析可以看到跨年晚会参与互动人数有着明显的波峰波谷特征,这与主持人的互动有着明显联系。
为满足跨年晚会这样的场景需求,阿里云提供了三组Redis集群来负责红包、评论、授权等功能,阿里云Redis单节点QPS峰值能够达到10万次,而集群的QPS峰值能够达到30万次,当天晚会的最高峰值为16万次,可以说阿里云交上了完美的成绩单。
高德opendi展现架构及redis的其它应用——高德高级工程师 邓小波
BAT所推荐使用的技术往往会成为互联网行业应用的风向标,阿里内部对于新技术的使用也非常关注。邓小波是高德主要负责在线搜索技术的高级工程师,他的介绍主要围绕三个方面:1.为什么要使用Redis;2.如何合理使用Redis;3.使用过程中的问题来展开。
通过前边阿里、新浪的同学的介绍,邓小波发现Redis使用场景主要是在线业务展现型需求,而大家在Redis使用方面遇到的问题是类似的,包括:快速业务迭代、性能、稳定性、高效运维。如果能够建立一套统一的云平台进行后台管理运维,将为企业够节约大量成本和精力,能够更加关注在自身的业务之上,而阿里云就提供了这样的能力。为应对这样的问题,高德采用了openid的架构体系就利用了阿里云Redis数据库来支撑。
《高德opendi展现架构及redis的其它应用》 登陆淘宝账户获取下载链接
TAIR如何抵御双十一流量高峰以及云化演进——淘宝tair核心开发工程师 丰茂
Tair是阿里内部最重要的内存数据库,是具备高性能,分布式,可扩展,高可靠的Nosql存储系统,目前,包括支付宝、天猫、淘宝等访问量极高的应用都在使用Tair服务。丰茂是阿里云数据库产品线Memcache(Tair)产品的资深开发工程师,本次主要介绍了Tair的整体架构,主要功能,使用场景等。
Tair的架构主要分为管理节点、数据节点。管理节点主要实现主备,容灾,数据迁移,统计数据,流控等功能,能够灵活实现集群调整以适应业务QPS的变化,并保证资源的隔离性。Tair支持Cache和持久化的使用场景,支持多种存储引擎,并提供Localcache等策略来应对热点key,同时在广告精准投放场景下,能够起到链接离线数据和用户访问的作用。在双十一的高并发访问场景下,2015年Tair已经能够支撑1.89亿QPS的访问量。
《TAIR如何抵御双十一流量高峰以及云化演进》 登陆淘宝账户获取下载链接
PostgreSQL fdw 与 redis 如何双剑合璧——PostgreSQL中国社区发起人 周正中(德歌)
随着PostgreSQL中国社区的建立,PG成为了非常火热的议题,周正中(德哥)作为PG社区的发起人本次主要分享了PostgreSQL如何与Redis结合的经验。
PG能够适应非常多的应用场景,包括:聚类分析、流式处理、机器学习库、排他约束、超轻锁、数据库编程能力、复杂查询、模糊检索和分词、极致压缩等。同时,PG能够利用Redis_fdw工具和外部表功能与Redis数据进行紧密结合,实现冷数据与热数据的快速互联互通。
《PostgreSQL fdw 与 redis 如何双剑合璧》 登陆淘宝账户获取下载链接
全宇宙最牛Redis技术交流群,等你来加入
全宇宙最牛的Redis技术爱好者已经集结于交流群,本次所有的演讲嘉宾都已强势入驻,希望交流、愿意分享的各位大虾赶快来加入吧。
阿里云数据库目前已经提供了MySQL、SQL Server、 Postgres、MognoDB、Redis、Memcache等多种数据库云服务,一定能找到那款适合你的数据库。来这里,你只负责用,其他的交给我们。