前言距离SQL Server 2016发布的一年多以后，微软在本周推出了Microsoft SQL Server 2017的第一个发行版本。新版本对主要的新功能进行了一些较小的更新，其中最重要的新功能是支持适用于Linux系统（RHEL、SUSE Enterprise Linux和Ubuntu）以及运行在Windows、Linux和MacOS上的容器，其中包括在可用性组群中实现高可用，并集成本地Linux集群工具（如Pacemaker）。 RC1使用域凭证和TLS（Transportation Layer Security）加密方案（1.0,1.1或1.2），将客户端应用程序发送的数据加密到SQL Server，并在Windows或Linux客户端新增支持Microsoft AD身份验证系统，实现了在Linux上对SQL Server的访问。而机器学习也是本次更新的一个重点。SQL Server 2017可以使用R或Python运行数据库内分析，而不需要提取和转换数据来处理数据。 RC1对R与Python具有高度可扩展性为了在SQL Server 2017中增加对R AI和机器学习工作负载的支持，微软内部构建了一个可扩展性模型。该模型实现了在R环境和SQL之间进行快速数据交换时，可以使用SQL server执行R的运行，这意味着你可以执行R脚本作为代码的一部分，并通过扩展性可以使得启用Python的其他工作变少。R与Python可以在这个可拓展模型中同时启用不仅证明了它的灵活性，对微软来说，这也意味着他们摆脱了R与Python这两者之间的霸权争议。不仅如此，RC1还为Windows Server上的R添加了本机计分和外部库管理服务。 SQL Server 2017支持自适应查询处理功能SQL Server 2017是微软在Azure中首先构建起功能，然后将其带入内部的服务器产品的一个很好的示例。除了与Azure SQL数据库相同的图形数据功能外，SQL Server 2017还可以为Azure数据库性能的改进开发了自适应查询处理功能，并通过监视以前运行的好坏来优化查询的运行方式。这有助于提升我们在执行并行查询和并发查询时对资源的使用效率，优化器可以根据正在进行的执行统计调整其行为，而不是仅仅是想预测会发生什么。因此，用户将能够运行更大的查询和更多的并发查询。 最初，查询处理有三种处理模式，其中两种是批处理模式，一种用于交错执行。如今新版本的SQL Server具有自适应优化的基础设施，未来的版本将可能扩展到整个数据库引擎。 SQL Server 2017 已“生产就绪”RC1已接近最终版本，现处于发现严重bug的阶段。据悉，微软已经开始“Early Adoption Program”，找到几个客户来帮助测试新版本，且可以在生产中使用并在功能上能获得微软的支持。 当初，一家叫dv01的财务分析公司研发过一款基于Python、Amazon RDS PostgreSQL和Redshift数据仓库的SaaS应用工具，并用于债券、贷款相关方面的报告和分析。他们遇到了一些性能和规模上的问题，一些查询的时间超过了30秒的超时限制，导致了工程师花更多的时间来调整数据库查询。后来，他们转移到了SQL Server 2016，性能和数据库分析都有了比较好的改善：查询时间下降到1-2秒，且数据存储量减少了2到3倍，还对内存和磁盘上的数据进行了加密。随着其他系统在Linux上运行，以及大多数工程师都使用Mac，他们又经过几个月的测试，最终将40个生产数据库迁移到SQL Server 2017 CTP2并运行在Docker里。 以上便是微软将SQL Server引入到Linux的一种应用场景，除此之外，由于许多容器和私有云技术都建立在Linux基础设施上，微软也想要在公有云或者私有云市场，将SQL Server发展成现代IT生态系统的一部分。所以，在本次新的更新中，SQL Server毫不犹豫对Docker进行了支持，用户不仅可以在Docker中运行SQL Server，也可以使用SQL Server并将其部署在由Kubernetes管理的容器服务当中。“对于生产使用，我们认为客户可以在Docker容器中使用SQL Server的Linux映像，但需要谨慎使用。”据项目经理 Tony Petrossian透露，由于容器化SQL Server的Windows支持在RC1中还不是很深入，加上容器中运行的工作负载很多，所以并不建议人们使用他们的500TB数据库并使用容器，在Windows端，仍然建议将其用于开发测试而不是生产。即使是传统的Windows Server客户，容器支持也同样受益。随着IT技术的发展，同行业的开发者们对更利于自己工作的方法和技术都会很感兴趣，比如容器和SQL Server。既然这种技术能在Linux上操作，那么为什么不能同样操作于Windows呢？如果将容器与虚拟化的早期阶段进行了比较，会发现早前大家都觉得没人会因为性能等原因而选择在虚机中运行数据库，但随着时间推移，这种想法被证明是错误的，由始至终大家都选择了在数据库中运行虚机。容器的发展也是类似的，大家对容器存在很多疑问，包括性能如何、容器如何存储等等，但所有的这些问题都已经被解决或处于改进过程中。所有我认为容器将会和虚拟机一样有一个类似的发展途径，且发展更快。如今，随着这个新版本的发布，SQL Server日后将不再脱离IT基础架构的转变。 原文地址：https://thenewstack.io/sql-server-2017-brings-microsofts-database-linux-container-worlds/ 推荐阅读：如何拆分你的微服务架构？透过云计算、工业大数据对智能制造的一点思考Kubernetes1.7正式发布，优化了可扩展性，安全增强和网络通信策略 译者简介： Ghostcloud（中文名：精灵云）坐落于成都天府软件园，是成都高新区重点扶持企业，国内首批从事容器虚拟化研发的企业，是西南地区唯一一家基于Docker的云计算服务商，为企业级行业客户提供针对互联网化、私有云管理平台、大数据业务基础架构的平台服务。Ghostcloud因容器技术而生，以最新容器技术Docker为基础，为适应不同行业客户需求，全自主研发了一套调度引擎框架Newben，且全方位适配Kubernetes主流开源调度引擎，也是国内率先实现双调度引擎的企业，是一流的企业级容器云服务专家。Ghostcloud推出了企业级容器云PaaS／CaaS平台，命名为EcOS（EnterpriseContainer Operation System）。Ghostcloud将EcOS平台与微服务／DevOps相融合，运用至企业IT系统的全生命周期的开发、测试、运维及发布流程中，致力于为多个领域企业向“互联网+”转型提供针对互联网化、私有云管理平台、大数据业务基础架构的平台服务，帮助企业级客户降低成本、提升效率、简化运维及产品部署，并提升系统的可靠性和安全性。

本期头条 史无前例开放！阿里内部集群管理系统Sigma混布数据 互联网普及的20年来，尤其是近10年移动互联网、互联网+的浪潮，使互联网技术渗透到各行各业，渗透到人们生活的方方面面，这带来了互联网服务规模和数据规模的大幅增长。日益增长的服务规模和数据规模带来数据中心的急剧膨胀。在大规模的数据中心中，传统的运维方式已经不能满足规模化的需求，于是基于自动化调度的集群管理系统纷纷涌现。点击查看 利用 ApsaraDB For SQL Server各版本高效而低廉地实现关键业务需求 金砖褪色了吗？31张图告诉你金砖五国网购潜力有多大！ HiTSDB 时序数据库技术架构和产品解析 机器学习和统计学的“爱恨情仇”可以结束了 阿里巴巴创新中心发起2017人工智能领域TOP20·投资人评选 准确率98%的深度学习交通标志识别是如何做到的？ 智能语音交互：阿里的研究和实践 用户洞察的秘密武器：ARMS前端监控功能正式上线！ 从 Apache RocketMQ 和 Kafka 看 Topic 数量对单机性能的影响 【沉淀】记录电商时代下的技术人：访谈阿里高级技术专家玄宗，我的十年阿里路 【创业在路上】人机对话，不再只是电影里才有的场景 【读书推荐】《C语言开发从入门到精通》一导读 技术干货 解读数据传输DTS技术架构及最佳实践     在阿里云数据库技术峰会上，阿里巴巴高级技术专家付大超(千震)针对于云计算时代最好的数据传输产品阿里云DTS的架构设计、基本原理以及相关的应用场景进行了精彩分享。帮助大家了解了阿里是如何实现异地多活和异构多活的，以及通过DTS轻松实现迁移、双同同步、容灾、订阅的真实案例。点击查看 如何避免数据库“勒索事件”和“从删库到跑路”的尴尬 美柚与MaxCompute数据同步架构说明 Nodejs进阶：服务端字符编解码&乱码处理 阿里云ECS CentOs7.3下搭建LAMP环境（Apache2.4 + Mysql5.7 + PHP5.6 + Laravel5.2） 【CDN 最佳实践】CDN缓存策略解读和配置策略 了解人工智能之分类和预测 - 数据科学中的预测，分类和回归分析 社区活动 【云栖大会】坐标杭州，10月11日，2017云栖大会盛大开启，席位有限，报名从速 10月11-14日，为期四天的2017杭州云栖大会将再度在杭州云栖小镇起航，作为全球最具影响力的科技展会之一，本届大会不仅有阿里集团专家以及各企业行业领袖的精彩演讲，众多黑科技也将集体亮相。去年的杭州云栖大会共有来自全球58个国家和地区的4万位行业先锋现场参会，超过900万人在线观看大会直播，创下科技会议的纪录。而本届大会规模更大，内容将更丰富：共有3场主论坛、22场前沿峰会、100+场分论坛、400+科技企业展，同期还会连续举行3天音乐节及云栖跑，预计参会人数将超过4万！毫无疑问，这将是一场科技界的饕餮盛宴。点击查看 【有奖调查】2017中国容器技术使用情况有奖调查 【坐标上海】9月9日，云栖TechDay第41期——开源技术如何助力云上DevOps--技术难题攻克之路 【坐标北京】9月13日，阿里云生态日——GICC中国行百城沙龙北京站 【坐标上海】9月15日，线下技术沙龙——阿里专家DevOps玩法全揭秘 【阿里云云栖社区合作指南】翻译/投稿/栏目合作/商务合作的朋友，里面儿请！ 独家视频 【创业在路上】清华学霸，用DPU干掉CPU 深鉴科技的创始人姚颂说，当人像识别、算法等一些技术汇集到一个小小的无人机上时，是他最开心的时刻。点击查看 【资本说】对话银杏谷陈向明，未来的产业机会在哪里 【智能硬件发烧友】我们和「中国的七个意想不到」一起去了美国西南... 【云吞铺子】有趣有料的云计算视频：用CDN体验飞一般的速度 【创业大讲堂】智能硬件知识产权策略（一） 【云栖TechDay】iDST踏上的技术长征 技术提高生产力 精彩直播 【在线直播】9月13日，开源技术如何助力云上DevOps 近些年来，开源社区人气鼎盛，先后涌现出很多优秀领先的项目，堪称技术界发展的风向标。在遇到问题时，可以首先看看有哪些同行已经造好的“轮子”，比如：云时代下，如何自动化基础资源？DevOps那么重要又那么复杂，有没有工具可以拿来进行持续交付？该怎样理解并正确使用开源网红Docker的镜像服务？在攻克技术难题的路上，你从来不孤独。点击查看 【重磅发布】9月21日，ApsaraDB产品升级（暨PolarDB）发布会 【在线直播】9月21日，2017阿里云网络技术高峰论坛 聚能聊 如果你有一台超级计算机，你会用它来做什么？ 三体里，大刘曾经描述过，世界上最快的计算机每秒可以进行每秒500万亿次浮点运算。实际上，在这本三体出版前，当年(2008年)的蓝色基因超级计算机实测已经达到了每秒478万次浮点运算，峰值更是达到了596.4万亿次浮点计算。科幻之外，真实世界的发展速度也是让人real震惊。中国国产系统连续三次获得世界第一，凸显了中国在超算领域的自主研发能力。接下来就到了释放你们脑洞和天性的时刻！如果你有一台超级计算机，你会用它来做什么？不限制计算能力，尽情开脑洞吧！我们生活中的超算应用又有什么呢？点击查看 国外容器调查报告对你有借鉴意义吗？你如何使用容器？ Linux发行版安装软件选择：编译、软件包or容器？ 你心目中最厉害的智能客服机器人是什么样的？ 什么样的程序员才能写出没有bug的代码呢？ 论坛精选 域名被注册局中断解析了？别慌！看恢复攻略 9月1日起，正常使用了好久的.com/.net域名突然无法访问了？网站打不开了，邮件也无法收发了，其他网络应用也打不开了？出现此现象最可能的原因是您的域名未进行实名认证！点击查看 Ubuntu 下轻松实现 PHP 多版本共存 Ubuntu 下为单版本和多版本 PHP 安装扩展 使用阿里云邮件推送设置WP SMTP发件 云栖社区粉丝招募启动，快来找我们玩！ 论坛精选 《C++入门经典（第6版）》导读 我们将这些主题组织成了结构完美、易于理解的课程。在每章中，都将通过项目、输出和代码分析，演示相关的主题。另外，还清楚地标出了语法示例，以方便参考。点击查看 《深入理解Scala》——导读 《C#初学者指南》一导读 《“笨办法”学Ruby》（第3版）目录—导读 《精通 ASP.NET MVC 5》----导读 产品特惠  【限量1000个】阿里云性能测试（PTS）基础版资源包，有效期免费延长5个月 【上云狂欢节】全场1折起，新人9元享35+产品套餐，老会员云服务器二折优惠 【1元/首年】域名新用户1元购，限时特价，指定热门后缀任选 【全网底价】高性能云服务器0.73元/日，搭建应用/网站首选 【0.039元/条】超值短信资源包，无需代码，短信通知营销不用愁

前言在购买软件和服务的时候，企业似乎从来就没有更多的选择。随着云平台提供的服务范围越来越广泛，企业发现要集合式地管理不同服务商变得越来越困难。 据Gartner的分析师透露，技术服务商面临的挑战，来自云端市场的管理和数字化业务服务商的扩散，这二者将威胁到服务商绩效的一致性，同时会增加相应的风险。于是，Gartner提出了有效地管理服务供应商的六个关键步骤。 三种典型的服务商管理方法一些企业的管理者倾向于直接购买软件和服务，这是有风险的行为，为什么这么说？ 据Gartner分析认为，企业如果想在快速变化的大环境下保持竞争力，会越来越需要新兴服务商的帮助。企业开始以不同的方式寻求云服务，关注的是数字化商业的同时，开始关注产品和服务的不同方式。技术也正在适应企业的变化。因此企业就有必要直面管理一系列服务商带来的挑战。什么是新兴服务商？新兴服务商是一个新的定义，它们为企业带来了很多创新。但是，如何成功管理这些新兴的服务商，以及他们如何与大型企业合作的传统服务商一起协同工作，这是一个需要解决的问题。 首先，Gartner对服务商分了四大类，从广义上看包含如下四种：战术服务商：提供持续支持或服务的服务商，针对这一类服务商，企业希望他能提供可靠的连续性服务。传统服务商：企业长期依赖的服务商，但是企业会打算在不久的将来过渡。 战略服务商：与项目广泛的企业紧密合作，来实现关键业务目标的服务商。 新兴服务商：规模较小的云计算公司，随着时间的推移，这些厂商可能会成为战略或战术服务商。 管理这些不同的供应商需要采用不同的方法，尽管企业之间采取的策略往往大相径庭。 SaaS解决方案供应商交付链 这里提供三种典型的服务商管理方法。第一，集中化管理，其中包括合同，绩效，财务，风险和关系管理在内的一切，由服务管理和采购专业人员集中处理的。这保证了控制和一致性，但难免有些不灵活。第二，分散化管理，服务商管理通常由单个业务部门和IT部门负责处理，这样做的好处是当问题产生时可以更敏捷的反应，却可以有更宽松和更不一致的控制第三，混合式管理，服务商管理功能分布在整个企业中，根据他们最适合的地方。在这种情况下，某些功能（如合同管理）可以集中处理，而其他功能（如性能管理）由个别部门或IT部门执行。如今，由于需要一种适合处理云服务商快速变化的生态系统的模式，越来越多的企业开始转向这种混合式管理。 IT服务商管理的成熟度框架 控制成本是服务商管理的关键， “下一代”管理战略服务商的方法是加强实现更多的业务目标。当然，公司不应该过于依赖服务商，把所有的风险和成本都推给他们，如果客户的成本与公司的声誉相比，如果面对客户的服务下降的话，那节约的成本显得微不足道。 很多错误的服务商管理方式正在挤压服务商，企业让他们承担了所有的风险，这样一来，客户就会以不按合同办事而扣除一部分费用，他们赚的钱少了，就意味着会偷工减料，从而来保证自己的利润，一旦开始，后期的问题便向滚雪球一样，越来越大。最好的关系就是，理解供应商确实需要盈利，这样他们就能在你需要他的时候更加负责一点。 管理服务商的前提是认清自己 服务商管理中最大的一个教训是：企业要先将自己的公司管理的井然有序，并在选服务应商或决定管理计划之前充分了解企业的运作方式及目标。 而企业只需要在“他们如何提供服务、业务支持以及技术服务”上对服务商进行把控。只有这样，企业方才会明白对外部IT服务的许可协议包含了怎样的限制内容。 做到这个前提之后，企业还应该明白过于严格的规定技术可能是个错误，与服务提供商签订严格的合同可能会将公司与过时技术相提并论。 举个例子，数据库技术变化是快速的，像微软，Oracle等每年都会发布新产品，如果你买了个三年的软件许可证，微软将会为你安装下一个版本的数据库软件SQL Server。但如果你的服务合同在过去一直被非常严格地定义为不会是绿色版的，而变为支持合同签订当天的技术，这必然会导致企业的落伍。 有效管理服务商的六个步骤 首先，用方法来管理供应商是很重要。 理想情况下，服务提供商的合同有更多细节和规定，那么服务提供商的合同应该定期来更新。建议合同进行 “周期性每年审查”，“企业的战略和运营要求是否在变化”，以及这些变化如何满足等来调整合同。 随着软件和IaaS的数量持续增长，面向用户的应用和服务需要更快地建立，企业需要更灵活地管理这些合作伙伴，并认清敏捷性和结果往往比成本更为重要。意味着要快速获得最小价值的产品，让客户快速迭代改进它并解决问题，这只能通过投标来做到。如果其他公司发展的很快，你没有紧随其步，那么你将很快被遗忘。 因此，Gartner提供了一套有效管理服务商的技巧：  创立中央管理委员会，由有权与供应商签订合同的高管组成，委员会可以建立管理策略和流程，以及修改服务商的标准。 确定服务商管理的目标，以及实现这些目标的活动，和监督者。与此同时，企业应制定政策和规范来指导这些活动的开展，并制定风险和绩效管理等办法。 与服务商建立风险评估、评测机制，开工流程，风险监控，问题和升级管理，合同和绩效管理等相关的内容和流程。 选择使用集中式，分散式或混合方式来处理服务商管理。 需要定义的领域包括业务和技术需求，谁有权指导服务商的工作，以及哪些服务商将从事哪些工作。企业还应该建立一个收费的流程，将成本分配给每个服务的业务单位，以及监视、分析和预测供应商交付服务的监视、分析和预测平台。 服务商管理的常见风险源于治理角色和策略定义的不明确，以及缺乏高级管理层的支持。更紧密地将供应商管理计划的目标与业务任务声明进行更紧密的一致来实现，而治理应该与更大多数的企业方法相一致。同时，每个支持领域的代表 ，比如人力资源，法律，财务，风险，安全都应该被给予服务商管理政策的投入。 推荐阅读 【重磅】完美融合Kubernetes，企业级容器云平台EcOS率先实现双容器调度【行业】容器服务在公有云上的发展与思考据说一个成功的研发团队应具备这9大属性 原文链接：http://www.zdnet.com/article/how-to-manage-vendors-in-a-cloud-first-world/ 关于译者Ghostcloud Ghostcloud（中文名：精灵云）坐落于成都天府软件园，是成都高新区重点扶持企业，国内首批从事容器虚拟化研发的企业，是西南地区唯一一家基于Docker的云计算服务商，为企业级行业客户提供针对互联网化、私有云管理平台、大数据业务基础架构的平台服务。Ghostcloud因容器技术而生，以最新容器技术Docker为基础，为适应不同行业客户需求，全自主研发了一套调度引擎框架Newben，且全方位适配Kubernetes主流开源调度引擎，也是国内率先实现双调度引擎的企业，是一流的企业级容器云服务专家。Ghostcloud推出了企业级容器云PaaS／CaaS平台，命名为EcOS（EnterpriseContainer Operation System）。Ghostcloud将EcOS平台与微服务／DevOps相融合，运用至企业IT系统的全生命周期的开发、测试、运维及发布流程中，致力于为多个领域企业向“互联网+”转型提供针对互联网化、私有云管理平台、大数据业务基础架构的平台服务，帮助企业级客户降低成本、提升效率、简化运维及产品部署，并提升系统的可靠性和安全性。

一、NoSQL介绍 1.1、NoSQL：一类新出现的数据库(not only sql)，它的特点： 不支持SQL语法 存储结构跟传统关系型数据库中的那种关系表完全不同，nosql中存储的数据都是KV形式 NoSQL的世界中没有一种通用的语言，每种nosql数据库都有自己的api和语法，以及擅长的业务场景 NoSQL中的产品种类相当多： Mongodb Redis Hbase hadoop Cassandra hadoop nosql 拓展阅读:NoSQL拓展阅读:NoSQL数据库的四大分拓展阅读:NoSQL数据库使用场景 二、Redis 简介 Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。从2013年5月开始，Redis的开发由Pivotal赞助。 Redis是 NoSQL技术阵营中的一员，它通过多种键值数据类型来适应不同场景下的存储需求，借助一些高层级的接口使用其可以胜任，如缓存、队列系统的不同角色 2.1、Redis 特性 Redis 与其他 key - value 缓存产品有以下三个特点： Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。 Redis支持数据的备份，即master-slave模式的数据备份。 2.2、Redis 优势 性能极高 – Redis能读的速度是110000次/s,写的速度是81000次/s 。 丰富的数据类型 – Redis支持二进制案例的 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。 原子 – Redis的所有操作都是原子性的，同时Redis还支持对几个操作全并后的原子性执行。 丰富的特性 – Redis还支持 publish/subscribe, 通知, key 过期等等特性。 2.3、Redis应用场景 用来做缓存(ehcache/memcached)——redis的所有数据是放在内存中的（内存数据库） 可以在某些特定应用场景下替代传统数据库——比如社交类的应用 在一些大型系统中，巧妙地实现一些特定的功能：session共享、购物车 只要你有丰富的想象力，redis可以用在可以给你无限的惊喜……. 拓展阅读:Redis官方网站拓展阅读:Redis中文官网拓展阅读:Redis官方下载地址 <b style='color:red'>拓展阅读:redis官方教程</b> 2.4、GUI客户端 sudo snap install redis-desktop-manager 三、下载安装 Redis 版本号采用标准惯例：主版本号.副版本号.补丁级别,一个副版本号就标记为一个标准发行版本，例如 1.2，2.0，2.2，2.4，2.6，2.8，奇数的副版本号用来表示非标准版本,例如2.9.x发行版本是Redis 3.0标准版本的非标准发行版本。 3.1、第一步:下载 wget http://download.redis.io/releases/redis-4.0.11.tar.gz [图片上传失败...(image-838616-1538030921398)] 3.2、第二步:解压 tar xzf redis-4.0.11.tar.gz [图片上传失败...(image-d2c930-1538030921398)] 3.3、第三步:复制,放到/usr/local目录下面( 先创建文件夹/usr/local/redis/ ) mv ./redis-4.0.11/* /usr/local/redis/ 选区_046.png 3.4、第四步:进入redis目录 cd /usr/local/redis/ 3.5、第五步:生成 sudo make 3.6、第六步: 测试,这段运行时间会比较长 sudo make test 选区_072 3.7、第七步:安装,将Redis的命令安装到/usr/local/bin/目录 sudo make install 选区_073 3.8、第八步: 安装完成后,我们进入目录/usr/local/bin中查看 cd /usr/local/bin ls -all 选区_074 redis-server redis服务器 redis-cli redis命令行客户端 redis-benchmark redis性能测试工具 redis-check-aof AOF文件修复工具 redis-check-rdb RDB文件检索工具 3.9、第九步: 配置文件,移动到/etc/目录下 配置文件目录为/usr/local/redis/redis.conf sudo cp /usr/local/redis/redis.conf /etc/redis/ 四、配置 Redis的配置信息在/etc/redis/redis.conf 查看 sudo vi /etc/redis/redis.conf 4.1、核心配置选项 绑定ip:如果需要远程访问,可以将此行注释,或者绑定一个真实ip bind 127.0.0.1 选区_075 端⼝，默认为6379 是否以守护进程运行 如果以守护进程运行,则不会在命令行阻塞,类似服务 如果以非守护进程运行,则当前终端被阻塞 设置为yes表示守护进程,设置为no表示非守护进程 推荐设置为yes 选区_076 数据文件 dbfilename dump.rdb dir /var/lib/redis 注意: /var/lib/redis 目录下面没有redis文件夹,需要我们手动创建 选区_077 日志文件 logfile /var/log/redis/redis-server.log 选区_078 数据库,默认有16个 database 16 选区_079 主从复制,类似于双机备份 slaveof 4.2、参考资料 redis配置信息 4.3、服务器端 服务端的命令为redis-server 可以使用help查看帮助文档 redis-server --help 推荐使用服务的方式管理redis服务 启动 sudo service redis start 报错解决方案 停止 sudo service redis stop 重启 sudo service redis restart 个人习惯 ps -ef|grep redis 查看redis服务器进程 sudo kill -9 pid 杀死redis服务器 sudo redis-server /etc/redis/redis.conf 指定加载的配置文件 4.5、客户端 客户端的命令为redis-cli 可以使⽤help查看帮助⽂档 redis-cli --help 连接redis redis-cli redis-cli -h 192.168.31.166 -p 6379 选区_080 运行测试命令 选区_081 切换数据库 数据库没有名称,默认16个,通过0-15来标识,链接redis默认选择第一个数据库 select n 选区_082 五、数据结构 redis是key-value的数据结构，每条数据都是⼀个键值对 键的类型是字符串(键不能重复) 20180925_03 Redis有5个基本数据结构,string、list、hash、set和zset。 它们是日常开发中使用频率非常高应用最为广泛的数据结构，把这5个数据结构都吃透了，你就掌握了Redis应用知识的一半了。 5.1、数据操作行为 保存 修改 获取 删除 点击中文官方查看命令文档 5.2、string类型 字符串类型是Redis中最为基础的数据存储类型，它在Redis中是二进制安全的，这便意味着该类型可以接受任何格式的数据，如JPEG图像数据或Json对象描述信息等。在Redis中字符串类型的Value最多可以容纳的数据长度是512M。 5.2.1、保存 如果设置的键不存在则为添加，如果设置的键已经存在则修改 语法 说明 举例 set key value 设置键值 set name 100cxy set key seconds value 设置键值以及过期时间,时间以秒为单位 setex k1 3 100cxy mset key1 value1 key2 value2 ... 设置多个键值 mset k1 html k2 css k3 javascrip append key value 追加值 append 'k1' 'html5' 5.2.2、获取 语法 说明 举例 get key 根据键获取值,如果不存在此键返回nil get name mget key1 key2 ... 根据多个键获取多个值 mget k1 k2 k3 拓展阅读:value汉字显示问题 5.2.3、键命令 语法 说明 举例 keys pattern 查找键,参数支持正则表达式 1、keys * 2、 keys 'k*' exists key 判断键是否存在,如果存在返回1,不存在返回0 exists k1 type key 查看键对应的value的类型 type k1 del key1 key2... 删除键对应的值 del k1 k2 expire key seconds 设置过期时间,以秒为单位,如果没有指定过期时间则一直存在,直到使用DEL移除 expire k1 3 ttl key 查看有效时间，以秒为单位当 key 不存在时，返回 -2 。当 key 存在但没有设置剩余生存时间时，返回 -1 。否则，以秒为单位，返回 key 的剩余生存时间。 ttl name 5.3、Hash类型 5.3.1、 hash类型 hash⽤于存储对象，对象的结构为属性、值 值的类型为string 20180924_04 5.3.2、 增加、修改 语法 说明 举例 hset key field value 设置单个属性 hset user name 100cxy hmset key field1 value1 field2 value2 设置多个属性 hmset user2 name 100cxy age 100 5.3.3、获取 语法 说明 举例 hkeys key 获取指定键所有的属性 hkeys user2 hget key field 获取一个属性的值 hget user2 name hmget key field1 field2 .... 获取多个属性的值 hmget user2 name age hvals key 取所有属性的值 hvals user2 5.3.4、删除 语法 说明 举例 hdel key field1 field2 ... 删除属性，属性对应的值会被⼀起删除<b style='color:red'>说明: 删除整个hash键及值，使⽤del命令 hdel user2 age 5.4、list类型 5.4.1、增加 语法 说明 举例 lpush key value1 value2 ... 在左侧插⼊数据 lpush k1 java python go rpush key value1 value2 ... 在右侧插⼊数据 rpush k1 html css js linsert key before|after piovt value 在指定元素的前或后插⼊新元素 linsert k1 before java php 20180924_06 20180924_08 5.4.2、获取 返回列表⾥指定范围内的元素 start、stop为元素的下标索引 索引从左侧开始，第⼀个元素为0 索引可以是负数，表示从尾部开始计数，如-1表示最后⼀个元素 语法 lrange key start stop 20180924_09 5.4.3、设置指定索引位置的元素值 索引从左侧开始，第⼀个元素为0 索引可以是负数，表示尾部开始计数，如-1表示最后⼀个元素 语法 lset key index value 5.4.4、删除 删除指定元素 将列表中前count次出现的值为value的元素移除 count > 0: 从头往尾移除 count < 0: 从尾往头移除 count = 0: 移除所有 语法 lrem key count value 举例 -- 向k4列表中添加a b a b a b lpush k4 a b a b a b -- 从列表右侧开始删除2个b lrem k4 -2 b -- 查看列表中所有元素 lrange k4 0 -1 20180924_10 5.5、set类型 ⽆序集合 元素为string类型 元素具有唯⼀性，不重复 说明：对于集合没有修改操作 5.5.1、增加 语法 说明 举例 sadd key member1 member2 ... 添加元素 sadd k1 'zhangsan' 'lisi' 'wangwu' 5.5.2、获取 语法 说明 举例 smembers key 返回所有的元素 smembers k1 5.5.3、删除 语法 说明 举例 srem key 删除指定元素 srem k1 wangwu 5.6、zset类型 sorted set，有序集合 元素为string类型 元素具有唯⼀性，不重复 每个元素都会关联⼀个double类型的score，表示权重，通过权重将元素从⼩到⼤排序 说明：没有修改操作 5.6.1、增加 语法 说明 举例 zadd key score1 member1 score2 member2 添加 zadd k1 4 lisi 5 wangwu 6 zhaoliu 3 zhangsan 5.6.2、获取 语法 说明 举例 zrange key start stop 返回指定范围内的元素start、stop为元素的下标索引索引从左侧开始，第⼀个元素为0索引可以是负数，表示从尾部开始计数，如-1表示最后⼀个元素 zrange k1 0 -1 zrangebyscore key min max 返回score值在min和max之间的成员 zrangebyscore k1 5 6 zscore key member 返回成员member的score值 zscore k1 zhangsan 5.6.3、删除 语法 说明 举例 zrem key member1 member2 ... 删除指定元素 zrem k1 zhangsan zremrangebyscore key min max 删除权重在指定范围的元素 zremrangebyscore k1 5 6 六、与Python交互 6.1、安装 安装Redis的有3种方式 方式 代码 pip包管理工具 pip install redis easy_install easy_install redis 源码安装 下载: wget https://github.com/andymccurdy/redis-py/archive/master.zip解压: unzip master.zip进入文件夹: cd redis-py-master安装: sudo python setup.py install 6.2、调用模块 引⼊模块 from redis import * """ 这个模块中提供了StrictRedis对象，⽤于连接redis服务器，并按照不同类型提供了不同⽅法，进⾏交互操作 """ 6.3、StrictRedis对象 通过init创建对象，指定参数host、port与指定的服务器和端⼝连接，host默认为localhost，port默认为6379，db默认为0 sr = StrictRedis(host='localhost', port=6379, db=0) 简写 sr=StrictRedis() 6.4、准备 在桌面上创建redis目录 使用pycharm打开redis目录 创建string_demo.py文件 # -*- coding: utf-8 -*- # @Time : 18-9-24 下午6:34 # @Author : wengwenyu # @Email : wengwenyu@aliyun.com # @File : demo.py # @Software: PyCharm from redis import * if __name__ == '__main__': try: # 创建StrictRedis对象,与redis服务器建立连接 sr = StrictRedis() except Exception as e: print(e) 6.5 String 操作 <b style='color:red'>redis中的String在内存中按照一个name对应一个value来存储的</b> 语法 set(name,value,ex=None,px=None,nx=False,xx=False) 参数说明 ex, 过期时间(秒) px, 过期时间(毫秒) nx, 如果设置为True,则只有name不存在时,当前set操作才执行 xx, 如果设置为True,则只有当name存在时,当前操作才执行 6.5.1 string-增加 ⽅法set，添加键、值，如果添加成功则返回True，如果添加失败则返回False 编写代码如下 from redis import * if __name__=="__main__": try: # 创建StrictRedis对象，与redis服务器建⽴连接 sr=StrictRedis() #添加键name，值为100cxy result=sr.set('name','100cxy') #输出响应结果，如果添加成功则返回True，否则返回False print(result) except Exception as e: print(e) 6.5.2 string-获取 ⽅法get，添加键对应的值，如果键存在则返回对应的值，如果键不存在则返回None 编写代码如下 from redis import * if __name__=="__main__": try: #创建StrictRedis对象，与redis服务器建⽴连接 sr=StrictRedis() #获取键name的值 result = sr.get('name') #输出键的值，如果键不存在则返回None print(result) except Exception as e: print(e) decode_responses=True 输出汉字 拓展阅读:redis的value值为汉字解决方案 6.5.3 string-修改 ⽅法set，如果键已经存在则进⾏修改，如果键不存在则进⾏添加 编写代码如下 from redis import * if __name__=="__main__": try: #创建StrictRedis对象，与redis服务器建⽴连接 sr=StrictRedis() #设置键name的值，如果键已经存在则进⾏修改，如果键不存在则进⾏添加 result = sr.set('name','cxy100') #输出响应结果，如果操作成功则返回True，否则返回False print(result) except Exception as e: print(e) 6.5.4 string-删除 ⽅法delete，删除键及对应的值，如果删除成功则返回受影响的键数，否则则返 回0 编写代码如下 from redis import * if __name__=="__main__": try: #创建StrictRedis对象，与redis服务器建⽴连接 sr=StrictRedis() #设置键name的值，如果键已经存在则进⾏修改，如果键不存在则进⾏添加 result = sr.delete('name') #输出响应结果，如果删除成功则返回受影响的键数，否则则返回0 print(result) except Exception as e: print(e) 6.5.6 获取键 ⽅法keys，根据正则表达式获取键 编写代码如下 from redis import * if __name__=="__main__": try: #创建StrictRedis对象，与redis服务器建⽴连接 sr=StrictRedis() #获取所有的键 result=sr.keys() #输出响应结果，所有的键构成⼀个列表，如果没有键则返回空列表 print(result) except Exception as e: print(e) 6.5.7 其他(了解) 说明: 下表中sr为StrictRedis对象 方法 说明 举例 setnx(name,value) 设置值,只有name不存在时,执行设置(添加)操作 <b style='color:red'>r = sr.setnx('name','张三')</b> 第一次设置时,键name不存在,r为<b>bool值,返回true</b>,当第二次运行这段代码因为key已经存在,所以r返回<b>false</b> mset(args,*kwargs) 批量设置值 r = sr.mset(n1='张三', n2='李四') get(name) 获取值 sr.get('n1') getrange(key,start,end) 获取字节序列(非字符),前面我们修改汉字问题的时候一般不是字节序列而是字符序列 sr.getrange('n1',0,1) setrange(name,offset,value) 修改字符串内容,从指定字符串索引开始向后替换(新值太长,则向后添加) sr.setrange(name,0,'python') strlen(name) 返回name对应值的字节长度(一个汉字3个字节) sr.strlen('name') 6.6 Hash操作 6.6.1 Hash-增加 6.6.1.1 设置单个键值对 # -*- coding: utf-8 -*- # @Time : 18-9-25 下午8:11 # @Author : wengwenyu # @Email : wengwenyu@aliyun.com # @File : 连接redis.py # @Software: PyCharm from redis import * if __name__ == '__main__': try: # 创建strictRedis对象,与redis服务器建立连接 sr = StrictRedis(decode_responses=True) # hset(self, name, key, value) # 当name对应的hash中不存在当前key时则创建(相当于添加) sr.hset('h1', 'name', '张三') # 获取 print(sr.hget('h1', 'name')) except Exception as e: print(e) 6.6.1.2 设置多个键值对 # -*- coding: utf-8 -*- # @Time : 18-9-25 下午8:11 # @Author : wengwenyu # @Email : wengwenyu@aliyun.com # @File : 连接redis.py # @Software: PyCharm from redis import * if __name__ == '__main__': try: # 创建strictRedis对象,与redis服务器建立连接 sr = StrictRedis(decode_responses=True) sr.hmset('h2', {'name': '李四', 'age': 20}) print(sr.hmget('h2', 'name', 'age')) except Exception as e: print(e) 6.6.2 Hash-获取 6.6.2.1 在name对应的hash中获取根据key获取value 在上面例题中,设置单个值的时候我们使用到了 6.6.2.2 在name对应的hash中获取多个key的值 在上面例题中,设置多个值的时候我们使用到了 6.6.2.3 获取name对应hash的所有键值 # -*- coding: utf-8 -*- # @Time : 18-9-25 下午8:11 # @Author : wengwenyu # @Email : wengwenyu@aliyun.com # @File : 连接redis.py # @Software: PyCharm from redis import * if __name__ == '__main__': try: # 创建strictRedis对象,与redis服务器建立连接 sr = StrictRedis(decode_responses=True) print(sr.hgetall('h2')) except Exception as e: print(e) 20180925_05 6.6.3 Hash-修改 hset和hmset 不存在则创建,存在则修改 6.6.4 Hash-删除 # -*- coding: utf-8 -*- # @Time : 18-9-25 下午8:11 # @Author : wengwenyu # @Email : wengwenyu@aliyun.com # @File : 连接redis.py # @Software: PyCharm from redis import * if __name__ == '__main__': try: # 创建strictRedis对象,与redis服务器建立连接 sr = StrictRedis(decode_responses=True) sr.hdel('h2', 'name') except Exception as e: print(e) 6.6.5 其他 方法 说明 举例 hkeys(name) 获取name对应的hash中所有的key的值 sr.hkeys('h2') hvals(name) 获取name对应的hash中所有的value值 sr.hvals('h2') hlen(name) 获取name对应的hash中键值对的个数 sr.hlen('h2') 6.7、List 操作 6.7.1、List-增加 拓展阅读:七个小矮人的名字 # -*- coding: utf-8 -*- # @Time : 18-9-25 下午8:11 # @Author : wengwenyu # @Email : wengwenyu@aliyun.com # @File : 连接redis.py # @Software: PyCharm from redis import * if __name__ == '__main__': try: # 创建strictRedis对象,与redis服务器建立连接 sr = StrictRedis(decode_responses=True) # 7个小矮人的英文名 # lpush(name,values) 在name对应的list中添加元素,每个新的元素都添加到列表的最左边 # 补充:rpush(name,values) ..........................................最右边 sr.lpush('xiao_ai_ren', 'Doc', 'Grumpy', 'Happy', 'Sleepy', 'Docpey', 'Bashful', 'Sneezy') print(sr.lrange('xiao_ai_ren', 0, -1)) except Exception as e: print(e) 20180925_07 6.7.2 List-获取 lrange(name,start,end) 在name对应的列表分片获取数据 lindex(name,index) 在name对应的列表中根据索引获取列表元素 6.7.3 List-修改 6.7.3.1 在已有列表里面插入新值 from redis import * if __name__ == '__main__': try: # 创建strictRedis对象,与redis服务器建立连接 sr = StrictRedis(decode_responses=True) # 在Happy的前面插入cry 在Happy的后面插入 smile sr.linsert('xiao_ai_ren', 'before', 'Happy', 'cry') sr.linsert('xiao_ai_ren', 'after', 'Happy', 'smile') print(sr.lrange('xiao_ai_ren', 0, -1)) except Exception as e: print(e) 20180925_08 6.7.3.2 根据索引重新赋值 语法 lset(name,index,value) # 对name对应的list中的某一个索引位置重新赋值 参数说明 index,list索引的位置 value,要设置的值 # -*- coding: utf-8 -*- # @Time : 18-9-25 下午8:11 # @Author : wengwenyu # @Email : wengwenyu@aliyun.com # @File : 连接redis.py # @Software: PyCharm from redis import * if __name__ == '__main__': try: # 创建strictRedis对象,与redis服务器建立连接 sr = StrictRedis(decode_responses=True) print('修改前:{}'.format(sr.lrange('xiao_ai_ren', 0, -1))) # 修改索引为4的值　为cry2 sr.lset('xiao_ai_ren', 4, 'cry2') print('修改后:{}'.format(sr.lrange('xiao_ai_ren', 0, -1))) except Exception as e: print(e) 20180925_09 6.7.4 List-删除 6.7.4.1 删除指定值 # -*- coding: utf-8 -*- # @Time : 18-9-25 下午8:11 # @Author : wengwenyu # @Email : wengwenyu@aliyun.com # @File : 连接redis.py # @Software: PyCharm from redis import * if __name__ == '__main__': try: # 创建strictRedis对象,与redis服务器建立连接 sr = StrictRedis(decode_responses=True) print('删除前:{}'.format(sr.lrange('xiao_ai_ren', 0, -1))) # 0表示删除列表中所有指定的值, 2表示从前往后删除(如果值存在)2个指定的值 -2表示从后往前 sr.lrem('xiao_ai_ren', 0, 'cry2') print('删除后:{}'.format(sr.lrange('xiao_ai_ren', 0, -1))) except Exception as e: print(e) 20180926_01 6.8、Set操作 6.8.1、Set-增加 # -*- coding: utf-8 -*- # @Time : 18-9-25 下午8:11 # @Author : wengwenyu # @Email : wengwenyu@aliyun.com # @File : 连接redis.py # @Software: PyCharm from redis import * if __name__ == '__main__': try: # 创建strictRedis对象,与redis服务器建立连接 sr = StrictRedis(decode_responses=True) sr.sadd('name', 'zhangsan', 'zhangsan', 'lisi') print(sr.smembers('name')) except Exception as e: print(e) 20180926_02 6.8.2、Set-获取 查看上面案例 6.9.4、Set-删除 srem(name,values) 在name对应的集合中删除某些值 6.9 数据库综合案例:mysql与redis结合用户登录 20180926_04 参考代码 # -*- coding: utf-8 -*- # @Time : 18-9-26 下午2:06 # @Author : wengwenyu # @Email : wengwenyu@aliyun.com # @File : 注册登录.py # @Software: PyCharm # 1. 注册----> 用户输入账号,密码(加密　md5 sha1 sha256..)　---> 存进mysql数据库(永久) # 2. 登录-----> 用户输入账号密码　-----> redis(如果redis里面能找到　登录, 缓存,20)------> mysql　---->　先存到redis # from hashlib import * import hashlib # 导入mysql的驱动 from pymysql import * # 导入redis 驱动 from redis import * # mysql的登录 def mysql_login(username, upwd): # 第一步：　能到这里　说明　账号是找不到的　先找有没有这个账号　有　就提取密码做比较 # 没有就　直接说　没这个用户 try: # 1. 创建Connection连接 conn = connect(host='localhost', port=3306, user='root', password='123456', database='D6', charset='utf8') # 2. 获得Cursor对象 cs1 = conn.cursor() # 3. 查询　 r = cs1.execute('select upwd from users where uname="{}"'.format(username)) a = cs1.fetchone() a = a[0] print(a) # 如果这个r里面有值　就说明是　用户存在　开始比较密码 # 如果这个r里面没有值　账号都不在 if r == None: # 账号不在 print('请去注册') else: if upwd == a: # 存　redis sr = StrictRedis(decode_responses=True) sr.set(username, upwd) print('登录成功') else: print('密码错误') except Exception as e: print(e) print('mysql的登录函数') # redis的登录 def redis_login(): username = input('请输入用户名:') password = input('请输入密码:') # 对用户输入的密码　加密 s1 = hashlib.sha1() s1.update(password.encode('utf8')) # 得到加密以后的字符串 upwd = s1.hexdigest() # 连接　redis try: # redis 的连接 默认ip　本地　和　默认端口　6379 sr = StrictRedis(decode_responses=True) # 查？－－－－－> 查？　用户名　对应的密码 # username　用户名 r = sr.get(username) if r == None: # 说明redis里面找不到　---> 只能确定　redis里面没有 mysql_login(username, upwd) else: # upwd>? 是用户输入的　　　　r是redis找出来的密码 if upwd == r: print('登录成功') else: print('密码错误') except Exception as e: print(e) print('redis的登录函数') # mysql的注册 def register(): # 用户输入1的时候　注册　(往mysql里面填数据)　表到低有没有 # 1. 让用户　输入　账号　密码 username = input('请输入账号:') password = input('请输入密码:') # 2. 为密码加密 # 选择加密方式 s1 = hashlib.sha1() # 添加加密内容 s1.update(password.encode('utf8')) # upwd 就是加密以后的字符串　获取加密以后的字符串 upwd = s1.hexdigest() print(username, upwd) try: # 1. 创建Connection连接 conn = connect(host='localhost', port=3306, user='root', password='123456', database='D6', charset='utf8') # 2. 获得Cursor对象 cs1 = conn.cursor() # 3. 执行sql语句 cs1.execute('insert into users values(0,"{}","{}")'.format(username, upwd)) # 4. commit conn.commit() except Exception as e: print(e) def main(): # 1. 用户输入　来确定执行什么功能 a = input('请选择是[1]注册还是[2]登录:') # 2. 判断用户　输入的是1 还是2 if a == '1': register() elif a == '2': # 一般登录的时候　先从redis里面找　找不到再去　mysql redis_login() else: print('输入有误') if __name__ == '__main__': main() 七、搭建主从 7.1. 主从概念 7.1.1 思考:为什么要主从?　比如: 备份数据、读写分离 数据备份 [图片上传失败...(image-46b7c6-1538030921400)] 读写分离 20180925_04 一个master可以拥有多个slave,一个slave又可以拥有多个slave，如此下去,形成了强大的多级服务器集群架构 master用来写数据,slave用来读数据,经统计:网站的读写比例是10:1 通过主从配置可以实现 读写分离 master和slave都是一个redis实例(redis服务) 7.2 配置主 查看当前主机的ip地址 20180922_01 我们就不能再使用127.0.0.1了，需要修改/etc/redis/redis.conf文件 sudo vi /etc/redis/redis.conf bind 192.168.31.166 20180922_02 重启redis sudo service redis stop redis-server redis.conf 20180922_03 20180922_04 7.3 配置从(同一台机器配置从) 复制/etc/redis/redis.conf文件到当前文件夹下面 sudo cp redis.conf ./slave.conf 20180922_05 修改redis/slave.conf文件 sudo vi slave.conf 编辑内容 bind 从服务器ip slaveof 主服务器ip 主服务端口号 port 从服务器端口号 20180922_07 20180922_08 20180922_09 redis服务 sudo redis-server slave.conf 20180922_10 20180922_11 查看主从关系 redis-cli -h ip info Replication 20180922_12 20180922_13 4. 数据操作 在master和slave分别执行info命令,查看输出信息　进入主客户端 redis-cli -h 192.168.31.166 -p 6379 进入从的客户端 redis-cli -h 192.168.31.166 -p 6378 在master上写数据 set name 100cxy 在slave上读数据 get 100cxy 20180922_14 八、搭建集群 1. 为什么要搭建集群 之前我们已经讲了主从概念,一主可以多从,如果同时的访问量过大(1000w),主服务肯定会挂掉,数据服务就挂掉了或者发生自然灾难 大公司都会有很多的服务器(华东地区、华南地区、华中地区、华北地区、西北地区、西南地区、东北地区、港澳台地区) 2. 集群的概念 集群是一组相互独立的、通过高速网路互联的计算机,他们构成了一个组,并以单一系统的模式加以管理.一个客户与集群相互作用时,集群像是一个独立的服务器.集群配置是用于提高可用性和可缩放性．( 简而言之:集群就是同一个业务，部署在多个服务器上,提高对外服务和处理的能力 ) 注意:当请求到来首先由负载均衡服务器处理,把请求转发到另外一台服务器上. 20180922_15 3. Redis集群 分类 软件层面 硬件层面 软件层面:只有一台电脑,在这一台电脑上启动了多个redis服务 [图片上传失败...(image-18e0f7-1538030921401)] 硬件层面:存在多台实体的电脑,每台电脑上都启动了一个redis或者多个redis服务. [图片上传失败...(image-469764-1538030921401)] 4. 搭建集群 当前拥有两台主机192.168.31.25、192.168.31.166，这⾥的IP在使⽤时要改为实际值 5. 参考阅读 redis集群搭建python搭建redis集群 配置机器1 在演示中，192.168.31.166为当前ubuntu机器的ip 在192.168.31.166上进⼊Desktop⽬录，创建conf⽬录 在conf⽬录下创建⽂件7000.conf，编辑内容如下 port 7000 bind 192.168.31.166 daemonize yes pidfile 7000.pid cluster-enabled yes cluster-config-file 7000_node.conf cluster-node-timeout 15000 appendonly yes 在conf⽬录下创建⽂件7001.conf，编辑内容如下 port 7001 bind 192.168.31.166 daemonize yes pidfile 7001.pid cluster-enabled yes cluster-config-file 7001_node.conf cluster-node-timeout 15000 appendonly yes 在conf⽬录下创建⽂件7002.conf，编辑内容如下 port 7002 bind 192.168.31.166 daemonize yes pidfile 7002.pid cluster-enabled yes cluster-config-file 7002_node.conf cluster-node-timeout 15000 appendonly yes 总结：三个⽂件的配置区别在port、pidfile、cluster-config-file三项 使⽤配置⽂件启动redis服务 redis-server 7000.conf redis-server 7001.conf redis-server 7002.conf 20180922_16 配置机器2 在演示中，192.168.31.25为当前ubuntu机器的ip 在192.168.31.25上进⼊Desktop⽬录，创建conf⽬录 在conf⽬录下创建⽂件7003.conf，编辑内容如下 port 7003 bind 192.168.31.25 daemonize yes pidfile 7003.pid cluster-enabled yes cluster-config-file 7003_node.conf cluster-node-timeout 15000 appendonly yes 在conf⽬录下创建⽂件7004.conf，编辑内容如下 port 7004 bind 192.168.31.25 daemonize yes pidfile 7004.pid cluster-enabled yes cluster-config-file 7004_node.conf cluster-node-timeout 15000 appendonly yes 在conf⽬录下创建⽂件7005.conf，编辑内容如下 port 7005 bind 192.168.31.25 daemonize yes pidfile 7005.pid cluster-enabled yes cluster-config-file 7005_node.conf cluster-node-timeout 15000 appendonly yes 总结：三个⽂件的配置区别在port、pidfile、cluster-config-file三项 使⽤配置⽂件启动redis服务 redis-server 7003.conf redis-server 7004.conf redis-server 7005.conf 20180922_17 创建集群 redis的安装包中包含了redis-trib.rb，⽤于创建集群 接下来的操作在192.168.31.166机器上进⾏ 安装ruby环境,因为redis-trib.rb 是用ruby开发的 sudo apt install ruby 但是后续我们执⾏集群这个指令在某些机器上可能会报错,主要原因是由于安装的 ruby 不是最 新版本 天朝的防⽕墙导致⽆法下载最新版本,所以需要设置 gem 的源 解决办法如下: -- 先查看⾃⼰的 gem 源是什么地址 gem source -l -- 如果是https://rubygems.org/ 就需要更换 -- 更换指令为 gem sources --add https://gems.ruby-china.com/ --remove https://rubygems.org/ -- 通过 gem 安装 redis 的相关依赖 sudo gem install redis -- 然后重新执⾏指令 redis-trib.rb create --replicas 1 192.168.31.166:7000 192.168.31.166:7001 192.168.31.166:7002 192.168.31.25:7003 192.168.31.25:7004 192.168.31.25:7005 20180922_18 将命令复制，这样可以在任何⽬录下调⽤此命令 sudo cp /usr/local/redis/src/redis-trib.rb /usr/local/bin/ 20180922_23 20180922_22 数据验证 redis cluster在设计的时候，就考虑到了去中⼼化，去中间件，也就是说，集群中 的每个节点都是平等的关系，都是对等的，每个节点都保存各⾃的数据和整个集 群的状态。每个节点都和其他所有节点连接，⽽且这些连接保持活跃，这样就保 证了我们只需要连接集群中的任意⼀个节点，就可以获取到其他节点的数据 Redis集群没有并使⽤传统的⼀致性哈希来分配数据，⽽是采⽤另外⼀种叫做哈希 槽 (hash slot)的⽅式来分配的。redis cluster 默认分配了 16384 个 slot，当我们 set⼀个key 时，会⽤CRC16算法来取模得到所属的slot，然后将这个key 分到哈 希槽区间的节点上，具体算法就是：CRC16(key) % 16384。所以我们在测试的 时候看到set 和 get 的时候，直接跳转到了7000端⼝的节点 Redis 集群会把数据存在⼀个 master 节点，然后在这个 master 和其对应的salve 之间进⾏数据同步。当读取数据时，也根据⼀致性哈希算法到对应的 master 节 点获取数据。 只有当⼀个master 挂掉之后，才会启动⼀个对应的 salve 节点，充 当 master 需要注意的是：必须要3个或以上的主节点，否则在创建集群时会失败，并且当存 活的主节点数⼩于总节点数的⼀半时，整个集群就⽆法提供服务了 20180922_24 根据上图可以看出，当前搭建的主服务器为7000、7001、7003，对应的从服务器是7004、7005、7002 在192.168.31.166机器上连接7002，加参数-c表示连接到集群 redis-cli -h 192.168.31.166 -c -p 7002 写⼊数据 set name 1000cxy ⾃动跳到了7003服务器，并写⼊数据成功 20180922_26 redis和集群交互 安装包如下 pip install redis-py-cluster redis-py-cluster源码地址 创建⽂件redis_cluster.py，示例码如下 from rediscluster import * if __name__ == '__main__': try: # 构建所有的节点，Redis会使⽤CRC16算法，将键和值写到某个节点上 startup_nodes = [ {'host': '192.168.31.166', 'port': '7000'}, {'host': '192.168.31.25', 'port': '7003'}, {'host': '192.168.31.166', 'port': '7001'}, ] # 构建StrictRedisCluster对象 src=StrictRedisCluster(startup_nodes=startup_nodes,decode_responses=True) # 设置键为name、值为100cxy的数据 result=src.set('name','100cxy') print(result) # 获取键为name name = src.get('name') print(name) except Exception as e: print(e) 十、安全、备份、持久化 10.1 安全 如果公网ip开放着,6379端口也开放着,那别人就可以远程连接服务器,比如我在/root/.ssh/authorized_keys存放公钥秘钥文件里面存了自己的公钥,就能像超级管理员一样控制你的电脑,这就是redis漏洞,解决这个漏洞的方法很多,<b style='color:red'>设置密码,监听内网ip,加防火墙</b>都可以解决,还有就是以普通的用户身份启动. 设置监听ip bind 127.0.0.1//可以是多个ip,用空格分隔 设置监听端口 port 16000 # 默认:6379 设置密码 (redis.conf) -- 在redis配置文件里面添加 requirepass 100cxy -- 客户端登录 redis-cli -a 100cxy 将config命令改名或者禁用 (redis.conf) -- 改名:在配置文件里面添加 rename-command CONFIG cxy -- 禁用 空字符串 rename-command CONFIG '' 拓展阅读:关于redis的安全性 10.2、Redis持久化 两种持久化的方式：快照（RDB文件）和追加式文件（AOF文件） 方式 说明 <b style='color:red'>RDB</b>(Redis DataBase) 简而言之,就是在不同的时间点,将redis存储的数据生成快照并存储到磁盘等介质上 <b style='color:red'>AOF</b>(Append Only File) 相对于RDB而言换了一个角度来实现持久化,那就是将redis执行过的所有写指令记录下来,在下次重启的时候,只要把这些写指令从前到后再重复执行一遍,就可以实现数据恢复了 说明: RDB和AOF两种方式也是可以同时使用,在这种情况下,如果redis重启的话,则有限采用AOF方式来进行数据恢复,这是因为 AOF方式恢复数据的完整度更高;如果你没有数据持久化的需求,也可以关闭RDB和AOF方式,这样的话,redis将变成一个纯内存的数据库,就像memcache一样. 点击: Redis持久化参考阅读 10、备份