基本服务器的技术参数

Java架构师，首先要是一个高级java攻城狮，熟练使用各种框架，并知道它们实现的原理。jvm虚拟机原理、调优，懂得jvm能让你写出性能更好的代码;池技术，什么对象池，连接池，线程池…… 　　 Java反射技术，写框架必备的技术，但是有严重的性能问题，替代方案java字节码技术;nio，没什么好说的，值得注意的是”直接内存”的特点，使用场景;java多线程同步异步;java各种集合对象的实现原理，了解这些可以让你在解决问题时选择合适的数据结构，高效的解决问题，比如hashmap的实现原理，好多五年以上经验的人都弄不清楚，还有为什扩容时有性能问题?不弄清楚这些原理，就写不出高效的代码，还会认为自己做的很对;总之一句话越基础的东西越重要，很多人认为自己会用它们写代码了，其实仅仅是知道如何调用api而已,离会用还差的远。 　　 熟练使用各种数据结构和算法，数组、哈希、链表、排序树…，一句话要么是时间换空间要么是空间换时间，这里展开可以说一大堆，需要有一定的应用经验，用于解决各种性能或业务上的问题。 　　 熟练使用linux操作系统，必备，没什么好说的 。 　　 熟悉tcp协议，创建连接三次握手和断开连接四次握手的整个过程，不了解的话，无法对高并发网络应用做优化; 熟悉http协议，尤其是http头，我发现好多工作五年以上的都弄不清session和cookie的生命周期以及它们之间的关联。 　　 系统集群、负载均衡、反向代理、动静分离，网站静态化 。 　　 分布式存储系统nfs,fastdfs,tfs,Hadoop了解他们的优缺点，适用场景 。 　　 分布式缓存技术memcached,redis，提高系统性能必备，一句话，把硬盘上的内容放到内存里来提速，顺便提个算法一致性hash 。 　　 工具nginx必备技能超级好用，高性能，基本不会挂掉的服务器，功能多多，解决各种问题。 　　 数据库的设计能力，mysql必备，最基础的数据库工具，免费好用，对它基本的参数优化，慢查询日志分析，主从复制的配置，至少要成为半个mysql dba。其他nosql数据库如mongodb。 　　 还有队列中间件。如消息推送，可以先把消息写入数据库，推送放队列服务器上，由推送服务器去队列获取处理，这样就可以将消息放数据库和队列里后直接给用户反馈，推送过程则由推送服务器和队列服务器完成，好处异步处理、缓解服务器压力，解藕系统。　　 以上纯粹是常用的技术，还有很多自己慢慢去摸索吧;因为要知道的东西很多，所以要成为一名合格的架构师，必须要有强大的自学能力，没有人会手把手的教给你所有的东西。 　　 想成为架构师不是懂了一大堆技术就可以了，这些是解决问题的基础、是工具，不懂这些怎么去提解决方案呢?这是成为架构师的必要条件。 　　 架构师要针对业务特点、系统的性能要求提出能解决问题成本最低的设计方案才合格，人家一个几百人用户的系统，访问量不大，数据量小，你给人家上集群、上分布式存储、上高端服务器，为了架构而架构，这是最扯淡的，架构师的作用就是第一满足业务需求，第二最低的硬件网络成本和技术维护成本。 　　 架构师还要根据业务发展阶段，提前预见发展到下一个阶段系统架构的解决方案，并且设计当前架构时将架构的升级扩展考虑进去，做到易于升级;否则等系统瓶颈来了，出问题了再去出方案，或现有架构无法扩展直接扔掉重做，或扩展麻烦问题一大堆，这会对企业造成损失。Java架构师学习路线图如：https://yq.aliyun.com/articles/225941?spm=5176.8091938.0.0.qyp0tC

回 2楼(兮木易) 的帖子 1.做对象存储把文件上传到 阿里云上面去 是为了不把过多的图片之类的放到服务器上面是这样的吗？ 是的，而且好处是不会受限于服务器的低带宽影响用户访问速度（走外网情况下） 2.如何更改已存在图片地址问题 使用数据库命令 替换即可 ------------------------- 回 5楼(兮木易) 的帖子 第二次裁剪？ 我只做过单次裁剪，直接在原有基础上添加裁剪参数不行吗？ ------------------------- 回 7楼(兮木易) 的帖子 我这里访问正常 你这张图 ------------------------- 回 9楼(兮木易) 的帖子 深一些的我没怎么吃透，但感觉 第二次裁剪应调用原图（第一次上传返回的地址）进行裁剪。 而你希望的是通过第一次裁剪后的图像进行第二次裁剪 我猜测可能跟图片处理功能的一些规则有关。 我并不是阿里云技术工程师，只是" 阿里云用户版主" 有一些问题可能看法存在错误或因学识储备较少导致误导了您在这里深感抱歉。 建议您多参考二楼阿里云官方团队技术人员给予的技术文档以及查看以下有关图像处理的相关技术资料: https://help.aliyun.com/document_detail/31944.html ------------------------- 回 11楼(兮木易) 的帖子 http://08cms.oss-cn-shenzhen.aliyuncs.com/5d39ec294925df77c8e717471441184ec6263e 55.jpg 你这个存储的是带参数的啊，如果第二次希望用原图来裁剪只使用不带参数的地址即可。其实感觉你第二次调用第一次的也可以改变相关参数应该就可以了吧？ 一脸茫然（我是小白啊） ------------------------- 回 13楼(兮木易) 的帖子 // 图片水印 $options = array(     OssClient::OSS_FILE_DOWNLOAD => $download_file,     OssClient::OSS_PROCESS => "image/watermark,text_SGVsbG8g5Zu-54mH5pyN5YqhIQ" ); $ossClient->getObject($bucket, $object, $options); 这是标准格式  我的建议是发工单问问 我基本是用别人的插件

简介 如果您听说过 Node，或者阅读过一些文章，宣称 Node 是多么多么的棒，那么您可能会想：“Node 究竟是什么东西？”尽管不是针对所有人的，但 Node 可能是某些人的正确选择。 为试图解释什么是 Node.js，本文探究了它能解决的问题，它如何工作，如何运行一个简单应用程序，最后，Node 何时是和何时不是一个好的解决方案。本文不涉及如何编写一个复杂的 Node 应用程序，也不是一份全面的 Node 教程。阅读本文应该有助于您决定是否应该学习 Node，以便将其用于您的业务。 Node 旨在解决什么问题？ Node 公开宣称的目标是 “旨在提供一种简单的构建可伸缩网络程序的方法”。当前的服务器程序有什么问题？我们来做个数学题。在 Java™ 和 PHP 这类语言中，每个连接都会生成一个新线程，每个新线程可能需要 2 MB 配套内存。在一个拥有 8 GB RAM 的系统上，理论上最大的并发连接数量是 4,000 个用户。随着您的客户端基础的增长，您希望您的 web 应用程序支持更多用户，这样，您必须添加更多服务器。当然，这会增加业务成本，尤其是服务器成本、运输成本和人工成本。除这些成本上升外，还有一个技术问题：用户可能针对每个请求使用不同的服务器，因此，任何共享资源都必须在所有服务器之间共享。例如，在 Java 中，静态变量和缓存需要在每个服务器上的 JVMs 之间共享。这就是整个 web 应用程序架构中的瓶颈：一个服务器能够处理的并发连接的最大数量。 Node 解决这个问题的方法是：更改连接连接到服务器的方式。每个连接都创建一个进程，该进程不需要配套内存块，而不是为每个连接生成一个新的 OS 线程（并向其分配一些配套内存）。Node 声称它绝不会死锁，因为它根本不允许使用锁，它不会直接阻塞 I/O 调用。Node 还宣称，运行它的服务器能支持数万个并发连接。事实上，Node 通过将整个系统中的瓶颈从最大连接数量更改到单个系统的流量来改变服务器面貌。 现在您有了一个能处理数万条并发连接的程序，那么您能通过 Node 实际构建什么呢？如果您有一个 web 应用程序需要处理这么多连接，那将是一件很 “恐怖” 的事！那是一种 “如果您有这个问题，那么它根本不是问题” 的问题。在回答上面的问题之前，我们先看看 Node 如何工作以及它被设计的如何运行。 Node 肯定不是什么 没错，Node 是一个服务器程序。但是，它肯定不 像 Apache 或 Tomcat。那些服务器是独立服务器产品，可以立即安装并部署应用程序。通过这些产品，您可以在一分钟内启动并运行一个服务器。Node 肯定不是这种产品。Apache 能添加一个 PHP 模块来允许开发人员创建动态 web 页，使用 Tomcat 的程序员能部署 JSPs 来创建动态 web 页。Node 肯定不是这种类型。 在 Node 的早期阶段（当前是 version 0.4.6），它还不是一个 “运行就绪” 的服务器程序，您还不能安装它，向其中放置文件，拥有一个功能齐全的 web 服务器。即使是要实现 web 服务器在安装完成后启动并运行这个基本功能，也还需要做大量工作。 Node 如何工作 Node 本身运行 V8 JavaScript。等等，服务器上的 JavaScript？没错，您没有看错。服务器端 JavaScript 是一个相对较新的概念，这个概念是大约两年前在 developerWorks 上讨论 Aptana Jaxer 产品时提到的（参见 参考资料）。尽管 Jaxer 一直没有真正流行，但这个理念本身并不是遥不可及的 — 为何不能在服务器上使用客户机上使用的编程语言？ 什么使 V8？V8 JavaScript 引擎是 Google 用于他们的 Chrome 浏览器的底层 JavaScript 引擎。很少有人考虑 JavaScript 在客户机上实际做了些什么？实际上，JavaScript 引擎负责解释并执行代码。使用 V8，Google 创建了一个以 C++ 编写的超快解释器，该解释器拥有另一个独特特征；您可以下载该引擎并将其嵌入任何 应用程序。它不仅限于在一个浏览器中运行。因此，Node 实际上使用 Google 编写的 V8 JavaScript 引擎并将其重建为在服务器上使用。太完美了！既然已经有一个不错的解决方案可用，为何还要创建一种新语言呢？ 事件驱动编程 许多程序员接受的教育使他们认为，面向对象编程是完美的编程设计，而对其他编程方法不屑一顾。Node 使用一个所谓的事件驱动编程模型。 清单 1. 客户端上使用 jQuery 的事件驱动编程 复制代码 代码如下: // jQuery code on the client-side showing how Event-Driven programming works // When a button is pressed, an Event occurs - deal with it // directly right here in an anonymous function, where all the // necessary variables are present and can be referenced directly $("#myButton").click(function(){ if ($("#myTextField").val() != $(this).val()) alert("Field must match button text"); }); 实际上，服务器端和客户端没有任何区别。没错，这没有按钮点击操作，也没有向文本字段键入的操作，但在一个更高的层面上，事件正在 发生。一个连接被建立 — 事件！数据通过连接接收 — 事件！数据通过连接停止 — 事件！ 为什么这种设置类型对 Node 很理想？JavaScript 是一种很棒的事件驱动编程语言，因为它允许匿名函数和闭包，更重要的是，任何写过代码的人都熟悉它的语法。事件发生时调用的回调函数可以在捕获事件处编写。这样，代码容易编写和维护，没有复杂的面向对象框架，没有接口，没有在上面架构任何内容的潜能。只需监听事件，编写一个回调函数，然后，事件驱动编程将照管好一切！ 示例 Node 应用程序 最后，我们来看一些代码！让我们将讨论过的所有内容综合起来，创建我们的第一个 Node 应用程序。由于我们已经知道，Node 对于处理高流量应用程序很理想，我们就来创建一个非常简单的 web 应用程序 — 一个为实现最大速度而构建的应用程序。下面是 “老板” 交代的关于我们的样例应用程序的具体要求：创建一个随机数字生成器 RESTful API。这个应用程序应该接受一个输入：一个名为 “number” 的参数。然后，应用程序返回一个介于 0 和该参数之间的随机数字，并将生成的数字返回调用者。由于 “老板” 希望它成为一个广泛流行的应用程序，因此它应该能处理 50,000 个并发用户。我们来看看代码： 清单 2. Node 随机数字生成器 复制代码 代码如下: // these modules need to be imported in order to use them. // Node has several modules. They are like any #include // or import statement in other languages var http = require("http"); var url = require("url"); // The most important line in any Node file. This function // does the actual process of creating the server. Technically, // Node tells the underlying operating system that whenever a // connection is made, this particular callback function should be // executed. Since we're creating a web service with REST API, // we want an HTTP server, which requires the http variable // we created in the lines above. // Finally, you can see that the callback method receives a 'request' // and 'response' object automatically. This should be familiar // to any PHP or Java programmer. http.createServer(function(request, response) { // The response needs to handle all the headers, and the return codes // These types of things are handled automatically in server programs // like Apache and Tomcat, but Node requires everything to be done yourself response.writeHead(200, {"Content-Type": "text/plain"}); // Here is some unique-looking code. This is how Node retrives // parameters passed in from client requests. The url module // handles all these functions. The parse function // deconstructs the URL, and places the query key-values in the // query object. We can find the value for the "number" key // by referencing it directly - the beauty of JavaScript. var params = url.parse(request.url, true).query; var input = params.number; // These are the generic JavaScript methods that will create // our random number that gets passed back to the caller var numInput = new Number(input); var numOutput = new Number(Math.random() * numInput).toFixed(0); // Write the random number to response response.write(numOutput); // Node requires us to explicitly end this connection. This is because // Node allows you to keep a connection open and pass data back and forth, // though that advanced topic isn't discussed in this article. response.end(); // When we create the server, we have to explicitly connect the HTTP server to // a port. Standard HTTP port is 80, so we'll connect it to that one. }).listen(80); // Output a String to the console once the server starts up, letting us know everything // starts up correctly console.log("Random Number Generator Running..."); 将上面的代码放到一个名为 “random.js” 的文件中。现在，要启动这个应用程序并运行它（进而创建 HTTP 服务器并监听端口 80 上的连接），只需在您的命令提示中输入以下命令：% node random.js。下面是服务器已经启动并运行时它看起来的样子： 复制代码 代码如下: root@ubuntu:/home/moila/ws/mike# node random.js Random Number Generator Running... 访问应用程序 应用程序已经启动并运行。Node 正在监听任何连接，我们来测试一下。由于我们创建了一个简单的 RESTful API，我们可以使用我们的 web 浏览器来访问这个应用程序。键入以下地址（确保您完成了上面的步骤）：localhost/?number=27。 您的浏览器窗口将更改到一个介于 0 到 27 之间的随机数字。单击浏览器上的 “重新载入” 按钮，将得到另一个随机数字。就是这样，这就是您的第一个 Node 应用程序！ Node 对什么有好处？ 到此为止，应该能够回答 “Node 是什么” 这个问题了，但您可能还不清楚什么时候应该使用它。这是一个需要提出的重要问题，因为 Node 对有一些东西有好处，但相反，对另一些东西而言，目前 Node 可能不是一个好的解决方案。您需要小心决定何时使用 Node，因为在错误的情况下使用它可能会导致一个多余编码的 LOT。 它对什么有好处？ 正如您此前所看到的，Node 非常适合以下情况：您预计可能有很高的流量，而在响应客户端之前服务器端逻辑和处理所需不一定是巨大的。Node 表现出众的典型示例包括： 1.RESTful API 提供 RESTful API 的 web 服务接收几个参数，解析它们，组合一个响应，并返回一个响应（通常是较少的文本）给用户。这是适合 Node 的理想情况，因为您可以构建它来处理数万条连接。它还不需要大量逻辑；它只是从一个数据库查找一些值并组合一个响应。由于响应是少量文本，入站请求时少量文本，因此流量不高，一台机器甚至也可以处理最繁忙的公司的 API 需求。 2.Twitter 队列 想像一下像 Twitter 这样的公司，它必须接收 tweets 并将其写入一个数据库。实际上，每秒几乎有数千条 tweets 达到，数据库不可能及时处理高峰时段需要的写入数量。Node 成为这个问题的解决方案的重要一环。如您所见，Node 能处理数万条入站 tweets。它能迅速轻松地将它们写入一个内存排队机制（例如 memcached），另一个单独进程可以从那里将它们写入数据库。Node 在这里的角色是迅速收集 tweet 并将这个信息传递给另一个负责写入的进程。想象一下另一种设计 — 一个常规 PHP 服务器自己试图处理对数据库的写入 — 每个 tweet 将在写入数据库时导致一个短暂的延迟，这是因为数据库调用正在阻塞通道。由于数据库延迟，一台这样设计的机器每秒可能只能处理 2000 条入站 tweets。每秒 100 万条 tweets 需要 500 个服务器。相反，Node 能处理每个连接而不会阻塞通道，从而能捕获尽可能多的 tweets。一个能处理 50,000 条 tweets 的 Node 机器只需要 20 个服务器。 3.映像文件服务器 一个拥有大型分布式网站的公司（比如 Facebook 或 Flickr）可能会决定将所有机器只用于服务映像。Node 将是这个问题的一个不错的解决方案，因为该公司能使用它编写一个简单的文件检索器，然后处理数万条连接。Node 将查找映像文件，返回文件或一个 404 错误，然后什么也不用做。这种设置将允许这类分布式网站减少它们服务映像、.js 和 .css 文件等静态文件所需的服务器数量。 它对什么有坏处？ 当然，在某些情况下，Node 并非理想选择。下面是 Node 不擅长的领域： 1.动态创建的页 目前，Node 没有提供一种默认方法来创建动态页。例如，使用 JavaServer Pages (JSP) 技术时，可以创建一个在这样的 JSP 代码段中包含循环的 index.jsp 页。Node 不支持这类动态的、HTML 驱动的页面。同样，Node 不太适合作为 Apache 和 Tomcat 这样的网页服务器。因此，如果您想在 Node 中提供这样一个服务器端解决方案，必须自己编写整个解决方案。PHP 程序员不想在每次部署 web 应用程序时都编写一个针对 Apache 的 PHP 转换器，当目前为止，这正是 Node 要求您做的。 2. 关系数据库重型应用程序 Node 的目的是快速、异步和非阻塞。数据库并不一定分享这些目标。它们是同步和阻塞的，因为读写时对数据库的调用在结果生成之前将一直阻塞通道。因此，一个每个请求都需要大量数据库调用、大量读取、大量写入的 web 应用程序非常不适合 Node，这是因为关系数据库本身就能抵销 Node 的众多优势。（新的 NoSQL 数据库更适合 Node，不过那完全是另一个主题了。） 结束语 问题是 “什么是 Node.js?” 应该已经得到解答。阅读本文之后，您应该能通过几个清晰简洁的句子回答这个问题。如果这样，那么您已经走到了许多编码员和程序员的前面。我和许多人都谈论过 Node，但它们对 Node 究竟是什么一直很迷惑。可以理解，他们具有的是 Apache 的思维方式 — 服务器是一个应用程序，将 HTML 文件放入其中，一切就会正常运转。而 Node 是目的驱动的。它是一个软件程序，使用 JavaScript 来允许程序员轻松快速地创建快速、可伸缩的 web 服务器。Apache 是运行就绪的，而 Node 是编码就绪的。 Node 完成了它提供高度可伸缩服务器的目标。它并不分配一个 “每个连接一个线程” 模型，而是使用一个 “每个连接一个流程” 模型，只创建每个连接需要的内存。它使用 Google 的一个非常快速的 JavaScript 引擎：V8 引擎。它使用一个事件驱动设计来保持代码最小且易于阅读。所有这些因素促成了 Node 的理想目标 — 编写一个高度可伸缩的解决方案变得比较容易。 与理解 Node 是 什么同样重要的是，理解它不是 什么。Node 并不是 Apache 的一个替代品，后者旨在使 PHP web 应用程序更容易伸缩。事实确实如此。在 Node 的这个初始阶段，大量程序员使用它的可能性不大，但在它能发挥作用的场景中，它的表现非常好。 将来应该期望从 Node 得到什么呢？这也许是本文引出的最重要的问题。既然您知道了它现在的作用，您应该会想知道它下一步将做什么。在接下来的一年中，我期待着 Node 提供与现有的第三方支持库更好地集成。现在，许多第三方程序员已经研发了用于 Node 的插件，包括添加文件服务器支持和 MySQL 支持。希望 Node 开始将它们集成到其核心功能中。最后，我还希望 Node 支持某种动态页面模块，这样，您就可以在 HTML 文件中执行在 PHP 和 JSP（也许是一个 NSP，一个 Node 服务器页）中所做的操作。最后，希望有一天会出现一个 “部署就绪” 的 Node 服务器，可以下载和安装，只需将您的 HTML 文件放到其中，就像使用 Apache 或 Tomcat 那样。Node 现在还处于初始阶段，但它发展得很快，可能不久就会出现在您的视野中。 答案来源于网络

DNS服务器安装及相关配置文件 1、安装DNS BIND 简介： BIND 全称为Berkeley Internet Name Domain（伯克利因特网名称域系统），BIND 主要有三个版本：BIND4、BIND8、BIND9。 BIND8版本：融合了许多提高效率、稳定性和安全性的技术，而BIND9 增加了一些超前的理念：IPv6支持、密钥加密、多处理器支持、线程安全操作、增量区传送等等。 安装命令： [root@xuegod ~]# yum -y install bind bind-chroot bind-utils 安装包的作用： bind.x86_64 32:9.9.4-73.el7_6 #DNS服务的主程序包 bind-chroot.x86_64 32:9.9.4-73.el7_6 #提高安全性 #bind-chroot是bind的一个功能，使bind可以在一个chroot 的模式下运行，也就是说,bind运行时的/（根）目录，并不是系统真正的/（根）目录，只是系统中的一个子目录而已，这样做的目的是为了提高安全性，因为在chroot的模式下，bind可以访问的范围仅限于这个子目录的范围里，无法进一步提升，进入到系统的其他目录中。 bind-utils-9.9.4-50.el7.x86_64.rpm #该包为客户端工具，系统默认已经安装的了，它用于搜索域名指令。 2、DNS服务器相关配置文件 [root@xuegod ~]# ls /etc/named.conf -l -rw-r----- 1 root named 1808 1月 30 01:23 /etc/named.conf named.conf是BIND的核心配置文件，它包含了BIND的基本配置，但其并不包括区域数据 /var/name/目录为DNS数据库文件存放目录，每一个域文件都放在这里 3、启动服务器 [root@xuegod ~]# systemctl start named [root@xuegod ~]# systemctl enable named Created symlink from /etc/systemd/system/multi-user.target.wants/named.service to /usr/lib/systemd/system/named.service. [root@xuegod ~]# netstat -antup | grep 53 tcp 0 0 127.0.0.1:53 0.0.0.0:* LISTEN 3501/named 4、服务的使用方法 在客户端上配置好DNS服务器地址 [root@xuegod140 ~]# vim /etc/resolv.conf [root@xuegod140 ~]# cat /etc/resolv.conf Generated by NetworkManager nameserver 192.168.1.130 resolv.conf文件，添加DNS，此文件的生效范围是全局的，即是所有网卡都可以生效。 修改网卡添加的DNS，此方法添加DNS仅对当前网卡生效。 DNS1=192.168.1.130 5、配置文件详解 要求：配置DNS服务器解析：xuegod.cn [root@xuegod etc]# cp /etc/named.conf /etc/named.conf.bak DNS配置文件整体分为三段： options：对全局生效 zone：针对某个区域生效 type：指定区域类型 type主要分为六种 Master：主DNS服务器，拥有区域数据文件，并对此区域提供管理梳理 Slave：辅助DNS服务器，拥有主DNS服务器的区域数据文件的副本，辅助DNS服务器会从主DNS服务器同步所有区域数据 Stub：stub区域和slave类似，但其只复制主DNS服务器上的NS记录，而不像slave复制DNS服务器的所有数据 Forward：一个forward zone是每个区域的配置转发的主要部分。一个zone语句中的type forward可以包括一个forward和/或forwarders子句，它会在区域名称给定的域中查询。如果没有forwarders语句或者forwarder是空表，那么这个域就不会转发，消除了options语句中有关转发的配置 Hint：根域名服务器的初始化组指定使用线索区域hint zone，当服务器启动时，它使用跟线索来查找根域名服务器，并找到最近的根域名服务器列表 四、实战-为公司搭建一个DNS服务器 1、配置正向解析区域 修改配置文件，授权DNS服务器管理xuegod.cn区域，并把该区域的区域文件命名为xuegod.cn options { listen-on port 53 { any; }; #把原来的127.0.0.1改为any。 listen-on-v6 port 53 { any; }; #把原来的::1，改为any。 directory “/var/named”; dump-file “/var/named/data/cache_dump.db”; statistics-file “/var/named/data/named_stats.txt”; memstatistics-file “/var/named/data/named_mem_stats.txt”; allow-query { any; }; #把原来的localhost，改为any。 recursion yes; dnssec-enable yes; dnssec-validation yes; dnssec-lookaside auto; #加入此项。 1 2 3 4 5 zone “xuegod.cn” IN { #把原来的 . 改为xuegod.cn。 type master; #把原来的hint，改为master。 file “xuegod.cn.zone”; #把原来的named.ca，改为xuegod.cn.zone。 }; include “/etc/named.rfc1912.zones”; include “/etc/named.root.key”; 2、创建zone文件 [root@xuegod etc]# cd /var/named #进入zone工作目录 [root@xuegod named]# ll -d named.localhost -rw-r----- 1 root named 152 6月 21 2007 named.localhost [root@xuegod named]# cp -a named.localhost xuegod.cn.zone #-a参数，复制后的文件保留源文件权限 [root@xuegod named]# ll -d xuegod.cn.zone -rw-r----- 1 root named 152 6月 21 2007 xuegod.cn.zone [root@xuegod named]# vim xuegod.cn.zone [root@xuegod named]# cat xuegod.cn.zone $TTL 1D xuegod.cn. IN SOA dns.xuegod.cn. root.xuegod.cn. ( 0 ; serial #系列 1D ; refresh #刷新 1H ; retry #重试 1W ; expire #到期 3H ) ; minimum #最低限度 xuegod.cn. NS dns.xuegod.cn. #NS资源记录 dns.xuegod.cn. A 192.168.1.130 #A资源记录 www.xuegod.cn. A 192.168.1.130 #A资源记录 www1.xeugod.cn. CNAME www.xuegod.cn. #CNAME记录 3、重启DNS服务： [root@xuegod named]# systemctl restart named 4、修改客户机的DNS记录 [root@xuegod140 ~]# vim /etc/resolv.conf [root@xuegod140 ~]# cat /etc/resolv.conf Generated by NetworkManager nameserver 192.168.1.130 5、删除网卡配置文件的DNS记录 [root@xuegod140 ~]# cd /etc [root@xuegod140 etc]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 [root@xuegod140 etc]# cat !$ | grep DNS1 #删除DNS1的行 cat /etc/sysconfig/network-scripts/ifcfg-ens33 | grep DNS1 6、测试结果： [root@xuegod140 etc]# ping www.xuegod.cn PING www.xuegod.cn (192.168.1.130) 56(84) bytes of data. 64 bytes from 192.168.1.130 (192.168.1.130): icmp_seq=1 ttl=64 time=0.216 ms 64 bytes from 192.168.1.130 (192.168.1.130): icmp_seq=2 ttl=64 time=0.359 ms [root@xuegod140 etc]# ping www1.xuegod.cn PING www.xuegod.cn (192.168.1.130) 56(84) bytes of data. 64 bytes from 192.168.1.130 (192.168.1.130): icmp_seq=1 ttl=64 time=0.216 ms 64 bytes from 192.168.1.130 (192.168.1.130): icmp_seq=2 ttl=64 time=0.255 ms [root@xuegod140 etc]# ping dns.xuegod.cn PING dns.xuegod.cn (192.168.1.130) 56(84) bytes of data. 64 bytes from 192.168.1.130 (192.168.1.130): icmp_seq=1 ttl=64 time=0.170 ms 64 bytes from 192.168.1.130 (192.168.1.130): icmp_seq=2 ttl=64 time=0.294 ms

本文为您介绍容器服务 ACK 中涉及的几个基本概念，以便于您更好地理解 ACK 产品。 基本概念 集群 一个集群指容器运行所需要的云资源组合，关联了若干服务器节点、负载均衡、专有网络等云资源。 托管集群（Managed Kubernetes Cluster） 只需创建 Worker 节点，Master 节点由容器服务创建并托管。具备简单、低成本、高可用、无需运维管理 Kubernetes 集群 Master 节点的特点。 专有集群（Dedicated Kubernetes Cluster） 需要创建3个 Master（高可用）节点及若干 Worker 节点，可对集群基础设施进行更细粒度的控制，需要自行规划、维护、升级服务器集群。 Serverless集群（Serverless Kubernetes Cluster） 无需创建和管理 Master 节点及 Worker 节点，即可通过控制台或者命令配置容器实例的资源、指明应用容器镜像以及对外服务的方式，直接启动应用程序。 节点 一台服务器（可以是虚拟机实例或者物理服务器）已经安装了 Docker Engine，可以用于部署和管理容器；容器服务的 Agent 程序会安装到节点上并注册到一个集群上。集群中的节点数量可以伸缩。 容器 一个通过 Docker 镜像创建的运行实例，一个节点可运行多个容器。 镜像 Docker 镜像是容器应用打包的标准格式，在部署容器化应用时可以指定镜像，镜像可以来自于 Docker Hub，阿里云镜像服务，或者用户的私有 Registry。镜像 ID 可以由镜像所在仓库 URI 和镜像 Tag（缺省为 latest）唯一确认。 Kubernetes 相关概念 管理节点（Master Node） 管理节点是 Kubernetes 集群的管理者，运行着的服务包括 kube-apiserver、kube-scheduler、kube-controller-manager、etcd 和容器网络等组件。一般3个管理节点组成 HA 的架构。 工作节点（Worker Node） 工作节点是 Kubernetes 集群中承担工作负载的节点，可以是虚拟机也可以是物理机。工作节点承担实际的 Pod 调度以及与管理节点的通信等。一个工作节点上的服务包括 Docker 运行时环境、kubelet、Kube-Proxy 以及其它一些可选的 Addon 组件。 命名空间（Namespace） 命名空间为 Kubernetes 集群提供虚拟的隔离作用。Kubernetes 集群初始有 3 个命名空间，分别是默认命名空间 default、系统命名空间 kube-system 和 kube-public ，除此以外，管理员可以创建新的命名空间以满足需求。 Pod Pod 是 Kubernetes 部署应用或服务的最小的基本单位。一个 Pod 封装多个应用容器（也可以只有一个容器）、存储资源、一个独立的网络 IP 以及管理控制容器运行方式的策略选项。 副本控制器（Replication Controller，RC） RC 确保任何时候 Kubernetes 集群中有指定数量的 pod 副本（replicas）在运行。通过监控运行中的 Pod 来保证集群中运行指定数目的 Pod 副本。指定的数目可以是多个也可以是 1 个；少于指定数目，RC 就会启动运行新的 Pod 副本；多于指定数目，RC 就会终止多余的 Pod 副本。 副本集（Replica Set，RS） ReplicaSet（RS）是 RC 的升级版本，唯一区别是对选择器的支持，RS 能支持更多种类的匹配模式。副本集对象一般不单独使用，而是作为 Deployment 的理想状态参数使用。 部署（Deployment） 部署表示用户对 Kubernetes 集群的一次更新操作。部署比 RS 应用更广，可以是创建一个新的服务，更新一个新的服务，也可以是滚动升级一个服务。滚动升级一个服务，实际是创建一个新的 RS，然后逐渐将新 RS 中副本数增加到理想状态，将旧 RS 中的副本数减小到 0 的复合操作；这样一个复合操作用一个 RS 是不太好描述的，所以用一个更通用的 Deployment 来描述。不建议您手动管理利用 Deployment 创建的 RS。 服务（Service） Service 也是 Kubernetes 的基本操作单元，是真实应用服务的抽象，每一个服务后面都有很多对应的容器来提供支持，通过 Kube-Proxy 的 port 和服务 selector 决定服务请求传递给后端的容器，对外表现为一个单一访问接口，外部不需要了解后端如何运行，这给扩展或维护后端带来很大的好处。 标签（labels） Labels 的实质是附着在资源对象上的一系列 Key/Value 键值对，用于指定对用户有意义的对象的属性，标签对内核系统是没有直接意义的。标签可以在创建一个对象的时候直接赋予，也可以在后期随时修改，每一个对象可以拥有多个标签，但 key 值必须唯一。 存储卷（Volume） Kubernetes 集群中的存储卷跟 Docker 的存储卷有些类似，只不过 Docker 的存储卷作用范围为一个容器，而 Kubernetes 的存储卷的生命周期和作用范围是一个 Pod。每个 Pod 中声明的存储卷由 Pod 中的所有容器共享。支持使用 Persistent Volume Claim 即 PVC 这种逻辑存储，使用者可以忽略后台的实际存储技术，具体关于 Persistent Volumn（pv）的配置由存储管理员来配置。 持久存储卷（Persistent Volume，PV）和持久存储卷声明（Persistent Volume Claim，PVC） PV 和 PVC 使得 Kubernetes 集群具备了存储的逻辑抽象能力，使得在配置 Pod 的逻辑里可以忽略对实际后台存储技术的配置，而把这项配置的工作交给 PV 的配置者。存储的 PV 和 PVC 的这种关系，跟计算的 Node 和 Pod 的关系是非常类似的；PV 和 Node 是资源的提供者，根据集群的基础设施变化而变化，由 Kubernetes 集群管理员配置；而 PVC 和 Pod是资源的使用者，根据业务服务的需求变化而变化，由 Kubernetes 集群的使用者即服务的管理员来配置。 Ingress Ingress 是授权入站连接到达集群服务的规则集合。你可以通过 Ingress 配置提供外部可访问的 URL、负载均衡、SSL、基于名称的虚拟主机等。用户通过 POST Ingress 资源到 API server 的方式来请求 Ingress。 Ingress controller 负责实现 Ingress，通常使用负载均衡器，它还可以配置边界路由和其他前端，这有助于以 HA 方式处理流量。

在开始谈我对架构本质的理解之前，先谈谈对今天技术沙龙主题的个人见解，千万级规模的网站感觉数量级是非常大的，对这个数量级我们战略上 要重 视 它 ， 战术上又 要 藐 视 它。先举个例子感受一下千万级到底是什么数量级？现在很流行的优步(Uber)，从媒体公布的信息看，它每天接单量平均在百万左右， 假如每天有10个小时的服务时间，平均QPS只有30左右。对于一个后台服务器，单机的平均QPS可以到达800-1000，单独看写的业务量很简单 。为什么我们又不能说轻视它？第一，我们看它的数据存储，每天一百万的话，一年数据量的规模是多少？其次，刚才说的订单量，每一个订单要推送给附近的司机、司机要并发抢单，后面业务场景的访问量往往是前者的上百倍，轻松就超过上亿级别了。 今天我想从架构的本质谈起之后，希望大家理解在做一些建构设计的时候，它的出发点以及它解决的问题是什么。 架构，刚开始的解释是我从知乎上看到的。什么是架构？有人讲， 说架构并不是一 个很 悬 乎的 东西 ， 实际 上就是一个架子 ， 放一些 业务 和算法，跟我们的生活中的晾衣架很像。更抽象一点，说架构其 实 是 对 我 们 重复性业务 的抽象和我 们 未来 业务 拓展的前瞻，强调过去的经验和你对整个行业的预见。 我们要想做一个架构的话需要哪些能力？我觉得最重要的是架构师一个最重要的能力就是你要有 战 略分解能力。这个怎么来看呢: 第一，你必须要有抽象的能力，抽象的能力最基本就是去重，去重在整个架构中体现在方方面面，从定义一个函数，到定义一个类，到提供的一个服务，以及模板，背后都是要去重提高可复用率。 第二， 分类能力。做软件需要做对象的解耦，要定义对象的属性和方法，做分布式系统的时候要做服务的拆分和模块化，要定义服务的接口和规范。 第三， 算法（性能），它的价值体现在提升系统的性能，所有性能的提升，最终都会落到CPU，内存，IO和网络这4大块上。 这一页PPT举了一些例子来更深入的理解常见技术背后的架构理念。 第一个例子，在分布式系统我们会做 MySQL分 库 分表，我们要从不同的库和表中读取数据，这样的抽象最直观就是使用模板，因为绝大多数SQL语义是相同的，除了路由到哪个库哪个表，如果不使用Proxy中间件，模板就是性价比最高的方法。 第二看一下加速网络的CDN，它是做速度方面的性能提升，刚才我们也提到从CPU、内存、IO、网络四个方面来考虑，CDN本质上一个是做网络智能调度优化，另一个是多级缓存优化。 第三个看一下服务化，刚才已经提到了，各个大网站转型过程中一定会做服务化，其实它就是做抽象和做服务的拆分。第四个看一下消息队列，本质上还是做分类，只不过不是两个边际清晰的类，而是把两个边际不清晰的子系统通过队列解构并且异步化。新浪微博整体架构是什么样的 接下我们看一下微博整体架构，到一定量级的系统整个架构都会变成三层，客户端包括WEB、安卓和IOS，这里就不说了。接着还都会有一个接口层， 有三个主要作用： 第一个作用，要做 安全隔离，因为前端节点都是直接和用户交互，需要防范各种恶意攻击； 第二个还充当着一个 流量控制的作用，大家知道，在2014年春节的时候，微信红包，每分钟8亿多次的请求，其实真正到它后台的请求量，只有十万左右的数量级（这里的数据可能不准），剩余的流量在接口层就被挡住了； 第三，我们看对 PC 端和移 动 端的需求不一样的，所以我们可以进行拆分。接口层之后是后台，可以看到微博后台有三大块： 一个是 平台服 务， 第二， 搜索， 第三， 大数据。到了后台的各种服务其实都是处理的数据。 像平台的业务部门，做的就是 数据存储和读 取，对搜索来说做的是 数据的 检 索，对大数据来说是做的数据的 挖掘。微博其实和淘宝是很类似 微博其实和淘宝是很类似的。一般来说，第一代架构，基本上能支撑到用户到 百万 级别，到第二代架构基本能支撑到 千万 级别都没什么问题，当业务规模到 亿级别时，需要第三代的架构。 从 LAMP 的架构到面向服 务 的架构，有几个地方是非常难的，首先不可能在第一代基础上通过简单的修修补补满足用户量快速增长的，同时线上业务又不能停， 这是我们常说的 在 飞 机上 换 引擎的 问题。前两天我有一个朋友问我，说他在内部推行服务化的时候，把一个模块服务化做完了，其他部门就是不接。我建议在做服务化的时候，首先更多是偏向业务的梳理，同时要找准一个很好的切入点，既有架构和服务化上的提升，业务方也要有收益，比如提升性能或者降低维护成本同时升级过程要平滑，建议开始从原子化服务切入，比如基础的用户服务， 基础的短消息服务，基础的推送服务。 第二，就是可 以做无状 态 服 务，后面会详细讲，还有数据量大了后需要做数据Sharding，后面会将。 第三代 架构 要解决的 问题，就是用户量和业务趋于稳步增加（相对爆发期的指数级增长），更多考虑技术框架的稳定性， 提升系统整体的性能，降低成本，还有对整个系统监控的完善和升级。 大型网站的系统架构是如何演变的 我们通过通过数据看一下它的挑战，PV是在10亿级别，QPS在百万，数据量在千亿级别。我们可用性，就是SLA要求4个9，接口响应最多不能超过150毫秒，线上所有的故障必须得在5分钟内解决完。如果说5分钟没处理呢？那会影响你年终的绩效考核。2015年微博DAU已经过亿。我们系统有上百个微服务，每周会有两次的常规上线和不限次数的紧急上线。我们的挑战都一样，就是数据量，bigger and bigger，用户体验是faster and faster，业务是more and more。互联网业务更多是产品体验驱动， 技 术 在 产 品 体验上最有效的贡献 ， 就是你的性能 越来越好 。 每次降低加载一个页面的时间，都可以间接的降低这个页面上用户的流失率。微博的技术挑战和正交分解法解析架构 下面看一下 第三代的 架构 图 以及 我 们 怎么用正交分解法 阐 述。 我们可以看到我们从两个维度，横轴和纵轴可以看到。 一个 维 度 是 水平的 分层 拆分，第二从垂直的维度会做拆分。水平的维度从接口层、到服务层到数据存储层。垂直怎么拆分，会用业务架构、技术架构、监控平台、服务治理等等来处理。我相信到第二代的时候很多架构已经有了业务架构和技术架构的拆分。我们看一下， 接口层有feed、用户关系、通讯接口；服务层，SOA里有基层服务、原子服务和组合服务，在微博我们只有原子服务和组合服务。原子服务不依赖于任何其他服务，组合服务由几个原子服务和自己的业务逻辑构建而成 ，资源层负责海量数据的存储（后面例子会详细讲）。技 术框架解决 独立于 业务 的海量高并发场景下的技术难题，由众多的技术组件共同构建而成 。在接口层，微博使用JERSY框架，帮助你做参数的解析，参数的验证，序列化和反序列化；资源层，主要是缓存、DB相关的各类组件，比如Cache组件和对象库组件。监 控平台和服 务 治理 ， 完成系统服务的像素级监控，对分布式系统做提前诊断、预警以及治理。包含了SLA规则的制定、服务监控、服务调用链监控、流量监控、错误异常监控、线上灰度发布上线系统、线上扩容缩容调度系统等。 下面我们讲一下常见的设计原则。 第一个，首先是系统架构三个利器： 一个， 我 们 RPC 服 务组 件 （这里不讲了）， 第二个，我们 消息中 间 件 。消息中间件起的作用：可以把两个模块之间的交互异步化，其次可以把不均匀请求流量输出为匀速的输出流量，所以说消息中间件 异步化 解耦 和流量削峰的利器。 第三个是配置管理，它是 代码级灰度发布以及 保障系统降级的利器。 第二个 ， 无状态 ， 接口 层 最重要的就是无状 态。我们在电商网站购物，在这个过程中很多情况下是有状态的，比如我浏览了哪些商品，为什么大家又常说接口层是无状态的，其实我们把状态从接口层剥离到了数据层。像用户在电商网站购物，选了几件商品，到了哪一步，接口无状态后，状态要么放在缓存中，要么放在数据库中， 其 实 它并不是没有状 态 ， 只是在 这 个 过 程中我 们 要把一些有状 态 的 东 西抽离出来 到了数据层。 第三个， 数据 层 比服 务层 更需要 设计，这是一条非常重要的经验。对于服务层来说，可以拿PHP写，明天你可以拿JAVA来写，但是如果你的数据结构开始设计不合理，将来数据结构的改变会花费你数倍的代价，老的数据格式向新的数据格式迁移会让你痛不欲生，既有工作量上的，又有数据迁移跨越的时间周期，有一些甚至需要半年以上。 第四，物理结构与逻辑结构的映射，上一张图看到两个维度切成十二个区间，每个区间代表一个技术领域，这个可以看做我们的逻辑结构。另外，不论后台还是应用层的开发团队，一般都会分几个垂直的业务组加上一个基础技术架构组，这就是从物理组织架构到逻辑的技术架构的完美的映射，精细化团队分工，有利于提高沟通协作的效率 。 第五， www .sanhao.com 的访问过程，我们这个架构图里没有涉及到的，举个例子，比如当你在浏览器输入www.sanhao网址的时候，这个请求在接口层之前发生了什么？首先会查看你本机DNS以及DNS服务，查找域名对应的IP地址，然后发送HTTP请求过去。这个请求首先会到前端的VIP地址（公网服务IP地址），VIP之后还要经过负载均衡器（Nginx服务器），之后才到你的应用接口层。在接口层之前发生了这么多事，可能有用户报一个问题的时候，你通过在接口层查日志根本发现不了问题，原因就是问题可能发生在到达接口层之前了。 第六，我们说分布式系统，它最终的瓶颈会落在哪里呢？前端时间有一个网友跟我讨论的时候，说他们的系统遇到了一个瓶颈， 查遍了CPU，内存，网络，存储，都没有问题。我说你再查一遍，因为最终你不论用上千台服务器还是上万台服务器，最终系统出瓶颈的一定会落在某一台机（可能是叶子节点也可能是核心的节点），一定落在CPU、内存、存储和网络上，最后查出来问题出在一台服务器的网卡带宽上。微博多级双机房缓存架构 接下来我们看一下微博的Feed多级缓存。我们做业务的时候，经常很少做业务分析，技术大会上的分享又都偏向技术架构。其实大家更多的日常工作是需要花费更多时间在业务优化上。这张图是统计微博的信息流前几页的访问比例，像前三页占了97%，在做缓存设计的时候，我们最多只存最近的M条数据。 这里强调的就是做系统设计 要基于用 户 的 场 景 ， 越细致越好 。举了一个例子，大家都会用电商，电商在双十一会做全国范围内的活动，他们做设计的时候也会考虑场景的，一个就是购物车，我曾经跟相关开发讨论过，购物车是在双十一之前用户的访问量非常大，就是不停地往里加商品。在真正到双十一那天他不会往购物车加东西了，但是他会频繁的浏览购物车。针对这个场景，活动之前重点设计优化购物车的写场景， 活动开始后优化购物车的读场景。 你看到的微博是由哪些部分聚合而成的呢？最右边的是Feed，就是微博所有关注的人，他们的微博所组成的。微博我们会按照时间顺序把所有关注人的顺序做一个排序。随着业务的发展，除了跟时间序相关的微博还有非时间序的微博，就是会有广告的要求，增加一些广告，还有粉丝头条，就是拿钱买的，热门微博，都会插在其中。分发控制，就是说和一些推荐相关的，我推荐一些相关的好友的微博，我推荐一些你可能没有读过的微博，我推荐一些其他类型的微博。 当然对非时序的微博和分发控制微博，实际会起多个并行的程序来读取，最后同步做统一的聚合。这里稍微分享一下， 从SNS社交领域来看，国内现在做的比较好的三个信息流： 微博 是 基于弱关系的媒体信息流 ； 朋友圈是基于 强 关系的信息流 ； 另外一个做的比 较 好的就是今日 头 条 ， 它并不是基于关系来构建信息流 ， 而是基于 兴趣和相关性的个性化推荐 信息流 。 信息流的聚合，体现在很多很多的产品之中，除了SNS，电商里也有信息流的聚合的影子。比如搜索一个商品后出来的列表页，它的信息流基本由几部分组成：第一，打广告的；第二个，做一些推荐，热门的商品，其次，才是关键字相关的搜索结果。 信息流 开始的时候 很 简单 ， 但是到后期会 发现 ， 你的 这 个流 如何做控制分发 ， 非常复杂， 微博在最近一两年一直在做 这样 的工作。刚才我们是从业务上分析，那么技术上怎么解决高并发，高性能的问题？微博访问量很大的时候，底层存储是用MySQL数据库，当然也会有其他的。对于查询请求量大的时候，大家知道一定有缓存，可以复用可重用的计算结果。可以看到，发一条微博，我有很多粉丝，他们都会来看我发的内容，所以 微博是最适合使用 缓 存 的系统，微博的读写比例基本在几十比一。微博使用了 双 层缓 存，上面是L1，每个L1上都是一组（包含4-6台机器），左边的框相当于一个机房，右边又是一个机房。在这个系统中L1缓存所起的作用是什么？ 首先，L1 缓 存增加整个系 统 的 QPS， 其次 以低成本灵活扩容的方式 增加 系统 的 带宽 。想象一个极端场景，只有一篇博文，但是它的访问量无限增长，其实我们不需要影响L2缓存，因为它的内容存储的量小，但它就是访问量大。这种场景下，你就需要使用L1来扩容提升QPS和带宽瓶颈。另外一个场景，就是L2级缓存发生作用，比如我有一千万个用户，去访问的是一百万个用户的微博 ，这个时候，他不只是说你的吞吐量和访问带宽，就是你要缓存的博文的内容也很多了，这个时候你要考虑缓存的容量， 第二 级缓 存更多的是从容量上来 规划，保证请求以较小的比例 穿透到 后端的 数据 库 中 ，根据你的用户模型你可以估出来，到底有百分之多少的请求不能穿透到DB， 评估这个容量之后，才能更好的评估DB需要多少库，需要承担多大的访问的压力。另外，我们看双机房的话，左边一个，右边一个。 两个机房是互 为 主 备 ， 或者互 为热备 。如果两个用户在不同地域，他们访问两个不同机房的时候，假设用户从IDC1过来，因为就近原理，他会访问L1，没有的话才会跑到Master，当在IDC1没找到的时候才会跑到IDC2来找。同时有用户从IDC2访问，也会有请求从L1和Master返回或者到IDC1去查找。 IDC1 和 IDC2 ，两个机房都有全量的用户数据，同时在线提供服务，但是缓存查询又遵循最近访问原理。还有哪些多级缓存的例子呢？CDN是典型的多级缓存。CDN在国内各个地区做了很多节点，比如在杭州市部署一个节点时，在机房里肯定不止一台机器，那么对于一个地区来说，只有几台服务器到源站回源，其他节点都到这几台服务器回源即可，这么看CDN至少也有两级。Local Cache+ 分布式 缓 存，这也是常见的一种策略。有一种场景，分布式缓存并不适用， 比如 单 点 资 源 的爆发性峰值流量，这个时候使用Local Cache + 分布式缓存，Local Cache 在 应用 服 务 器 上用很小的 内存资源 挡住少量的 极端峰值流量，长尾的流量仍然访问分布式缓存，这样的Hybrid缓存架构通过复用众多的应用服务器节点，降低了系统的整体成本。 我们来看一下 Feed 的存 储 架构，微博的博文主要存在MySQL中。首先来看内容表，这个比较简单，每条内容一个索引，每天建一张表，其次看索引表，一共建了两级索引。首先想象一下用户场景，大部分用户刷微博的时候，看的是他关注所有人的微博，然后按时间来排序。仔细分析发现在这个场景下， 跟一个用户的自己的相关性很小了。所以在一级索引的时候会先根据关注的用户，取他们的前条微博ID，然后聚合排序。我们在做哈希（分库分表）的时候，同时考虑了按照UID哈希和按照时间维度。很业务和时间相关性很高的，今天的热点新闻，明天就没热度了，数据的冷热非常明显，这种场景就需要按照时间维度做分表，首先冷热数据做了分离（可以对冷热数据采用不同的存储方案来降低成本），其次， 很容止控制我数据库表的爆炸。像微博如果只按照用户维度区分，那么这个用户所有数据都在一张表里，这张表就是无限增长的，时间长了查询会越来越慢。二级索引，是我们里面一个比较特殊的场景，就是我要快速找到这个人所要发布的某一时段的微博时，通过二级索引快速定位。 分布式服务追踪系统 分布式追踪服务系统，当系统到千万级以后的时候，越来越庞杂，所解决的问题更偏向稳定性，性能和监控。刚才说用户只要有一个请求过来，你可以依赖你的服务RPC1、RPC2，你会发现RPC2又依赖RPC3、RPC4。分布式服务的时候一个痛点，就是说一个请求从用户过来之后，在后台不同的机器之间不停的调用并返回。 当你发现一个问题的时候，这些日志落在不同的机器上，你也不知道问题到底出在哪儿，各个服务之间互相隔离，互相之间没有建立关联。所以导致排查问题基本没有任何手段，就是出了问题没法儿解决。 我们要解决的问题，我们刚才说日志互相隔离，我们就要把它建立联系。建立联系我们就有一个请求ID，然后结合RPC框架， 服务治理功能。假设请求从客户端过来，其中包含一个ID 101，到服务A时仍然带有ID 101，然后调用RPC1的时候也会标识这是101 ，所以需要 一个唯一的 请求 ID 标识 递归迭代的传递到每一个 相关 节点。第二个，你做的时候，你不能说每个地方都加，对业务系统来说需要一个框架来完成这个工作， 这 个框架要 对业务 系 统 是最低侵入原 则 ， 用 JAVA 的 话 就可以用 AOP，要做到零侵入的原则，就是对所有相关的中间件打点，从接口层组件（HTTP Client、HTTP Server）至到服务层组件（RPC Client、RPC Server），还有数据访问中间件的，这样业务系统只需要少量的配置信息就可以实现全链路监控 。为什么要用日志？服务化以后，每个服务可以用不同的开发语言， 考虑多种开发语言的兼容性 ， 内部定 义标 准化的日志 是唯一且有效的办法。最后，如何构建基于GPS导航的路况监控？我们刚才讲分布式服务追踪。分布式服务追踪能解决的问题， 如果 单一用 户发现问题 后 ， 可以通 过请 求 ID 快速找到 发 生 问题 的 节 点在什么，但是并没有解决如何发现问题。我们看现实中比较容易理解的道路监控，每辆车有GPS定位，我想看北京哪儿拥堵的时候，怎么做？ 第一个 ， 你肯定要知道每个 车 在什么位置，它走到哪儿了。其实可以说每个车上只要有一个标识，加上每一次流动的信息，就可以看到每个车流的位置和方向。 其次如何做 监 控和 报 警，我们怎么能了解道路的流量状况和负载，并及时报警。我们要定义这条街道多宽多高，单位时间可以通行多少辆车，这就是道路的容量。有了道路容量，再有道路的实时流量，我们就可以基于实习路况做预警？ 对应于 分布式系 统 的话如何构建？ 第一 ， 你要 定义 每个服 务节 点它的 SLA A 是多少 ？SLA可以从系统的CPU占用率、内存占用率、磁盘占用率、QPS请求数等来定义，相当于定义系统的容量。 第二个 ， 统计 线 上 动态 的流量，你要知道服务的平均QPS、最低QPS和最大QPS，有了流量和容量，就可以对系统做全面的监控和报警。 刚才讲的是理论，实际情况肯定比这个复杂。微博在春节的时候做许多活动，必须保障系统稳定，理论上你只要定义容量和流量就可以。但实际远远不行，为什么？有技术的因素，有人为的因素，因为不同的开发定义的流量和容量指标有主观性，很难全局量化标准，所以真正流量来了以后，你预先评估的系统瓶颈往往不正确。实际中我们在春节前主要采取了三个措施：第一，最简单的就是有降 级 的 预 案，流量超过系统容量后，先把哪些功能砍掉，需要有明确的优先级 。第二个， 线上全链路压测，就是把现在的流量放大到我们平常流量的五倍甚至十倍（比如下线一半的服务器，缩容而不是扩容），看看系统瓶颈最先发生在哪里。我们之前有一些例子，推测系统数据库会先出现瓶颈，但是实测发现是前端的程序先遇到瓶颈。第三，搭建在线 Docker 集群 ， 所有业务共享备用的 Docker集群资源，这样可以极大的避免每个业务都预留资源，但是实际上流量没有增长造成的浪费。 总结 接下来说的是如何不停的学习和提升，这里以Java语言为例，首先， 一定要 理解 JAVA；第二步，JAVA完了以后，一定要 理 解 JVM；其次，还要 理解 操作系统；再次还是要了解一下 Design Pattern，这将告诉你怎么把过去的经验抽象沉淀供将来借鉴；还要学习 TCP/IP、 分布式系 统、数据结构和算法。

用上 FreeMarker 后，再也不需要 JSP了，JSP相对来说弱爆了，连 layout 功能都没有，layout 现在是基本配置了###### 引用来自“爪哇老妖”的答案 这个真可以有，JSP、Velocity、Freemarker这些都属于动态模版技术，HTML呢，直接就是静态模版技术，也许你会反问我可以用ajax来实现后台调用数据啊，可是我很担心你那页面的加载速度和用户体验，情况更严重的是，有些页面的效果是根据后台数据或参数来展示的，对于你的这个想法，持保留意见。。。 从加载速度方面来说，并没有想像中那么慢，在Chrome和Firefox上速度飞快，加载HTML的时候根本感觉不到它做了些什么，只是在IE上不太理想，页面巨大的话有时候确实会卡一下，不过随着IE版本的更新这个情况可能会慢慢解决掉。 用户体验方面感觉比原来刷页面的方式好的多，Ajax与后台交互，所以根本看不到讨厌的500错误页面了，用JS处理好后台返回的错误，提示信息更加易懂。 至于页面显示内容与数据库有关的问题，这都是交给后台组织好数据用JSON返回的，例如：{userid:1,operation: {'查询'}}和{userid:2,operation: {'查询','删除'}}之类，这样JS拿到JSON数据之后就知道该怎么构建页面了，当然，这些页面元素级的控制，完全可以放到数据库中去，动态的实时控制用户权限。 ######楼主说的情况跟extjs一样，抛弃动态页面，所有数据用js控制，展现，IE处理js虽然慢一点，但这是可控的，在加载的时候给个loading图片用户看起来比浏览器加载动态页面效果好些。要是js功底好，还可以写一些特效，用户体验就更好了。######+freemarker###### 看情况啊，可以有。 不过你说的情况，也有很多，尤其是网站很大，甚至页面的不同部分都是不同的小组做的话。 这时候不用落伍的iframe,就用ajax,jsonp了。 ###### 引用来自“闫晓沛”的答案 +freemarker 是直接访问freemarker的模板吗？这样也确实可以代替JSP，不过还是得走一下Java容器，感觉不如直接让Apache处理HTML的好 ###### 这个真可以有，JSP、Velocity、Freemarker这些都属于动态模版技术，HTML呢，直接就是静态模版技术，也许你会反问我可以用ajax来实现后台调用数据啊，可是我很担心你那页面的加载速度和用户体验，情况更严重的是，有些页面的效果是根据后台数据或参数来展示的，对于你的这个想法，持保留意见。。。 ######回复 @lovinglily : ”世界上不会有一个页面是预先设计好的，因为它有数据“乔布斯说的######意思是，静态页面预先设计好布局的话，并不是根本意义上根据后台数据动态改变，这对页面数据显示有影响是吧..######你能保证所有用户的浏览器都能处理你的这些数据？######跨浏览器确实是一个大问题，可以借助jQuery这样的JS库来解决，虽然有些时候也不是很完美，但是够用了######对于jsp freemarker 等之类的都是属于动态模板，要知道它们最终都是翻译成html代码给浏览器，所以没有替代这种说法。只能说哪种情况更适合你的应用了。如果动态交互更多 且动态判断多的情况下 你用ajax动态请求的方式显得很蹩脚，这中间有个取舍和平衡点######同意你的观点###### 引用来自“爪哇老妖”的答案 这个真可以有，JSP、Velocity、Freemarker这些都属于动态模版技术，HTML呢，直接就是静态模版技术，也许你会反问我可以用ajax来实现后台调用数据啊，可是我很担心你那页面的加载速度和用户体验，情况更严重的是，有些页面的效果是根据后台数据或参数来展示的，对于你的这个想法，持保留意见。。。 我能保证所有用户浏览器都能处理服务器发给它的HTML，很难保证用户浏览器能处理我页面里的所有Ajax数据请求。 ######回复 @xmut : js不可能运行的很慢，就算被我们喷的无地自容的IE6，其实也是大量的js在运行。一个页面的js不可能很多，多到不能处理的地步，否则是本身就设计有问题的######啥年代了，还在纠结浏览器能不能运行js。######没错，这样的项目架构确实存在禁用JS之后玩不转的情况，但是现在有几个项目不用JS的呢，我们可以把“开启JS”作为项目运行必需的环境提出来######确实！楼主把页面控制逻辑全部交给javascript，万一客户端javascript被禁用，或者javascript运行速度很慢，这反而影响了客户体验！######有还是没有 ,看项目的需要,没有不能替代的技术方案。

MQTT协议 MQTT（Message Queuing Telemetry Transport，消息队列遥测传输）最早是IBM开发的一个即时通讯协议，MQTT协议是为大量计算能力有限且工作在低带宽、不可靠网络的远程传感器和控制设备通讯而设计的一种协议。 MQTT协议的优势是可以支持所有平台，它几乎可以把所有的联网物品和互联网连接起来。 它具有以下主要的几项特性：1、使用发布/订阅消息模式，提供一对多的消息发布和应用程序之间的解耦；2、消息传输不需要知道负载内容；3、使用 TCP/IP 提供网络连接；4、有三种消息发布的服务质量：QoS 0：“最多一次”，消息发布完全依赖底层 TCP/IP 网络。分发的消息可能丢失或重复。例如，这个等级可用于环境传感器数据，单次的数据丢失没关系，因为不久后还会有第二次发送。QoS 1：“至少一次”，确保消息可以到达，但消息可能会重复。QoS 2：“只有一次”，确保消息只到达一次。例如，这个等级可用在一个计费系统中，这里如果消息重复或丢失会导致不正确的收费。5、小型传输，开销很小（固定长度的头部是 2 字节），协议交换最小化，以降低网络流量；6、使用 Last Will 和 Testament 特性通知有关各方客户端异常中断的机制；在MQTT协议中，一个MQTT数据包由：固定头（Fixed header）、 可变头（Variable header）、 消息体（payload）三部分构成。MQTT的传输格式非常精小，最小的数据包只有2个bit，且无应用消息头。下图是MQTT为可靠传递消息的三种消息发布服务质量 发布/订阅模型允许MQTT客户端以一对一、一对多和多对一方式进行通讯。 下图是MQTT的发布／订阅消息模式 CoAP协议 CoAP是受限制的应用协议(Constrained Application Protocol)的代名词。由于目前物联网中的很多设备都是资源受限型的，所以只有少量的内存空间和有限的计算能力，传统的HTTP协议在物联网应用中就会显得过于庞大而不适用。因此，IETF的CoRE工作组提出了一种基于REST架构、传输层为UDP、网络层为6LowPAN（面向低功耗无线局域网的IPv6）的CoAP协议。 CoAP采用与HTTP协议相同的请求响应工作模式。CoAP协议共有4中不同的消息类型。CON——需要被确认的请求，如果CON请求被发送，那么对方必须做出响应。NON——不需要被确认的请求，如果NON请求被发送，那么对方不必做出回应。ACK——应答消息，接受到CON消息的响应。RST——复位消息，当接收者接受到的消息包含一个错误，接受者解析消息或者不再关心发送者发送的内容，那么复位消息将会被发送。 CoAP消息格式使用简单的二进制格式，最小为4个字节。 一个消息=固定长度的头部header + 可选个数的option + 负载payload。Payload的长度根据数据报长度来计算。 主要是一对一的协议 举个例子： 比如某个设备需要从服务器端查询当前温度信息。 请求消息（CON）： GET /temperature , 请求内容会被包在CON消息里面响应消息 (ACK)： 2.05 Content “22.5 C” ，响应内容会被放在ACK消息里面 CoAP与MQTT的区别 MQTT和CoAP都是行之有效的物联网协议，但两者还是有很大区别的，比如MQTT协议是基于TCP，而CoAP协议是基于UDP。从应用方向来分析，主要区别有以下几点： 1、MQTT协议不支持带有类型或者其它帮助Clients理解的标签信息，也就是说所有MQTT Clients必须要知道消息格式。而CoAP协议则相反，因为CoAP内置发现支持和内容协商，这样便能允许设备相互窥测以找到数据交换的方式。 2、MQTT是长连接而CoAP是无连接。MQTT Clients与Broker之间保持TCP长连接，这种情形在NAT环境中也不会产生问题。如果在NAT环境下使用CoAP的话，那就需要采取一些NAT穿透性手段。 3、MQTT是多个客户端通过中央代理进行消息传递的多对多协议。它主要通过让客户端发布消息、代理决定消息路由和复制来解耦消费者和生产者。MQTT就是相当于消息传递的实时通讯总线。CoAP基本上就是一个在Server和Client之间传递状态信息的单对单协议。 HTTP协议http的全称是HyperText Transfer Protocol，超文本传输协议，这个协议的提出就是为了提供和接收HTML界面，通过这个协议在互联网上面传出web的界面信息。 HTTP协议的两个过程，Request和Response，两个都有各自的语言格式，我们看下是什么。请求报文格式：(注意这里有个换行) 响应报文格式：(注意这里有个换行) 方法method：       这个很重要，比如说GET和POST方法，这两个是很常用的，GET就是获取什么内容，而POST就是向服务器发送什么数据。当然还有其他的，比如HTTP 1.1中还有：DELETE、PUT、CONNECT、HEAD、OPTIONS、TRACE等一共8个方法（HTTP Method历史：HTTP 0.9 只有GET方法；HTTP 1.0 有GET、POST、HEAD三个方法）。请求URL:       这里填写的URL是不包含IP地址或者域名的，是主机本地文件对应的目录地址，所以我们一般看到的就是“/”。版本version：       格式是HTTP/.这样的格式，比如说HTTP/1.1.这个版本代表的就是我们使用的HTTP协议的版本，现在使用的一般是HTTP/1.1状态码status:       状态码是三个数字，代表的是请求过程中所发生的情况，比如说200代表的是成功，404代表的是找不到文件。原因短语reason-phrase：       是状态码的可读版本，状态码就是一个数字，如果你事先不知道这个数字什么意思，可以先查看一下原因短语。首部header：       注意这里的header我们不是叫做头，而是叫做首部。可能有零个首部也可能有多个首部，每个首部包含一个名字后面跟着一个冒号，然后是一个可选的空格，接着是一个值，然后换行。实体的主体部分entity-body：       实体的主体部分包含一个任意数据组成的数据块，并不是所有的报文都包含实体的主体部分，有时候只是一个空行加换行就结束了。 下面我们举个简单的例子： 请求报文：GET /index.html HTTP/1.1    Accept: text/*Host: www.myweb.com 响应报文：HTTP/1.1 200 OKContent-type: text/plainContent-length: 3  HTTP与CoAP的区别 CoAP是6LowPAN协议栈中的应用层协议，基于REST（表述性状态传递）架构风格，支持与REST进行交互。通常用户可以像使用HTTP协议一样用CoAP协议来访问物联网设备。而且CoAP消息格式使用简单的二进制格式，最小为4个字节。HTTP使用报文格式对于嵌入式设备来说需要传输数据太多，太重，不够灵活。 XMPP协议 XMPP（可扩展通讯和表示协议）是一种基于可扩展标记语言（XML）的协议， 它继承了在XML环境中灵活的发展性。可用于服务类实时通讯、表示和需求响应服务中的XML数据元流式传输。XMPP以Jabber协议为基础，而Jabber是即时通讯中常用的开放式协议。   基本网络结构 XMPP中定义了三个角色，客户端，服务器，网关。通信能够在这三者的任意两个之间双向发生。 服务器同时承担了客户端信息记录，连接管理和信息的路由功能。网关承担着与异构即时通信系统 的互联互通，异构系统可以包括SMS（短信），MSN，ICQ等。基本的网络形式是单客户端通过 TCP/IP连接到单服务器，然后在之上传输XML。 功能 传输的是与即时通讯相关的指令。在以前这些命令要么用2进制的形式发送（比如QQ），要么用纯文本指令加空格加参数加换行符的方式发送（比如MSN）。而XMPP传输的即时通讯指令的逻辑与以往相仿，只是协议的形式变成了XML格式的纯文本。举个例子看看所谓的XML（标准通用标记语言的子集）流是什么样子的？客户端：123456<?xmlversion='1.0'?>to='example_com'xmlns='jabber:client'xmlns:stream='http_etherx_jabber_org/streams'version='1.0'>服务器：1234567<?xmlversion='1.0'?>from='example_com'id='someid'xmlns='jabber:client'xmlns:stream='http_etherx_jabber_org/streams'version='1.0'>工作原理XMPP核心协议通信的基本模式就是先建立一个stream，然后协商一堆安全之类的东西， 中间通信过程就是客户端发送XML Stanza，一个接一个的。服务器根据客户端发送的信息 以及程序的逻辑，发送XML Stanza给客户端。但是这个过程并不是一问一答的，任何时候 都有可能从一方发信给另外一方。通信的最后阶段是关闭流，关闭TCP/IP连接。  网络通信过程中数据冗余率非常高，网络流量中70% 都消耗在 XMPP 协议层了。对于物联网来说，大量计算能力有限且工作在低带宽、不可靠网络的远程传感器和控制设备，省电、省流量是所有底层服务的一个关键技术指标，XMPP协议看起来已经落后了。 SoAP协议 SoAP(简单对象访问协议)是交换数据的一种协议规范，是一种轻量的、简单的、 基于可扩展标记语言（XML）的协议，它被设计成在WEB上交换结构化的和固化的信息。  SOAP 可以和现存的许多因特网协议和格式结合使用，包括超文本传输协议（HTTP）， 简单邮件传输协议（SMTP），多用途网际邮件扩充协议（MIME）。它还支持从消息系统到 远程过程调用（RPC）等大量的应用程序。SOAP使用基于XML的数据结构和超文本传输协议 (HTTP)的组合定义了一个标准的方法来使用Internet上各种不同操作环境中的分布式对象。 总结： 从当前物联网应用发展趋势来分析，MQTT协议具有一定的优势。因为目前国内外主要的云计算服务商，比如阿里云、AWS、百度云、Azure以及腾讯云都一概支持MQTT协议。还有一个原因就是MQTT协议比CoAP成熟的要早，所以MQTT具有一定的先发优势。但随着物联网的智能化和多变化的发展，后续物联网应用平台肯定会兼容更多的物联网应用层协议。 作者：HFK_Frank 来源：CSDN 原文：https://blog.csdn.net/acongge2010/article/details/79142380 版权声明：本文为博主原创文章，转载请附上博文链接！