编写一个servlet用于测试为了测试部署之后项目可用，我们至少得写一个servlet。在src/mian/java下新建包：com.panda.webdemo.servlet，并在该包新建类:HelloServlet，代码如下：@WebServlet("/hello")public class HelloServlet extends HttpServlet { private static final long serialVersionUID = 1L;    public HelloServlet() {        super();    } protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {  response.getWriter().write("Hello World"); } protected void doPost(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {  doGet(request, response); }}注意该servlet通过注解@WebServlet标注，所以访问/hello即指向该Servlet。如果访问成功，则输出Hello World。部署方法1——手工打包、手工部署最简单的，直接右键单击项目-run as-maven install，控制台输出：[INFO] --- maven-install-plugin:2.4:install (default-install) @ webdemo ---[INFO] Installing D:\\Workspace\\EclipsePhoton\\webdemo\\target\\webdemo.war to G:\\MavenRepo\\com\\panda\\webdemo\\0.0.1-SNAPSHOT\\webdemo-0.0.1-SNAPSHOT.war将webdemo/target/webdemo.war手工拷贝到tomcat下webapps下，启动tomcat，访问如下地址，注意我的tomcat端口设为默认的80，所以可以不用写端口号。http://127.0.0.1/webdemo/hello1打开浏览器，在浏览器地址栏输入上述地址，网页显示：Hello World1大功告成。但是每次打包都需要手工拷贝部署也太麻烦了，尤其是在开发阶段，这个没关系，maven通过插件提供了更快捷的部署方式。部署方法2——通过maven-jetty-plugin插件部署首先添加插件，添加方式很简单，在pom.xml中添加一个插件坐标即可，maven会自动将坐标对应插件弄到项目中来。 <build>  <finalName>webdemo</finalName>  <plugins>   <plugin>    <groupId>org.mortbay.jetty</groupId>    <artifactId>jetty-maven-plugin</artifactId>    <version>8.1.15.v20140411</version>    <configuration>     <webAppSourceDirectory>src/main/webapp</webAppSourceDirectory>     <webApp>      <!-- 注意，如果不配置该参数，则访问地址为127.0.0.1:8080/hello -->      <!-- 配了，则访问：127.0.0.1:8080/webdemo/hello  -->      <contextPath>/webdemo</contextPath>     </webApp>     <connectors>      <connector       implementation="org.eclipse.jetty.server.nio.SelectChannelConnector">       <!-- 指定端口 -->       <port>8080</port>       <maxIdleTime>60000</maxIdleTime>      </connector>     </connectors>    </configuration>   </plugin>  </plugins> </build>然后选中项目，右击项目名-Run as-Maven Build…，在项目配置窗口中的Goals项输入：jetty:run，然后点击Run按钮运行。然后就不幸报错了，这个错原因是端口被占用，Exception in thread "Shutdown" java.lang.NoClassDefFoundError: org/apache/jasper/runtime/JspApplicationContextImplException in thread "Shutdown" java.lang.NoClassDefFoundError: org/apache/jasper/runtime/JspApplicationContextImpl1仔细查看控制台日志发现[INFO] Stopped SelectChannelConnector@0.0.0.0:8080，说明应该是8080被占用了，OK，我习惯使用TCPView直接干掉8080口进程。然后再次Run as-Maven Build，注意因为之前已经配置过插件，所以点击后直接运行了。控制台此次输出，说明启动成功。[INFO] Started SelectChannelConnector@0.0.0.0:8080[INFO] Started Jetty Server在浏览器地址栏输入：http://127.0.0.1:8080/webdemo/hello，页面显示Hello World。大功告成。

具体过程第一步 Select a wizard打开eclipse，依次File-New-Other…，选择Maven Project第二步 New Maven project-Select project name and location默认即可，不用选中Create a simple project，因为我们要自定义一个web工程第三步 New Maven project-Select an Archetype选择maven-archetype-webapp，这个原型代表web工程的模版原型第四步 New Maven project 输入项目信息Group Id:com.pandaArtifact Id:webdemoVersion:0.0.1-SNAPSHOTPackage:com.panda.webdemo1234第五步 自动生成项目第四步填完信息后，Maven根据maven-archetype-webapp原型规则自动生成了一个maven结构的webdemo工程。生成完成后，发现报错了，错误信息：The superclass "javax.servlet.http.HttpServlet" was not found on the Java Build Path index.jsp /webdemo/src/main/webapp line 1 JSP Problem1应该是没有服务器运行时(server runtime)导致，所以先配上tomcat服务器。第六步 配置Tomcat之前讲述了JDK、Maven、Eclipse的配置，此处又用到了Tomcat。先下载Tomcat8，Tomcat8下载地址，注意下载64-bit Windows zip即可，下载后解压到:D:\\Tool\\apache-tomcat-8.5.32。然后在Eclipse中Window-Preferences-Server-Runtime Environments-Add…，选择Tomcat v8.5，然后点Browse…选择D:\\Tool\\apache-tomcat-8.5.32,JRE选择之前配置的JDK1.8。第七步 配置服务器运行时右击项目webdemo-Build path-Configure build Path-Libraries选项卡-Add Library-Server Runtime-Next-Tomcat v8.5-Finish-Apply and Close。此时错误消失，第八步 分析maven web工程目录结构打开Java Resources/Libraries，发现三个引用库：Apache Tomcat v8.5:这个里面有servlet-api，表示servlet相关的web工程库包。JRE System Library:这个是最基本的JDK库Maven Dependencies:这个是由maven配置文件pom.xml制定的maven管理的依赖库包。至此，maven web工程创建结束。

1. 背景一直不是很清楚tomcat能力大约是个什么水平，到底算不算web服务器中的高手，今天决定试试这家伙的深浅。恰好了解到apache自带的ab(apache benchmark)工具可以进行简单的压力测试，所以就用它来试试。2. 流程先配置tomcat8.5，然后随便扔一个静态网页到tomcat上运行。然后下载ab。然后使用ab进行初步压力测试。最后使用ab对网易和本机tomcat对比测试。3. 下载并配置tomcat8.53.1 安装并配置jdktomcat运行需要先安装JDK，下载JDK1.8下载链接，然后配置环境变量：新增JAVA_HOME，值为D:\Tool\JDK1.8找到CLASSPATH，最前方添加.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;找到PATH，在后面追加;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;3.2 下载并配置tomcat地址：tomcat8.5下载链接，下载后解压到：D:\Tool\apache-tomcat-8.5.341双击D:\Tool\apache-tomcat-8.5.34\bin\startup.bat运行tomcat服务，然后打开浏览输入下面的地址验证tomcat服务器运行成功。http://localhost:8080/13.3 编写测试网页编写一个简单的测试网页hello.html，内容如下：<html><head></head><body>hello</body></html>放在D:\Tool\apache-tomcat-8.5.34\webapps\ROOT\hello.html1然后在浏览器输入地址http://localhost:8080/hello.html,该地址在网页上显示hello字符串，我们以此地址作为本机tomcat服务器负载能力测试地址。4. 下载abab是apache附带的一个小工具，直接下载apache即可，地址：apache下载地址,注意64位系统选择x64下载下载，点击右侧的德国国旗图标即可开始下载。下载后解压至：D:\Tool\Apache241我们在bin目录下找到ab.exeD:\Tool\Apache24\bin\ab.exe，就是这个小家伙，作为今天的主角——性能测试工具。5. 执行一次简单的压力测试打开命令行，使用cd命令切换到bin目录下，然后输入ab -V查看ab工具版本：C:\Users\Administrator>D:D:\>cd D:\Tool\Apache24\binD:\Tool\Apache24\bin>ab -VThis is ApacheBench, Version 2.3 <$Revision: 1826891 $>Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/Licensed to The Apache Software Foundation, http://www.apache.org/输入ab -n 10 -c 10 http://localhost:8080/hello.html进行测试，其中-n后面表示请求次数，-c后面表示并发数：(注意#符号后面内容是我加的注释)D:\Tool\Apache24\bin>ab -n 10 -c 10 http://localhost:8080/hello.html This is ApacheBench, Version 2.3 <$Revision: 1826891 $> Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ Licensed to The Apache Software Foundation, http://www.apache.org/ #基准测试(请耐心点...)完毕,话说外国佬程序员都挺幽默 Benchmarking localhost (be patient).....done Server Software: #服务器名称 Server Hostname: localhost #服务器端口 Server Port: 8080 #文档路径 Document Path: /hello.html #文档大小 Document Length: 56 bytes #并发数 Concurrency Level: 10 #测试消耗的时间 Time taken for tests: 0.007 seconds #测试次数 Complete requests: 10 #失败的请求数 Failed requests: 0 #传输的总数据量 Total transferred: 2700 bytes #html文档的总数据量 HTML transferred: 560 bytes #平均每秒的请求数 Requests per second: 1424.50 [#/sec] (mean) #10个并发请求一次的平均时间 Time per request: 7.020 [ms] (mean) #1个并发请求一次的平均时间 Time per request: 0.702 [ms] (mean, across all concurrent requests) #传输速率 Transfer rate: 375.60 [Kbytes/sec] received Connection Times (ms) min mean[+/-sd] median max Connect: 0 0 0.2 0 0 Processing: 2 3 0.6 4 4 Waiting: 2 3 0.6 3 4 Total: 2 3 0.6 4 4 WARNING: The median and mean for the processing time are not within a normal deviation These results are probably not that reliable. WARNING: The median and mean for the total time are not within a normal deviation These results are probably not that reliable. #各时间范围完成请求数 Percentage of the requests served within a certain time (ms) 50% 4 66% 4 75% 4 80% 4 90% 4 95% 4 98% 4 99% 4 100% 4 (longest request) 刚刚的请求10个请求10个并发对服务器来说压力太小了，我们来是个比较厉害的压力：D:\Tool\Apache24\bin>ab -n 1000 -c 1000 http://localhost:8080/hello.html This is ApacheBench, Version 2.3 <$Revision: 1826891 $> Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ Licensed to The Apache Software Foundation, http://www.apache.org/ #同样的废话我们就不再翻译了，不过外国佬依然很幽默 Benchmarking localhost (be patient) Completed 100 requests Completed 200 requests Completed 300 requests Completed 400 requests Completed 500 requests Completed 600 requests Completed 700 requests Completed 800 requests Completed 900 requests Completed 1000 requests Finished 1000 requests Server Software: Server Hostname: localhost Server Port: 8080 Document Path: /hello.html Document Length: 56 bytes Concurrency Level: 1000 #花费的时间并不算多，说明tomcat蛮牛X的 Time taken for tests: 1.646 seconds #全部请求都成功了，鲜花和掌声！ Complete requests: 1000 Failed requests: 0 Total transferred: 270000 bytes HTML transferred: 56000 bytes #每秒600多个请求处理 Requests per second: 607.71 [#/sec] (mean) Time per request: 1645.516 [ms] (mean) Time per request: 1.646 [ms] (mean, across all concurrent requests) Transfer rate: 160.24 [Kbytes/sec] received Connection Times (ms) min mean[+/-sd] median max Connect: 0 2 27.4 0 501 Processing: 56 672 550.2 586 1604 Waiting: 2 648 550.0 556 1593 Total: 56 673 550.6 586 1604 Percentage of the requests served within a certain time (ms) 50% 586#0.586秒时处理了50%的请求 66% 1096 75% 1098 80% 1100 90% 1600 95% 1601 98% 1603 99% 1603 100% 1604 (longest request)#1.604秒时处理了50%的请求 6. 与网易对比测试分别对本地网页http://localhost:8080/hello.html和网易的一个静态网页http://tech.163.com/18/0922/15/DSAOGIPR00097U7R.html10个请求并发10次访问：为了公平起见，我们将本地网页的数据量弄得跟网易测试网页差不多大：本地网页测试如下：D:\Tool\Apache24\bin>ab -n 10 -c 10 http://localhost:8080/hello.html This is ApacheBench, Version 2.3 <$Revision: 1826891 $> Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ Licensed to The Apache Software Foundation, http://www.apache.org/ Benchmarking localhost (be patient).....done Server Software: Server Hostname: localhost Server Port: 8080 Document Path: /hello.html Document Length: 168908 bytes Concurrency Level: 10 Time taken for tests: 0.006 seconds Complete requests: 10 Failed requests: 0 Total transferred: 1691300 bytes HTML transferred: 1689080 bytes Requests per second: 1661.96 [#/sec] (mean) Time per request: 6.017 [ms] (mean) Time per request: 0.602 [ms] (mean, across all concurrent requests) Transfer rate: 274498.95 [Kbytes/sec] received Connection Times (ms) min mean[+/-sd] median max Connect: 0 0 0.3 0 1 Processing: 3 3 0.6 3 5 Waiting: 1 1 0.3 2 2 Total: 3 3 0.5 3 5 ERROR: The median and mean for the waiting time are more than twice the standard deviation apart. These results are NOT reliable. Percentage of the requests served within a certain time (ms) 50% 3 66% 4 75% 4 80% 4 90% 5 95% 5 98% 5 99% 5 100% 5 (longest request) 网易网页测试如下，在注释中添加些信息： D:\Tool\Apache24\bin>ab -n 10 -c 10 http://tech.163.com/18/0922/15/DSAOGIPR00097U7R.html This is ApacheBench, Version 2.3 <$Revision: 1826891 $> Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ Licensed to The Apache Software Foundation, http://www.apache.org/ ​ Benchmarking tech.163.com (be patient).....done ​ #服务器nginx Server Software: nginx Server Hostname: tech.163.com Server Port: 80 ​ Document Path: /18/0922/15/DSAOGIPR00097U7R.html Document Length: 159350 bytes ​ Concurrency Level: 10 #耗时远远比本地网页大，应该是有网络原因 Time taken for tests: 0.323 seconds Complete requests: 10 Failed requests: 0 Total transferred: 1596970 bytes HTML transferred: 1593500 bytes Requests per second: 31.00 [#/sec] (mean) Time per request: 322.622 [ms] (mean) Time per request: 32.262 [ms] (mean, across all concurrent requests) Transfer rate: 4833.96 [Kbytes/sec] received ​ Connection Times (ms) min mean[+/-sd] median max Connect: 7 19 12.2 12 39 Processing: 129 169 27.4 166 222 Waiting: 8 100 57.4 126 170 Total: 166 188 23.8 182 229 ​ Percentage of the requests served within a certain time (ms) #刚开始50%比较慢，后面50%速度变快，说明重复请求时缓存起作用了 50% 182 66% 186 75% 197 80% 229 90% 229 95% 229 98% 229 99% 229 100% 229 (longest request)

Apache Flink 概述Apache Flink（以下简称Flink）是诞生于欧洲的一个大数据研究项目，原名StratoSphere。该项目是柏林工业大学的一个研究性项目，早期专注于批计算。2014年，StratoSphere项目中的核心成员孵化出Flink，并在同年将Flink捐赠Apache，后来Flink顺利成为Apache的顶级大数据项目。同时Flink计算的主流方向被定位为流计算，即用流式计算来做所有大数据的计算工作，这就是Flink技术诞生的背景。2014年Flink作为主攻流计算的大数据引擎开始在开源大数据行业内崭露头角。区别于Storm、Spark Streaming以及其他流式计算引擎的是：它不仅是一个高吞吐、低延迟的计算引擎，同时还提供很多高级功能。比如它提供有状态的计算，支持状态管理，支持强一致性的数据语义以及支持Event Time,WaterMark对消息乱序的处理等。Flink的受欢迎还离不开它身上的众多标签，其中包括性能优秀（尤其在流计算领域）、高可扩展性、支持容错，是一种纯内存式的一个计算引擎，做了内存管理方面的大量优化，另外也支持eventime的处理、支持超大状态的Job（在阿里巴巴中作业的state大小超过TB的是非常常见的）、支持exactly-once的处理。阿里巴巴与Flink随着人工智能时代的降临，数据量的爆发，在典型的大数据的业务场景下数据业务最通用的做法是：选用批处理的技术处理全量数据，采用流式计算处理实时增量数据。在绝大多数的业务场景之下，用户的业务逻辑在批处理和流处理之中往往是相同的。但是，用户用于批处理和流处理的两套计算引擎是不同的。因此，用户通常需要写两套代码。毫无疑问，这带来了一些额外的负担和成本。阿里巴巴的商品数据处理就经常需要面对增量和全量两套不同的业务流程问题，所以阿里巴巴就在想：能不能有一套统一的大数据引擎技术，用户只需要根据自己的业务逻辑开发一套代码。这样在各种不同的场景下，不管是全量数据还是增量数据，亦或者实时处理，一套方案即可全部支持，这就是阿里巴巴选择Flink的背景和初衷。基于Flink在阿里巴巴搭建的平台于2016年正式上线，并从阿里巴巴的搜索和推荐这两大场景开始实现。目前阿里巴巴所有的业务，包括阿里巴巴所有子公司都采用了基于Flink搭建的实时计算平台。同时Flink计算平台运行在开源的Hadoop集群之上。采用Hadoop的YARN做为资源管理调度，以 HDFS作为数据存储。因此，Flink可以和开源大数据软件Hadoop无缝对接。目前，这套基于Flink搭建的实时计算平台不仅服务于阿里巴巴集团内部，而且通过阿里云的云产品API向整个开发者生态提供基于Flink的云产品支持。彼时的Flink不管是规模还是稳定性尚未经历实践，成熟度有待商榷。阿里巴巴实时计算团队决定在阿里内部建立一个Flink分支Blink，并对Flink进行大量的修改和完善，让其适应阿里巴巴这种超大规模的业务场景。在这个过程当中，该团队不仅对Flink在性能和稳定性上做出了很多改进和优化，同时在核心架构和功能上也进行了大量创新和改进，并将逐渐推回给社区，例如：Flink新的分布式架构，增量Checkpoint机制,基于Credit-based的网络流控机制和Streaming SQL等。接下来，我们主要从两个层面深度剖析阿里巴巴对Flink究竟做了哪些优化？取之开源，用之开源一、 SQL层为了能够真正做到用户根据自己的业务逻辑开发一套代码，能够同时运行在多种不同的场景，Flink首先需要给用户提供一个统一的API。在经过一番调研之后，阿里巴巴实时计算认为SQL是一个非常适合的选择。在批处理领域，SQL已经经历了几十年的考验，是公认的经典。在流计算领域，近年来也不断有流表二象性、流是表的ChangeLog等理论出现。在这些理论基础之上，阿里巴巴提出了动态表的概念，使得流计算也可以像批处理一样使用SQL来描述，并且逻辑等价。这样一来，用户就可以使用SQL来描述自己的业务逻辑，相同的查询语句在执行时可以是一个批处理任务，也可以是一个高吞吐低延迟的流计算任务，甚至是先使用批处理技术进行历史数据的计算，然后自动的转成流计算任务处理最新的实时数据。在这种声明式的API之下，引擎有了更多的选择和优化空间。接下来，我们将介绍其中几个比较重要的优化。首先是对SQL层的技术架构进行升级和替换。调研过Flink或者使用过Flink的开发者应该知道，Flink有两套基础的API，一套是DataStream，另一套是DataSet。DataStream API是针对流式处理的用户提供，DataSet API是针对批处理用户提供，但是这两套API的执行路径是完全不一样的，甚至需要生成不同的Task去执行。Flink原生的SQL层在经过一系列优化之后，会根据用户希望是批处理还是流处理的不同选择，去调用DataSet或者是DataStream API。这就会造成用户在日常开发和优化中，经常要面临两套几乎完全独立的技术栈，很多事情可能需要重复的去做两遍。这样也会导致在一边的技术栈上做的优化，另外一边就享受不到。因此阿里巴巴在SQL层提出了全新的Quyer Processor，它主要包括一个流和批可以尽量做到复用的优化层（Query Optimizer）以及基于相同接口的算子层（Query Executor）。这样一来， 80%以上的工作可以做到两边复用，比如一些公共的优化规则，基础数据结构等等。同时，流和批也会各自保留自己一些独特的优化和算子，以满足不同的作业行为。在SQL层的技术架构统一之后，阿里巴巴开始寻求一种更高效的基础数据结构，以便让Blink在SQL层的执行更加高效。在原生Flink SQL中，都统一使用了一种叫Row的数据结构，它完全由JAVA的一些对象构成关系数据库中的一行。假如现在的一行数据由一个整型，一个浮点型以及一个字符串组成，那么Row当中就会包含一个JAVA的Integer、Double和String。众所周知，这些JAVA的对象在堆内有不少的额外开销，同时在访问这些数据的过程中也会引入不必要的装箱拆箱操作。基于这些问题，阿里巴巴提出了一种全新的数据结构BinaryRow，它和原来的Row一样也是表示一个关系数据中的一行，但与之不同的是，它完全使用二进制数据来存储这些数据。在上述例子中，三个不同类型的字段统一由JAVA的byte[]来表示。这会带来诸多好处：首先在存储空间上，去掉了很多无谓的额外消耗，使得对象的存储更为紧凑；其次在和网络或者状态存储打交道的时候，也可以省略掉很多不必要的序列化反序列化开销；最后在去掉各种不必要的装箱拆箱操作之后，整个执行代码对GC也更加友好。通过引入这样一个高效的基础数据结构，整个SQL层的执行效率得到了一倍以上的提升。在算子的实现层面，阿里巴巴引入了更广范围的代码生成技术。得益于技术架构和基础数据结构的统一，很多代码生成技术得以达到更广范围的复用。同时由于SQL的强类型保证，用户可以预先知道算子需要处理的数据的类型，从而可以生成更有针对性更高效的执行代码。在原生Flink SQL中，只有类似a > 2或者c + d这样的简单表达式才会应用代码生成技术，在阿里巴巴优化之后，有一些算子会进行整体的代码生成，比如排序、聚合等。这使得用户可以更加灵活的去控制算子的逻辑，也可以直接将最终运行代码嵌入到类当中，去掉了昂贵的函数调用开销。一些应用代码生成技术的基础数据结构和算法，比如排序算法，基于二进制数据的HashMap等，也可以在流和批的算子之间进行共享和复用，让用户真正享受到了技术和架构的统一带来的好处。在针对批处理的某些场景进行数据结构或者算法的优化之后，流计算的性能也能够得到提升。接下来，我们聊聊阿里巴巴在Runtime层对Flink又大刀阔斧地进行了哪些改进。二、 Runtime层为了让Flink在Alibaba的大规模生产环境中生根发芽，实时计算团队如期遇到了各种挑战，首当其冲的就是如何让Flink与其他集群管理系统进行整合。Flink原生集群管理模式尚未完善，也无法原生地使用其他其他相对成熟的集群管理系统。基于此，一系列棘手的问题接连浮现：多租户之间资源如何协调？如何动态的申请和释放资源？如何指定不同资源类型？为了解决这个问题，实时计算团队经历大量的调研与分析，最终选择的方案是改造Flink资源调度系统，让Flink可以原生地跑在Yarn集群之上；并且重构Master架构，让一个Job对应一个Master，从此Master不再是集群瓶颈。以此为契机，阿里巴巴和社区联手推出了全新的Flip-6架构，让Flink资源管理变成可插拔的架构，为Flink的可持续发展打下了坚实的基础。如今Flink可以无缝运行在YARN、Mesos和K8s之上，正是这个架构重要性的有力说明。解决了Flink集群大规模部署问题后，接下来的就是可靠和稳定性，为了保证Flink在生产环境中的高可用，阿里巴巴着重改善了Flink的FailOver机制。首先是Master的FailOver，Flink原生的Master FailOver会重启所有的Job，改善后Master任何FailOver都不会影响Job的正常运行；其次引入了Region-based的Task FailOver，尽量减少任何Task的FailOver对用户造成的影响。有了这些改进的保驾护航，阿里巴巴的大量业务方开始把实时计算迁移到Flink上运行。Stateful Streaming是Flink的最大亮点，基于Chandy-Lamport算法的Checkpoint机制让Flink具备Exactly Once一致性的计算能力，但在早期Flink版本中Checkpoint的性能在大规模数据量下存在一定瓶颈，阿里巴巴也在Checkpoint上进行了大量改进，比如：增量Checkpoint机制：阿里巴巴生产环境中遇到大JOB有几十TBState是常事，做一次全量CP地动山摇，成本很高，因此阿里巴巴研发了增量Checkpoint机制，从此之后CP从暴风骤雨变成了细水长流；Checkpoint小文件合并：都是规模惹的祸，随着整个集群Flink JOB越来越多，CP文件数也水涨船高，最后压的HDFS NameNode不堪重负，阿里巴巴通过把若干CP小文件合并成一个大文件的组织方式，最终把NameNode的压力减少了几十倍。虽然说所有的数据可以放在State中，但由于一些历史的原因，用户依然有一些数据需要存放在像HBase等一些外部KV存储中，用户在Flink Job需要访问这些外部的数据，但是由于Flink一直都是单线程处理模型，导致访问外部数据的延迟成为整个系统的瓶颈，显然异步访问是解决这个问题的直接手段，但是让用户在UDF中写多线程同时还要保证ExactlyOnce语义，却并非易事。阿里巴巴在Flink中提出了AsyncOperator，让用户在Flink JOB中写异步调用和写“Hello Word”一样简单 ，这个让Flink Job的吞吐有了很大的飞跃。Flink在设计上是一套批流统一的计算引擎，在使用过快如闪电的流计算之后，批用户也开始有兴趣入住Flink小区。但批计算也带来了新的挑战，首先在任务调度方面，阿里巴巴引入了更加灵活的调度机制，能够根据任务之间的依赖关系进行更加高效的调度；其次就是数据Shuffle，Flink原生的Shuffle Service和TM绑定，任务执行完之后要依旧保持TM无法释放资源；还有就是原有的Batch shuffle没有对文件进行合并，所以基本无法在生产中使用。阿里巴巴开发了Yarn Shuffle Service功能的同时解决了以上两个问题。在开发Yarn Shuffle Service的时候，阿里巴巴发现开发一套新的Shuffle Service非常不便，需要侵入Flink代码的很多地方，为了让其他开发者方便的扩展不同Shuffle，阿里巴巴同时改造了Flink Shuffle架构，让Flink的Shuffle变成可插拔的架构。目前阿里巴巴的搜索业务已经在使用Flink Batch Job，并且已经开始服务于生产。经过3年多打磨，Blink已经在阿里巴巴开始茁壮生长，但是对Runtime的优化和改进是永无止境的，一大波改进和优化正在路上。Flink的未来方向目前Flink已经是一个主流的流计算引擎，社区下一步很重要的工作是让Flink在批计算上有所突破，在更多的场景下落地，成为一种主流的批计算引擎。然后进一步在流和批之间进行无缝的切换，流和批的界限越来越模糊。用Flink,在一个计算中，既可以有流计算，又可以有批计算。接下来阿里巴巴将致力于推动Flink在生态上得到更多语言的支持，不仅仅是Java、Scala语言，甚至是机器学习下用的Python、Go语言。另一点不得不说AI，因为现在很多大数据计算的需求和数据量都是在支持很火爆的AI场景，所以Flink在流批生态完善的基础上，将继续完善上层的Machine Learning算法库，同时Flink也会向更成熟的机器学习、深度学习去集成。比如可以做Tensorflow On Flink, 让大数据的ETL数据处理和机器学习的Feature计算和特征计算，训练的计算等进行集成，让开发者能够同时享受到多种生态给大家带来的好处。最后，从生态、社区的活跃来说，阿里巴巴目前在推进的一件事情是筹备2018年12月20日-21日在国家会议中心举办的首届Flink Forward China峰会（千人规模），参与者将有机会了解阿里巴巴、腾讯、华为、滴滴、美团、字节跳动等公司为何将Flink作为首选的流处理引擎。

　　　　前面讲解了Servlet，了解了Servlet的继承结构，生命周期等，并且在其中的ServletConfig和ServletContext对象有了一些比较详细的了解，但是我们会发现在Servlet中编写一些HTML代码，是很不方便的一件事情，每次都需要out.println(HTML); 因此就出现了JSP，来解决这样的问题，JSP中的内容就是html，但是能够嵌套java语言，现在来详细了解一下JSP。　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　--WZY一、JSP　　　　1、什么是JSP？　　　　　　　JSP(Java Server Pages):是以Java语言为基础的动态网页开发技术，　　　　　　　特点：　　　　　　　　　　Servlet特点：在Java源码中嵌入html源码　　　　　　　　　　JSP特点：在html源码中嵌入java代码　　　　　　　JSP就是Servlet　　　　　　　　　　1、tomcat获得JSP文件后，先将JSP转成servlet，变成xxx.java(servlet源码)，　　　　　　　　　　　　D:\java\tomcat7.0\apache-tomcat-7.0.53\apache-tomcat-7.0.53\work\Catalina\localhost\test01\org\apache\jsp　　　　　　　　　　|------------------------------------------------------------------------|　　　|---------|----------|-------|-----------------|　　　　　　　　　　　　　　　　tomcat安装目录　　　　　　　　　　　　　　　　　　　　　　　　引擎　　　主机　　项目　　　固定包名　　这个之下就是存放着jsp变成的servlet文件.java和编译文件.class　　　　　　　　　　　2、tomcat将java文件编译成class文件　　　　　　　　　　　　　　　　　　　　　　　3、tomcat运行class文件，并将结果输出到浏览器，　　　　　　　实例:　　　　　　　　　　创建一个jsp。查看其转换后的servlet代码。　　　　　　　　　　NewFile.jsp　　　　　　　　　　View Code　　　　　　　　　　NewFile_jsp.java　　　　　　　　　　View Code　　　　　　　　　　　　可以看到public final class NewFile_jsp extends org.apache.jasper.runtime.HttpJspBase implements org.apache.jasper.runtime.JspSourceDependent　　　　　　　　　　　　NewFile_jsp.java继承自HttpJspBase。来看看HttpJspBase的源码　　　　　　　　　　HttpJspBase.java　　　　　　　　　View Code　　　　　　　　　　public abstract class HttpJspBase extends HttpServlet implements HttpJspPage　　　　　　　　　　　　看到了一个熟悉的类，HttpServlet，我们编写Servlet时就是继承自该类，这里也是继承HttpServlet，并且HttpJspBase的源码会发现，生命周期也是有init()方法，service()方法，destory()方法，相当于_jspService()方法就是servlet的service()方法的执行，所以说JSP也是一个servlet。　　　　　　　　　　　　　　　　　　我们在JSP写的所有html代码，都会被转换为servlet中的out.write(html)代码来输出。看图　　　　　　　　　　　　　　　　　　　　　小总结：　　　　　　　　　　　　　　　　　　　　　　　　　对于jsp转换成的servlet源码，之后我们会在进行详细分析，现在只需要知道jsp中的内容在servlet中被转换成什么了，在哪里被转换了即可。其中_jspService()方法的详细内容下面会讲解　　　　　　　　　　　注意：jsp 生成java源码，默认第一次生成，之后直接执行，除非内容修改，具体点说，由于JSP只会在客户端第一次请求的时候被编译，因此第一次请求JSP时会感觉比较慢，而之后的请求因为不会编译JSP，所以速度就快多了，如果将Tomcat保存的JSP编译后的class文件删除，Tomcat也会重新编译JSP。在开发Web程序的时候经常需要修改JSP,Tomcat能够自动检测到JSP程序的改动，如果检测到JSP源代码发生了改动，Tomcat会在下次客户端请求JSP时重新编译JSP,而不需要重启Tomcat，这种自动检测功能默认是开启的，检测改动会消耗少量的时间，在部署web应用程序的时候可以在web.xml中将它关掉。这也就是为什么我们能够在jsp页面直接修改内容，而不用重新启动服务器的原因。　　　　　　　　　　　因为JSP就是servlet，那么生命周期也就是跟serlvet一样。　　　　　　　　　　　JSP和servlet有一点区别就在于：jsp是先部署后编译，而servlet是先编译后部署。二、JSP语法　　　　JSP模版数据：　　　　　　　　就是JSP中的HTML代码，它的内容给是固定的，无论程序如何运行模版数据输出到客户端浏览器时都不会发生改变，当我们创建一个JSP时，模版就已经固定了。　　　　 元素：JSP中的java部分，包括脚本(JavaScript，或者java代码)以及JSP指令(Directive)与JSP标签(Tag)等，元素决定着程序的流程，元素是不会显示到浏览器的。这几个都会在接下来讲解到　　　　 JSP脚本：　　　　　　　　1、使用<% 编写java代码 %>，中间java代码必须遵循Java语法，　　　　　　　　　　　　　　　　　　　　　　　为什么能够使用out输出？这里就涉及到了JSP的九大内置对象了，后面会讲解到，到时候回过头来在看看这里，就会知道为什么可以使用。　　　　　　　　　　　来看看，jsp变为servlet时的代码是如何编写的。　　　　　　　　　　　　　　　　　　　　　　在JSP中JSP指令(后面会讲)：　　　　　　　　　　　　　　　　<%@ page language="java" contentType="text/html; charset=UTF-8" pageEncoding="UTF-8"%>　　　　　　　　　　　　　　　　　　这句代码在servlet就变为了　　　　　　　　　　　　　　　　response.setContentType("text/html; charset=UTF-8");//这句代码的意思就是通知tomcat和浏览器都使用UTF-8码表，并且发送回浏览器的数据类型是text/html。这是有JSP指令中画红色部分代码转变的，而指令中的pageEncoding="UTF-8"的意思是JSP转换为Servlet时采用UTF-8码表编码，因为可能JSP中包含中文。　　　　　　　　　　对于JSP模版数据来说，就原封不动的使用out.write()来输出到浏览器　　　　　　　　　　而对于JSP元素来说，就会变成普通的java代码，因为在servlet中，就可以直接编写java代码。　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　2、使用<%=xxx %>来输出结果　　　　　　　　　　　　　　　　　　　　　　使用<%=result %>来输出结果，servlet中就会将其转换为out.print(result)进行输出。输出各种类型数据：int、double、boolean、String、Object等　　　　　　　　　　　　　　　　　　　　　3、JSP注释　　　　　　　　　　<%-- --%>　　：jsp注释，　　　　　　　　　　//　　：java单行注释　　　　　　　　　　/ /　　：Java多行注释　　　　　　　　　　 　　:这个注释，会发送到浏览器端的源码中显示　　　　　　　　　　注释分别在servlet中如何显示的？　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　JSP注释不会在servlet文件中显示，而java注释则会，但其所有的注释到了浏览器端，都不会出现在源码中，只有这个注释会到浏览器的网页源码中去　　　　　　4、JSP中申明方法与属性(全局变量)　　使用<%! 方法、属性%>　　　　　　　　　　这个就不演示了，就是在JSP中编写方法或者属性时，使用<%! %>括起来。　　　　　　　　　　　　　　　　　　　 5、在JSP中使用if语句，或者使用for循环，whilt循环等都可以实现，也就是编写脚本而已。　　　　　三、JSP指令　　　　指令用来申明JSP页面的一些属性，比如编码方式，文档类型。我们在servlet中也会申明我们使用的编码方式和响应的文档类型的，而JSP就是用指令来申明。上面我们也说到了一条指令，也就是page指令，　　　　　　　　JSP指令格式：<%@ directive {attribute=value}* %>　　　　　　　　　　　解释：　　　　　　　　　　　　　　directive：指令名称，例如page指令　　　　　　　　　　　　　　attribute=value：紧跟指令名称后面的就是各种属性，以键值对的形式书写　　　　　　　　　　　　　　*：代表后面能跟0个或多个属性。　　　　　　　　例如： page指令：用来声明JSP页面的属性等。　　　　　　　　　　　<%@ page language="java" contentType="text/html; charset=UTF-8" pageEncoding="UTF-8"%>　　page指令，后面跟着三个属性，分别是language、contentType、pageEncoding。这只是其中的几个属性，并没有写全，page指令允许的属性如下表所示　　　　　　　　属性名称　　　　　　　　取值范围　　　　　　　　　　描述　　　　　　　　language　　　　　　　　java　　　　　　解释该JSP文件时采用的语言，一般为java语言，默认为java　　　　　　　　extends　　　　　　　　任何类的全名　　　编译该JSP文件时继承哪个类，JSP为Servlet，因此当指明继承普通类时需要实现Servlet的init、destroy等方法　　　　　　　　import　　　　　　　　　任何包名、类名　　引入该JSP中用到的类、包等，import是唯一可以声明多次的page指令属性，一个import可以引用uogelei，中间用英文逗号隔开，　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　如<%@ page import="java.util.List,java.util.ArrayList"%>　　　　　　　　session　　　　　　　　true、false　　　　该JSP内是否内置Session对象，如果为true，则内置Session对象，可直接使用，否则反之，默认为true　　　　　　　　autoFlush　　　　　　　true，false　　　　是否运行缓存，如果为true，则使用out.println()等方法输出的字符串并不是立刻到达客户端服务器的，而是暂时存到缓存里，缓存满　　　　　　　　　　　　　　　　　　　　　　　　　　　　　了或者程序执行完毕或者执行out.flush()操作时才到客户端，默认为true。　　　　　　　　buffer　　　　　　　　none或者数字KB　　　指定缓存大小，当autoFlush设为true时有效，例如<%@ page buffer=10kb%>　　　　　　　　isThreadSafe　　　　　　true，false　　　　是否线程安全，如果为true，则运行多个线程同时运行该jsp程序，否则只运行一个线程，其余线程等待，默认为false　　　　　　　　isErrorPage　　　　　　true，false　　　　　指定该页面是否为错误显示页面，如果为true，则该JSP内置有一个Exception对象exception，可直接使用，否则没有，默认为false　　　　　　　　errorPage　　　　　某个JSP页面的相对路径　　指明一个错误页面，如果该JSP程序抛出一个未捕捉的异常，则转到errorPage指定的页面，errorPage指定的页面通常　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　isErrorPage属性为true，且内置的exception对象为未捕捉的异常　　　　　　　　contentType　　　　　有效的文档类型　　　　客户端浏览器根据该属性判断文档类型，例如 HTML格式为text/html、纯文本格式为text/plain、JPG图像为image/jpeg、GIF图　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　像为image/gif、WORD文档为application/msword，该属性常跟着charset设置编码一起，作用是通知服务器和浏览器都使用同一　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　个码表　　　　　　　　info　　　　　　　　　　任意字符串　　　　　　指明JSP的信息，该信息可以通过Servlet.getServletInfo()方法获取到　　　　trimDirective Whitespaces　　　　true、false　　　　　是否去掉指令前后的空白字符，默认为false　　　　　　　　pageEncoding　　　　UTF-8,ISO-8859-1等　　　　指定一张码表来对该JSP页面进行编码，　　　　　　　　　　　　　　include指令　　　　　　　　　　比较简单，只有一种形式 <%@ include file="relativeURL"%>　　relativeURL：本应用程序内另一个JSP文件或者HTML文件的路径，例如，网址内所有页面均有一个统一风格的导航栏和页脚版权，那么就可以使用该指令将其包含进来，　　　　　　　　　　　　特点：include指令会将包含页面的源代码添加到使用include指令的页面中来，然后编译成class文件，而等下会讲到的一个JSP行为，<jsp:include page="relativeURL">作用跟include指令一样，但是不同的是，include行为是运行时单独执行包含页面，然后把执行的结果包含到本页面来，属于先运行后包含。　　　　　　taglib指令　　　　　　　　　　JSP支持标签技术，后面会讲到标签的用法，jstl标签库的使用等，　　　　　　　　　　作用：用来指明JSP页面内使用的JSP标签库，taglib指令有两个属性，uri为类库的地址，prefix为标签的前缀　　　　　　　　　　<%@ taglib uri="http://java.sun.com/jsp/jstl/core" prefix="c"%>　　　　　　四、JSP行为　　　　前面讲了JSP语法，介绍了JSP页面中的内容有哪些，分别有什么作用，就两个东西，模块数据和元素。其中元素有包括脚本，指令，标签，脚本就是JSP中嵌入java代码，指令作用就是申明页面的属性，那标签是干嘛的，标签分为JSP自带内置的标签，和通过taglib指令来使用JSP标签库，或者自定义标签。现在我们先来讲一些JSP内置的标签。　　　　 JSP内置的标签就被称为JSP行为(JSP Actions)。只要书写很少的标记代码就能使用JSP提供的丰富功能，JSP行为其实是对常用的JSP功能的抽象与封装，可以取代jsp脚本，让JSP中就少一些嵌入java代码的地方。　　　　　　格式：<jsp:elements ｛attribute="value"｝* />　　　　　　　　　　　　jsp：标签的前缀，说明是jsp内置的标签，　　　　　　　　　　elements：行为的名称，　　　　　　　　　　attribute=value：使用键值对来编写属性　　　　　　　　　　*：能指定0个或多个属性对　　　　<jsp:include />行为　　　　　　　include行为用于运行时包含某个文件，如果被包含的文件为JSP程序，则先会执行JSP程序，然后在把执行的结果包含进来。　作用是跟include指令一样的，唯一的区别就在于，include指令是将被包含的文件的源码加入到了本JSP程序中，然后在进行编译，属于静态包含，而include行为只是将被包含的文件的运行结果包含进自己。属于动态包含　　　　　　　　　　　　　　Java bean行为　　　　　　　是一组与Java Bean 相关的行为，包括useBean行为、setProperty行为、getProperty行为等　　　　　　　Java Bean就是普通的Java类，也被称为POJO，只有私有的属性与对应的getter方法和setter方法，注意其中当私有的属性为boolean类型时，习惯上一般把getter方法写成isXxx();而不是getXxx();　　　　　　　useBean行为　　　　　　　　　　　　<jsp:useBean id="beanObject" class="className" scope="Value">　　作用：在jsp中定义一个java bean对象， 　　　　　　　　　　　　　　　id：指明Java Bean对象的名称，JSP中可以使用该名称引用该Java Bean对象，相当于给new出来的对象取一个变量名，　　　　　　　　　　　　　class：Java Bean类的全名　　　　　　　　　　　　　scope：该java bean对象的作用范围，可以写的就四个，也就是JSP的四大作用域，page、request、session、application　　　　　　　　　　　　　　　　　　page：只能在当前JSP页面使用，如果不在JSP页面，那么就会失效　　　　　　　　　　　　　　　　　　request：这个前面学过，A页面请求转发到B页面，那么使用的是同一个request，那么A,B页面都算是request的作用域，也就是通过请求转发的页面都是其作　　　　　　　　　　　　　　　　　　　　　　　用域　　　　　　　　　　　　　　　　　　session：该作用域在一个web项目下任何位置应该读访问的到，只要cookie不关闭，并且cookie设置　　的访问路径为"/"，　　　　　　　　　　　　　　　　　　application：其实就是Servlet中的servletContext，服务器下的所有项目都能访问到。　　　　　　　setProperty行为　　　　　　　　　　<jsp:setProperty name="beanName" property="propertyName" value="">　　　　　　　　　　　　对Java Bean对象进行属性的设置　　　　　　　　　　　　name：java bean对象的名称，也就是在useBean行为中的id　　　　　　　　　　　　property：对象中的属性名，　　　　　　　　　　　　value：要对其属性进行赋值的值　　　　　　　　　　　　　　　　　　　　　getProperty行为　　　　　　　　　　<jsp:getProperty name="beanName" property="propertyName" />　　　　　　　　　　　　获取JavaBean对象的某个属性值　　　　　　　　　　　　name:java bean 对象的名称，也就是在useBean行为中的id　　　　　　　　　　　　property：对象的属性名　　　　　　例子：　　javabean：User.java　　NewFile.jsp　　　　　　User.javaView Code　　　　　　NewFile.jspView Code　　　　　　可以查看NewFile.jsp变为servlet后的源代码，看看我们写的javabean行为会被转换为何种语句　　　　　　　　　　　　　　　　这里出现了一个JSP九大内置对象中的一个，pageContext。现在简单提一句，pageContext就是JSP页面的管理者(上下文)，其中的getAttribute(name，scope)方法是获取指定作用域中的数据的，如果getAttribute(name)方法的话，默认是对page作用域进行操作，findAttribute(name)依次从page、request、session、application获得内容。　　　　　　　在第一个红框中，就代表中我们的useBean行为，其中进行了一次判断，就是如果在page作用域中找不到user这个对象，那么就创建一个新的，否则就使用找到的这个user对象，　　　　　　第二个红框中，代表着我们的setProperty行为，先找到user对象，然后在对其属性进行赋值　　　　　　第三个红框中，代表着我们的getProperty行为，也是先找到user对象，然后在获取其属性的值。　　　　　　注意：对于javabean行为来说，有一个特点的地方，就是当请求过来的参数对应javabean的属性时，可以为其一次性设置所有的值　　　　　　　　　　<jsp:setProperty name="user" property="" /> //设置user的所有属性，属性值从request中自动取得，代表所有属性。　　　　　　　　　　　　<jsp:forward />行为　　　　　　实现请求转发功能，Servlet中通过request.getRequestDispatcher("someServlet").forward(request,response);而在JSP中也能够实现相同的功能，只不过用的是<jsp:forward />行为，实际上forward行为就是对其进行了封装。　　　　　　格式：　　　　　　　　<jsp:forward page="someServlet">　　　　　　　　　　　<jsp:param name="param1" value="value1"/>　　　　　　　　　　　<jsp:param name="param2" value="value2"/>　　　　　　　　</jsp:forward>　　　　　　　　page:需要跳转到的页面或者servlet、　<jsp:param/>参数行为，带一些参数过去，name、value是以键值对的形式带过去的　　　　　　例如：　　　　　　　　　NewFile.jsp　　　　　　　　　　　　　　　　　　　　　　　　MyServlet.java　　　　　　　　　　　　　　　　　　　　访问：http://localhost:8080/test01/NewFile.jsp　　　　　　　　　　　　　　　　　　　　　浏览器地址栏没有改变，说明是请求转发　　　　　　　　　NewFile_jsp.java　　　　　　　　　　　　　　　　　　　　使用return的好处是执行完上面的转发，就直接return，没有必要在执行下面的代码了，对参数使用了URLEncode进行编码，说明该<jsp:param/>可以直接传递中文，但是前提是要设置request.setCharacterEncoding("UTF-8");为什么这样做，看上面框起来中的代码。　　　　<jsp:directive/>行为　　　　　　　directive行为，就相当于JSP指令，比如<jsp:directive.page/>相当于<%@ page %>指令，等等其它指令是一样的书写格式。　　　　　　　　五、JSP隐藏的九大内置对象和四大作用域　　　　之前那么一大段内容，就是为了讲解什么是JSP，JSP中的内容是怎么样的，到这里应该知道的差不多了， 但我们还要深入了解一些东西，我们知道JSP中的内容就只有两种，模版数据，和元素，元素就包括了指令呀，脚本呀，标签(行为)呀，脚本会慢慢被标签全部代替，也就是说JSP中基本上不会嵌入Java代码，但是我们也知道JSP会转换为servlet，在Servlet中，输出数据时，都需要通过response.getWrite()；但是在JSP中，直接使用out对象进行输出，为什么呢？这就是因为out为JSP的一个隐藏对象，JSP中内置了9个隐藏对象，使得JSP比Servlet使用起来更简单，更方便，　　　　page、config、application、request、response、session、out、exception、pageContext　　　　　　page：page对象代表当前JSP页面，是当前JSP编译后的Servlet类的对象。相当于this。　　　　　　config：标识Servlet配置，类型：ServletConfig，api跟Servlet中的ServletConfig对象是一样的，能获取该servlet的一些配置信息，能够获取ServletContext　　　　　　application：标识web应用上下文，类型：ServletContext，详情就看Servlet中的ServletContext的使用　　　　　　request:请求对象，　　类型：httpServletRequest　　　　　　response:响应对象　　类型：httpServletResponse　　　　　　session：表示一次会话，在服务器端记录用户状信息的技术　　　　　　out：输出响应体 类型：JspWriter　　　　　　exception 表示发生异常对象，类型 Throwable，在上面我们介绍page指令中的一个errorPage属性时就有说到他　　　　　　pageContext：表示 jsp页面上下文（jsp管理者） 类型：PageContext　　　　　标记了红色的对象就是JSP独有的，其他的都是Servlet中的老东西。　　　　　　　　　　　　在这个由jsp转换为servlet的文件中，只能看到8个内置对象，少了exception对象，因为我们在将page指令时，说过一个isErrorPage属性，默认是false，被关闭了，所以其中并没有exception对象。　　　　　JSP的四大作用域：page、request、session、application　　　　　　 　这四大作用域，其实就是其九大内置对象中的四个，为什么说他们也是JSP的四大作用域呢？因为这四个对象都能存储数据，比如request.setAttribute()注意和request.setParameter()区分开来，一个是存储在域中的、一个是请求参数，session.setAttribute()、application其实就是SerlvetContext，自然也有setAttribute()方法。而page作用域的操作就需要依靠pageContext对象来进行了。在上面我们也有提到JSP的四大作用域，　　　　　　　　page作用域：代表变量只能在当前页面上生效　　　　　　　　request：代表变量能在一次请求中生效，一次请求可能包含一个页面，也可能包含多个页面，比如页面A请求转发到页面B　　　　　　　　session：代表变量能在一次会话中生效，基本上就是能在web项目下都有效，session的使用也跟cookie有很大的关系。一般来说，只要浏览器不关闭，cookie就会一直生效，cookie生效，session的使用就不会受到影响。　　　　　　　　application：代表变量能一个应用下(多个会话)，在服务器下的多个项目之间都能够使用。比如baidu、wenku等共享帐号。　　　　　out对象：　　　　　　　　类型：JspWriter　　　　　　　　jsp 输出底层使用 response.getWriter()；什么意思呢？这里就要讲解一下JSP缓存和Servlet缓存了，输出的过程是这样的　　　　　　　　　　　　　　　　　　　　　　　　　JSP页面转换为Servlet后，使用的out对象是JspWriter类型的，所以是会先将要发送的数据存入JSP输出缓存中，然后，等JSP输出缓存满了在自动刷新到servlet输出缓存，等serlvet输出缓存满了，或者程序结束了，就会将其输出到浏览器上。除非手动out.flush()。　　　　　　　　验证servlet输出缓存和JSP输出缓存和我们上面所说的是正确的。　　　　　　　　　　　　　　　　　　　　　　　　 　　　　　　　　　　分析：如果按没有jsp缓存和servlet缓存的话，输出的结果应该是aaaabbbbcccc，但是输出的却是bbbbaaaacccc，为什么呢？按照我们上面所说的原理进行分析，out对象是先将其输出到JSP缓存中，所以aaaa加入了jsp缓存，而response.getWriter().print("bbbb")是直接将bbbb输出到servlet缓存中，然后又使用out对象将cccc输出到jsp缓存，到程序结束，servlet缓存中有bbbb，然后jsp会将缓存中的内容就刷新到servlet缓存中，serlvet就是bbbbaaaacccc了，然后到浏览器也就得到我们的输出结果了。如果在12行将注释去掉，那么输出的结果又会是什么呢？答案就是aaaabbbbcccc，过程自行分析。　　　　　　　　　　　　　　　　　pageContext对象：重点　　　　　　　　这个功能就比较强大了，比较牛逼，基本上什么他都有，因为是它是JSP页面的管理者(上下文)，所以JSP中的内置对象呀，它统统能够获得，下面介绍它的api。　　　　　　　　1、获得其它八大内置对象 getXxx()　　　　　　　　　　pageContext.getOut();　　//获得out对象　　　　　　　　　　pageContext.getApplication();　　//获得application对象　　　　　　　　　　等等....　　　　　　　　2、对作用域的属性进行操作(四大作用域)　　　　　　　　　　对默认作用域的属性进行操作。page　　　　　　　　　　pageContext.getAttribute(name);　　//获得page作用域数据　　　　　　　　　　pageContext.setAttribute(name,value);　　//给page作用域设置内容　　　　　　　　　　pageContext.removeAttribute(name);　　//给page作用域移除内容　　　　　　　　3、对指定作用域的属性进行操作　　　　　　　　　　getAttribute(name,scope);　　//获得 指定作用域中的数据　　　　　　　　　　setAttribute(name,value);　　//给指定作用域设置内容　　　　　　　　　　removeAttribute(name ,scope) 移除指定作用域的内容（page/request/session/application）　　　　　　　　4、提供作用域常量　　　　　　　　　　PageContext.PAGE_SCOPE　　page　　　　　　　　　　PageContext.REQUEST_SCOPE　　request　　　　　　　　　　　　　　　　PageContext.SESSION_SCOPE　　response　　　　　　　　　　PageContext.APPLICATION_SCOPE　　application　　　　　　　　5、一次获得指定名称内容　　　　　　　　　　findAttribute(name);　　//依次从page、request、session、application 获得内容　　　　　response对象：　　　　　　　　就是响应对象，、如果不了解就看看讲解request和response的这一章节的内容　　　　　config对象：　　　　　　　　类型：ServletConfig　　　　　　　　能够获取servlet的初始化参数，获取servletContext对象，获取servletName　　　　　　　　api详情请看讲解servlet这一章节　　　　　exception异常对象：　　　　　　　　包含了异常的信息　　　　　　　　使用它，必须结合page指令中的isErrorPage属性和errorPage属性。　　　　　　　　exception.jsp　　抛异常的一个NullPointException，并且跳转到error.jsp错误显示页面　　errorPage属性的意思是如果发生未捕捉到的异常，将会跳转到error.jsp页面　　　　　　　　　　　　　　　　　　　　error.jsp　　isErrorPage属性说明该页面是一个错误显示页面，则可以使用exception对象　　　　　　　　　　　　　　　　　　　　访问http://localhost:8080/test01/exception.jsp　　　　　　　　　　　　六、总结　　　　通过上面一大堆一大堆的学习，我们应该知道这些东西　　　　1、什么是JSP？　　　　　　JSP本质上就是一个servlet，因为servlet输出html太麻烦了，所以就有了JSP，JSP就是专门用来书写html的，当然其中也能写java代码。　　　　2、JSP的内容包括什么？　　　　　　模版数据和元素。其中元素有包括脚本(java代码)、指令(页面属性)、和行为(标签，为了JSP中不嵌入那么多java代码衍生的)　　　　3、JSP中九大内置对象是哪九个？　　　　　　九大内置对象，page、config、appliction、request、response、session、out、exception、pageContext　　　　4、九大内置对象和servlet中对象的关系　　　　　　page就是jsp转换为servletservlet对象本身，也就是this　　　　　　config -- Servlet中的servletConfig　　　　　　application -- Servlet中的ServletContext　　　　　　request　　-- Servlet中的request　　　　　　response　　-- Servlet中的response　　　　　　session　　-- Servlet中的session　　　　　　　　　　out　　--　JspWriter　　　　　　exception　　-- 异常对象　　　　　　pageContext　　-- 表示 jsp页面上下文（jsp管理者） 类型：PageContext，　　　　　　　　其中pageContext对象最牛逼，有了他就拥有了天下，哈哈~　　　5、JSP中的四大作用域。　　　　　　page、request、session、application　　　　　　其中操作page域中属性需要借助pageContext对象。　　　6、JSP中还有其他两大块内容　　　　　　一个是EL表达式，很重要，　　　　　　另一个是jstl标签库的使用，也很重要，在接下来的两节中，就会讲解到。敬请期待。

今天，带来一篇搭建RocketMQ单机环境的文章，为后面的分布式事务专栏做准备。RocketMQ是阿里巴巴开源的一款高性能分布式消息中间件，有关RocketMQ的详细讲解，后面会单独开设一个RocketMQ专栏。这里，先简单介绍一下搭建RocketMQ的单机环境，为分布式事务的介绍做准备。接下来，进入主题。注意：我这里搭建RocketMQ环境的主机操作系统为：CentOS 6.8，IP地址为：192.168.175.100。一、下载并安装RocketMQ1.下载RocketMQ首先，到Apache官网下载RocketMQ安装包，这里，我下载的RocketMQ的版本为4.5.2。在CentOS 6.8命令行输入如下命令下载RocketMQ安装包。wget http://mirrors.tuna.tsinghua.edu.cn/apache/rocketmq/4.5.2/rocketmq-all-4.5.2-bin-release.zip2.安装RocketMQ（1）解压RocketMQ，如下所示：unzip rocketmq-all-4.5.2-bin-release.zip（2）重命名RocketMQ文件夹，如下所示：mv rocketmq-all-4.5.2-bin-release rocketmq-all-4.5.2-bin（3）配置系统环境变量，如下所示：JAVA_HOME=/usr/local/jdk1.8.0_212 CLASS_PATH=.:$JAVA_HOME/lib ROCKETMQ_HOME=/usr/local/rocketmq-all-4.5.1-bin MYSQL_HOME=/usr/local/mysql3306 PATH=$JAVA_HOME/bin:$ROCKETMQ_HOME/bin:$MYSQL_HOME/bin:$PATH export PATH CLASS_PATH JAVA_HOME ROCKETMQ_HOME MYSQL_HOME二、配置RocketMQ1.修改runserver.sh文件修改$ROCKET_HOME/bin目录下的runserver.sh文件，找到下面的一行代码。JAVA_OPT="${JAVA_OPT} -server -Xms4g -Xmx4g -Xmn2g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"将其注释掉，如下所示。#JAVA_OPT="${JAVA_OPT} -server -Xms4g -Xmx4g -Xmn2g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"然后添加如下一行代码，如下所示。JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m -Xmn256m -XX:PermSize=128m -XX:MaxPermSize=320m"2.修改runbroker.sh文件修改$ROCKET_HOME/bin目录下的runbroker.sh文件，找到下面的一行代码。JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g -Xmn4g"将其注释掉，如下所示。#JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g -Xmn4g"然后添加如下一行代码，如下所示。JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m -Xmn256m -XX:PermSize=128m -XX:MaxPermSize=320m"3.修改broker.conf文件修改ROCKET_HOME/conf目录下的broker.conf文件，修改后的文件内容如下所示。 brokerClusterName = DefaultCluster brokerName = broker-a namesrvAddr=192.168.175.100:9876 brokerId = 0 brokerIP1=192.168.175.100 deleteWhen = 04 fileReservedTime = 48 brokerRole = ASYNC_MASTER flushDiskType = ASYNC_FLUSH storePathRootDir=/soft/rocketmq/data storePathCommitLog=/soft/rocketmq/logs此时，需要执行如下命令创建RocketMQ的配置目录，如下所示。mkdir -p /soft/rocketmq/datamkdir -p /soft/rocketmq/logs三、启动RocketMQ1.启动 namesrvnohup mqnamesrv >> /dev/null 2>&1 &2.启动brokernohup mqbroker >> /dev/null 2>&1 &四、验证RocketMQ是否启动成功输入如下命令验证RocketMQ是否启动成功。[root@binghe100 ~]# jps2080 NamesrvStartup2412 BrokerStartup2632 Jps可以看到，RocketMQ的namesrv和broker启动成功，说明RocketMQ单机环境搭建成功。

场景演示了在 ECS云服务器（CentOS7）的环境下，通过部署 LAMP环境并安装 WordPress 快速搭建个人博客。11 月 9 日至 11 月 23 日期间，完成部署即可获得“TOMY 多美卡合金车模一辆”。地址：https://developer.aliyun.com/adc/series/activity/1111ECS服务器资源CentOS 7.2 64 位的 ECS（云服务器）实例体验简介本场景将提供一台基础环境的 CentOS 7.2 64 位的 ECS（云服务器）实例。我们将会在这台服务器上安装和部署LAMP 环境，然后安装 WordPress，帮助开发者快速搭建自己的博客。体验此场景后，可以掌握的知识有：1．弹性计算 ECS 基本概念；2．Apache + MySQL + PHP语言环境的安装和部署；3．WordPress 的安装和基础配置；4．Linux 系统的基础命令背景知识ECS 产品介绍：云服务器（Elastic Compute Service，简称ECS）是阿里云提供的性能卓越、稳定可靠、弹性扩展的IaaS（Infrastructure as a Service）级别云计算服务。云服务器ECS免去了您采购IT硬件的前期准备，让您像使用水、电、天然气等公共资源一样便捷、高效地使用服务器，实现计算资源的即开即用和弹性伸缩。关于 LAMP：LAMP 是指Linux（操作系统）+ Apache （HTTP 服务器）+ MySQL（数据库）和 PHP（网络编程语言），一般用来建立 web 应用平台。和 Java/J2EE 架构相比， LAMP 具有 Web 资源丰富、轻量、快速开发等特点；与微软的 .NET 架构相比，LAMP具有通用、跨平台、高性能、低价格的优势。因此 LAMP 无论是性能、质量还是价格都是企业搭建网站的首选平台。Linux 是一种自由和开发源代码的类 UNIX 操作系统，目前运用最广泛使用人数最多的操作系统。本实验为大家提供的就是Linux 操作系统。Apache 是LAMP架构最核心的 Web Server，开源、稳定、模块丰富是 Apache 的优势。但 Apache 的缺点是有些臃肿，内存和 CPU 开销大，性能上有损耗，不如一些轻量级的 Web 服务（例如 nginx）高效，轻量级的 Web 服务器对于静态文件的响应能力来说远高于 Apache 服务器。Apache 做为 Web Server 是负载 PHP 的最佳选择，如果流量很大的话，可以采用 nginx 来负载非 PHP的Web 请求。PHP 是一种通用开源脚本语言。语法吸收了 C 语言、Java 和 Per1 的特点，利于学习，使用广泛，主要适用于 Web 开发领域。PHP 独特的语法混合了 C、Java、Perl以及 PHP 自创的语法。它可以比 CGI 或者 Perl 更快速地执行动态网页。用 PHP 做出的动态页面与其他的编程语言相比，PHP 是将程序嵌入到 HTML（标准通用标记语言下的一个应用）文档中去执行，执行效率比完全生成 HTML 标记的 CGI 要高许多；PHP还可以执行编译后代码，编译可以达到加密和优化代码运行，使代码运行更快。MySQL 在开源数据库中，性能、稳定性和功能上是首选，可以达到百万级别的数据存储，网站初期可以将 MySQL 和 Web 服务器放在一起，但是当访问量达到一定规模后，应该将 MySQL 数据库从 Web Server 上独立出来，在单独的服务器上运行，同时保持 Web Server 和 MySQL 服务器的稳定连接。关于 WordPress：WordPress 是一种使用 PHP 语言开发的博客平台，用户可以在支持 PHP 和 MySQ 数据库的服务器上架设 WordPress。你可以使用 WordPress 搭建一个简单的独立博客，也可以把 WordPress 当作一个内容管理系统（CMS），用来搭建一个小门户网站，总之，现在的 WordPress 已经强大到几乎可以搭建目前所有常见类型的网站，比如门户、下载站、淘宝客、论坛、多博客等等。安装 Apache HTTP 服务Apache是世界使用排名第一的Web服务器软件。它可以运行在几乎所有广泛使用的计算机平台上，由于其跨平台和安全性被广泛使用，是最流行的Web服务器端软件之一。执行如下命令，安装Apache服务及其扩展包。yum -y install httpd mod_ssl mod_perl mod_auth_mysql返回类似如下图结果则表示安装成功。执行如下命令，启动Apache服务。systemctl start httpd.service测试Apache服务是否安装并启动成功。Apache默认监听80端口，所以只需在浏览器访问ECS分配的IP地址http://<ECS公网地址>，如下图：安装 MariaDB 数据库由于使用Wordpress搭建云上博客，需要使用MySQL数据库存储数据，这一小节我们将安装MySQL的开源替代品MariaDB（MariaDB完全兼容MySQL），并创建博客数据库。安装MariaDB Server，执行如下命令：yum install -y mariadb-server安装成功会出现如下结果启动MariaDB Server，执行如下命令：systemctl start mariadb注：可执行如下命令查看MariaDB Server运行状态systemctl status mariadb如果出现如图中的绿色active (running)表示服务启动成功设置数据库初始密码，执行如下命令：mysqladmin -u root -p password由于是第一次设置密码，因此在出现Enter Password的时候直接回车即可，然后输入您要设置的密码（本示例我们设置的密码为123456789），并两次确认即可，请记住您设置的这个密码，用于数据库登陆和链接操作。说明：密码不显示。链接数据库，执行如下命令：mysql -uroot -p在出现Enter password提示符的时候，输入上面您设置的密码，即可登录数据。创建数据库接着上面登陆数据库后，我们要为博客创建一个数据库，这里数据库名设置为wordpress（您也可以采用其他喜欢的名字），执行如下命令创建wordpress数据库：create database wordpress;如果要查看创建的数据库，可以数据如下命令：show databases;退出数据库连接操作我们暂时退出数据库连接操作，进入下一节安装PHP语言环境exit;安装 PHP 语言环境WordPress是使用PHP语言开发的博客平台，用户可以在支持PHP和MySQL数据库的服务器上架设属于自己的网站。也可以把WordPress当作一个内容管理系统（CMS）来使用。安装PHP环境，执行如下命令：yum -y install php php-mysql gd php-gd gd-devel php-xml php-common php-mbstring php-ldap php-pear php-xmlrpc php-imap创建PHP测试页面，执行如下命令：echo "<?php phpinfo(); ?>" > /var/www/html/phpinfo.php重启Apache服务，执行如下命令：systemctl restart httpd测试PHP页面访问http://<ECS公网地址>/phpinfo.php，显示如下页面表示PHP语言环境安装成功Wordpress安装和配置接上节，我们已经搭建好了LAMP（Linux、Apache、MariaDB、PHP）环境，本小节我们开始WordPress程序包。安装wordpress，执行如下命令：yum -y install wordpress显示如下信息表示安装成功修改WordPress配置文件1）执行如下命令，修改wp-config.php指向路径为绝对路径# 进入/usr/share/wordpress目录。 cd /usr/share/wordpress # 修改路径。 ln -snf /etc/wordpress/wp-config.php wp-config.php # 查看修改后的目录结构。 ll2）执行如下命令，移动wordpress到Apache根目录# 在Apache的根目录/var/www/html下，创建一个wp-blog文件夹。 mkdir /var/www/html/wp-blog mv * /var/www/html/wp-blog/3）执行以下命令修改wp-config.php配置文件。 在执行命令前，请注意替换命令中的以下三个参数值。 database_name_here：为之前步骤中创建的数据库名称，本示例为wordpress username_here：为数据库的用户名，本示例为root * password_here：为数据库的登录密码，即为安装MariaDB时我们设置的密码（本示例设置的密码为123456789）sed -i 's/database_name_here/wordpress/' /var/www/html/wp-blog/wp-config.php sed -i 's/username_here/root/' /var/www/html/wp-blog/wp-config.php sed -i 's/password_here/123456789/' /var/www/html/wp-blog/wp-config.php4）执行以下命令，查看配置文件信息是否修改成功cat -n /var/www/html/wp-blog/wp-config.php重启Apache服务，执行如下命令：systemctl restart httpd测试Wordpress完成以上所有步骤后，就可以测试我们基于ECS所搭建的云上博客了。打开浏览器并访问http://<ECS公网IP>/wp-blog/wp-admin/install.php根据以下信息完成wordpress初始化配置，然后点击Install WordPress按钮完成Wordpress初始化Site Title：站点名称，例如：Hello ADCUsername：管理员用户名，例如：adminPassword：访问密码，例如：cIxWg9t@a8MJBAnf%jYour Email：email地址，建议为真实有效的地址。若没有，可以填写虚拟email地址，但将无法接收信息，例如：admin@admin.com单击Log In进行登录，输入上一步设置的用户名和密码登陆成功，登录后，您就可以添加博客进行发布了

毫无疑问，Node.js现在是越来越成熟。尽管这样，我们还没有形成很多的安全准则。在这篇文章中，我会分享一些关于提高Node.js安全性方面的技巧。​不用eval，赢得朋友你不仅仅要避免使用eval － 你也应该避免使用在下列情况，他们等价于直接使用eval；setInterval(String, 2)setTimeout(String, 2)new Function(String)​注* eval: 直接将字符串转化为代码执行，如： eval('alert("hi")')​为什么不要用eval？如果你对用户输入的内容进行了eval运行（千万不要这么设计），你就有可能受到注入攻击。并且这种运行方式很慢。​请使用Strict严格模式使用这种模式将限制你的变量声明，并总会将一些可能隐藏的错误抛出来，下面是几个例子：​1.不可删除的属性'use strict';delete Object.prototype; // TypeError​2. 对象属性必须是唯一的'use strict';  var obj = {      a: 1,     a: 2 }; // syntax error​3.禁止使用withvar obj = { x: 17 };  with (obj) // !!! syntax error  {​}​静态代码分析使用 JSLint, JSHint 或 ESLint 来静态分析你的代码. 静态代码分析可以让你在早期捕获一些潜在的BUG.​测试这一点不言而喻：测试，测试再测试。不仅仅是单元测试，你应该进行全面测试（test pyramid）。​不要直接使用： sudo node app.js很多人使用超级用户权限运行Node应用，不是吗？因为他们希望应用程序直接侦听80或443端口（注* http和https的默认端口）这一点是不对的，进程中的任何一个错误/漏洞都将让整个系统宕机，然后你就什么也干不了。所以你应该使用一个HTTP反向代理服务去转发这些请求。可以用nginx, Apache 你看着办。​避免命令(shell command)注入下面的代码段有什么问题？child_process.exec('ls', function (err, data) {      console.log(data);});​child_process.exec 命令调用的是 /bin/sh， 它启动了一个解释器，而非程序。这是有问题的，当该方法执行用户输入的一个方法，比于一个反引号或$（）中的内容，一个新的命令就可能被攻击者注入。为了避免这个问题，你只需要使用child_process.execFile。详解。​临时文件创建文件时，如处理上传的文件格外注意。这些文件可以轻松吃掉你所有的磁盘空间。为了解决这个问题，你应该使用Streams。​加密你的Web应用不光是Node－所有的Web应用程序都应该加密。（注* https）​跨站脚本攻击(Reflected Cross Site Scripting)发生这种情况时，攻击者注入可执行代码的HTTP响应。一个应用程序容易受到这种类型的攻击，它会在客户端执行未验证的脚本（主要是用Javascript写的）。它使攻击者能够窃取cookie，剪贴板的内容或修改页面本身。比如http://example.com/index.php?user=<script>alert(123)</script>​如果这条用户查询未经过验证直接插入到DOM（HTML）中，它就会被执行。​怎么避免永远不要往DOM中插入不可信的数据在插入前去除HTML​防止Cookie被盗默认情况下，Cookie可以通过Javascript在同一个域中读取。这样可能会被跨站点脚本攻击。而且它们还有可能被第三方的JavaScript库阅读。例如var cookies = document.cookie.split('; ');​怎样避免为了防止这种情况，你可以在Cookies上使用HttpOnly，这个标签可以让JavaScript无法读取这个cookie。 （注* 比如服务器端用到的Cookie）​内容加密策略内容安全策略（CSP）是一个附加的安全层，帮助检测和缓解某些类型的攻击，包括跨站点脚本（XSS）和数据注入攻击。CSP可以通过 Content-Security-Policy 被启用。比如：Content-Security-Policy: default-src 'self' *.mydomain.com​注* CSP的更多内容这个header头信息将只接收信任的域名及其子域名的发过来的内容。​跨站请求伪造 （Cross-Site Request Forgery）CSRF是一种迫使终端用户在他目前已验证授权的Web应用程序中执行其它的actions。这时侯问题就可能发生了，因为cookie也会发送到被请求的网站（此网站你已经被授权） - 即使当这些请求来自不同的位置。例如<body onload="document.forms[0].submit()">    <form method="POST" action="http://yoursite.com/user/delete">    <input type="hidden" name="id" value="123555.">  </form></body>​注* 此页面在另外一个域名中这样会直接导致这个用户信息被删除。​怎样阻止为了防止CSRF，您应该实现同步令牌模式 - 幸运的是，node社区已经帮你做了。下面是它的工作原理：当发起一个GET请求时，服务器检查你的CSRF令牌 - 如果它不存在，创建一个当用户显示输入时，确保添加一个隐藏的CSRF令牌值当Form表单提交时，确保该值与该表单与Session中的内容相匹配​

网站性能优化（WPO）已经成为一个非常重要的话题了，越来越多的互联网公司开始有WPO的职位，而相关技能也是对前端开发工程师的重要技术要求之一。国外大牛Steve Souders在参加WebPerfDays London期间，收集了大量常用的网站性能优化工具，这里和大家分享下。常用的网站性能优化工具WebPagetestCuzillionChrome Dev ToolsSpeed TracerPerformance Analyzer (收费)SPOF-O-Matic, 3PO for - - YSlowWiresharkPageSpeed, YSlowHttpFoxdynaTrace Ajax Edition 和 SpeedoftheWebHTTP Archive关键路径浏览—— PageSpeed Insights的一部分移动设备同步调试：Weinre, jsconsole.com, Opera Dragonfly, Chrome for AndroidApache Bench (ab)Show SlowBrowserscopeTilt, DOM MonsterMobileperf Bookmarkletchrome://net-internalsRedbotSpriteMeBoomerang, Episodeswget, telnetWappalyzerNetalyzerShunra NetworkCatcher ExpressPacket FlightFiddler, CharlesCSS Lint, JSLintGTMetrixTorbit InsightGrunt.jssitespeed.ioSSL Server TestSPDY 指示器 (Firefox, Chrome), SPDYCheck.orgKITE, MITECompass (CSS)Soke, Seige, Tsung (加载测试)SpeedCheckr当然这些不是全部，还有很多工具是目前所缺少的：当分析一个网站时需要一个计算last-modified时间和今天之间的平均变化并和过期时间来对比的工具。目的是告诉开发者过期时间和资源变化频率是否一致。这个功能可以和PageSpeed、YSlow和HTTP Archive整合。检测一个网站是否在可以使用异步片段(async snippet)的时候使用阻塞的片段(blocking snippet)。比如PagaSpeed实现了但是只能用于Google Analytics。诊断渲染被延迟的根本原因的工具。更容易的可视的DNS TTLs的工具，内置到Chrome Dev Tools或者WebPagetest。爬去文件目录并优化图片的后端工具。候选： Yeoman, Wesley.Safari(Mobile)中的导航计时。更好的检测和诊断内存泄露的工具。网页计时规范，计算Javascript、CSS、reflow等环节花费的时间。可视、可修改网络存储(LocalStorage、APP cache等)的工具。可视、可清理DNS缓存的工具。专注于性能建议的JSLint版本。对比两个HAR文件的工具。总结网站性能优化除了雅虎的34条黄金准则之外，分析和优化工具是必备的，希望这些工具能够对大家有所帮助。但是性能优化并不仅仅这些，还有很多技术是实践中积累发现的，比如元彦同学最近整理的几篇：【高性能前端1】高性能HTML【高性能前端2】高性能CSS【高性能前端3】高性能JavaScript【高性能前端4】Appcache Facts 中译版恩，如果你有一些好的前端性能优化经验或者工具，欢迎分享给我们

TeamTalk 是蘑菇街开源的一款企业办公即时通信软件，最初是为自己内部沟通而做的 IM 工具。团队自己的介绍如下：2013年我们蘑菇街从社区导购华丽转身时尚电商平台，为解决千万妹子和时尚卖家的沟通问题，我们开发了自己的即时通讯软件。既然已经有了用户使用的IM，为什么我们自己公司内部沟通还要用第三方的呢？因此就有了TT(TeamTalk)的雏形，现在蘑菇街内部的在线沟通全部通过TT来完成。随着TT功能的逐渐完善，我们决定把TT开源来回馈开源社区，希望国内的中小企业都能用上开源、免费、好用的IM工具！项目介绍开源协议：Apache License, Version 2.0定位：中小型企业用户，Member >= 2特点：开源与产品并重功能：可靠的消息传递机制；可多点多平台登录；支持文字、图片、语音等富文本信息；文件收发等项目框架麻雀虽小五脏俱全，本项目涉及到多个平台、多种语言，简单关系如下图：服务端：CppServer：TTCppServer 工程，包括IM消息服务器、http 服务器、文件传输服务器、文件存储服务器、登陆服务器java DB Proxy：TTJavaServer 工程，承载着后台消息存储、redis 等接口PHP server：TTPhpServer 工程，teamtalk 后台配置页面客户端：Mac：TTMacClient 工程，Mac 客户端工程iOS：TTIOSClient 工程，iOS 客户端工程Android：TTAndroidClient 工程，Android 客户端工程Windows：TTWinClient 工程，Windows 客户端工程语言：C++、Objective-C、Java、PHP系统环境：Linux、Windows、Mac、iOS、Android代码下载服务端:C++PHPJava可以去官网下载试用，已有 Android、iOS、Mac、Windows 客户端。