结构控制错误如何解决

1:对的,一个adapter只可以有一个继承IoHandlerAdapter的类 2:有的,在NioProcessor类中的allSessions方法可以得到 3:你继承IoHandlerAdapter类,并实现messageReceived,当有数据传入这个session时,就会触发这个方法了,如果你不加任何filter时,参数message将是ByteBuffer类,你使用ByteBuffer类的读取方法即可 建议加上一个协议解释的filter 如: 先extendsIoFilterAdapter 实现messageReceived方法 publicfinalvoidmessageReceived(NextFilternextFilter,IoSessionsession,   Objectmessage){  if(eventTypes.contains(IoEventType.MESSAGE_RECEIVED)){   IoBufferbuf=(IoBuffer)message;   Protocolp=newProtocol(); buf.get();//0x81 buf.get(newByte[3]);被叫 //解释协议   nextFilter.messageReceived(session,p));  }else{   nextFilter.messageReceived(session,message);  } } 这样,你继承IoHandlerAdapter的类的messageReceived的message将是Protocol这个类###### eventTypes.contains（）怎么会找不到这样的东西呢。这是一个什么包的内容？###### OO,这个判断你可以不管吧###### 直接删了###### 关于IoFilterAdapter是不是可以做成。有多少个报文字，就可以有多少个IoFilterAdapter，去生成对应的自己定义的报文包类。 对于Iobuffer的处理，比如：报文字数据错误，报文字不全等问题，做如何处理？###### 这个还没有试过 应不行 因为他一个adapter对应一个端口的 报文解释一般都是分为协议头和协议体 协议头的报文件结构是一样的 如  长度int 协议码int 接下来就是协议体了长度一般是协议头定义的那个长度###### 1，默认情况下，allSessions只是工内部使用的iosessions池,外部(application)是用不到的。因为NioProcesser是由内部通Classloader创建的,外部根本拿不到他的instance.如果非要使用内建的allSessionsmethod,必需自己创建nioAcceptor的时候创建IoProcesser,但是对mina性能的影响绝对是致命的. 2,可以自己搞一个CurrentHashMap，当每个连接建立的时候put，关闭的时候remove，很好控制 3,数据包格式是自定义的格式，可以自己实现ProtocolEncoder和ProtocolDecoder接口。 4,对于处理多种结构的数据包可以使用一个ProtocolDecoder解决，就是捕获数据包类型后，在分别解包。可以参考red5开源flashserver,他支持很多数据包结构，只有一个ProtocolDecoder###### 关于allSessions，我现在能想到的也是在建立时候，putIOsession到MAP里去。 关于多结构数据包，我感觉有点晕。还在进一步探索。我先去找下red5开源flashserver看下。看能有什么帮助没有！###### red5开源flashserver项目太难搞了。都找不北。###### red5使用了非常多的第三方组件，比如什么jetty，quartz，ehcache，配置也比较复杂。 red5使用的是apache的ivy管理项目的，项目搭建和maven搭建感觉插不多？ 你只需要关心他的协议层，org.red5.server.net.rtmp.codec中带mina的codec就行了

1:对的,一个adapter只可以有一个继承IoHandlerAdapter的类 2:有的,在NioProcessor类中的allSessions方法可以得到 3:你继承IoHandlerAdapter类,并实现messageReceived,当有数据传入这个session时,就会触发这个方法了,如果你不加任何filter时,参数message将是ByteBuffer类,你使用ByteBuffer类的读取方法即可 建议加上一个协议解释的filter 如: 先extends IoFilterAdapter 实现messageReceived方法 public final void messageReceived(NextFilter nextFilter, IoSession session,   Object message) {  if (eventTypes.contains(IoEventType.MESSAGE_RECEIVED)) {   IoBuffer buf = (IoBuffer) message;   Protocol p=new Protocol(); buf .get();//0x81 buf.get(new Byte[3]);被叫 //解释协议   nextFilter.messageReceived( session, p));  } else {   nextFilter.messageReceived(session, message);  } } 这样,你继承IoHandlerAdapter的类 的messageReceived 的message将是Protocol 这个类###### eventTypes.contains（）怎么会找不到这样的东西呢。这是一个什么包的内容？###### OO,这个判断你可以不管吧###### 直接删了###### 关于 IoFilterAdapter 是不是可以做成。有多少个报文字，就可以有多少个IoFilterAdapter，去生成对应的自己定义的报文包类。 对于Iobuffer的处理，比如：报文字数据错误，报文字不全等问题，做如何处理？###### 这个还没有试过 应不行 因为他一个adapter对应一个端口的 报文解释一般都是分为协议头和协议体 协议头的报文件结构是一样的 如  长度 int 协议码 int 接下来就是协议体了 长度一般是协议头定义的那个长度###### 1，默认情况下，allSessions只是工内部使用的iosessions池,外部(application)是用不到的。因为NioProcesser是由内部通Class loader 创建的,外部根本拿不到他的instance.如果非要使用内建的allSessions method,必需自己创建nioAcceptor的时候创建IoProcesser,但是对mina性能的影响绝对是致命的. 2,可以自己搞一个CurrentHashMap，当每个连接建立的时候put，关闭的时候remove，很好控制 3,数据包格式是自定义的格式，可以自己实现 ProtocolEncoder 和ProtocolDecoder接口。 4,对于处理多种结构的数据包可以使用一个ProtocolDecoder解决，就是捕获数据包类型后，在分别解包。可以参考red5 开源flash server,他支持很多数据包结构，只有一个ProtocolDecoder###### 关于allSessions，我现在能想到的也是在建立时候，put IOsession 到MAP 里去。 关于多结构数据包，我感觉有点晕。还在进一步探索。我先去找下 red5 开源flash server看下。看能有什么帮助没有！###### red5 开源flash server项目太难搞了。都找不北。###### red5使用了非常多的第三方组件，比如什么jetty，quartz，ehcache，配置也比较复杂。 red5使用的是apache的 ivy管理项目的，项目搭建和maven搭建感觉插不多？ 你只需要关心他的协议层，org.red5.server.net.rtmp.codec 中带mina的codec就行了

Kotlin的简介 Kotlin是由JetBrains公司（IDEA开发者）所开发的编程语言，其名称来自于开发团队附近的科特林岛。 多平台开发 JVM ：Android; Server-Side Javascript:前端 Native(beta) :开发原生应用 windows、macos、linux Swift与Kotlin非常像 http://nilhcem.com/swift-is-like-kotlin/ kotlin发展历程 image.png java发展历程 image.png JVM语言的原理 image.png JVM规范与java规范是相互独立的 只要生成的编译文件匹配JVM字节码规范，任何语言都可以由JVM编译运行. Kotlin也是一种JVM语言，完全兼容java，可以与java相互调用；Kotlin语言的设计受到Java、C#、JavaScript、Scala、Groovy等语言的启发 kotlin的特性 下面不会罗列kotlin中具体的语法，会介绍我认为比较重要的特性，以及特性背后的东西。 类型推断 空类型设计 函数式编程 类型推断 image.png 类型推断是指编程语言中在编译期自动推导出值的数据类型。推断类型的能力让很多编程任务变得容易，让程序员可以忽略类型标注的同时仍然允许类型检查。 在开发环境中，我们往往写出表达式，然后可以用快捷键来生成变量声明，往往都是很准的，这说明了编译器其实是可以很准确的推断出来类型的。编程语言所具备的类型推断能力可以把类型声明的任务由开发者转到了编译器. java中声明变量的方式是类型写在最前面，后面跟着变量名，这就迫使开发者在声明变量时就要先思考变量的类型要定义成什么，而在一些情况下比如使用集合、泛型类型的变量，定义类型就会变得比较繁琐。 Kotlin中声明变量，类型可以省略，或者放到变量名后面，这可以降低类型的权重，从必选变为可选，降低开发者思维负担。java10中也引入了类型推断。 Javascript中声明变量也是用关键字var,但是还是有本质区别的，Kotlin中的类型推断并不是变成动态类型、弱类型，类型仍然是在编译期就已经决定了的，Kotlin仍然是静态类型、强类型的编程语言。javascript由于是弱类型语言，同一个变量可以不经过强制类型转换就被赋不同数据类型的值， 编程语言的一个趋势就是抽象程度越来越高，编译器做更多的事情。 空类型设计 空类型的由来 image.png 托尼·霍尔（Tony Hoare），图灵奖得主 托尼·霍尔是ALGOL语言的设计者，该语言在编程语言发展历史上非常重要,对其他编程语言产生重大影响，大多数近代编程语言(包括C语言)皆使用类似ALGOL的语法。他在一次大会上讨论了null应用的设计： “我把 null 引用称为自己的十亿美元错误。它的发明是在1965 年，那时我用一个面向对象语言( ALGOL W )设计了第一个全面的引用类型系统。我加入了null引用设计，仅仅是因为实现起来非常容易。它导致了数不清的错误、漏洞和系统崩溃，可能在之后 40 年中造成了十亿美元的损失。” null引用存在的问题 以java为例，看null引用的设计到底存在哪些问题 空指针问题NPE 编译时不能对空指针做出检查，运行时访问null对象就会出现错误，这个就是工程中常见的空指针异常。 null本身没有语义，会存在歧义 值未被初始化 值不存在 也许表示一种状态 逻辑上有漏洞 Java中，null可以赋值给任何引用，比如赋值给String类型变量，String a = null，但是null并不是String类型： a instanceof String 返回的是false，这个其实是有些矛盾的。所以当持有一个String类型的变量，就存在两种情况，null或者真正的String. 解决NPE的方式 防御式代码 在访问对象前判空，但会有冗余代码；会规避问题，而隐藏真正的问题 抛出异常给调用方处理 方法中传参传入的空值、无效值，抛出受检查异常给上层调用方 增加注解 Android中可以增加@NonNull注解，编译时做额外检查 空状态对象设计模式 空状态对象是一个实现接口但是不做任何业务逻辑的对象，可以取代判空检查；这样的空状态对象也可以在数据不可用的时候提供默认的行为 java8 Optional类 java8中引入了Optional类，来解决广泛存在的null引用问题.官方javadoc文档介绍 A container object which may or may not contain a non-null value. If a value is present, isPresent() will return true and get() will return the value. Additional methods that depend on the presence or absence of a contained value are provided, such as orElse() (return a default value if value not present) and ifPresent() (execute a block of code if the value is present). 来看一下是如何实现的。 举一个访问对象读取熟悉的例子 java 8 之前 : image.png java 8: image.png 总结： 1.用Optional还是会比较繁琐，这个也说明了设计一个替代null的方案还是比较难的。 optional的耗时大约是普通判空的数十倍，主要是涉及泛型、使用时多创键了一个对象的创建；数据比较大时，会造成性能损失。 java8 引入Optional的意义在于提示调用者，用特殊类型包装的变量可能为空，在使用取出时需要判断 Kotlin的空类型设计 Kotlin中引入了可空类型和不可空类型的区分，可以区分一个引用可以容纳null,还是不能容纳null。 String vs String? String 类型表示变量不能为空，String?则表示变量可以为空 String?含义是String or null.这两种是不同的类型. 比如： var a:String = “abc” //ok var a:String = null //不允许 var b :String? = null //ok a=b // 不允许 String?类型的值不能给String类型的值赋值 这样就将类型分成了可空类型和不可能类型,每一个类型都有这样的处理;Kotlin中访问非空类型变量永远不会出现空指针异常。 同样上面的例子，采用Kotlin去写，就会简洁很多 image.png 编程范式-函数式编程 编程范式是什么？ 编程范式是程序员看待程序和写程序的观点 主要的类型 非结构化编程 结构化编程 面向对象编程 命令式编程 函数式编程 这些类型并不是彼此互斥的，而是按照不同的维度做的划分，一种编程语言可能都支持多个编程范式 非结构化编程 第一代的高级语言往往是非结构化编程 比如 BASIC语言 每一行的代码前面都有一个数字作为行号,通常使用GOTO的跳跃指令来实现判断和循环. 看一下下面这段代码是做什么的： image.png 实际上做的是：程序在屏幕上显示数字 1 到 10 及其对应的平方 采用这种方式写程序，大量的使用goto实现逻辑的跳转，代码一长，可读性和维护性就比较差了，形成“面条式代码” 结构化编程 采用顺序、分支、循环结构来表达，禁用或者少用GOTO; 并用子程序来组织代码，采用自顶向下的方式来写程序 代表语言是C语言 实现同样的逻辑： image.png 可见采用结构化编程，代码的逻辑会更清晰。 面向对象编程 思想： 将计算机程序视为一组对象的集合，而每个对象都可以接收其他对象发过来的消息，并处理这些消息，计算机程序的执行就是一系列消息在各个对象之间传递。 特性： 封装性、继承性、多态性。 命令式编程 把计算机程序视为一系列的命令集合 主要思想是关注计算机执行的步骤，即一步一步告诉计算机先做什么再做什么。 “先做这，再做那”，强调“怎么做” 实现： 用变量来储存数据，用语句来执行指令，改变变量状态。 基本所有的常见的编程语言都具有此范式 函数式编程 声明式语法，描述要什么，而不是怎么做 类似于SQL语句 语言： kotlin swift python javascript scala 函数是第一等公民 可以赋值给变量，可作为参数传入另一个函数，也可作为函数的返回值 纯函数 y=f(x) 只要输入相同，返回值不变 没有副作用：不修改函数的外部状态 举个栗子 公司部门要进行outing，去哪里是个问题，要考虑多个因素，比如花费、距离、天数等等，有多个备选地点进行选择。 定义一个数据类： image.png 要进行筛选了，分别用sql,kotlin,java来实现 找出花费低于2000元的outing地点信息 SQL image.png Kotlin image.png java 7 image.png 可见kotin的写法还是比较接近于sql的思想的，声明式的写法，而不管具体如何实现；其中的：place->place.money<2000 就是函数，可以作为参数传递给fliter这个高阶函数；而且这个函数没有副作用，不改变外部状态。 再来一个复杂一点的： 找出花费低于5000元，时间不多于4天，按照距离排序的outing地点名称 SQL image.png Kotlin: image.png java 7 image.png 由此可见用kotlin的函数式写法，会更简洁，逻辑也更清晰，这段代码的目标一目了然，这种清晰在于实现了业务逻辑与控制逻辑的分离，业务逻辑就是由函数实现的，比如place->place.money<500,而控制逻辑是由filter,sorterBy等高阶函数实现的。 而java的传统写法是基于对数据的操作，避免不了遍历的操作，业务逻辑与控制逻辑交织在了一起，这段代码的目的就不是那么容易清晰看到的了。 总结 kotlin是实用的现代编程语言，吸收了众多编程语言的优点，支持类型推断、空类型安全、函数式编程、DSL等特性，非常值得学习和使用。

在我们进行合理讨论之前，需要澄清和解决某些问题。 前提条件解决 标签 在需要精确度的行业中，重要的是我们使用精确的标签，以避免混淆，以便我们可以进行交流而不必使用冗长的描述和限定词。 。 什么你已经张贴FixedTables，是Unnormalised。足够公平，可以尝试使用“第三范式”形式，但是实际上它是一个平面文件，非规范化（不是“非规范化”）。确切地说，您发布为AbstractTables的是Entity-Attribute-Value，几乎，但不完全是第六范式，因此比3NF规范化得多，当然，假设正确完成。 未规范化的平面文件未“非规范化”。它充满了重复（没有做任何操作来删除重复的组和重复的列或解决依赖项）和Null，它在许多方面都是性能浪费，并防止了并发。 为了进行Denormlaise，必须先对其进行归一化，然后出于某些充分的理由而使归一化稍微后退。由于首先没有对其进行归一化，因此无法对其进行归一化。它只是未归一化。 不能说它是“为了性能”而被非规范化的，因为它是性能猪，它与性能完全相反。好吧，他们需要缺乏形式化设计的理由]，“为了性能”就可以了。即使是最小的正式审查也暴露了错误的陈述（但是很少有人可以提供，因此它一直隐藏着，直到他们让局外人解决，您猜对了，这是巨大的性能问题）。 规范化结构的性能远优于未规范化结构。标准化程度较高的结构（EAV / 6NF）比标准化程度较低的结构（3NF / 5NF）更好。 我同意OMG小马的主旨，但不同意其标签和定义 而不是说“除非必须，否则不要“非正规化””，而是说“忠实地标准化，定期”和“如果存在性能问题，则表示您未正确标准化”。 。 Wiki 关于Normal Forms和Normalization的条目完全是个笑话。具体来说，这些定义是不正确的。他们混淆了普通表格；他们对规范化过程一无所知；它们对很久以前就被揭穿的荒谬或可疑NF给予同等的重视。结果是，Wiki增加了一个本已混乱且鲜为人知的主题。因此，不要浪费您的时间。 。 但是，为了取得进展，在没有该提法构成障碍的情况下，我要说这句话。 3NF的定义稳定，没有改变。 3NF和5NF之间存在很多NF混淆。事实是，这是过去15年中取得进展的领域。许多组织，学者和供应商都对其产品进行了限制，他们跳起来创建了一个新的“ Normal Form”来验证他们的产品。所有服务于商业利益和学术上不健全。3NF处于其原始未篡改状态，旨在并保证某些属性。 总的来说，今天的5NF就是15年前3NF的目标，您可以跳过商业玩笑和两者之间的大约十二种“特殊”（商业和伪学术）NF，其中一些是在Wiki中识别，甚至用混淆的术语表示。 。 由于您已经能够理解和实施帖子中的EAV，因此理解以下内容将没有问题。当然，真正的关系模型是先决条件，强键等。第五范式是，因为我们跳过了第四种： 第三范式 简单来说，每个表中的每个非键列与表的主键之间具有1 :: 1的关系， 并且没有其他非关键列 零数据重复（结果，如果勤奋地进行标准化，则不是单靠智力或经验，或者是通过努力将其作为目标而没有正式过程来实现） 无更新异常（当您在某处更新一列时，不必更新位于其他地方的同一列；该列存在于一个且仅一个位置）。 。 第六范式当然是第五范式，再加上： 消除丢失的数据（列）。这是Null问题（也称为处理缺失值）的一种真正解决方案，结果是没有Nulls的数据库。（这可以在5NF下使用标准和Null替代品完成，但这不是最佳选择。）如何解释和显示缺失值是另一回事。 。 EAV与第六范式 的比较我编写的所有数据库（除一个以外）都是纯5NF。我已经使用（管理，修复，增强）了几个EAV数据库，并且已经实现了一个真正的6NF数据库。EAV是6NF的宽松实现，通常由对标准化和NF不太了解但可以看到EAV的价值并需要EAV灵活性的人员完成。你是一个完美的例子。区别在于：因为它比较松散，并且因为实现者没有忠实的参考（6NF），所以他们仅实现所需的东西，并全部用代码编写；最终导致模型不一致。 。 鉴于纯6NF实现确实具有纯学术参考点，因此通常更加严格且一致。通常，这显示在两个可见元素中： 6NF有一个包含元数据的目录，并且所有内容都是在元数据中定义的，而不是代码。EAV没有一个，一切都在代码中（实现者跟踪对象和属性）。显然，目录使添加列，导航变得容易，并允许形成实用程序。 当理解6NF时，它可以真正解决Null问题。EAV实现者由于缺少6NF上下文，因此会不一致地处理代码中丢失的数据，或者更糟的是，允许数据库中的Null。6NF实现者禁止使用Null，并一致而优雅地处理丢失的数据，而无需代码构造（对于Null处理；当然，您仍然必须为丢失的数据编写代码）。 。 例如。对于具有目录的6NF数据库，我有一组proc将[重新生成]执行所有SELECT所需的SQL，并且我为所有用户提供5NF视图，因此他们不需要了解或理解底层6NF结构。 。他们被驱逐出目录。因此，更改是容易且自动化的。由于没有目录，EAV类型手动执行此操作。 现在，我们可以开始 讨论区 “如果预先定义了值，那么当然可以更加抽象（例如：专业可以拥有自己的列表）” 当然。但是不要太“抽象”。保持一致性，并以与其他列表相同的EAV（或6NF）方式实施此类列表。 “如果我采用抽象方法，它可能会非常灵活，但是带有许多联接的查询将变得更加复杂。但是，我不知道这是否会影响这些“更复杂”的查询的性能。” 关系数据库中的联接是行人。问题不在于数据库，问题在于处理联接时，SQL非常麻烦，尤其是复合键。 EAV和6NF数据库具有更多的Joins，它们与行人一样多。当然，如果您必须手动编写每个SELECT的代码，那么麻烦就变得很麻烦。 可以通过（a）在EAV上使用6NF以及（b）实施目录来消除整个问题，从中可以（c）生成所有基本SQL。也消除了整个错误类别。 一个普遍的神话是，加入某种方式会产生成本。完全错误。该联接是在编译时实现的，对于“成本” CP​​U周期没有实质性影响。问题是要联接的表的大小，而不是这些相同表之间的联接的成本。在正确的PK⇢FK关系上连接两个表，每个表具有数百万行，每个表具有适当的索引（在parent [FK]侧为唯一；在Child侧为唯一）。; 如果Child索引不是唯一的，但是至少前导列是有效的，则它慢一些；没有可用索引的地方，那当然很慢。它与加入成本无关。在返回许多行的地方，瓶颈将是网络和磁盘布局。不是加入处理。 因此，您可以随心所欲地获得“复杂”的东西，没有成本，SQL可以处理它。 我想知道这两种方法的优点和缺点。我可以自己想象，但是我没有经验来确认这一点。 就实施，易用性（开发人员和用户），维护而言，5NF（对于尚未取得进展的人而言，则为3NF）是最简单，最好的。缺点是，每次添加列时，都必须更改数据库结构（表DDL）。在某些情况下很好，但在大多数情况下不是这样，因为适当的变更控制非常繁重。其次，您必须更改现有代码（处理新列的代码不算在内，因为这势在必行）：在实施好的标准的地方，这要最小化；如果没有它们，范围是不可预测的。 EAV（这是您发布的内容）允许添加列而无需DDL更改。这就是人们选择它的唯一原因。（处理新列的代码不计算在内，因为这是必须的）。如果实施得当，它将不会影响现有代码；如果没有，它将。但是您需要具有EAV功能的开发人员。当EAV实施不当时，这是可恶的，这比5NF实施得不好更糟，但不会比大多数数据库都存在的Unnormalized更糟（错误地表示为“性能非常规”）。当然，拥有强大的Transaction上下文（比5NF / 3NF更为重要），因为列的分布远不止这些。同样，必须保持声明式参照完整性：我所看到的混乱很大程度上归因于开发人员删除了DRI，因为它已成为“ 假设已经针对预期目的合理配置了服务器，则性能没有差异。（好吧，只有在6NF中才有可能实现特定的优化，而在其他NF中则无法实现，但是我认为这超出了本线程的范围。）同样，EAV做得不好会造成不必要的瓶颈，仅此而已。未规范化。 当然，如果您使用EAV，我建议您提供更多的手续；买完整的交换；配6NF；实施目录；产生SQL的实用程序；意见；始终处理丢失的数据；完全消除Null。这减少了您对开发人员质量的脆弱性；他们可以忘记EAV / 6NF深奥的问题，使用Views并专注于应用程序逻辑。 请原谅。来源：stack overflow

在开始谈我对架构本质的理解之前，先谈谈对今天技术沙龙主题的个人见解，千万级规模的网站感觉数量级是非常大的，对这个数量级我们战略上 要重 视 它 ， 战术上又 要 藐 视 它。先举个例子感受一下千万级到底是什么数量级？现在很流行的优步(Uber)，从媒体公布的信息看，它每天接单量平均在百万左右， 假如每天有10个小时的服务时间，平均QPS只有30左右。对于一个后台服务器，单机的平均QPS可以到达800-1000，单独看写的业务量很简单 。为什么我们又不能说轻视它？第一，我们看它的数据存储，每天一百万的话，一年数据量的规模是多少？其次，刚才说的订单量，每一个订单要推送给附近的司机、司机要并发抢单，后面业务场景的访问量往往是前者的上百倍，轻松就超过上亿级别了。 今天我想从架构的本质谈起之后，希望大家理解在做一些建构设计的时候，它的出发点以及它解决的问题是什么。 架构，刚开始的解释是我从知乎上看到的。什么是架构？有人讲， 说架构并不是一 个很 悬 乎的 东西 ， 实际 上就是一个架子 ， 放一些 业务 和算法，跟我们的生活中的晾衣架很像。更抽象一点，说架构其 实 是 对 我 们 重复性业务 的抽象和我 们 未来 业务 拓展的前瞻，强调过去的经验和你对整个行业的预见。 我们要想做一个架构的话需要哪些能力？我觉得最重要的是架构师一个最重要的能力就是你要有 战 略分解能力。这个怎么来看呢: 第一，你必须要有抽象的能力，抽象的能力最基本就是去重，去重在整个架构中体现在方方面面，从定义一个函数，到定义一个类，到提供的一个服务，以及模板，背后都是要去重提高可复用率。 第二， 分类能力。做软件需要做对象的解耦，要定义对象的属性和方法，做分布式系统的时候要做服务的拆分和模块化，要定义服务的接口和规范。 第三， 算法（性能），它的价值体现在提升系统的性能，所有性能的提升，最终都会落到CPU，内存，IO和网络这4大块上。 这一页PPT举了一些例子来更深入的理解常见技术背后的架构理念。 第一个例子，在分布式系统我们会做 MySQL分 库 分表，我们要从不同的库和表中读取数据，这样的抽象最直观就是使用模板，因为绝大多数SQL语义是相同的，除了路由到哪个库哪个表，如果不使用Proxy中间件，模板就是性价比最高的方法。 第二看一下加速网络的CDN，它是做速度方面的性能提升，刚才我们也提到从CPU、内存、IO、网络四个方面来考虑，CDN本质上一个是做网络智能调度优化，另一个是多级缓存优化。 第三个看一下服务化，刚才已经提到了，各个大网站转型过程中一定会做服务化，其实它就是做抽象和做服务的拆分。第四个看一下消息队列，本质上还是做分类，只不过不是两个边际清晰的类，而是把两个边际不清晰的子系统通过队列解构并且异步化。新浪微博整体架构是什么样的 接下我们看一下微博整体架构，到一定量级的系统整个架构都会变成三层，客户端包括WEB、安卓和IOS，这里就不说了。接着还都会有一个接口层， 有三个主要作用： 第一个作用，要做 安全隔离，因为前端节点都是直接和用户交互，需要防范各种恶意攻击； 第二个还充当着一个 流量控制的作用，大家知道，在2014年春节的时候，微信红包，每分钟8亿多次的请求，其实真正到它后台的请求量，只有十万左右的数量级（这里的数据可能不准），剩余的流量在接口层就被挡住了； 第三，我们看对 PC 端和移 动 端的需求不一样的，所以我们可以进行拆分。接口层之后是后台，可以看到微博后台有三大块： 一个是 平台服 务， 第二， 搜索， 第三， 大数据。到了后台的各种服务其实都是处理的数据。 像平台的业务部门，做的就是 数据存储和读 取，对搜索来说做的是 数据的 检 索，对大数据来说是做的数据的 挖掘。微博其实和淘宝是很类似 微博其实和淘宝是很类似的。一般来说，第一代架构，基本上能支撑到用户到 百万 级别，到第二代架构基本能支撑到 千万 级别都没什么问题，当业务规模到 亿级别时，需要第三代的架构。 从 LAMP 的架构到面向服 务 的架构，有几个地方是非常难的，首先不可能在第一代基础上通过简单的修修补补满足用户量快速增长的，同时线上业务又不能停， 这是我们常说的 在 飞 机上 换 引擎的 问题。前两天我有一个朋友问我，说他在内部推行服务化的时候，把一个模块服务化做完了，其他部门就是不接。我建议在做服务化的时候，首先更多是偏向业务的梳理，同时要找准一个很好的切入点，既有架构和服务化上的提升，业务方也要有收益，比如提升性能或者降低维护成本同时升级过程要平滑，建议开始从原子化服务切入，比如基础的用户服务， 基础的短消息服务，基础的推送服务。 第二，就是可 以做无状 态 服 务，后面会详细讲，还有数据量大了后需要做数据Sharding，后面会将。 第三代 架构 要解决的 问题，就是用户量和业务趋于稳步增加（相对爆发期的指数级增长），更多考虑技术框架的稳定性， 提升系统整体的性能，降低成本，还有对整个系统监控的完善和升级。 大型网站的系统架构是如何演变的 我们通过通过数据看一下它的挑战，PV是在10亿级别，QPS在百万，数据量在千亿级别。我们可用性，就是SLA要求4个9，接口响应最多不能超过150毫秒，线上所有的故障必须得在5分钟内解决完。如果说5分钟没处理呢？那会影响你年终的绩效考核。2015年微博DAU已经过亿。我们系统有上百个微服务，每周会有两次的常规上线和不限次数的紧急上线。我们的挑战都一样，就是数据量，bigger and bigger，用户体验是faster and faster，业务是more and more。互联网业务更多是产品体验驱动， 技 术 在 产 品 体验上最有效的贡献 ， 就是你的性能 越来越好 。 每次降低加载一个页面的时间，都可以间接的降低这个页面上用户的流失率。微博的技术挑战和正交分解法解析架构 下面看一下 第三代的 架构 图 以及 我 们 怎么用正交分解法 阐 述。 我们可以看到我们从两个维度，横轴和纵轴可以看到。 一个 维 度 是 水平的 分层 拆分，第二从垂直的维度会做拆分。水平的维度从接口层、到服务层到数据存储层。垂直怎么拆分，会用业务架构、技术架构、监控平台、服务治理等等来处理。我相信到第二代的时候很多架构已经有了业务架构和技术架构的拆分。我们看一下， 接口层有feed、用户关系、通讯接口；服务层，SOA里有基层服务、原子服务和组合服务，在微博我们只有原子服务和组合服务。原子服务不依赖于任何其他服务，组合服务由几个原子服务和自己的业务逻辑构建而成 ，资源层负责海量数据的存储（后面例子会详细讲）。技 术框架解决 独立于 业务 的海量高并发场景下的技术难题，由众多的技术组件共同构建而成 。在接口层，微博使用JERSY框架，帮助你做参数的解析，参数的验证，序列化和反序列化；资源层，主要是缓存、DB相关的各类组件，比如Cache组件和对象库组件。监 控平台和服 务 治理 ， 完成系统服务的像素级监控，对分布式系统做提前诊断、预警以及治理。包含了SLA规则的制定、服务监控、服务调用链监控、流量监控、错误异常监控、线上灰度发布上线系统、线上扩容缩容调度系统等。 下面我们讲一下常见的设计原则。 第一个，首先是系统架构三个利器： 一个， 我 们 RPC 服 务组 件 （这里不讲了）， 第二个，我们 消息中 间 件 。消息中间件起的作用：可以把两个模块之间的交互异步化，其次可以把不均匀请求流量输出为匀速的输出流量，所以说消息中间件 异步化 解耦 和流量削峰的利器。 第三个是配置管理，它是 代码级灰度发布以及 保障系统降级的利器。 第二个 ， 无状态 ， 接口 层 最重要的就是无状 态。我们在电商网站购物，在这个过程中很多情况下是有状态的，比如我浏览了哪些商品，为什么大家又常说接口层是无状态的，其实我们把状态从接口层剥离到了数据层。像用户在电商网站购物，选了几件商品，到了哪一步，接口无状态后，状态要么放在缓存中，要么放在数据库中， 其 实 它并不是没有状 态 ， 只是在 这 个 过 程中我 们 要把一些有状 态 的 东 西抽离出来 到了数据层。 第三个， 数据 层 比服 务层 更需要 设计，这是一条非常重要的经验。对于服务层来说，可以拿PHP写，明天你可以拿JAVA来写，但是如果你的数据结构开始设计不合理，将来数据结构的改变会花费你数倍的代价，老的数据格式向新的数据格式迁移会让你痛不欲生，既有工作量上的，又有数据迁移跨越的时间周期，有一些甚至需要半年以上。 第四，物理结构与逻辑结构的映射，上一张图看到两个维度切成十二个区间，每个区间代表一个技术领域，这个可以看做我们的逻辑结构。另外，不论后台还是应用层的开发团队，一般都会分几个垂直的业务组加上一个基础技术架构组，这就是从物理组织架构到逻辑的技术架构的完美的映射，精细化团队分工，有利于提高沟通协作的效率 。 第五， www .sanhao.com 的访问过程，我们这个架构图里没有涉及到的，举个例子，比如当你在浏览器输入www.sanhao网址的时候，这个请求在接口层之前发生了什么？首先会查看你本机DNS以及DNS服务，查找域名对应的IP地址，然后发送HTTP请求过去。这个请求首先会到前端的VIP地址（公网服务IP地址），VIP之后还要经过负载均衡器（Nginx服务器），之后才到你的应用接口层。在接口层之前发生了这么多事，可能有用户报一个问题的时候，你通过在接口层查日志根本发现不了问题，原因就是问题可能发生在到达接口层之前了。 第六，我们说分布式系统，它最终的瓶颈会落在哪里呢？前端时间有一个网友跟我讨论的时候，说他们的系统遇到了一个瓶颈， 查遍了CPU，内存，网络，存储，都没有问题。我说你再查一遍，因为最终你不论用上千台服务器还是上万台服务器，最终系统出瓶颈的一定会落在某一台机（可能是叶子节点也可能是核心的节点），一定落在CPU、内存、存储和网络上，最后查出来问题出在一台服务器的网卡带宽上。微博多级双机房缓存架构 接下来我们看一下微博的Feed多级缓存。我们做业务的时候，经常很少做业务分析，技术大会上的分享又都偏向技术架构。其实大家更多的日常工作是需要花费更多时间在业务优化上。这张图是统计微博的信息流前几页的访问比例，像前三页占了97%，在做缓存设计的时候，我们最多只存最近的M条数据。 这里强调的就是做系统设计 要基于用 户 的 场 景 ， 越细致越好 。举了一个例子，大家都会用电商，电商在双十一会做全国范围内的活动，他们做设计的时候也会考虑场景的，一个就是购物车，我曾经跟相关开发讨论过，购物车是在双十一之前用户的访问量非常大，就是不停地往里加商品。在真正到双十一那天他不会往购物车加东西了，但是他会频繁的浏览购物车。针对这个场景，活动之前重点设计优化购物车的写场景， 活动开始后优化购物车的读场景。 你看到的微博是由哪些部分聚合而成的呢？最右边的是Feed，就是微博所有关注的人，他们的微博所组成的。微博我们会按照时间顺序把所有关注人的顺序做一个排序。随着业务的发展，除了跟时间序相关的微博还有非时间序的微博，就是会有广告的要求，增加一些广告，还有粉丝头条，就是拿钱买的，热门微博，都会插在其中。分发控制，就是说和一些推荐相关的，我推荐一些相关的好友的微博，我推荐一些你可能没有读过的微博，我推荐一些其他类型的微博。 当然对非时序的微博和分发控制微博，实际会起多个并行的程序来读取，最后同步做统一的聚合。这里稍微分享一下， 从SNS社交领域来看，国内现在做的比较好的三个信息流： 微博 是 基于弱关系的媒体信息流 ； 朋友圈是基于 强 关系的信息流 ； 另外一个做的比 较 好的就是今日 头 条 ， 它并不是基于关系来构建信息流 ， 而是基于 兴趣和相关性的个性化推荐 信息流 。 信息流的聚合，体现在很多很多的产品之中，除了SNS，电商里也有信息流的聚合的影子。比如搜索一个商品后出来的列表页，它的信息流基本由几部分组成：第一，打广告的；第二个，做一些推荐，热门的商品，其次，才是关键字相关的搜索结果。 信息流 开始的时候 很 简单 ， 但是到后期会 发现 ， 你的 这 个流 如何做控制分发 ， 非常复杂， 微博在最近一两年一直在做 这样 的工作。刚才我们是从业务上分析，那么技术上怎么解决高并发，高性能的问题？微博访问量很大的时候，底层存储是用MySQL数据库，当然也会有其他的。对于查询请求量大的时候，大家知道一定有缓存，可以复用可重用的计算结果。可以看到，发一条微博，我有很多粉丝，他们都会来看我发的内容，所以 微博是最适合使用 缓 存 的系统，微博的读写比例基本在几十比一。微博使用了 双 层缓 存，上面是L1，每个L1上都是一组（包含4-6台机器），左边的框相当于一个机房，右边又是一个机房。在这个系统中L1缓存所起的作用是什么？ 首先，L1 缓 存增加整个系 统 的 QPS， 其次 以低成本灵活扩容的方式 增加 系统 的 带宽 。想象一个极端场景，只有一篇博文，但是它的访问量无限增长，其实我们不需要影响L2缓存，因为它的内容存储的量小，但它就是访问量大。这种场景下，你就需要使用L1来扩容提升QPS和带宽瓶颈。另外一个场景，就是L2级缓存发生作用，比如我有一千万个用户，去访问的是一百万个用户的微博 ，这个时候，他不只是说你的吞吐量和访问带宽，就是你要缓存的博文的内容也很多了，这个时候你要考虑缓存的容量， 第二 级缓 存更多的是从容量上来 规划，保证请求以较小的比例 穿透到 后端的 数据 库 中 ，根据你的用户模型你可以估出来，到底有百分之多少的请求不能穿透到DB， 评估这个容量之后，才能更好的评估DB需要多少库，需要承担多大的访问的压力。另外，我们看双机房的话，左边一个，右边一个。 两个机房是互 为 主 备 ， 或者互 为热备 。如果两个用户在不同地域，他们访问两个不同机房的时候，假设用户从IDC1过来，因为就近原理，他会访问L1，没有的话才会跑到Master，当在IDC1没找到的时候才会跑到IDC2来找。同时有用户从IDC2访问，也会有请求从L1和Master返回或者到IDC1去查找。 IDC1 和 IDC2 ，两个机房都有全量的用户数据，同时在线提供服务，但是缓存查询又遵循最近访问原理。还有哪些多级缓存的例子呢？CDN是典型的多级缓存。CDN在国内各个地区做了很多节点，比如在杭州市部署一个节点时，在机房里肯定不止一台机器，那么对于一个地区来说，只有几台服务器到源站回源，其他节点都到这几台服务器回源即可，这么看CDN至少也有两级。Local Cache+ 分布式 缓 存，这也是常见的一种策略。有一种场景，分布式缓存并不适用， 比如 单 点 资 源 的爆发性峰值流量，这个时候使用Local Cache + 分布式缓存，Local Cache 在 应用 服 务 器 上用很小的 内存资源 挡住少量的 极端峰值流量，长尾的流量仍然访问分布式缓存，这样的Hybrid缓存架构通过复用众多的应用服务器节点，降低了系统的整体成本。 我们来看一下 Feed 的存 储 架构，微博的博文主要存在MySQL中。首先来看内容表，这个比较简单，每条内容一个索引，每天建一张表，其次看索引表，一共建了两级索引。首先想象一下用户场景，大部分用户刷微博的时候，看的是他关注所有人的微博，然后按时间来排序。仔细分析发现在这个场景下， 跟一个用户的自己的相关性很小了。所以在一级索引的时候会先根据关注的用户，取他们的前条微博ID，然后聚合排序。我们在做哈希（分库分表）的时候，同时考虑了按照UID哈希和按照时间维度。很业务和时间相关性很高的，今天的热点新闻，明天就没热度了，数据的冷热非常明显，这种场景就需要按照时间维度做分表，首先冷热数据做了分离（可以对冷热数据采用不同的存储方案来降低成本），其次， 很容止控制我数据库表的爆炸。像微博如果只按照用户维度区分，那么这个用户所有数据都在一张表里，这张表就是无限增长的，时间长了查询会越来越慢。二级索引，是我们里面一个比较特殊的场景，就是我要快速找到这个人所要发布的某一时段的微博时，通过二级索引快速定位。 分布式服务追踪系统 分布式追踪服务系统，当系统到千万级以后的时候，越来越庞杂，所解决的问题更偏向稳定性，性能和监控。刚才说用户只要有一个请求过来，你可以依赖你的服务RPC1、RPC2，你会发现RPC2又依赖RPC3、RPC4。分布式服务的时候一个痛点，就是说一个请求从用户过来之后，在后台不同的机器之间不停的调用并返回。 当你发现一个问题的时候，这些日志落在不同的机器上，你也不知道问题到底出在哪儿，各个服务之间互相隔离，互相之间没有建立关联。所以导致排查问题基本没有任何手段，就是出了问题没法儿解决。 我们要解决的问题，我们刚才说日志互相隔离，我们就要把它建立联系。建立联系我们就有一个请求ID，然后结合RPC框架， 服务治理功能。假设请求从客户端过来，其中包含一个ID 101，到服务A时仍然带有ID 101，然后调用RPC1的时候也会标识这是101 ，所以需要 一个唯一的 请求 ID 标识 递归迭代的传递到每一个 相关 节点。第二个，你做的时候，你不能说每个地方都加，对业务系统来说需要一个框架来完成这个工作， 这 个框架要 对业务 系 统 是最低侵入原 则 ， 用 JAVA 的 话 就可以用 AOP，要做到零侵入的原则，就是对所有相关的中间件打点，从接口层组件（HTTP Client、HTTP Server）至到服务层组件（RPC Client、RPC Server），还有数据访问中间件的，这样业务系统只需要少量的配置信息就可以实现全链路监控 。为什么要用日志？服务化以后，每个服务可以用不同的开发语言， 考虑多种开发语言的兼容性 ， 内部定 义标 准化的日志 是唯一且有效的办法。最后，如何构建基于GPS导航的路况监控？我们刚才讲分布式服务追踪。分布式服务追踪能解决的问题， 如果 单一用 户发现问题 后 ， 可以通 过请 求 ID 快速找到 发 生 问题 的 节 点在什么，但是并没有解决如何发现问题。我们看现实中比较容易理解的道路监控，每辆车有GPS定位，我想看北京哪儿拥堵的时候，怎么做？ 第一个 ， 你肯定要知道每个 车 在什么位置，它走到哪儿了。其实可以说每个车上只要有一个标识，加上每一次流动的信息，就可以看到每个车流的位置和方向。 其次如何做 监 控和 报 警，我们怎么能了解道路的流量状况和负载，并及时报警。我们要定义这条街道多宽多高，单位时间可以通行多少辆车，这就是道路的容量。有了道路容量，再有道路的实时流量，我们就可以基于实习路况做预警？ 对应于 分布式系 统 的话如何构建？ 第一 ， 你要 定义 每个服 务节 点它的 SLA A 是多少 ？SLA可以从系统的CPU占用率、内存占用率、磁盘占用率、QPS请求数等来定义，相当于定义系统的容量。 第二个 ， 统计 线 上 动态 的流量，你要知道服务的平均QPS、最低QPS和最大QPS，有了流量和容量，就可以对系统做全面的监控和报警。 刚才讲的是理论，实际情况肯定比这个复杂。微博在春节的时候做许多活动，必须保障系统稳定，理论上你只要定义容量和流量就可以。但实际远远不行，为什么？有技术的因素，有人为的因素，因为不同的开发定义的流量和容量指标有主观性，很难全局量化标准，所以真正流量来了以后，你预先评估的系统瓶颈往往不正确。实际中我们在春节前主要采取了三个措施：第一，最简单的就是有降 级 的 预 案，流量超过系统容量后，先把哪些功能砍掉，需要有明确的优先级 。第二个， 线上全链路压测，就是把现在的流量放大到我们平常流量的五倍甚至十倍（比如下线一半的服务器，缩容而不是扩容），看看系统瓶颈最先发生在哪里。我们之前有一些例子，推测系统数据库会先出现瓶颈，但是实测发现是前端的程序先遇到瓶颈。第三，搭建在线 Docker 集群 ， 所有业务共享备用的 Docker集群资源，这样可以极大的避免每个业务都预留资源，但是实际上流量没有增长造成的浪费。 总结 接下来说的是如何不停的学习和提升，这里以Java语言为例，首先， 一定要 理解 JAVA；第二步，JAVA完了以后，一定要 理 解 JVM；其次，还要 理解 操作系统；再次还是要了解一下 Design Pattern，这将告诉你怎么把过去的经验抽象沉淀供将来借鉴；还要学习 TCP/IP、 分布式系 统、数据结构和算法。

遍历一个 List 有哪些不同的方式？每种方法的实现原理是什么？Java 中 List 遍历的最佳实践是什么？ 遍历方式有以下几种： for 循环遍历，基于计数器。在集合外部维护一个计数器，然后依次读取每一个位置的元素，当读取到最后一个元素后停止。 迭代器遍历，Iterator。Iterator 是面向对象的一个设计模式，目的是屏蔽不同数据集合的特点，统一遍历集合的接口。Java 在 Collections 中支持了 Iterator 模式。 foreach 循环遍历。foreach 内部也是采用了 Iterator 的方式实现，使用时不需要显式声明 Iterator 或计数器。优点是代码简洁，不易出错；缺点是只能做简单的遍历，不能在遍历过程中操作数据集合，例如删除、替换。 最佳实践：Java Collections 框架中提供了一个 RandomAccess 接口，用来标记 List 实现是否支持 Random Access。 如果一个数据集合实现了该接口，就意味着它支持 Random Access，按位置读取元素的平均时间复杂度为 O(1)，如ArrayList。如果没有实现该接口，表示不支持 Random Access，如LinkedList。 推荐的做法就是，支持 Random Access 的列表可用 for 循环遍历，否则建议用 Iterator 或 foreach 遍历。 说一下 ArrayList 的优缺点 ArrayList的优点如下： ArrayList 底层以数组实现，是一种随机访问模式。ArrayList 实现了 RandomAccess 接口，因此查找的时候非常快。ArrayList 在顺序添加一个元素的时候非常方便。 ArrayList 的缺点如下： 删除元素的时候，需要做一次元素复制操作。如果要复制的元素很多，那么就会比较耗费性能。插入元素的时候，也需要做一次元素复制操作，缺点同上。 ArrayList 比较适合顺序添加、随机访问的场景。 如何实现数组和 List 之间的转换？ 数组转 List：使用 Arrays. asList(array) 进行转换。List 转数组：使用 List 自带的 toArray() 方法。 代码示例： ArrayList 和 LinkedList 的区别是什么？ 数据结构实现：ArrayList 是动态数组的数据结构实现，而 LinkedList 是双向链表的数据结构实现。随机访问效率：ArrayList 比 LinkedList 在随机访问的时候效率要高，因为 LinkedList 是线性的数据存储方式，所以需要移动指针从前往后依次查找。增加和删除效率：在非首尾的增加和删除操作，LinkedList 要比 ArrayList 效率要高，因为 ArrayList 增删操作要影响数组内的其他数据的下标。内存空间占用：LinkedList 比 ArrayList 更占内存，因为 LinkedList 的节点除了存储数据，还存储了两个引用，一个指向前一个元素，一个指向后一个元素。线程安全：ArrayList 和 LinkedList 都是不同步的，也就是不保证线程安全； 综合来说，在需要频繁读取集合中的元素时，更推荐使用 ArrayList，而在插入和删除操作较多时，更推荐使用 LinkedList。 补充：数据结构基础之双向链表 双向链表也叫双链表，是链表的一种，它的每个数据结点中都有两个指针，分别指向直接后继和直接前驱。所以，从双向链表中的任意一个结点开始，都可以很方便地访问它的前驱结点和后继结点。 ArrayList 和 Vector 的区别是什么？ 这两个类都实现了 List 接口（List 接口继承了 Collection 接口），他们都是有序集合 线程安全：Vector 使用了 Synchronized 来实现线程同步，是线程安全的，而 ArrayList 是非线程安全的。性能：ArrayList 在性能方面要优于 Vector。扩容：ArrayList 和 Vector 都会根据实际的需要动态的调整容量，只不过在 Vector 扩容每次会增加 1 倍，而 ArrayList 只会增加 50%。 Vector类的所有方法都是同步的。可以由两个线程安全地访问一个Vector对象、但是一个线程访问Vector的话代码要在同步操作上耗费大量的时间。 Arraylist不是同步的，所以在不需要保证线程安全时时建议使用Arraylist。 插入数据时，ArrayList、LinkedList、Vector谁速度较快？阐述 ArrayList、Vector、LinkedList 的存储性能和特性？ ArrayList、LinkedList、Vector 底层的实现都是使用数组方式存储数据。数组元素数大于实际存储的数据以便增加和插入元素，它们都允许直接按序号索引元素，但是插入元素要涉及数组元素移动等内存操作，所以索引数据快而插入数据慢。 Vector 中的方法由于加了 synchronized 修饰，因此 Vector 是线程安全容器，但性能上较ArrayList差。 LinkedList 使用双向链表实现存储，按序号索引数据需要进行前向或后向遍历，但插入数据时只需要记录当前项的前后项即可，所以 LinkedList 插入速度较快。 多线程场景下如何使用 ArrayList？ ArrayList 不是线程安全的，如果遇到多线程场景，可以通过 Collections 的 synchronizedList 方法将其转换成线程安全的容器后再使用。例如像下面这样： 为什么 ArrayList 的 elementData 加上 transient 修饰？ ArrayList 中的数组定义如下： private transient Object[] elementData; 再看一下 ArrayList 的定义： public class ArrayList extends AbstractList implements List<E>, RandomAccess, Cloneable, java.io.Serializable 可以看到 ArrayList 实现了 Serializable 接口，这意味着 ArrayList 支持序列化。transient 的作用是说不希望 elementData 数组被序列化，重写了 writeObject 实现： 每次序列化时，先调用 defaultWriteObject() 方法序列化 ArrayList 中的非 transient 元素，然后遍历 elementData，只序列化已存入的元素，这样既加快了序列化的速度，又减小了序列化之后的文件大小。 List 和 Set 的区别 List , Set 都是继承自Collection 接口 List 特点：一个有序（元素存入集合的顺序和取出的顺序一致）容器，元素可以重复，可以插入多个null元素，元素都有索引。常用的实现类有 ArrayList、LinkedList 和 Vector。 Set 特点：一个无序（存入和取出顺序有可能不一致）容器，不可以存储重复元素，只允许存入一个null元素，必须保证元素唯一性。Set 接口常用实现类是 HashSet、LinkedHashSet 以及 TreeSet。 另外 List 支持for循环，也就是通过下标来遍历，也可以用迭代器，但是set只能用迭代，因为他无序，无法用下标来取得想要的值。 Set和List对比 Set：检索元素效率低下，删除和插入效率高，插入和删除不会引起元素位置改变。 List：和数组类似，List可以动态增长，查找元素效率高，插入删除元素效率低，因为会引起其他元素位置改变 Set接口 说一下 HashSet 的实现原理？ HashSet 是基于 HashMap 实现的，HashSet的值存放于HashMap的key上，HashMap的value统一为PRESENT，因此 HashSet 的实现比较简单，相关 HashSet 的操作，基本上都是直接调用底层 HashMap 的相关方法来完成，HashSet 不允许重复的值。 HashSet如何检查重复？HashSet是如何保证数据不可重复的？ 向HashSet 中add ()元素时，判断元素是否存在的依据，不仅要比较hash值，同时还要结合equles 方法比较。 HashSet 中的add ()方法会使用HashMap 的put()方法。 HashMap 的 key 是唯一的，由源码可以看出 HashSet 添加进去的值就是作为HashMap 的key，并且在HashMap中如果K/V相同时，会用新的V覆盖掉旧的V，然后返回旧的V。所以不会重复（ HashMap 比较key是否相等是先比较hashcode 再比较equals ）。 以下是HashSet 部分源码： hashCode（）与equals（）的相关规定： 如果两个对象相等，则hashcode一定也是相同的 两个对象相等,对两个equals方法返回true 两个对象有相同的hashcode值，它们也不一定是相等的 综上，equals方法被覆盖过，则hashCode方法也必须被覆盖 hashCode()的默认行为是对堆上的对象产生独特值。如果没有重写hashCode()，则该class的两个对象无论如何都不会相等（即使这两个对象指向相同的数据）。 ** ==与equals的区别** ==是判断两个变量或实例是不是指向同一个内存空间 equals是判断两个变量或实例所指向的内存空间的值是不是相同 ==是指对内存地址进行比较 equals()是对字符串的内容进行比较3.==指引用是否相同 equals()指的是值是否相同 HashSet与HashMap的区别 Queue BlockingQueue是什么？ Java.util.concurrent.BlockingQueue是一个队列，在进行检索或移除一个元素的时候，它会等待队列变为非空；当在添加一个元素时，它会等待队列中的可用空间。BlockingQueue接口是Java集合框架的一部分，主要用于实现生产者-消费者模式。我们不需要担心等待生产者有可用的空间，或消费者有可用的对象，因为它都在BlockingQueue的实现类中被处理了。Java提供了集中BlockingQueue的实现，比如ArrayBlockingQueue、LinkedBlockingQueue、PriorityBlockingQueue,、SynchronousQueue等。 在 Queue 中 poll()和 remove()有什么区别？ 相同点：都是返回第一个元素，并在队列中删除返回的对象。 不同点：如果没有元素 poll()会返回 null，而 remove()会直接抛出 NoSuchElementException 异常。 代码示例： Queue queue = new LinkedList (); queue. offer("string"); // add System. out. println(queue. poll()); System. out. println(queue. remove()); System. out. println(queue. size()); Map接口 说一下 HashMap 的实现原理？ HashMap概述： HashMap是基于哈希表的Map接口的非同步实现。此实现提供所有可选的映射操作，并允许使用null值和null键。此类不保证映射的顺序，特别是它不保证该顺序恒久不变。 HashMap的数据结构： 在Java编程语言中，最基本的结构就是两种，一个是数组，另外一个是模拟指针（引用），所有的数据结构都可以用这两个基本结构来构造的，HashMap也不例外。HashMap实际上是一个“链表散列”的数据结构，即数组和链表的结合体。 HashMap 基于 Hash 算法实现的 当我们往Hashmap中put元素时，利用key的hashCode重新hash计算出当前对象的元素在数组中的下标存储时，如果出现hash值相同的key，此时有两种情况。(1)如果key相同，则覆盖原始值；(2)如果key不同（出现冲突），则将当前的key-value放入链表中获取时，直接找到hash值对应的下标，在进一步判断key是否相同，从而找到对应值。理解了以上过程就不难明白HashMap是如何解决hash冲突的问题，核心就是使用了数组的存储方式，然后将冲突的key的对象放入链表中，一旦发现冲突就在链表中做进一步的对比。 需要注意Jdk 1.8中对HashMap的实现做了优化，当链表中的节点数据超过八个之后，该链表会转为红黑树来提高查询效率，从原来的O(n)到O(logn) HashMap在JDK1.7和JDK1.8中有哪些不同？HashMap的底层实现 在Java中，保存数据有两种比较简单的数据结构：数组和链表。数组的特点是：寻址容易，插入和删除困难；链表的特点是：寻址困难，但插入和删除容易；所以我们将数组和链表结合在一起，发挥两者各自的优势，使用一种叫做拉链法的方式可以解决哈希冲突。 JDK1.8之前 JDK1.8之前采用的是拉链法。拉链法：将链表和数组相结合。也就是说创建一个链表数组，数组中每一格就是一个链表。若遇到哈希冲突，则将冲突的值加到链表中即可。 JDK1.8之后 相比于之前的版本，jdk1.8在解决哈希冲突时有了较大的变化，当链表长度大于阈值（默认为8）时，将链表转化为红黑树，以减少搜索时间。 JDK1.7 VS JDK1.8 比较 JDK1.8主要解决或优化了一下问题： resize 扩容优化引入了红黑树，目的是避免单条链表过长而影响查询效率，红黑树算法请参考解决了多线程死循环问题，但仍是非线程安全的，多线程时可能会造成数据丢失问题。 HashMap的put方法的具体流程？ 当我们put的时候，首先计算 key的hash值，这里调用了 hash方法，hash方法实际是让key.hashCode()与key.hashCode()>>>16进行异或操作，高16bit补0，一个数和0异或不变，所以 hash 函数大概的作用就是：高16bit不变，低16bit和高16bit做了一个异或，目的是减少碰撞。按照函数注释，因为bucket数组大小是2的幂，计算下标index = (table.length - 1) & hash，如果不做 hash 处理，相当于散列生效的只有几个低 bit 位，为了减少散列的碰撞，设计者综合考虑了速度、作用、质量之后，使用高16bit和低16bit异或来简单处理减少碰撞，而且JDK8中用了复杂度 O（logn）的树结构来提升碰撞下的性能。 putVal方法执行流程图 ①.判断键值对数组table[i]是否为空或为null，否则执行resize()进行扩容； ②.根据键值key计算hash值得到插入的数组索引i，如果table[i]==null，直接新建节点添加，转向⑥，如果table[i]不为空，转向③； ③.判断table[i]的首个元素是否和key一样，如果相同直接覆盖value，否则转向④，这里的相同指的是hashCode以及equals； ④.判断table[i] 是否为treeNode，即table[i] 是否是红黑树，如果是红黑树，则直接在树中插入键值对，否则转向⑤； ⑤.遍历table[i]，判断链表长度是否大于8，大于8的话把链表转换为红黑树，在红黑树中执行插入操作，否则进行链表的插入操作；遍历过程中若发现key已经存在直接覆盖value即可； ⑥.插入成功后，判断实际存在的键值对数量size是否超多了最大容量threshold，如果超过，进行扩容。 HashMap的扩容操作是怎么实现的？ ①.在jdk1.8中，resize方法是在hashmap中的键值对大于阀值时或者初始化时，就调用resize方法进行扩容； ②.每次扩展的时候，都是扩展2倍； ③.扩展后Node对象的位置要么在原位置，要么移动到原偏移量两倍的位置。 在putVal()中，我们看到在这个函数里面使用到了2次resize()方法，resize()方法表示的在进行第一次初始化时会对其进行扩容，或者当该数组的实际大小大于其临界值值(第一次为12),这个时候在扩容的同时也会伴随的桶上面的元素进行重新分发，这也是JDK1.8版本的一个优化的地方，在1.7中，扩容之后需要重新去计算其Hash值，根据Hash值对其进行分发，但在1.8版本中，则是根据在同一个桶的位置中进行判断(e.hash & oldCap)是否为0，重新进行hash分配后，该元素的位置要么停留在原始位置，要么移动到原始位置+增加的数组大小这个位置上 HashMap是怎么解决哈希冲突的？ 答：在解决这个问题之前，我们首先需要知道什么是哈希冲突，而在了解哈希冲突之前我们还要知道什么是哈希才行； 什么是哈希？ Hash，一般翻译为“散列”，也有直接音译为“哈希”的，这就是把任意长度的输入通过散列算法，变换成固定长度的输出，该输出就是散列值（哈希值）；这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，所以不可能从散列值来唯一的确定输入值。简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。 所有散列函数都有如下一个基本特性**：根据同一散列函数计算出的散列值如果不同，那么输入值肯定也不同。但是，根据同一散列函数计算出的散列值如果相同，输入值不一定相同**。 什么是哈希冲突？ 当两个不同的输入值，根据同一散列函数计算出相同的散列值的现象，我们就把它叫做碰撞（哈希碰撞）。 HashMap的数据结构 在Java中，保存数据有两种比较简单的数据结构：数组和链表。数组的特点是：寻址容易，插入和删除困难；链表的特点是：寻址困难，但插入和删除容易；所以我们将数组和链表结合在一起，发挥两者各自的优势，使用一种叫做链地址法的方式可以解决哈希冲突： 这样我们就可以将拥有相同哈希值的对象组织成一个链表放在hash值所对应的bucket下，但相比于hashCode返回的int类型，我们HashMap初始的容量大小DEFAULT_INITIAL_CAPACITY = 1 << 4（即2的四次方16）要远小于int类型的范围，所以我们如果只是单纯的用hashCode取余来获取对应的bucket这将会大大增加哈希碰撞的概率，并且最坏情况下还会将HashMap变成一个单链表，所以我们还需要对hashCode作一定的优化 hash()函数 上面提到的问题，主要是因为如果使用hashCode取余，那么相当于参与运算的只有hashCode的低位，高位是没有起到任何作用的，所以我们的思路就是让hashCode取值出的高位也参与运算，进一步降低hash碰撞的概率，使得数据分布更平均，我们把这样的操作称为扰动，在JDK 1.8中的hash()函数如下： static final int hash(Object key) { int h; return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);// 与自己右移16位进行异或运算（高低位异或） } 这比在JDK 1.7中，更为简洁，相比在1.7中的4次位运算，5次异或运算（9次扰动），在1.8中，只进行了1次位运算和1次异或运算（2次扰动）； JDK1.8新增红黑树 通过上面的链地址法（使用散列表）和扰动函数我们成功让我们的数据分布更平均，哈希碰撞减少，但是当我们的HashMap中存在大量数据时，加入我们某个bucket下对应的链表有n个元素，那么遍历时间复杂度就为O(n)，为了针对这个问题，JDK1.8在HashMap中新增了红黑树的数据结构，进一步使得遍历复杂度降低至O(logn)； 总结 简单总结一下HashMap是使用了哪些方法来有效解决哈希冲突的： 使用链地址法（使用散列表）来链接拥有相同hash值的数据；使用2次扰动函数（hash函数）来降低哈希冲突的概率，使得数据分布更平均；引入红黑树进一步降低遍历的时间复杂度，使得遍历更快； **能否使用任何类作为 Map 的 key？ **可以使用任何类作为 Map 的 key，然而在使用之前，需要考虑以下几点： 如果类重写了 equals() 方法，也应该重写 hashCode() 方法。 类的所有实例需要遵循与 equals() 和 hashCode() 相关的规则。 如果一个类没有使用 equals()，不应该在 hashCode() 中使用它。 用户自定义 Key 类最佳实践是使之为不可变的，这样 hashCode() 值可以被缓存起来，拥有更好的性能。不可变的类也可以确保 hashCode() 和 equals() 在未来不会改变，这样就会解决与可变相关的问题了。 为什么HashMap中String、Integer这样的包装类适合作为K？ 答：String、Integer等包装类的特性能够保证Hash值的不可更改性和计算准确性，能够有效的减少Hash碰撞的几率 都是final类型，即不可变性，保证key的不可更改性，不会存在获取hash值不同的情况 内部已重写了equals()、hashCode()等方法，遵守了HashMap内部的规范（不清楚可以去上面看看putValue的过程），不容易出现Hash值计算错误的情况； 如果使用Object作为HashMap的Key，应该怎么办呢？ 答：重写hashCode()和equals()方法 重写hashCode()是因为需要计算存储数据的存储位置，需要注意不要试图从散列码计算中排除掉一个对象的关键部分来提高性能，这样虽然能更快但可能会导致更多的Hash碰撞； 重写equals()方法，需要遵守自反性、对称性、传递性、一致性以及对于任何非null的引用值x，x.equals(null)必须返回false的这几个特性，目的是为了保证key在哈希表中的唯一性； HashMap为什么不直接使用hashCode()处理后的哈希值直接作为table的下标 答：hashCode()方法返回的是int整数类型，其范围为-(2 ^ 31)~(2 ^ 31 - 1)，约有40亿个映射空间，而HashMap的容量范围是在16（初始化默认值）~2 ^ 30，HashMap通常情况下是取不到最大值的，并且设备上也难以提供这么多的存储空间，从而导致通过hashCode()计算出的哈希值可能不在数组大小范围内，进而无法匹配存储位置； 那怎么解决呢？ HashMap自己实现了自己的hash()方法，通过两次扰动使得它自己的哈希值高低位自行进行异或运算，降低哈希碰撞概率也使得数据分布更平均； 在保证数组长度为2的幂次方的时候，使用hash()运算之后的值与运算（&）（数组长度 - 1）来获取数组下标的方式进行存储，这样一来是比取余操作更加有效率，二来也是因为只有当数组长度为2的幂次方时，h&(length-1)才等价于h%length，三来解决了“哈希值与数组大小范围不匹配”的问题； HashMap 的长度为什么是2的幂次方 为了能让 HashMap 存取高效，尽量较少碰撞，也就是要尽量把数据分配均匀，每个链表/红黑树长度大致相同。这个实现就是把数据存到哪个链表/红黑树中的算法。 这个算法应该如何设计呢？ 我们首先可能会想到采用%取余的操作来实现。但是，重点来了：“取余(%)操作中如果除数是2的幂次则等价于与其除数减一的与(&)操作（也就是说 hash%length==hash&(length-1)的前提是 length 是2的 n 次方；）。” 并且 采用二进制位操作 &，相对于%能够提高运算效率，这就解释了 HashMap 的长度为什么是2的幂次方。 那为什么是两次扰动呢？ 答：这样就是加大哈希值低位的随机性，使得分布更均匀，从而提高对应数组存储下标位置的随机性&均匀性，最终减少Hash冲突，两次就够了，已经达到了高位低位同时参与运算的目的； HashMap 与 HashTable 有什么区别？ 线程安全： HashMap 是非线程安全的，HashTable 是线程安全的；HashTable 内部的方法基本都经过 synchronized 修饰。（如果你要保证线程安全的话就使用 ConcurrentHashMap 吧！）； 效率： 因为线程安全的问题，HashMap 要比 HashTable 效率高一点。另外，HashTable 基本被淘汰，不要在代码中使用它； 对Null key 和Null value的支持： HashMap 中，null 可以作为键，这样的键只有一个，可以有一个或多个键所对应的值为 null。但是在 HashTable 中 put 进的键值只要有一个 null，直接抛NullPointerException。 **初始容量大小和每次扩充容量大小的不同 **： ①创建时如果不指定容量初始值，Hashtable 默认的初始大小为11，之后每次扩充，容量变为原来的2n+1。HashMap 默认的初始化大小为16。之后每次扩充，容量变为原来的2倍。②创建时如果给定了容量初始值，那么 Hashtable 会直接使用你给定的大小，而 HashMap 会将其扩充为2的幂次方大小。也就是说 HashMap 总是使用2的幂作为哈希表的大小，后面会介绍到为什么是2的幂次方。 底层数据结构： JDK1.8 以后的 HashMap 在解决哈希冲突时有了较大的变化，当链表长度大于阈值（默认为8）时，将链表转化为红黑树，以减少搜索时间。Hashtable 没有这样的机制。 推荐使用：在 Hashtable 的类注释可以看到，Hashtable 是保留类不建议使用，推荐在单线程环境下使用 HashMap 替代，如果需要多线程使用则用 ConcurrentHashMap 替代。 如何决定使用 HashMap 还是 TreeMap？ 对于在Map中插入、删除和定位元素这类操作，HashMap是最好的选择。然而，假如你需要对一个有序的key集合进行遍历，TreeMap是更好的选择。基于你的collection的大小，也许向HashMap中添加元素会更快，将map换为TreeMap进行有序key的遍历。 HashMap 和 ConcurrentHashMap 的区别 ConcurrentHashMap对整个桶数组进行了分割分段(Segment)，然后在每一个分段上都用lock锁进行保护，相对于HashTable的synchronized锁的粒度更精细了一些，并发性能更好，而HashMap没有锁机制，不是线程安全的。（JDK1.8之后ConcurrentHashMap启用了一种全新的方式实现,利用CAS算法。） HashMap的键值对允许有null，但是ConCurrentHashMap都不允许。 ConcurrentHashMap 和 Hashtable 的区别？ ConcurrentHashMap 和 Hashtable 的区别主要体现在实现线程安全的方式上不同。 底层数据结构： JDK1.7的 ConcurrentHashMap 底层采用 分段的数组+链表 实现，JDK1.8 采用的数据结构跟HashMap1.8的结构一样，数组+链表/红黑二叉树。Hashtable 和 JDK1.8 之前的 HashMap 的底层数据结构类似都是采用 数组+链表 的形式，数组是 HashMap 的主体，链表则是主要为了解决哈希冲突而存在的； 实现线程安全的方式（重要）： ① 在JDK1.7的时候，ConcurrentHashMap（分段锁） 对整个桶数组进行了分割分段(Segment)，每一把锁只锁容器其中一部分数据，多线程访问容器里不同数据段的数据，就不会存在锁竞争，提高并发访问率。（默认分配16个Segment，比Hashtable效率提高16倍。） 到了 JDK1.8 的时候已经摒弃了Segment的概念，而是直接用 Node 数组+链表+红黑树的数据结构来实现，并发控制使用 synchronized 和 CAS 来操作。（JDK1.6以后 对 synchronized锁做了很多优化） 整个看起来就像是优化过且线程安全的 HashMap，虽然在JDK1.8中还能看到 Segment 的数据结构，但是已经简化了属性，只是为了兼容旧版本；② Hashtable(同一把锁) :使用 synchronized 来保证线程安全，效率非常低下。当一个线程访问同步方法时，其他线程也访问同步方法，可能会进入阻塞或轮询状态，如使用 put 添加元素，另一个线程不能使用 put 添加元素，也不能使用 get，竞争会越来越激烈效率越低。 两者的对比图： HashTable: JDK1.7的ConcurrentHashMap： JDK1.8的ConcurrentHashMap（TreeBin: 红黑二叉树节点 Node: 链表节点）： 答：ConcurrentHashMap 结合了 HashMap 和 HashTable 二者的优势。HashMap 没有考虑同步，HashTable 考虑了同步的问题。但是 HashTable 在每次同步执行时都要锁住整个结构。 ConcurrentHashMap 锁的方式是稍微细粒度的。 ConcurrentHashMap 底层具体实现知道吗？实现原理是什么？ JDK1.7 首先将数据分为一段一段的存储，然后给每一段数据配一把锁，当一个线程占用锁访问其中一个段数据时，其他段的数据也能被其他线程访问。 在JDK1.7中，ConcurrentHashMap采用Segment + HashEntry的方式进行实现，结构如下： 一个 ConcurrentHashMap 里包含一个 Segment 数组。Segment 的结构和HashMap类似，是一种数组和链表结构，一个 Segment 包含一个 HashEntry 数组，每个 HashEntry 是一个链表结构的元素，每个 Segment 守护着一个HashEntry数组里的元素，当对 HashEntry 数组的数据进行修改时，必须首先获得对应的 Segment的锁。 该类包含两个静态内部类 HashEntry 和 Segment ；前者用来封装映射表的键值对，后者用来充当锁的角色；Segment 是一种可重入的锁 ReentrantLock，每个 Segment 守护一个HashEntry 数组里得元素，当对 HashEntry 数组的数据进行修改时，必须首先获得对应的 Segment 锁。 JDK1.8 在JDK1.8中，放弃了Segment臃肿的设计，取而代之的是采用Node + CAS + Synchronized来保证并发安全进行实现，synchronized只锁定当前链表或红黑二叉树的首节点，这样只要hash不冲突，就不会产生并发，效率又提升N倍。 结构如下： 如果该节点是TreeBin类型的节点，说明是红黑树结构，则通过putTreeVal方法往红黑树中插入节点；如果binCount不为0，说明put操作对数据产生了影响，如果当前链表的个数达到8个，则通过treeifyBin方法转化为红黑树，如果oldVal不为空，说明是一次更新操作，没有对元素个数产生影响，则直接返回旧值；如果插入的是一个新节点，则执行addCount()方法尝试更新元素个数baseCount； 辅助工具类 Array 和 ArrayList 有何区别？ Array 可以存储基本数据类型和对象，ArrayList 只能存储对象。Array 是指定固定大小的，而 ArrayList 大小是自动扩展的。Array 内置方法没有 ArrayList 多，比如 addAll、removeAll、iteration 等方法只有 ArrayList 有。 对于基本类型数据，集合使用自动装箱来减少编码工作量。但是，当处理固定大小的基本数据类型的时候，这种方式相对比较慢。 如何实现 Array 和 List 之间的转换？ Array 转 List： Arrays. asList(array) ；List 转 Array：List 的 toArray() 方法。 comparable 和 comparator的区别？ comparable接口实际上是出自java.lang包，它有一个 compareTo(Object obj)方法用来排序comparator接口实际上是出自 java.util 包，它有一个compare(Object obj1, Object obj2)方法用来排序 一般我们需要对一个集合使用自定义排序时，我们就要重写compareTo方法或compare方法，当我们需要对某一个集合实现两种排序方式，比如一个song对象中的歌名和歌手名分别采用一种排序方法的话，我们可以重写compareTo方法和使用自制的Comparator方法或者以两个Comparator来实现歌名排序和歌星名排序，第二种代表我们只能使用两个参数版的Collections.sort(). 方法如何比较元素？ TreeSet 要求存放的对象所属的类必须实现 Comparable 接口，该接口提供了比较元素的 compareTo()方法，当插入元素时会回调该方法比较元素的大小。TreeMap 要求存放的键值对映射的键必须实现 Comparable 接口从而根据键对元素进 行排 序。 Collections 工具类的 sort 方法有两种重载的形式， 第一种要求传入的待排序容器中存放的对象比较实现 Comparable 接口以实现元素的比较； 第二种不强制性的要求容器中的元素必须可比较，但是要求传入第二个参数，参数是Comparator 接口的子类型（需要重写 compare 方法实现元素的比较），相当于一个临时定义的排序规则，其实就是通过接口注入比较元素大小的算法，也是对回调模式的应用（Java 中对函数式编程的支持）。

原生XML扩展 我更喜欢使用其中一个原生XML扩展，因为它们与PHP捆绑在一起，通常比所有第三方库更快，并且在标记上给我所需的所有控制权。 DOM DOM扩展允许您使用PHP 5通过DOM API操作XML文档。它是W3C的文档对象模型核心级别3的实现，这是一个平台和语言中立的接口，允许程序和脚本动态访问和更新文件的内容，结构和风格。 DOM能够解析和修改现实世界（破碎）的HTML，并且可以执行XPath查询。它基于libxml。 使用DOM需要一些时间才能提高效率，但这个时间非常值得IMO。由于DOM是一个与语言无关的接口，因此您可以找到多种语言的实现，因此如果您需要更改编程语言，那么您很可能已经知道如何使用该语言的DOM API。 一个基本的用法示例可以在抓取A元素的href属性中找到，一般的概念概述可以在php的DOMDocument中找到 StackOverflow上已经广泛介绍了如何使用DOM扩展，因此如果您选择使用它，您可以确定您遇到的大多数问题都可以通过搜索/浏览Stack Overflow来解决。 XMLReader的 XMLReader扩展是一个XML pull解析器。读取器在文档流上作为光标前进，并在途中停在每个节点上。 与DOM一样，XMLReader基于libxml。我不知道如何触发HTML解析器模块，因此使用XMLReader解析损坏的HTML的可能性可能不如使用DOM，因为您可以明确告诉它使用libxml的HTML解析器模块。 使用php从h1标签获取所有值时，可以找到一个基本用法示例 XML解析器 此扩展允许您创建XML解析器，然后为不同的XML事件定义处理程序。每个XML解析器还有一些您可以调整的参数。 XML Parser库也基于libxml，并实现了SAX样式的XML推送解析器。它可能是比DOM或SimpleXML更好的内存管理选择，但是比XMLReader实现的pull解析器更难以使用。 SimpleXML的 SimpleXML扩展提供了一个非常简单且易于使用的工具集，用于将XML转换为可以使用普通属性选择器和数组迭代器处理的对象。 当您知道HTML是有效的XHTML时，SimpleXML是一个选项。如果你需要解析破碎的HTML，甚至不要考虑SimpleXml，因为它会窒息。 一个基本的用法示例可以在一个简单的CRUD节点程序和xml文件的节点值中找到，PHP手册中还有很多其他的例子。 第三方库（基于libxml） 如果您更喜欢使用第三方库，我建议使用实际上使用DOM / libxml而不是字符串解析的库。 FluentDom - 回购 FluentDOM为PHP中的DOMDocument提供了类似jQuery的流畅XML接口。选择器是用XPath或CSS编写的（使用CSS到XPath转换器）。当前版本扩展了DOM实现标准接口并添加了DOM Living Standard的功能。FluentDOM可以加载JSON，CSV，JsonML，RabbitFish等格式。可以通过Composer安装。 HtmlPageDom Wa72 \ HtmlPageDom`是一个用于轻松操作HTML文档的PHP库。它需要来自Symfony2组件的DomCrawler来遍历DOM树，并通过添加操作HTML文档的DOM树的方法来扩展它。 phpQuery（多年未更新） phpQuery是一个服务器端，可链接，CSS3选择器驱动的文档对象模型（DOM）API，基于用PHP5编写的jQuery JavaScript库，并提供额外的命令行界面（CLI）。 另见：https：//github.com/electrolinux/phpquery Zend_Dom Zend_Dom提供了处理DOM文档和结构的工具。目前，我们提供Zend_Dom_Query，它提供了一个统一的界面，可以使用XPath和CSS选择器查询DOM文档。 的QueryPath QueryPath是一个用于操作XML和HTML的PHP​​库。它不仅适用于本地文件，还适用于Web服务和数据库资源。它实现了许多jQuery接口（包括CSS样式的选择器），但它在服务器端使用时经过了大量调整。可以通过Composer安装。 fDOMDocument fDOMDocument扩展了标准DOM，以便在所有错误情况下使用异常，而不是PHP警告或通知。为方便起见，他们还添加了各种自定义方法和快捷方式，并简化了DOM的使用。 军刀/ XML saber / xml是一个包装和扩展XMLReader和XMLWriter类的库，用于创建一个简单的“xml到对象/数组”映射系统和设计模式。编写和读取XML是单遍的，因此可以快速并且需要大型xml文件的低内存。 FluidXML FluidXML是一个用于使用简洁流畅的API来操作XML的PHP​​库。它利用XPath和流畅的编程模式，既有趣又有效。 第三方（不是基于libxml的） 构建DOM / libxml的好处是，您可以获得良好的开箱即用性能，因为您基于本机扩展。但是，并非所有第三方库都沿着这条路线行进。其中一些列在下面 PHP简单的HTML DOM解析器 用PHP5 +编写的HTML DOM解析器允许您以非常简单的方式操作HTML！ 需要PHP 5+。 支持无效的HTML。 使用选择器在HTML页面上查找标签，就像jQuery一样。 从一行中提取HTML中的内容。 我一般不推荐这个解析器。代码库很糟糕，解析器本身很慢而且内存很耗。并非所有jQuery选择器（例如子选择器）都是可能的。任何基于libxml的库都应该比这更容易。 PHP Html解析器 PHPHtmlParser是一个简单，灵活的html解析器，允许您使用任何css选择器（如jQuery）选择标签。目标是帮助开发需要快速，简单的方法来废弃html的工具，无论它是否有效！这个项目最初是由sunra / php-simple-html-dom-parser支持的，但支持似乎已经停止，所以这个项目是我对他以前工作的改编。 同样，我不推荐这个解析器。CPU使用率很高，速度相当慢。还没有清除已创建DOM对象的内存的功能。这些问题尤其适用于嵌套循环。文档本身不准确且拼写错误，自4月14日以来没有回复修复。 加农 通用标记器和HTML / XML / RSS DOM解析器 能够操纵元素及其属性 支持无效的HTML和UTF8 可以对元素执行类似CSS3的高级查询（比如jQuery - 支持的命名空间） HTML美化器（如HTML Tidy） 缩小CSS和Javascript 排序属性，更改字符大小写，更正缩进等。 扩展 使用基于当前字符/标记的回调解析文档 操作以较小的功能分隔，以便轻松覆盖 快速而简单 从未使用过它。不知道它是否有用。 HTML 5 您可以使用上面的方法来解析HTML5，但由于HTML5允许的标记，可能会有怪癖。因此，对于HTML5，您要考虑使用专用解析器，例如 html5lib 基于WHATWG HTML5规范的HTML解析器的Python和PHP实现，可与主要桌面Web浏览器实现最大兼容性。 HTML5最终确定后，我们可能会看到更多专用解析器。还有一个W3的博客文章，名为How-To for html 5 parsing，值得一试。 网页服务 如果您不想编写PHP，您也可以使用Web服务。一般来说，我发现这些实用程序很少，但那只是我和我的用例。 ScraperWiki。 ScraperWiki的外部界面允许您以您希望在Web或您自己的应用程序中使用的形式提取数据。您还可以提取有关任何刮刀状态的信息。 常用表达 最后也是最不推荐的，您可以使用正则表达式从HTML中提取数据。通常，不鼓励在HTML上使用正则表达式。 您可以在网上找到与标记相匹配的大多数片段都很脆弱。在大多数情况下，它们只适用于非常特殊的HTML。微小的标记更改，例如在某处添加空格，或添加或更改标记中的属性，可以使RegEx在未正确编写时失败。在HTML上使用RegEx之前，您应该知道自己在做什么。 HTML解析器已经知道HTML的语法规则。必须为您编写的每个新RegEx讲授正则表达式。RegEx在某些情况下很好，但它实际上取决于您的用例。 您可以编写更可靠的解析器，但是使用正则表达式编写完整可靠的自定义解析器是浪费时间，因为上述库已经存在并且在此方面做得更好。

服务器和操作系统 1、主板的两个芯片分别是什么芯片，具备什么作用？ 北桥：离CPU近，负责CPU、内存、显卡之间的通信。 南桥：离CPU远，负责I/O总线之间的通信。 2、什么是域和域控制器？ 将网络中的计算机逻辑上组织到一起，进行集中管理，这种集中管理的环境称为域。 在域中，至少有一台域控制器，域控制器中保存着整个域的用户账号和安全数据，安装了活动目录的一台计算机为域控制器，域管理员可以控制每个域用户的行为。 3、现在有300台虚拟机在云上，你如何进行管理？ 1）设定堡垒机，使用统一账号登录，便于安全与登录的考量。 2）使用ansiable、puppet进行系统的统一调度与配置的统一管理。 3）建立简单的服务器的系统、配置、应用的cmdb信息管理。便于查阅每台服务器上的各种信息记录。 4、简述raid0 raid1 raid5 三种工作模式的工作原理及特点 磁盘冗余阵列（Redundant Arrays of Independent Disks，RAID），把硬盘整合成一个大磁盘，在大磁盘上再分区，存放数据、多块盘放在一起可以有冗余（备份）。 RAID整合方式有很多，常用的：0 1 5 10 RAID 0：可以是一块盘和N个盘组合 优点：读写快，是RAID中最好的 缺点：没有冗余，一块坏了数据就全没有了 RAID 1：只能2块盘，盘的大小可以不一样，以小的为准 10G+10G只有10G，另一个做备份。它有100%的冗余，缺点：浪费资源，成本高 RAID 5 ：3块盘，容量计算10*（n-1）,损失一块盘 特点：读写性能一般，读还好一点，写不好 总结： 冗余从好到坏：RAID1 RAID10 RAID 5 RAID0 性能从好到坏：RAID0 RAID10 RAID5 RAID1 成本从低到高：RAID0 RAID5 RAID1 RAID10 5、linux系统里，buffer和cache如何区分？ buffer和cache都是内存中的一块区域，当CPU需要写数据到磁盘时，由于磁盘速度比较慢，所以CPU先把数据存进buffer，然后CPU去执行其他任务，buffer中的数据会定期写入磁盘；当CPU需要从磁盘读入数据时，由于磁盘速度比较慢，可以把即将用到的数据提前存入cache，CPU直接从Cache中拿数据要快的多。 6、主机监控如何实现？ 数据中心可以用zabbix（也可以是nagios或其他）监控方案，zabbix图形界面丰富，也自带很多监控模板，特别是多个分区、多个网卡等自动发现并进行监控做得非常不错，不过需要在每台客户机（被监控端）安装zabbix agent。 如果在公有云上，可以使用云监控来监控主机的运行。 网络 7、主机与主机之间通讯的三要素有什么？ IP地址、子网掩码、IP路由 8、TCP和UDP都可以实现客户端/服务端通信，这两个协议有何区别？ TCP协议面向连接、可靠性高、适合传输大量数据；但是需要三次握手、数据补发等过程，耗时长、通信延迟大。 UDP协议面向非连接、可靠性低、适合传输少量数据；但是连接速度快、耗时短、延迟小。 9、简述TCP协议三次握手和四次分手以及数据传输过程 三次握手： （1）当主机A想同主机B建立连接，主机A会发送SYN给主机B，初始化序列号seq=x。主机A通过向主机B发送SYS报文段，实现从主机A到主机B的序列号同步，即确定seq中的x。 （2）主机B接收到报文后，同意与A建立连接，会发送SYN、ACK给主机A。初始化序列号seq=y，确认序号ack=x+1。主机B向主机A发送SYN报文的目的是实现从主机B到主机A的序列号同步，即确定seq中的y。 （3）主机A接收到主机B发送过来的报文后，会发送ACK给主机B，确认序号ack=y+1，建立连接完成，传输数据。 四次分手： （1）当主机A的应用程序通知TCP数据已经发送完毕时，TCP向主机B发送一个带有FIN附加标记的报文段，初始化序号seq=x。 （2）主机B收到这个FIN报文段，并不立即用FIN报文段回复主机A，而是想主机A发送一个确认序号ack=x+1，同时通知自己的应用程序，对方要求关闭连接（先发ack是防止主机A重复发送FIN报文）。 （3）主机B发送完ack确认报文后，主机B 的应用程序通知TCP我要关闭连接，TCP接到通知后会向主机A发送一个带有FIN附加标记的报文段，初始化序号seq=x，ack=x+1。 （4）主机A收到这个FIN报文段，向主机B发送一个ack确认报文，ack=y+1，表示连接彻底释放。 10、SNAT和DNAT的区别 SNAT:内部地址要访问公网上的服务时（如web访问），内部地址会主动发起连接，由路由器或者防火墙上的网关对内部地址做个地址转换，将内部地址的私有IP转换为公网的公有IP，网关的这个地址转换称为SNAT，主要用于内部共享IP访问外部。 DNAT:当内部需要提供对外服务时（如对外发布web网站），外部地址发起主动连接，由路由器或者防火墙上的网关接收这个连接，然后将连接转换到内部，此过程是由带有公网IP的网关替代内部服务来接收外部的连接，然后在内部做地址转换，此转换称为DNAT，主要用于内部服务对外发布。 数据库 11、叙述数据的强一致性和最终一致性 强一致性：在任何时刻所有的用户或者进程查询到的都是最近一次成功更新的数据。强一致性是程度最高一致性要求，也是最难实现的。关系型数据库更新操作就是这个案例。 最终一致性：和强一致性相对，在某一时刻用户或者进程查询到的数据可能都不同，但是最终成功更新的数据都会被所有用户或者进程查询到。当前主流的nosql数据库都是采用这种一致性策略。 12、MySQL的主从复制过程是同步的还是异步的？ 主从复制的过程是异步的复制过程，主库完成写操作并计入binlog日志中，从库再通过请求主库的binlog日志写入relay中继日志中，最后再执行中继日志的sql语句。 **13、MySQL主从复制的优点 ** 如果主服务器出现问题，可以快速切换到从服务器提供的服务； 可以在从服务器上执行查询操作，降低主服务器的访问压力； 可以在从服务器上执行备份，以避免备份期间影响主服务器的服务。 14、redis有哪些数据类型？ (一)String 最常规的set/get操作，value可以是String也可以是数字。一般做一些复杂的计数功能的缓存。 (二)hash 这里value存放的是结构化的对象，比较方便的就是操作其中的某个字段。做单点登录的时候，就是用这种数据结构存储用户信息，以cookieId作为key，设置30分钟为缓存过期时间，能很好的模拟出类似session的效果。 (三)list 使用List的数据结构，可以做简单的消息队列的功能。另外还有一个就是，可以利用lrange命令，做基于redis的分页功能，性能极佳，用户体验好。 (四)set 因为set堆放的是一堆不重复值的集合。所以可以做全局去重的功能。为什么不用JVM自带的Set进行去重？因为我们的系统一般都是集群部署，使用JVM自带的Set，比较麻烦，难道为了一个做一个全局去重，再起一个公共服务，太麻烦了。 另外，就是利用交集、并集、差集等操作，可以计算共同喜好，全部的喜好，自己独有的喜好等功能。 (五)Zset Zset多了一个权重参数score,集合中的元素能够按score进行排列。可以做排行榜应用，取TOP N操作。另外，sorted set可以用来做延时任务。最后一个应用就是可以做范围查找。 15、叙述分布式数据库及其使用场景？ 分布式数据库应该是数据访问对应用透明，每个分片默认采用主备架构，提供灾备、恢复、监控、不停机扩容等整套解决方案，适用于TB或PB级的海量数据场景。 应用 16、Apache、Nginx、Lighttpd都有哪些特点？ Apache特点：1）几乎可以运行在所有的计算机平台上；2）支持最新的http/1.1协议；3）简单而且强有力的基于文件的配置（httpd.conf)；4）支持通用网关接口（cgi）；5）支持虚拟主机；6）支持http认证，7）集成perl；8）集成的代理服务器；9）可以通过web浏览器监视服务器的状态，可以自定义日志；10）支持服务器端包含命令（ssi）；11）支持安全socket层（ssl）；12）具有用户绘画过程的跟踪能力；13）支持fastcgi；14）支持java servlets Nginx特点：nginx是一个高性能的HTTP和反向代理服务器，同时也是一个IMAP/POP3/SMTP代理服务器，处理静态文件，索引文件以及自动索引，无缓存的反向代理加速，简单的负载均衡和容错，具有很高的稳定性，支持热部署。 Lighttpd特点：是一个具有非常低的内存开销，CPU占用率低，效能好，以及丰富的模块，Lighttpd是众多opensource轻量级的webserver中较为优秀的一个，支持fastcgi，cgi，auth，输出压缩，url重写，alias等重要功能。 17、LVS、NGINX、HAPROXY的优缺点？ LVS优点：具有很好的可伸缩性、可靠性、可管理性。抗负载能力强、对内存和CPU资源消耗比较低。工作在四层上，仅作分发，所以它几乎可以对所有的应用做负载均衡，且没有流量的产生，不会受到大流量的影响。 LVS缺点：软件不支持正则表达式处理，不能做动静分离，如果web应用比较庞大，LVS/DR+KEEPALIVED实施和管理比较复杂。相对而言，nginx和haproxy就简单得多。 nginx优点：工作在七层之上，可以针对http应用做一些分流的策略。比如针对域名、目录结构。它的正则规则比haproxy更为强大和灵活。对网络稳定性依赖非常小。理论上能PING就能进行负载均衡。配置和测试简单，可以承担高负载压力且稳定。nginx可以通过端口检测到服务器内部的故障。比如根据服务器处理网页返回的状态码、超时等。并且可以将返回错误的请求重新发送给另一个节点，同时nginx不仅仅是负载均衡器/反向代理软件。同时也是功能强大的web服务器，可以作为中层反向代理、静态网页和图片服务器使用。 nginx缺点：不支持URL检测，仅支持HTTP和EMAIL，对session的保持，cookie的引导能力相对欠缺。 Haproxy优点：支持虚拟主机、session的保持、cookie的引导；同时支持通过获取指定的url来检测后端服务器的状态。支持TCP协议的负载均衡；单纯从效率上讲比nginx更出色，且负载策略非常多。 aproxy缺点：扩展性能差；添加新功能很费劲，对不断扩展的新业务很难对付。 18、什么是中间件？什么是jdk？ 中间件介绍： 中间件是一种独立的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源 中间件位于客户机/ 服务器的操作系统之上，管理计算机资源和网络通讯 是连接两个独立应用程序或独立系统的软件。相连接的系统，即使它们具有不同的接口 但通过中间件相互之间仍能交换信息。执行中间件的一个关键途径是信息传递 通过中间件，应用程序可以工作于多平台或OS环境。 jdk：jdk是Java的开发工具包 它是一种用于构建在 Java 平台上发布的应用程序、applet 和组件的开发环境 19、日志收集、日志检索、日志展示的常用工具有哪些？ ELK或EFK。 Logstash：数据收集处理引擎。支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储以供后续使用。 Kibana：可视化化平台。它能够搜索、展示存储在 Elasticsearch 中索引数据。使用它可以很方便的用图表、表格、地图展示和分析数据。 Elasticsearch：分布式搜索引擎。具有高可伸缩、高可靠、易管理等特点。可以用于全文检索、结构化检索和分析，并能将这三者结合起来。Elasticsearch 基于 Lucene 开发，现在使用最广的开源搜索引擎之一，Wikipedia 、StackOverflow、Github 等都基于它来构建自己的搜索引擎。 Filebeat：轻量级数据收集引擎。基于原先 Logstash-fowarder 的源码改造出来。换句话说：Filebeat就是新版的 Logstash-fowarder，逐渐取代其位置。 20、什么是蓝绿发布和灰度发布？ 蓝绿：旧版本-新版本 灰度：新旧版本各占一定比例，比例可自定义 两种发布都通过devops流水线实现