中间件

接上一篇《消息中间件核心实体(0)》，这一篇继续介绍消息中间件中的一些实体。 上一篇主要是Message、Topic、TopicMeta和Queue这样最基础的实体，这几篇介绍一些发送和消费的过程中会涉及到的实体和组件。

消息中间件核心实体（0） 最近两周在做的一个新项目，一个主从复制的组件，这两天刚跑通测试。 从之前讨论的架构来说，消息中间件也是有主从复制这个模块的，像Rocket就支持主从模式。 在做这个项目之前已经写过两个版本的主从复制模块，基本思路是： Slave主动和Master建立链接 Sla...

无限接近真实流量的全链路压测，具备超高并发能力，多维动态支持压测场景下的多变环境，1分钟即可设置简单压测场景……这个神奇的压测“黑科技”就是PTS铂金版！

  在大型互联网中，主要采用消息中间件来进行业务的解耦和操作的异步化，这也是消息中间件最基础的特点，也是业务系统对消息中间件的最基本需求。   在这个基础之上，本篇来谈一下业务系统从功能、性能等各个方面对消息中间件的需求。

什么是分布式消息中间件？ 对于分布式消息中间件，首先要了解两个基础的概念，即什么是分布式系统，什么又是中间件。   分布式系统 “A distributed system is one in which components located at networked computers ...

在云环境中，应用发布与管理会变得十分复杂。本地开发完成的应用需要登录到每一台服务器进行发布和部署；后续还会有应用的重启，扩容等。服务器的不断增加对于运维人员将是一个极大的挑战。同时，当应用开发完毕部署到生产环境之后，通常需要对应用运行状态进行一些监控，比如 CPU 使用率、机器负载、内存使用率和网路流量等。

中间件简介 django 中的中间件（middleware），在django中，中间件其实就是一个类，在请求到来和结束后，django会根据自己的规则在合适的时机执行中间件中相应的方法。 在django项目的settings模块中，有一个 MIDDLEWARE_CLASSES 变量，其中每一个...

路由 通常HTTP URL的格式是这样的： http://host[:port][path] http表示协议。 host表示主机。 port为端口，可选字段，不提供时默认为80。 path指定请求资源的URI(Uniform Resource Identifier，统一资源定位符)，如果URL中没有给出path，一般会默认成“/”（通常由浏览器或其它HTTP客户端完成补充上）。

阿里巴巴叕开源了!

受飞凡电商技术负责人刘兵先生的独家授权，在csdn博客我原创发表《NRedis-Proxy 高性能Redis 中间件服务》的架构原理，以及项目开源介绍。一、 NRedis-Proxy 介绍 NRedis-Proxy 是一个Redis中间件服务，第一个Java 版本开源Redis中间件，无须修改业务应用程序任何代码与配置，与业务解耦；以Spring为基础开发自定义标签，让它可配置化，使其更加容易上手；以netty 作为通信传输工具，让它具有高性能，高并发，可分布式扩展部署等特点,单片性能损耗约5%左右。

在内部系统不是非常的高并发，大流量的场景下，且有windows，Linux混合操作系统场景下，便于配置维护，可以使用HApoxy 替代 LVS一试。

由阿里中间件与天池平台联合举办的“阿里中间件性能挑战赛”，大赛不仅为选手们开放双十一实时交易真实场景，还提供了丰厚奖金、诱人激励，欢迎社会人才加入挑战。大赛主要考察选手的网络编程能力和性能调优能力。我们希望通过大赛吸引和沉淀优秀的编程高手，加强内外部技术人员的交流与碰撞，并让技术发声。

继《如何设计开发一个可用的web容器》之后又一如何系列文章，《如何设计一个数据库中间件》 ==========广告时间========== 鄙人的新书《Tomcat内核设计剖析》已经在京东预售了，有需要的朋友可以到 https://item.jd.com/12185360.html 进行预定。

面向容器技术资源调度关键技术谁家强，Google、阿里还是Twitter，且看详细分析

Spark是一个由加州大学伯克利分校（UC Berkeley AMP）开发的一个分布式数据快速分析项目。它的核心技术是弹性分布式数据集(Resilient distributed datasets)，提供了比Hadoop更加丰富的MapReduce模型，可以快速在内存中对数据集进行多次迭代，来支持.

本来安装这件事情，不用单独开一篇谈的。但是Spark的安装实在是一件点蛋疼的事情，这和Spark的语言和框架两者有颇大的关系。 Spark是Scala语言写的，所以要先安装Java和Scala，而底层的调度框架是Mesos，Mesos是C++写的，所以又对机器的glibc和gcc环境有一定的要求。

NumericField和NumericRangeQuery是Lucene 针对数值型区间查询的优化方案。在展开阐述 NumericField 和NumbericRanageQuery 的实现原理之前，对于Lucene范围查询的实现和概念可以参考博文《TermRangeQuery源码解析

SolrQueryLog DataMineSolrQueryLog DataMine 这一块工作非常具有市场和技术价值。尽管现在还没有开源的，有一个付费系统soleami 读作 so ray me。 我个人正在初步积累相关知识，依赖NLP和结构化信息提取虚拟团队，正着手搭建一个通用、可开源的So

0. 亲，低级错误知多少 "" 写成了“” <br> true 写成了 ture <br> false写成了fasel <br> String 写成了 string <br> userId 写成了userid <br> user_id 写成了 user_Id <

性能压测本身是一件非常有意义的事情，也是非常复杂的工作。对搜索引擎压测，不仅是数据集构建、查询集构建、 标准参照集构建等麻烦，而且只需一轮测试周期常，测试结果与语言本身有关联，更与集合其他数据有潜在关联，因为排序是 整体的，互关联的。 测试的具体执行环境、执行用例、参数配置和清除、quer

简介： Apache MINA（Multipurpose Infrastructure for Network Applications） 是一个网络应用框架，有助于用户非常方便地开发高性能、高伸缩性的网络应用。它通过Java NIO提供了一个抽象的、事件驱动的、异步的位于各种传输协议（如TCP/

当大家都在关注搜索的速度的时候，往往伴随业务的快速发展，数据服务质量成为了实时搜索或者垂直搜索中的新问题。实时搜索和垂直搜索是不一样的问题，下面的问题就是垂直场景下得实时搜索问题。也可以理解垂直搜索都不实时，其他的实时先排队吧。问题比较抽象，只谈总体上的现象，对于具体如何解绝问题的细节，不做说明。.

本文主要记录配置安全的Impala集群集成Sentry的过程。Impala集群上配置了Kerberos认证，并且需要提前配置好Hive与Kerberos和Sentry的集成： 使用yum安装CDH Hadoop集群 Hive配置kerberos认证 Impala配置kerberos认证 配置

人们总觉得这个搜索领域很多秘密，门槛如此之高，如此神秘。其实不是那么回事。基本的原理、流程理解了。就可以做到心中不慌。先了解机制，细节和具体才是难点，不要被难在开始！下面就结合实际经验积累，给出参考信息。不针对任何排序模型，只描述粗略内容。具体场景具体怎么高，私下交流。 提示：排序规则务必公开，否

淘宝系统依赖关系比较复杂。A系统依赖B系统资源，当B系统发生故障的时候，A系统势必会被拖累，导致A系统也发生故障                                  图：[ A]--依赖-->[B] 这里的依赖要区分两种情况 1、A强依赖于B     任何强依赖都要尽可能的转化

简单介绍下 在较早版本的 Lucene 中对一定范围内的查询RanageQuery 。该Query 继承于 MulitTermQuery，在重写（rewrite ）Query 树的时候将会遵从一个原则： 根据起始区间值获取term, 然后遍历，根据满足条件的term 的数目来决定重写Query 的

我们已经在上面的分析中，我们已经看到observer模型在多机场景下的问题，所以，paxos模型的目标就是解决这个问题，他解决这个问题的方法就是quorum模型。 我的目标是让大家能弄明白，掌握这些复杂的概念，所以我也会将以前我在淘宝java中间件团队内分享时候，大家经常犯的一些错误，也写到【】里

--------Dynamo and Cassandra ---------- 这两套系统，其实是同源的，我其实不是很愿意来说这两套系统，因为他们用的技术比较学术化，所以比较复杂一些。。Anyway ,I'll try my best !   提到这两个系统，他们在核心思路上是非常类似的，但有

大家会碰到类似这样的事情，比如，找你的租房中介负责人让处理一下空调坏了，中介负责人回答你说“我现在不负责你了 ，你去联系A。”你觉得这件事有些不爽，没办法，去联系A。说不定A又会说自己不负责了，让你联系B。 碰到这种“你去联系XXX”的情况，我想没有人会开心的。 如果这样的“重定向”形成了环，那

多关键词搜索排序质量一直一个疼痛的问题，已经频繁遇到，目前还没来得及系统解决。 针对之前的解决经验，做一个小节，后面可能随着对排序质量的提高，会越来越突出。 请大家拍砖和丰富这方面的经验，提升解决需求的效率。 分析 当前默认都是phrasequery执行，对指定域先分词，然后

(一) 数据层产品 ——TL沈询 1) TDDL/Cobar/malanda/TDDLSequence 分布式数据层 对应cobar 特性是无server. 多层结构 支持直接简单主备Mysql 直连。 也支持分库分表。 还有sequence 。 都是这套组件上的东东啦。 相关文档:

案例1：   <html xmlns="http://www.w3.org/1999/xhtml"> <head>     <meta http-equiv="Content-Type" content="text/html; charset=utf-8"/>     <title></title>  

DSS中间件采用HTTP协议，终端可以是任何的支持Http协议的设备，开发工具和语言均不受限制     DSS消息服务， 采用WebSocket协议   DSS-API介绍(持续更新) http://www.diocp.org/dss/doc/DSS-API.pdf

前文：http://blog.itpub.net/29510932/viewspace-1974937/----------------------------------------------------------------------------------...