中间件

本次挑战赛的主题为“挑战双十一万亿级消息引擎”，比赛场景当然离不开大家最熟悉的阿里双11，海量业务场景下的技术需求模拟，赛题本身具有非常强的实战意义。本次内部赛题目主要解决的是NewSQL领域中使用最频繁的一个场景--分页排序，其对应的SQL执行为order by id limit k,n。

本章将要和大家分享的是一个单点登录中间件，中间件听起来高深其实这里只是吧单点登录要用到的逻辑和处理流程封装成了几个方法而已，默认支持采用redis服务保存session的方式，也可以使用参数Func方法来做自定义session存储操作的方式，就不用我默认提供的redis存储的方法了；要说本章内容的来源，其实是我在以前的ShenNiu.

淘宝根据自身业务需求研发了TDDL（Taobao Distributed Data Layer）框架，主要用于解决分库分表场景下的访问路由（持久层与数据访问层的配合）以及异构数据库之间的数据同步，它是一个基于集中式配置的JDBC DataSource实现，具有分库分表、Master/Salve、动态数据源配置等功能。

路由 通常HTTP URL的格式是这样的： http://host[:port][path] http表示协议。 host表示主机。 port为端口，可选字段，不提供时默认为80。 path指定请求资源的URI(Uniform Resource Identifier，统一资源定位符)，如果URL中没有给出path，一般会默认成“/”（通常由浏览器或其它HTTP客户端完成补充上）。

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/sinat_21158419/article/details/53168027 ...

生产者代码： package com.java1234.activemq; import javax.jms.Connection; import javax.jms.ConnectionFactory; import javax.jms.Destination; import javax.jms.JMSException; import javax.jms.MessageProdu

“大流量高并发互联网应用实践在线峰会”将于9月20-21日20：00-21：30召开，届时10位淘宝开放平台和阿里云技术大V将为广大开发者分享阿里的第一手实践。来自阿里巴巴集团的产品专家倪超（花名：银时），将在本次峰会中为大家带来《支撑海量用户的阿里中间件技术》的分享，下面是议题详情，供大家参考。

在内部系统不是非常的高并发，大流量的场景下，且有windows，Linux混合操作系统场景下，便于配置维护，可以使用HApoxy 替代 LVS一试。

一 相关资源 1 操作系统环境 2 Tair 资源 二 安装步骤2 1 关闭防火墙3 2 安装工具 3 设置库文件的安装目录 4 编译安装 Tair依赖库tb-common-utils 5 编译安装 Tair 6 配置和启动 tair 三 启动步骤 一 相关资源 1.1 操作系统环境 UbuntuKylin 16.04 64位（x86_64），官方一定要64位的。

一 安装步骤 二 搭建Zookeeper集群 1 ZooKeeper 单机安装与配置 11 下载zookeeper安装包 12 解压zookeeper安装包 13 设置环境变量 14 配置zoocfg 15 启动zookeeper 三 搭建JStorm...

目录 目录 一 准备工作 1 RocketMQ部署架构1 2 环境配置 二 安装RocketMQ 1 下载编译好的RocketMQ 2 解压缩并进入bin目录 3 启动name server 4 启动broker 5 MQ安装完毕 三 验证MQ是否安...

本篇文章主要描述了如何配置Spring-JMS，至于为何这样配置及Spring-JMS相关介绍，请阅读这篇文章：Spring整合JMS(消息中间件)。我们这里的消息broker用的是ActiveMQ。 一、相关配置 本篇主要讲解如何在Spring中配置JMS，关于Spring本身的配置本文就不多做介绍了。 1.1 配置maven依赖 在使用Spring-JMS之前，先

本篇主要介绍了异步消息机制及Spring对JMS封装，本篇文章讲解较为详细，如果想直接看如何配置，可以参考： Spring整合JMS(消息中间件)实例，但还是建议大家先看完本篇文章。 一、消息异步处理 类似于RMI、Hessian、Burlap等远程方法调用，它们都是同步的，所谓同步调用就是客户端必须等待操作完成，如果远程服务没有返回任何响应，客户端会一直等待直到服务完成

［一］任务队列的好处 --->松耦合：生产者和消费者无需知道彼此实现的细节，只需要约定好任务的描述格式。这使得生产者和消费者可以由不同的团队使用不同的编程语言编写。 --->易于扩展：消费者可以有多个，而且可以分布在不同的机器。

## 备注 该篇是由原作者 傅冲 提供 ## 简介 `MetaQ`是一款高性能的消息中间件，经过几年的发展，已经非常成熟稳定，历经多年双11的零点峰值压测，表现堪称完美。 `MetaQ`当前最新最稳定的稳本是`3.x`系统，`MetaQ 3.x`重新设计和实现，比之前的版本更优秀。

继《如何设计开发一个可用的web容器》之后又一如何系列文章，《如何设计一个数据库中间件》 ==========广告时间========== 鄙人的新书《Tomcat内核设计剖析》已经在京东预售了，有需要的朋友可以到 https://item.jd.com/12185360.html 进行预定。

Spark是一个由加州大学伯克利分校（UC Berkeley AMP）开发的一个分布式数据快速分析项目。它的核心技术是弹性分布式数据集(Resilient distributed datasets)，提供了比Hadoop更加丰富的MapReduce模型，可以快速在内存中对数据集进行多次迭代，来支持.

Spark是一个小巧玲珑的项目，由Berkeley大学的Matei为主的小团队所开发。使用的语言是Scala，项目的core部分的代码只有63个Scala文件，充分体现了精简之美。 Spark之依赖 （1）Map Reduce模型 作为一个分布式计算框架，Spark采用了MapReduce

本来安装这件事情，不用单独开一篇谈的。但是Spark的安装实在是一件点蛋疼的事情，这和Spark的语言和框架两者有颇大的关系。 Spark是Scala语言写的，所以要先安装Java和Scala，而底层的调度框架是Mesos，Mesos是C++写的，所以又对机器的glibc和gcc环境有一定的要求。

最早lucene2.4以及以前，追溯到2008年前后，lucene刚刚引起大家的关注，到后来Nutch、solr的出现，lucene变得更加热。Nutch、Solr的发展，极大推动了lucene的升级。对于一些接触过搜索，使用过lucene、solr的人来说，一般都会感觉lucene、solr很牛.

受害人口述悲惨的遭遇—— 1、最近一段时间（更换了预发机器后）我负责的一个应用的预发环境(线上稳定得像个婴儿~)特别不稳定，最先是应用频频的过几天就发现提供的接口不工作了，但容器Jetty还在跑得欢，于是jstack/jmap看，发现没有一个线程在跑我的war包中的程序，但是容器里个中间件的sar

本文翻译自官方博客，略有添加：https://github.com/mesos/spark/wiki/Spark-Programming-Guide，谢谢师允tx的校正。希望能够给希望尝试Spark的朋友，带来一些帮助。目前的版本是0.5.0 Spark开发指南 从高的层面来看，其实每一个S

0. 亲，低级错误知多少 "" 写成了“” <br> true 写成了 ture <br> false写成了fasel <br> String 写成了 string <br> userId 写成了userid <br> user_id 写成了 user_Id <

性能压测本身是一件非常有意义的事情，也是非常复杂的工作。对搜索引擎压测，不仅是数据集构建、查询集构建、 标准参照集构建等麻烦，而且只需一轮测试周期常，测试结果与语言本身有关联，更与集合其他数据有潜在关联，因为排序是 整体的，互关联的。 测试的具体执行环境、执行用例、参数配置和清除、quer

BufferedInputStream是一个带有内存缓冲的InputStream. BufferedInputStream是继承自FilterInputStream。 FilterInputStream继承自InputStream属于输入流中的链接流，同时引用了InputStream，将In

了解完Apach MINA的一些基本概念Apache MINA (1) 简介 ，开始进入MINA相关的代码学习，以一个简单HelloWorld程序开始，完成客户端与服务端之间的通讯。 准备工作： org.apache.mina 版本4.0 org.slf4j 1.6.1 （Simple

在ZooKeeper的运维过程中，我们经常会碰到这样的问题，就是快照数据文件越来越大，但是ZooKeeper上的数据节点数量并没有相应的增加。 这说明什么问题：一定是有客户端在将ZooKeeper当数据库使用了。长此以往，必然会引起ZooKeeper内存数据过大而影响性能及集群间的数据同步。 那

当大家都在关注搜索的速度的时候，往往伴随业务的快速发展，数据服务质量成为了实时搜索或者垂直搜索中的新问题。实时搜索和垂直搜索是不一样的问题，下面的问题就是垂直场景下得实时搜索问题。也可以理解垂直搜索都不实时，其他的实时先排队吧。问题比较抽象，只谈总体上的现象，对于具体如何解绝问题的细节，不做说明。.

在分布式环境开发中经常会使用socket，或者使用rmi来对外提供服务，常用的办法是将写一个java代码，然后部署到服务器上，但是问题来了。如何将这个服务成为一个可靠的系统服务，不会应为风吹草动就挂了，那就不好了。 所以想到使用apache commons 下面的daemon框架来充当守护进程。首

人们总觉得这个搜索领域很多秘密，门槛如此之高，如此神秘。其实不是那么回事。基本的原理、流程理解了。就可以做到心中不慌。先了解机制，细节和具体才是难点，不要被难在开始！下面就结合实际经验积累，给出参考信息。不针对任何排序模型，只描述粗略内容。具体场景具体怎么高，私下交流。 提示：排序规则务必公开，否

Worker模式 想解决的问题 异步执行一些任务，有返回或无返回结果 使用动机 有些时候想执行一些异步任务，如异步网络通信、daemon任务，但又不想去管理这任务的生命周。这个时候可以使用Worker模式，它会帮您管理与执行任务，并能非常方便地获取结果 结构 很多

需求: 个性化得分排序：类似 Score= defaultTextScore*facetA + offlineValue*（1-factorA） 方案： 目前直接支持的排序、全部候选方案。推荐1  和2.  参见样例！ 1: sort by (score, offlin

     在分布式环境当中使用erlang语言来构建底层应用，利用erlang的简洁的脚本语言可以简化代码的复杂度，并且还能很大程度地提高系统的容错性和稳定性。 erlang固然有他的优势，但是，它在开源社区开发人员的活跃性远远不及java社区，在java社区中，在分布式场景中使用的中间件，比如，

查询问题，最直接的反馈就是页面出来的结果。然后牵扯到的问题就一步一步深入了。第一层：queryparse，其中关联分词，关联booleanquery orphrasequery，关联boost。。。。第二层：排序了，关联排序的策略、排序的得分公式第三层：各种转换、过滤、筛选后的页面结果这里重点将q.

情况回放： 上周预发机器出了一个问题，CPU不定时会近100%满负载运行。重启以后就会恢复，之后又会到达100%，而且不会自恢复。 首先想到的是程序出现了死循环，于是用jstack把栈打印出来，发现业务线程都停在了regex相关的代码上，有死循环的样子。 查看栈，发现一切都是由ClientFi

淘宝系统依赖关系比较复杂。A系统依赖B系统资源，当B系统发生故障的时候，A系统势必会被拖累，导致A系统也发生故障                                  图：[ A]--依赖-->[B] 这里的依赖要区分两种情况 1、A强依赖于B     任何强依赖都要尽可能的转化

solr调优步骤参考这篇blog主要以实践出发，从顶到底，从大到细的思路来进一步描述，solr优化，并且是基于横向发展来说的（管理更多core），对于纵向的（core内部、搜索核心技术）。 例如分词、queryparse、分词、实时、分布式的优化、排序等偏轻！ 文章有不合理，或者错误的请及时反馈